CN101867814B - 图像编码设备和图像编码方法 - Google Patents

图像编码设备和图像编码方法 Download PDF

Info

Publication number
CN101867814B
CN101867814B CN2010101584488A CN201010158448A CN101867814B CN 101867814 B CN101867814 B CN 101867814B CN 2010101584488 A CN2010101584488 A CN 2010101584488A CN 201010158448 A CN201010158448 A CN 201010158448A CN 101867814 B CN101867814 B CN 101867814B
Authority
CN
China
Prior art keywords
picture element
object block
element signal
coding object
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101584488A
Other languages
English (en)
Other versions
CN101867814A (zh
Inventor
小鹰直彦
中里宗弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101867814A publication Critical patent/CN101867814A/zh
Application granted granted Critical
Publication of CN101867814B publication Critical patent/CN101867814B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像编码设备、图像编码方法和计算机程序。该图像编码设备包括：预测准备部分，该预测准备部分通过使用编码目标块的像素信号中的在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号中的至少一方像素信号来为每一个帧内预测模式准备预测；以及预测模式导出部分，该预测模式导出部分通过使用编码目标图像中的编码目标块的图像和由预测准备部分准备的预测来执行帧内预测操作。

Description

图像编码设备和图像编码方法
技术领域
本发明涉及图像编码设备、图像编码方法和计算机程序，更具体地涉及能够在图像编码中使用简单的配置高速地执行帧内预测(intra-prediction)操作的技术。 
背景技术
在过去，例如，当传输并记录用于广播的视频时，开发了能够通过有效地使用图像信号的冗余性(redundancy)来有效地传输和累积图像信号的技术。这种技术通过与MPEG(运动图像专家组)等相符的诸如离散余弦变换的正交变换和运动补偿来执行图像信号的数据压缩。 
例如，MPEG2(ISO/IEC 13818-2)是定义为普通图像编码方法的一种方法。这种方法被定义为与隔行扫描方法和逐行扫描方法二者对应，并且与标准分辨率图像和高清晰度图像二者对应。MPEG2广泛地应用于各种应用中。 
一种确保比MPEG2的编码效率高的编码效率的标准编码方法已经作为增强压缩视频编码方法的联合模型被开发，并且被标准化为H.264/MPEG-4AVC(ITU-T Rec.H.264ISO/IEC 14496-10AVC)。 
在这种编码方法中，执行图像内预测操作(帧内预测操作)和图像间预测操作(帧间预测操作)。例如，日本未审专利申请公开No.2007-150913公开了一种方法，该方法存储与编码目标块的左侧垂直地相邻的原始图像的像素信号和与帧内预测目标块的上侧水平地相邻的原始图像的像素信号中的至少一方像素信号。该方法还被公开为：使用存储的像素信号以及通过编码和解码所编码的图像的块(编码块)的像素信号来以较小的周期数(cycle number)执行帧内预测 操作。 
发明内容
然而，当使用原始图像的像素信号和编码块的像素信号时，与日本未审专利申请公开No.2007-150913中一样，在帧内预测操作中通过存储这些像素信号并使用存储的像素信号在每一个帧内预测模式中准备预测或者计算编码代价(encoding cost)。因此，为了存储编码图像的具有高分辨率的像素信号，需要大容量的存储器。例如，当编码目标图像(原始图像)的图像信号具有YUV420格式和1920个像素×1080条线的分辨率时，在相邻块的下端部中水平地排列的像素的像素信号具有对应于3840个像素(Y＝1920个像素，Cb＝960个像素，并且Cr＝960个像素)的信号量。由于这个原因，当编码目标图像被分割为宏块单元以按照光栅扫描的顺序执行帧内预测操作时，需要存储对应于3840个像素的像素信号。 
希望提供使用简单的配置执行帧内预测操作的图像编码设备、图像编码方法和计算机程序。 
根据本发明的实施例，提供一种图像编码设备，该图像编码设备包括：预测准备部分，该预测准备部分通过使用编码目标块的像素信号中的在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号中的至少一方像素信号来为每一个帧内预测模式准备预测；以及预测模式导出部分，该预测模式导出部分通过使用编码目标图像中的编码目标块的图像和由预测准备部分准备的预测来对编码目标块执行帧内预测操作。 
根据本发明的实施例，使用编码目标图像中的编码目标块的像素信号中的在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号中的至少一方像素信号来准备预测。当使用在编码目标块的上端的像素信号或在编码目标块的左端的像素信号时，使用这些像素信号和编码目标图像中的与编码目标块相邻的像素信号来准备每一个帧内预测模式的预测。例如， 当宏块的处理顺序的方向是水平的时，使用编码目标图像中的在与编码目标块的左侧相邻的块的右端垂直地排列的像素的像素信号和在编码目标块的上端水平地排列的像素的像素信号来准备预测。当宏块的处理顺序的方向是垂直的时，使用编码目标图像中的在与编码目标块的上侧相邻的块的下端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号来准备预测。使用编码目标块的编码目标图像和编码图像计算每一个帧内预测模式的编码代价，并且确定具有最小编码代价的帧内预测模式为编码目标块的帧内预测模式。 
根据本发明的另一个实施例，提供一种图像编码方法，该图像编码方法包括下述步骤：预测准备部分通过使用编码目标块的像素信号中的在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号中的至少一方像素信号来为每一个帧内预测模式准备预测；以及预测模式导出部分通过使用编码目标图像中的编码目标块的图像和由预测准备部分准备的预测来对编码目标块执行帧内预测操作。 
根据本发明的又一个实施例，提供一种使计算机执行下列功能的计算机程序：通过使用编码目标块的像素信号中的在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号中的至少一方像素信号来为每一个帧内预测模式准备预测的功能；以及通过使用编码目标图像中的编码目标块的图像和准备的预测来对编码目标块执行帧内预测操作的功能。 
根据本发明实施例的计算机程序是这样的计算机程序：通过诸如光盘、磁盘或半导体存储器的存储介质，或者通过诸如网络的通信介质，以计算机可读的格式，该计算机程序可以应用于执行各种程序代码的通用计算机系统。通过以计算机可读的格式提供该程序，根据该程序在计算机系统上执行处理。 
根据本发明的实施例，通过使用编码目标块的像素信号中的在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左 端垂直地排列的像素的像素信号中的至少一方像素信号来为每一个帧内预测模式准备预测。此外，可以使用准备的预测和编码目标块的图像来执行帧内预测操作。从而，由于可以在执行帧内预测操作时减少存储用来准备预测的像素信号的信号量，所以可以使用简单的配置来执行帧内预测操作。 
附图说明
图1是示出图像编码设备的配置的视图。 
图2是示出帧内预测缓冲器和帧内预测单元的第一配置的视图。 
图3是示出帧内预测操作中的像素信号的位置关系的视图。 
图4A到图4J是示出4×4帧内预测模式的视图。 
图5是示出帧内预测操作的流程图。 
图6A到图6C是示出4×4块中的用于预测准备的像素和编码目标块的像素之间的位置关系的视图。 
图7A到图7C是示出一个宏块中的用于预测准备的像素和编码目标块的像素之间的位置关系的视图。 
图8A到图8C是示出处理时间的视图。 
图9是示出帧内预测缓冲器和帧内预测单元的第二配置的视图。 
图10A到图10J是示出4×4帧内预测模式的视图。 
图11是示出在其中执行偏移加法运算的帧内预测操作的流程图。 
图12是示出当宏块的处理顺序是水平的时的帧内预测操作的视图。 
图13是示出当宏块的处理顺序是水平的时的另一个帧内预测操作的视图。 
图14是示出当宏块的处理顺序是垂直的时的帧内预测操作的视图。 
图15是示出计算机配置的视图。 
具体实施方式
在下文中，将按下面的顺序描述本发明的优选实施例。 
1.图像处理设备的配置 
2.图像处理设备中的最佳模式选择操作 
3.帧内预测缓冲器和帧内预测单元的第一配置 
4.帧内预测操作 
5.帧内预测缓冲器和帧内预测单元的第二配置 
6.帧内预测操作 
7.另一种帧内预测操作 
8.宏块的处理顺序的方向和帧内预测操作 
9.通过软件执行图像编码的情况 
1.图像处理设备的配置 
根据本发明实施例的图像编码设备通过使用编码目标块中的像素信号中的编码目标块的上端的像素信号和编码目标块的左端的像素信号中的至少一方像素信号来为每一个帧内预测模式准备预测。该图像编码设备通过使用准备的预测和编码目标图像中的编码目标块的图像来对编码目标块执行帧内预测操作。 
图1是示出图像编码设备的配置的视图。该图像编码设备10包括：模拟/数字转换器(A/D转换器)11、减法单元12、正交变换单元13、量化单元14、可逆编码单元15、存储缓冲器16、以及速率控制器17。该图像编码设备10还包括：逆量化单元21、逆正交变换单元22、加法单元23、去块滤波器24、帧存储器25、帧内预测缓冲器31、以及帧内预测单元32。 
A/D转换器11将模拟图像信号转换为数字图像信号，以将该数字图像信号输出到减法单元12和帧内预测缓冲器31。 
从A/D转换器11输出的图像信号和下面描述的表示在帧内预测单元32中准备的预测的图像信号被提供给减法单元12。在帧内编码操作中，减法单元12产生并输出表示从A/D转换器11输出的图像信 号和表示由帧内预测单元32准备的预测的图像信号之差的差信号。 
正交变换单元13对从减法单元12输出的差信号执行诸如离散余弦变换(DCT)或卡-洛(Karhunen-Loeve)变换的正交变换处理。正交变换单元13将通过执行正交变换处理而获得的变换系数信号输出到量化单元14。 
从正交变换单元13输出的变换系数信号和下面描述的从速率控制器17输出的速率控制信号被提供给量化单元14。量化单元14对变换系数信号执行量化并将量化信号输出到可逆编码单元15和逆量化单元21。量化单元14基于来自速率控制器17的速率控制信号转换量化参数(例如，量化标度)，以改变该量化信号的比特率。 
从量化单元14输出的量化信号和下面描述的从帧内预测单元32输出的编码信息被提供给可逆编码单元15。例如，可逆编码单元15通过可变长度编码或算术编码操作对量化信号执行可逆编码操作。通过将编码信息作为头信息加到经过可逆编码操作的输出信号上，可逆编码单元15将从帧内预测单元32输出的编码信息输出到存储缓冲器16。 
存储缓冲器16存储来自可逆编码单元15的输出信号。存储缓冲器16将存储的输出信号以适合于传输线的传输率输出。 
速率控制器17检测存储缓冲器16的空闲空间并根据空闲空间产生速率控制信号，以将该速率控制信号输出到量化单元14。例如，速率控制器17从存储缓冲器16获取表示空闲空间的信息。当空闲空间减少时，速率控制器17根据速率控制信号降低量化信号的比特率。当存储缓冲器16的空闲空间足够大时，速率控制器17根据速率控制信号增大量化信号的比特率。 
逆量化单元21对从量化单元14提供的量化信号执行逆量化操作。逆量化单元21将通过逆量化操作获得的变换系数信号输出到逆正交变换单元22。 
逆正交变换单元22对从逆量化单元21提供的变换系数信号执行逆正交变换操作。逆正交变换单元22产生要输入到正交变换单元13 的差信号并将产生的差信号输出到加法单元23。 
来自逆正交变换单元22的差信号和来自帧内预测单元32的预测值被提供给加法单元23。加法单元23将预测值和差信号相加以产生解码图像信号并将该解码图像信号输出到去块滤波器24。 
去块滤波器24是减少在编码图像时发生的块畸变的滤波器。去块滤波器24执行滤波操作以自适应地从由加法单元23提供的解码图像信号中去除块畸变，并将经过滤波操作的解码图像信号输出到帧存储器25。 
帧存储器25保持从去块滤波器24提供的解码图像信号。也就是说，帧存储器25保持通过编码操作和解码操作获得的编码图像。 
帧内预测缓冲器31保持编码目标图像中的编码目标块的图像。 
帧内预测单元32使用编码目标块中的图像信号来准备预测。帧内预测单元32使用编码目标块的像素信号中的在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号中的至少一方像素信号来准备预测。帧内预测单元32将准备的预测输出到减法单元12和加法单元23。这里，帧内预测单元32将通过编码操作和解码操作获得的编码图像的像素信号和编码目标图像(原始图像)的像素信号用作编码目标块中的像素信号。 
帧内预测单元32通过使用编码目标块的编码目标图像和编码图像来确定最适合于每一个编码目标块的帧内预测模式。帧内预测单元32准备确定的帧内预测模式中的预测并将表示该预测的图像信号输出到减法单元12。 
图1示出在其中使用了经过由去块滤波器24执行的滤波操作的解码图像信号的帧内预测单元32的配置。但是，也可以使用在去块滤波器24执行滤波操作之前的图像信号执行帧内预测操作。 
2.图像处理设备中的最佳模式选择操作 
在H.264/AVC中，由联合模型(AVC参考编码模式)定义一种高复杂度模式和一种低复杂度模式。高复杂度模式是用于多通编码的 模式，低复杂度模式是用于单通编码的模式。 
在该低复杂度模式中，表示编码效率的代价函数(cost function)由表达式1定义，并且通过比较在每一个预测模式中计算的代价(代价值)，使用代价函数导出最佳预测模式。 
表达式1 
Cost(mode)＝SA(T)D+SA(T)D0…(1) 
SA(T)D(绝对变换差的和)是原始图像和预测图像之间的误差值。应用在原始图像和预测图像之间的像素值差的绝对误差和。 
SA(T)D0是误差值SA(T)D中给出的偏移值。SA(T)D由头位和作为模式确定中的权重的代价确定。SA(T)D表示在传输诸如运动矢量的附加信息中提供的信号量。具体地说，通过表达式2为每一个编码目标块计算绝对值误差和SAD(绝对差的和)。应用每一个预测模式中的预测图像和原始图像之间的差值。 
表达式2 
SAD = Σ i = 0 15 Σ j = 0 15 | Org ( i , j ) - Pred ( Mode , i , j ) | . . . ( 2 )
代替由表达式2计算的绝对值误差和SAD，SA(T)D(mode)(mode：模式)可以用作通过表达式3计算的差加法值。 
表达式3 
SA ( T ) D ( mode ) = Σ i = 0 15 Σ j = 0 15 | Hadamard ( Org ( i , j ) - Pred ( Mode , i , j ) ) | . . . ( 3 )
如表达式4中所示，Hadamard()表示通过将目标矩阵乘以Hadamard变换矩阵而获得的Hadamard变换操作。 
表达式4 
Hadamard(A)＝HTAT    …(4) 
Hadamard变换矩阵被表示为表达式5。HT是Hadamard变换矩阵的转置矩阵。 
表达式5 
H = 1 1 1 1 1 - 1 1 - 1 1 1 - 1 - 1 1 - 1 - 1 1 . . . ( 5 )
偏移值SA(T)D0在前向预测(forward prediction)模式中被表示为表达式6。 
表达式6 
SA(T)D0＝QP0(QP)·(2×code_number_of_ref_idX_fwd 
                      +Bit_to_code_MVDFW)         …(6) 
在该表达式中，QP0(QP)是将量化参数QP变换为量化标度的函数。MVDFW是与前向预测相关的运动矢量。Bit_to_code是关于与运动矢量相关的比特流的编码量。 
偏移值SA(T)D0在后向预测(backward prediction)模式中被表示为表达式7。在该表达式中，MVDBW是与后向预测相关的运动矢量。 
表达式7 
SA(T)D0＝QP0(QP)×Bit_to_code_MVDBW    …(7) 
偏移值SA(T)D0在双向预测模式中也被表示为表达式8。 
表达式8 
SA(T)D0＝QP0(QP)·(2×code_number_of_ref_idx_fwd 
                      +Bit_to_code_forward_Blk_size 
                      +Bit_to_code_backword_Blk_size 
                      +Bit_to_code_MVDFW 
                      +Bit_to_code_MVDBW)             …(8) 
在该表达式中，“Bit_to_code_forward_Blk_size”和“Bit_to_code_backward_Blk_size”分别为传输关于与前向预测和后向预测相关的运动补偿块的信息所需的比特流的编码量。 
在直接模式中，偏移值SA(T)D0被表示为表达式9。 
表达式9 
SA(T)D0＝-16×QP0(QP)…(9) 
在帧内4×4预测模式中，偏移值SA(T)D0被表示为表达式10。 
表达式10 
SA(T)D0＝24×QP0(QP)   …(10) 
该代价函数应用于运动矢量的搜索中。如表达式11所示，检测具有最小代价值的运动矢量。 
表达式11 
Cost＝SA(T)D+SA(T)D0 
SA(T)D0＝QP0(QP)·(Bits_to_code_vector 
                    +2×code_number_of_ref_index_fwd)   …(11) 
因此，当在低复杂度模式中检测最佳模式时，图像编码设备10的帧内预测单元32计算帧内编码操作中的所有预测模式的代价值。具有最小代价值的预测模式被确定为帧内预测模式。 
帧内预测单元32可以在高复杂度模式中执行编码操作。在这种情况下，为了使比特率畸变最佳化，将表达式12的函数用作表示编码效率的代价函数。帧内预测单元32通过比较依据代价函数在每一个预测模式中计算的代价值来检测最适合的预测模式。在表达式12中，“D”是在编码操作中发生的误差(平方误差或绝对值误差)，“R”是发生编码量，并且“λ”是拉格朗日乘子。 
表达式12 
Cost＝D+R·λ     …(12) 
3.帧内预测缓冲器和帧内预测单元的第一配置 
图2是示出帧内预测缓冲器和帧内预测单元的配置的视图。在下面的描述中，将描述在低复杂度模式中执行编码操作的情况。编码目标图像的像素信号被用作编码目标块的像素信号。 
帧内预测缓冲器31具有存储编码目标块的图像信号的目标块像素区域311。 
帧内预测单元32包括预测准备部分321和预测模式导出部分323。 
预测准备部分321通过使用存储在帧内预测缓冲器31中的编码目标块的图像信号来准备每一个帧内预测模式中的预测，并将准备的预测输出到减法单元12和加法单元23。 
预测模式导出部分323包括：SA(T)D计算部分323a、代价导出部分323b和代价比较部分323c。 
SA(T)D计算部分323a通过使用编码目标图像的像素信号和编码目标块的编码图像的像素信号来计算SA(T)D和SA(T)D0。SA(T)D计算部分323a将计算的SA(T)D和SA(T)D0输出到代价导出部分323b。SA(T)D计算部分323a通过使用表达式2和表达式10为每一个帧内预测模式中的每一个块计算SA(T)D和SA(T)D0。 
代价导出部分323b使用从SA(T)D计算部分323a提供的SA(T)D和SA(T)D0来执行表达式1的计算，计算代价值，并且将代价值输出到代价比较部分323c。代价导出部分323b在每一个帧内预测模式中为每一个块计算代价值。 
代价比较部分323c比较由代价导出部分323b在每一个帧内预测模式中计算的代价值。然后，代价比较部分323c将具有最小代价值的预测模式确定为用于编码目标块的最佳帧内预测模式。代价比较部分323c将为每一个编码目标块确定的帧内预测模式通知预测准备部分321和可逆编码单元15。 
4.帧内预测操作 
接下来，将描述将(16×16)个像素的宏块分割成(4×4)个像素的编码目标块并为每一个编码目标块确定亮度分量的帧内预测模式的情况。将在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号用作编码目标块中的像素信号。例如，当编码目标块是(4×4)个像素时，使用在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号。用来准备预测的像素信号并不限于在编码目标块的上端或左端的像素信号。但是，当编码目标块是(8×8)个像素或(16×16)个像素时，可以使用从上端算起的第二条线或第三条线的像素信号。或者，用来准备预测的像素信号可以由在编码目标块的上端或左端的多条线的像素信号产生。 
图3是示出帧内预测操作中的像素信号的位置关系的视图。作为帧内预测操作的目标的(4×4)个像素的编码目标块的上端和左端的像素信号被设置为像素信号a到d、i、j和k。与编码目标块的左侧、左上侧、上侧、右上侧和右侧相邻的块的像素信号被设置为像素信号A到M、e、f、g、h。当没有使用与编码目标块的右侧相邻的块的像素信号执行帧内预测操作时，编码目标块的右上端的像素信号d被用作像素信号e、f、g和h。 
帧内预测单元32的预测准备部分321通过使用编码目标块的像素信号中的在编码目标块的上端的像素信号和在编码目标块的左端的像素信号中的至少一方像素信号来为每一个帧内预测模式准备帧内预测。 
图4A到图4J是示出4×4帧内预测模式并且示出在其中使用编码目标块中的像素信号来准备预测的情况的视图。例如，使用在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号二者来准备预测。 
图4A示出产生的像素信号的位置。例如，在块的左上端的像素中产生像素信号Pred(0，0)，在块的左下端的像素中产生像素信号Pred(0，3)，在块的右上端的像素中产生像素信号Pred(3，0)， 并且在块的右下端的像素中产生像素信号Pred(3，3)。 
模式0 
模式0对应于“垂直预测”。预测准备部分321如图4B和表达式13所示通过使用像素信号a、b、c和d来产生像素信号Pred(0，0)到Pred(3，3)的预测值。表达式13中的像素信号A被设置为编码目标块中的像素信号a。类似地，像素信号B、C和D被设置为编码目标块中的像素信号b、c和d。 
表达式13 
Pred(0，0)，(0，1)，(0，2)，(0，3)：A 
Pred(1，0)，(1，1)，(1，2)，(1，3)：B 
                                       …(13) 
Pred(2，0)，(2，1)，(2，2)，(2，3)：C 
Pred(3，0)，(3，1)，(3，2)，(3，3)：D 
模式1 
模式1对应于“水平预测”。预测准备部分321如图4C和表达式14所示通过使用像素信号a、j、k和l来产生像素信号Pred(0，0)到Pred(3，3)的预测值。表达式14中的像素信号I被设置为编码目标块中的像素信号a。类似地，像素信号J、K和L被设置为编码目标块中的像素信号j、k和l。 
表达式14 
Pred(0，0)，(1，0)，(2，0)，(3，0)：I 
Pred(0，1)，(1，1)，(2，1)，(3，1)：J   
                                      …(14) 
Pred(0，2)，(1，2)，(2，2)，(3，2)：K 
Pred(0，3)，(1，3)，(2，3)，(3，3)：L 
模式2 
模式2对应于“DC预测”。预测准备部分321如图4D和表达式15所示通过使用像素信号a到d和j到l来产生像素信号Pred(0，0) 到Pred(3，3)的预测值。表达式15中的像素信号A被设置为编码目标块中的像素信号a。类似地，像素信号B、C、D、I、J、K和L被设置为编码目标块中的像素信号b、c、d、a、j、k和l。 
表达式15 
(A+B+C+D+I+J+K+L+4)＞＞3…(15) 
模式3 
模式3对应于“对角线左下预测”。预测准备部分321如图4E和表达式16所示通过使用像素信号a到d或a到h来产生像素信号Pred(0，0)到Pred(3，3)的预测值。表达式16中的像素信号A被设置为编码目标块中的像素信号a。类似地，像素信号B、C、D、E、F、G和H设置为编码目标块中的像素信号b、c、d、e、f、g和h。当在不使用与编码目标块的右侧相邻的块的像素信号的情况下执行帧内预测操作时，像素信号E、F、G和H被设置为编码目标块中的像素信号d。 
表达式16 
Pred(0，0)：                        (A+2B+C+2)＞＞2 
Pred(1，0)，(0，1)：                (B+2C+D+2)＞＞2 
Pred(2，0)，(1，1)，(0，2)：        (C+2D+E+2)＞＞2 
Pred(3，0)，(2，1)，(1，2)，(0，3)：(D+2E+F+2)＞＞2    …(16) 
Pred(3，1)，(2，2)，(1，3)：        (E+2F+G+2)＞＞2 
Pred(3，2)，(2，3)：                (F+2G+H+2)＞＞2 
Pred(3，3)：                        (G+3H+2)＞＞2 
模式4 
模式4对应于“对角线右下预测”。预测准备部分321如图4F和表达式17所示通过使用像素信号a到d和j到l来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式17中的像素信号A被设置为编码目标块中的像素信号a。类似地，像素信号B、C、D、I、 J、K、L和M被设置为编码目标块中的像素信号b、c、d、a、j、k、l和a。 
表达式17 
Pred(0，3)：                        (J+2K+L+2)＞＞2 
Pred(0，2)，(1，3)：                (I+2J+K+2)＞＞2 
Pred(0，1)，(1，2)，(2，3)：        (M+2I+J+2)＞＞2 
Pred(0，0)，(1，1)，(2，2)，(3，3)：(A+2M+I+2)＞＞2    …(17) 
Pred(1，0)，(2，1)，(3，2)：        (M+2A+B+2)＞＞2 
Pred(2，0)，(3，1)：                (A+2B+C+2)＞＞2 
Pred(3，0)：                        (B+2C+D+2)＞＞2 
模式5 
模式5对应于“垂直右预测”。预测准备部分321如图4G和表达式18所示通过使用像素信号a到d、j和k来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式18中的像素信号A被设置为编码目标块中的像素信号a。类似地，像素信号B、C、D、I、J、K和M被设置为编码目标块中的像素信号b、c、d、a、j、k和a。 
表达式18 
Pred(0，0)，(1，2)：(M+A+1)＞＞1 
Pred(1，0)，(2，2)：(A+B+1)＞＞1 
Pred(2，0)，(3，2)：(B+C+1)＞＞1 
Pred(3，0)：        (C+D+1)＞＞1 
Pred(0，1)，(1，3)：(I+2M+A+2)＞＞2 
                                     …(18) 
Pred(1，1)，(2，3)：(M+2A+B+2)＞＞2 
Pred(2，1)，(3，3)：(A+2B+C+2)＞＞2 
Pred(3，1)：        (B+2C+D+2)＞＞2 
Pred(0，2)：        (M+2I+J+2)＞＞2 
Pred(0，3)：        (I+2J+K+2)＞＞2 
模式6 
模式6对应于“水平下预测”。预测准备部分321如图4H和表达式19所示通过使用像素信号a到c和j到l来产生像素信号Pred(0，0)到Pred(3，3)的预测值。表达式19中的像素信号A被设置为编码目标块中的像素信号a。类似地，像素信号B、C、I、J、K、L和M被设置为编码目标块中的像素信号b、c、a、j、k、l和a。 
表达式19 
Pred(0，0)，(2，1)：(M+I+1)＞＞1 
Pred(1，0)，(3，1)：(I+2M+A+2)＞＞2 
Pred(2，0)：        (M+2A+B+2)＞＞2 
Pred(3，0)：        (A+2B+C+2)＞＞2 
Pred(0，1)，(2，2)：(I+J+1)＞＞1           …(19) 
Pred(1，1)，(3，2)：(M+2I+J+2)＞＞2 
Pred(0，2)，(2，3)：(J+K+1)＞＞1 
Pred(1，2)，(3，3)：(I+2J+K+2)＞＞2 
Pred(0，3)：        (K+L+1)＞＞1 
Pred(1，3)：        (J+2K+L+2)＞＞2 
模式7 
模式7对应于“垂直左预测”。预测准备部分321如图4I和表达式20所示通过使用像素信号a到d或a到g来产生像素信号Pred(0，0)到Pred(3，3)的预测值。表达式20中的像素信号A被设置为编码目标块中的像素信号a。类似地，像素信号B、C、D、E、F和G被设置为编码目标块中的像素信号b、c、d、e、f和g。当在不使用与编码目标块的右侧相邻的块的像素信号的情况下执行帧内预测操作时，像素信号E、F和G被设置为编码目标块中的像素信号d。 
表达式20 
Pred(0，0)：        (A+B+1)＞＞1 
Pred(1，0)，(0，2)：(B+C+1)＞＞1 
Pred(2，0)，(1，2)：(C+D+1)＞＞1 
Pred(3，0)，(2，2)：(D+E+1)＞＞1 
Pred(3，2)：        (E+F+1)＞＞1              …(20) 
Pred(0，1)：        (A+2B+C+2)＞＞2 
Pred(1，1)，(0，3)：(B+2C+D+2)＞＞2 
Pred(2，1)，(1，3)：(C+2D+E+2)＞＞2 
Pred(3，1)，(2，3)：(D+2E+F+2)＞＞2 
Pred(3，3)：        (E+2F+G+2)＞＞2 
模式8 
模式8对应于“水平上预测”。预测准备部分321如图4J和表达式21所示通过使用像素信号a和j到l来产生像素信号Pred(0，0)到Pred(3，3)的预测值。表达式21中的像素信号I被设置为编码目标块中的像素信号a。类似地，像素信号J、K和L被设置为编码目标块中的像素信号j、k和l。 
表达式21 
Pred(0，0)：                                        (I+J+1)＞＞1 
Pred(1，0)：                                        (I+2J+K+2)＞＞2 
Pred(2，0)，(0，1)：                                (J+K+1)＞＞1 
                                                                    …(21) 
Pred(3，0)，(1，1)：                                (J+2K+L+2)＞＞2 
Pred(2，1)，(3，2)：                                (K+L+1)＞＞1 
Pred(3，1)，(1，2)：                                (K+3L+2)＞＞2 
Pred(2，2)，(3，2)，(0，3)，(1，3)，(2，3)，(3，3)：L 
图5是示出对一个编码目标块的帧内预测操作的流程图。 
在步骤ST1中，帧内预测单元32读取编码目标块的像素信号。帧内预测单元32根据存储在帧内预测缓冲器31中的像素信号输出 (4×4)个像素的编码目标块的像素信号(亮度信号)到SA(T)D计算部分323a，然后处理前进到步骤ST2。 
在步骤ST2中，帧内预测单元32从编码目标块读取预测准备所需的像素信号。帧内预测单元32从帧内预测缓冲器31读取预测准备所需的像素信号(亮度信号)，并将读取的像素信号提供给预测准备部分321。然后，处理前进到步骤ST3。 
在步骤ST3到ST7中，在每一个帧内预测模式中对编码目标块执行处理。在步骤ST4中，帧内预测单元32准备预测，然后处理前进到步骤ST5。 
在步骤ST5中，帧内预测单元32计算SA(T)D。帧内预测单元32的SA(T)D计算部分323a通过使用存储在帧存储器25中的编码图像的图像信号和编码目标图像的像素信号来为编码目标块计算SA(T)D。然后，处理前进到步骤ST6。 
在步骤ST6中，帧内预测单元32计算代价值。帧内预测单元32的代价导出部分323b通过使用在步骤ST5中计算的SA(T)D来计算代价值。 
在每一个帧内预测模式中执行步骤ST4到步骤ST6中的处理。当对于所有的帧内预测模式的代价值都全部被计算时，处理从步骤ST7前进到步骤ST8。 
在步骤ST8中，帧内预测单元32确定最适合的帧内预测模式。帧内预测单元32的代价比较部分323c比较在各帧内预测模式中计算的代价值，并将具有最小代价值的帧内预测模式确定为最适合的帧内预测模式。 
通过对形成宏块的(4×4)个像素的块执行本处理，可以对宏块执行帧内预测操作。当对宏块执行处理时，在对每个(4×4)像素块中的亮度分量执行帧内预测操作时，在图5中示出的处理被执行十六次。在对每个(8×8)像素块中的亮度分量执行帧内预测操作时，在图5中示出的处理被执行四次。在对每个(16×16)像素块中的亮度分量执行帧内预测操作时，在图5中示出的处理被执行一次。此外， 当对色差分量(color difference component)Cb执行帧内预测操作时，在图5中示出的处理被执行四次。当对色差分量Cr执行帧内预测操作时，在图5中示出的处理被执行四次。 
图6A到图6C是示出4×4块中的用于预测准备的像素和编码目标块的像素之间的位置关系的视图。图6A示出这样的情况：其中，使用在编码目标块的上端水平地排列的像素和在编码目标块的左端垂直地排列的像素的像素信号以及与编码目标块的右侧相邻的在编码目标块的上端水平地排列的像素的像素信号来准备预测。图6B示出这样的情况：其中，使用在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号来准备预测。图6C示出在日本未审专利申请公开No.2007-150913中公开的方法中的这样的情况：其中，使用与编码目标块相邻的块的编码目标图像的像素信号来准备预测。 
在图6C中示出的根据现有技术的方法中，需要存储编码目标图像中的在与编码目标块的上侧相邻的块的下端水平地排列的九个像素的像素信号、以及在与编码目标块的左侧相邻的块的右端垂直地排列的像素信号。但是，在图6A或图6B中示出的方法中，不需要存储与编码目标块的上侧或左侧相邻的块的像素信号。因此，可以使用简单的配置确定帧内预测模式。 
图7A到图7C是示出一个宏块中的用于预测准备的像素和编码目标块的像素之间的位置关系的视图。图7A示出这样的情况：其中，使用在编码目标块的上端水平地排列的像素的像素信号、在编码目标块的左端垂直地排列的像素的像素信号、以及在右侧的编码目标块的上端水平地排列的像素的像素信号来准备预测。图7B示出这样的情况：其中，使用在编码目标块的上端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号来准备(4×4)个像素的预测。图7C示出在日本未审专利申请公开No.2007-150913中公开的方法中的这样的情况：其中，使用与编码目标块相邻的块的编码目标图像的像素信号来准备(4×4)个像素的预测。 
在图7C中示出的根据现有技术的方法中，为了执行对一个宏块的最有效的处理，需要存储125个像素(＝25个像素+16个像素×4条线+3个像素×4×3)的编码目标块的像素信号的存储器容量。但是，通过使用图7A或图7B中示出的方法，即使没有存储与编码目标块的上侧或左侧相邻的块的编码目标图像的像素信号，也可以使用简单的配置来确定帧内预测模式。 
图8A到图8C是示出处理时间的视图。在一个宏块中的(4×4)个像素的块的帧内预测中，(4×4)个像素的块的处理顺序在图8A中示出。这里，假定帧内预测为“IPD”，正交变换为“T”、量化为“Q”、逆量化为“iQ”，并且逆正交变换为“iT”。当使用存储在帧存储器25中的编码图像时，执行“IPD”、“T”、“Q”、“iQ”和“iT”，并且需要使用在IPD预测和iT逆正交变换后将其系数相加的像素。当在一个周期中执行“IPD”并且在一个周期中执行“T/Q/iQ/iT”时，与图8B中一样，需要三十个周期，以便在按照图8A中示出的顺序处理形成宏块的十六个块的情况中完成帧内预测操作。但是，当使用已预测的块的像素信号来执行帧内预测操作时，每一个块的处理顺序的依存关系消失。因此，通过并行地进行帧内预测，与图8C中一样，帧内预测操作在两个周期中完成。因此，帧内预测操作快速完成。 
当帧内预测单元32将编码图像的像素信号用作编码目标块中的像素信号时，如图2中的虚线所示，从存储在帧存储器25中的编码图像读出编码目标块的像素信号以产生预测。帧内预测单元32从产生的预测和编码目标块的编码目标图像计算代价值，并确定编码目标块中的适当的帧内预测模式。 
5.帧内预测缓冲器和帧内预测单元的第二配置 
当一旦使用在图2中示出的配置执行帧内预测操作，就使得帧内预测目标块中的图像和与帧内预测目标块相邻的块中的图像之间的相关性高时，即使使用帧内预测目标块中的像素信号，也可以获得与通过使用相邻块的像素信号获得的帧内预测结果相同的帧内预测结 果。例如，当帧内预测目标块的上端的像素信号几乎与相邻块的下端的像素信号相同，并且帧内预测目标块的左端的像素信号几乎与相邻块的右端的像素信号相同时，可以获得与当使用相邻块的像素信号时获得的帧内预测结果相同的帧内预测结果。 
但是，当帧内预测目标块中的图像和相邻块中的图像的相关性低时，相比于使用相邻块的像素信号的情况，可能会降低帧内预测操作的精确度。因此，可以通过使用编码目标块的上端的像素信号或者编码目标块的左端的像素信号，以及编码目标图像的与编码目标块相邻的像素信号来准备预测，从而执行帧内预测操作。 
图9是示出帧内预测缓冲器和帧内预测单元的另一种配置的视图。图9示出这样的情况：其中，使用编码目标块的上端的像素信号或者编码目标块的左端的像素信号、以及与编码目标图像的编码目标块相邻的像素信号来准备预测。 
帧内预测缓冲器31a具有：存储编码目标块的图像信号的目标块像素区域311；以及存储编码目标图像中的与编码目标块相邻的像素信号的相邻原始图像像素区域312。 
帧内预测单元32a包括预测准备部分321a和预测模式导出部分323。 
预测准备部分321a通过使用编码目标块的像素信号和存储在帧内预测缓冲器31a的相邻原始图像像素区域312中的像素信号来为每一个帧内预测模式准备预测。预测准备部分312a将在上端水平地排列的像素的像素信号和在左端垂直地排列的像素的像素信号用作编码目标块的像素信号。预测准备部分321a在由预测模式导出部分323确定的帧内预测模式中准备预测，并且将表示准备预测的像素信号输出到减法单元12。当使用在编码目标块的上端水平地排列的像素信号时，预测准备部分321a通过使用编码目标图像中的在与编码目标块的左侧相邻的块的右端垂直地排列的像素的像素信号来准备预测。当预测准备部分321a使用在编码目标块的左端垂直地排列的像素的像素信号时，预测准备部分321a通过使用编码目标图像中的在与编码 目标块的上侧相邻的块的下端水平地排列的像素的像素信号来准备预测。 
预测模式导出部分323包括：SA(T)D计算部分323a、代价导出部分323b和代价比较部分323c。 
SA(T)D计算部分323a通过使用编码目标图像的像素信号和编码图像的像素信号来为编码目标块计算SA(T)D和SA(T)D0。SA(T)D计算部分323a将计算的SA(T)D和SA(T)D0输出到代价导出部分323b。SA(T)D计算部分323a通过使用表达式2和表达式10来为每一个帧内预测模式中的每一个块计算SA(T)D和SA(T)D0。 
代价导出部分323b使用从SA(T)D计算部分323a提供的SA(T)D和SA(T)D0来计算表达式1，计算代价值，并且将代价值输出到代价比较部分323c。代价导出部分323b在每一个帧内预测模式中为每一个块计算代价值。 
代价比较部分323c比较由代价导出部分323b在每一个帧内预测模式中计算的代价值。然后，代价比较部分323c将具有最小代价值的预测模式确定为最适合的帧内预测模式。代价比较部分323c将为每一个编码目标块确定的帧内预测模式通知预测准备部分321a和可逆编码单元15。 
6.帧内预测操作 
当准备预测时，根据宏块的处理顺序的方向，帧内预测缓冲器31a和帧内预测单元32a选择要在帧内预测操作中使用的像素信号或者设置存储在相邻原始图像像素区域312中的像素信号。例如，当宏块的处理水平地依次执行时，使用编码目标块的上端的像素信号。编码目标图像中的在与编码目标块的左侧相邻的块的右端垂直地排列的像素的像素信号被存储在相邻原始图像像素区域312中。 
图10A和图10B是示出4×4帧内预测模式的视图。图10A和图10B示出这样的情况：其中，在编码目标块的上端水平地排列的像素的像素信号和在与编码目标块的左侧相邻的块的编码目标图像的右 端垂直地排列的像素的像素信号被用作要用来准备预测的像素信号。 
图10A示出产生的像素信号的位置。例如，在块的左上端的像素中产生像素信号Pred(0，0)，在块的左下端的像素中产生像素信号Pred(0，3)，在块的右上端的像素中产生像素信号Pred(3，0)，并且在块的右下端的像素中产生像素信号Pred(3，3)。在模式0到8中的像素信号Pred(0，0)到Pred(3，3)的预测值的表达式与参考图4A到图4J描述的表达式相同。 
模式0 
模式0为“垂直预测”。预测准备部分321a如图10B和表达式13所示通过使用像素信号a、b、c和d来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式13中的像素信号A设置为编码目标块中的像素信号a。类似地，像素信号B、C和D设置为编码目标块中的像素信号b、c和d。 
模式1 
模式1对应于“水平预测”。预测准备部分321a如图10C和表达式14所示通过使用像素信号I、J、K和L来产生像素信号Pred(0，0)到Pred(3，3)的预测值。 
模式2 
模式2为“DC预测”。预测准备部分321a如图10D和表达式15所示通过使用像素信号a到d和I到L来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式15中的像素信号A设置为编码目标块中的像素信号a。类似地，像素信号B、C和D设置为编码目标块中的像素信号b、c和d。 
模式3 
模式3对应于“对角线左下预测”。预测准备部分321如图10E和表达式16所示通过使用像素信号a到d或a到h来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式16中的像素信号A设置为编码目标块中的像素信号a。类似地，像素信号B、C、D、E、F、G和H设置为编码目标块中的像素信号b、c、d、e、f、g和 h。当在不使用与编码目标块的右侧相邻的块的像素信号的情况下执行帧内预测操作时，像素信号E、F、G和H设置为编码目标块中的像素信号d。 
模式4 
模式4对应于“对角线右下预测”。预测准备部分321a如图10F和表达式17所示通过使用像素信号a到d和I到L来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式17中的像素信号A设置为编码目标块中的像素信号a。类似地，像素信号B、C和D设置为编码目标块中的像素信号b、c和d。作为相邻块的像素信号的像素信号I被用作像素信号M。 
模式5 
模式5对应于“垂直右预测”。预测准备部分321a如图10G和表达式18所示通过使用像素信号a到d和I到K来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式18中的像素信号A设置为编码目标块中的像素信号a。类似地，像素信号B、C和D设置为编码目标块中的像素信号b、c和d。作为相邻块的像素信号的像素信号I被用作像素信号M。 
模式6 
模式6对应于“水平下预测”。预测准备部分321a如图10H和表达式19所示通过使用像素信号a到c和I到L来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式19中的像素信号A设置为编码目标块中的像素信号a。类似地，像素信号A、B、C和D设置为编码目标块中的像素信号a、b、c和d。作为相邻块的像素信号的像素信号I被用作像素信号M。 
模式7 
模式7对应于“垂直左预测”。预测准备部分321a如图10I和表达式20所示通过使用像素信号a到d和I或a到h和I来产生像素信号Pred(0，0)到Pred(3，3)的预测值。在表达式20中的像素信号A设置为编码目标块中的像素信号a。类似地，像素信号B、C、D、 E、F和G设置为编码目标块中的像素信号b、c、d、e、f和g。作为相邻块的像素信号的像素信号I被用作像素信号M。当在不使用与编码目标块的右侧相邻的块的像素信号的情况下执行帧内预测操作时，像素信号E、F和G设置为编码目标块中的像素信号d。 
模式8 
模式8对应于“水平上预测”。预测准备部分321a如图10J和表达式21所示通过使用像素信号I到L来产生像素信号Pred(0，0)到Pred(3，3)的预测值。 
以这种方式，由于编码目标图像的像素信号被用作与左侧和右侧中的任意一侧都相邻的块的像素信号，所以，与只使用块中的像素信号来执行帧内预测操作的情况相比，可以减少精确度的下降。 
7.另一种帧内预测操作 
然而，当使用编码目标图像中的编码目标块中的像素和与编码目标块相邻的像素时，与图10A到10J中一样，在编码目标块的像素中的像素相关性高于相邻像素中的像素相关性。当像素相关性高时，SA(T)D变低。例如，在模式0的“垂直预测”中使用编码目标块的像素来准备预测，并且在模式1的“水平预测”中使用相邻像素来准备预测。在这种情况下，由于像素信号相同，所以在上端的一条线中的差变为“0”。模式0的SA(T)D低于模式1的SA(T)D，因此易于选择使用编码目标块的像素的预测模式。 
由于这个原因，通过根据使用编码目标块的像素的预测模式和SA(T)D计算每一个模式的偏移量并将每一个模式的偏移量与SA(T)D相加，来校正SA(T)D。如图10A到10J所示，表1示出了当在编码目标块的上端水平地排列的像素的像素信号被用作相邻块的像素信号时在各帧内预测模式中的SA(T)D的示例性校正表达式。 
表1 
Figure GSA00000082191600261
在表1中，在没有使用块的像素信号的模式2和模式8中，每一个模式的偏移量都设置为“0”。 
当编码目标块的上端的像素信号被用作相邻块的像素信号时，由于在模式0中编码目标块的四条线中的一条线的像素信号与用作相邻块的像素信号的像素信号相同，因此预计偏移量将减少大约(1/4)×SA(T)D。由于使用与相邻块不同的块的像素信号，所以通过加上小于(1/4)的值(例如，(1/8))将模式0的偏移量设置为(3/8)×SA(T)D。在模式3和模式7中，由于也使用相邻块的像素信号，所以SA(T)D的减小量小于模式0中的减小量。因此，该模式的偏移量设置为例如(2/8)×SA(T)D。在模式2、4、5和6中，由于使用与编码目标块的左侧相邻的块的像素信号，所以每一个模式的偏移量设置为(1/8)×SA(T)D。 
图11是示出在其中执行偏移加法运算的帧内预测操作的流程图。根据使用块的像素的预测模式和SA(T)D计算每一个模式的偏移量。通过加上每一个模式的偏移量来校正SA(T)D，然后，使用校正的SA(T)D对编码目标块来执行帧内预测操作。 
在步骤ST11中，帧内预测单元32a读取编码目标块的像素信号。帧内预测单元32a根据存储在帧内预测缓冲器31a中的像素信号输出 (4×4)个像素的编码目标块的像素信号到SA(T)D计算部分323a，然后处理前进到步骤ST12。 
在步骤ST12中，帧内预测单元32a从编码目标块读取预测准备所需的像素信号。帧内预测单元32a从帧存储器25读取预测准备所需的块的像素信号，并将读取的像素信号提供给预测准备部分321a。帧内预测单元32a从帧内预测缓冲器31a的相邻原始图像像素区域312读取预测准备所需的相邻块的像素信号，并将读取的像素信号提供给预测准备部分321a。然后，处理前进到步骤ST13。 
在步骤ST13到ST18中，在每一个帧内预测模式中对编码目标块上执行每一个处理。在步骤ST14中，帧内预测单元32a准备预测，然后处理前进到步骤ST15。 
在步骤ST15中，帧内预测单元32a计算SA(T)D。帧内预测单元32a的SA(T)D计算部分323a通过使用存储在帧存储器25中的编码图像的像素信号和编码目标图像的像素信号来为编码目标块计算SA(T)D。然后，处理前进到步骤ST16。 
在步骤ST16中，帧内预测单元32a执行偏移加法运算。当使用块的像素信号来准备预测时，帧内预测单元32a的代价导出部分323b根据SA(T)D和帧内预测模式计算每一个模式的偏移量。代价导出部分323b加上计算的每一个模式的偏移量，然后处理前进到步骤ST17。 
在步骤ST17中，帧内预测单元32a计算代价值。帧内预测单元32a的代价导出部分323b使用通过在步骤ST16加上每一个模式的偏移量校正的SA(T)D来计算代价值。 
在每一个帧内预测模式中执行步骤ST14到步骤ST17中的处理。当对于所有的帧内预测模式的代价值都被全部计算时，处理从步骤ST18前进到步骤ST19。 
在步骤ST19中，帧内预测单元32a确定最适合的帧内预测模式。帧内预测单元32a的代价比较部分323c比较在各帧内预测模式中计算的代价值，并将具有最小代价值的帧内预测模式确定为最适合的帧内预测模式。 
图像编码设备可以通过对形成宏块的(4×4)个像素的块执行上 述处理来执行宏块的帧内预测操作。当图像编码设备通过使用编码目标块中的像素信号和编码目标图像的像素信号来准备预测时，图像编码设备将每一个模式的偏移量与SA(T)D相加。因此，可以执行这样的帧内预测操作：其中，减少由于使用块的像素信号和编码目标图像的像素信号而导致的影响。 
8.宏块的处理顺序的方向和帧内预测操作 
根据宏块的处理顺序的方向，帧内预测单元32a的预测准备部分321a使用在编码目标块的上端水平地排列的像素的像素信号或在编码目标块的左端垂直地排列的像素的像素信号。 
当宏块的处理顺序是水平的时，就处理顺序而言，正处理的宏块和位于上侧的宏块彼此分开。因此，当宏块被水平地依次处理时，难以共享正处理的宏块的上部的一条线的像素信号。因此，当帧内预测单元32a对宏块中的(4×4)个像素的每一个块顺序地执行帧内预测操作时，帧内预测单元32a使用在位于宏块的上部的每一个块的上部水平地排列的像素的像素信号。例如，如图12所示，在位于宏块的上端的块0、1、4和5的上部中使用水平地排列的像素的像素信号。在块2、3、6、7、8、9、12、13、10、11、14和15中，使用宏块中的与编码目标图像的上侧相邻的块的像素信号。在位于宏块的左端的块0、2、8和10中，使用左相邻块的像素信号(相邻宏块的像素的像素信号)。在块1、3、9、11、4、6、12、14、5、7、13和15中，使用宏块中的编码目标图像的左相邻块的像素信号。以这种方式，使用编码目标图像中的与编码目标块相邻的块的像素信号和编码目标块的像素信号来执行帧内预测操作。 
在图12的情况中，由于使用与宏块的上端部相邻的块的像素信号和编码目标块的像素信号，所以不需要存储编码目标图像中的与宏块的上端部相邻的水平地排列的像素的像素信号。因此，可以通过减少存储的像素信号的量来执行帧内预测操作。此外，通过使用编码目标块的像素信号，与仅仅使用编码目标块的像素信号的帧内预测操作 相比，可以减少精确度的下降。 
当由编码图像产生预测时，与图13中一样，宏块中的每个(4×4)像素块的编码目标图像的像素信号作为左相邻块的图像信号被存储。当使用存储的像素信号和编码目标块的像素信号来执行(4×4)个像素的块的帧内预测操作时，可以并行地执行帧内预测操作。此外，如图8c所示，帧内预测操作可以在两个周期中完成。 
当宏块的处理顺序是垂直的时，使用编码目标图像中的在从与编码目标块的上侧相邻的块起的下端水平地排列的像素的像素信号和在块的左端垂直地排列的像素的像素信号来执行帧内预测操作。图14是示出在MBAFF(宏块适应性帧场)模式中的宏块的地址的视图。MBAFF模式是H.264/AVC的一种特定的编码模式，并且是其中以两个宏块为单位垂直地执行帧内预测操作的模式。在MBAFF模式中，两个宏块垂直地排列并且这两个宏块的处理顺序是垂直的。在这种情况下，使用编码目标图像中的在从与编码目标块的上侧相邻的块起的下端水平地排列的像素的像素信号和在编码目标块的左端垂直地排列的像素的像素信号来执行帧内预测操作。 
编码目标块的像素大小并不限于(4×4)个像素的大小，而且可以是(8×8)个像素的像素大小或(16×16)个像素的像素大小。通过不仅对亮度分量还对色差分量执行上述处理，可以使用简单的配置执行帧内预测操作。 
9.通过软件执行图像编码的情况 
上述一系列处理可以通过硬件、软件及其结合的配置来执行。当通过软件配置来执行处理时，在计算机组装的专用硬件的存储器中安装记录处理顺序的程序。或者，可以在能够执行各种处理的通用计算机中安装和执行该程序。 
图15是示出通过程序执行上述一系列处理的计算机的配置的视图。计算机60的CPU 61根据记录在ROM 62和记录单元68中的计算机程序执行各种处理。 
RAM 63适当地存储在CPU 61中执行的计算机程序或数据。CPU 61、ROM 62和RAM 63通过总线64彼此连接。 
输入/输出接口65通过总线64连接到CPU 61。诸如触摸面板、键盘、鼠标或传声器的输入单元66和诸如显示器的输出单元67被连接到输入/输出接口65。CPU 61根据从输入单元66输入的指令执行各种处理。CPU 61将处理结果输出到输出单元67。 
连接到输入/输出接口65的记录单元68是例如硬盘驱动器，并且记录在CPU 61中执行的计算机程序和各种数据。通信单元69通过诸如因特网或局域网的网络、或者诸如数字广播的有线或无线通信路径实现与外部设备进行通信。计算机60通过通信单元69获取计算机程序，并将计算机程序记录在ROM 62或记录单元68中。 
当安装诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质72时，驱动器70驱动可移动介质以获取临时或永久地记录的计算机程序、数据等。根据需要，获取的计算机程序或数据被传输到ROM 62、RAM 63或记录单元68。 
CPU 61读取执行上述一系列处理的计算机程序并执行该计算机程序，以对记录在记录单元68或可移动介质72上的图像信号或者通过通信单元69提供的图像信号执行编码操作。 
本发明的实施例被解释为局限于本文中的实施例。本发明的实施例公开了本发明的示例性实施例，并且，本领域技术人员可以在不脱离本发明的要点的情况下在本发明的范围内对本发明的实施例进行修改或替换。也就是说，在考虑所附权利要求的情况下确定本发明的要点。 
本申请包含与在2009年4月14日提交到日本专利局的日本在先专利申请JP 2009-097826中公开的主题相关的主题，该专利申请的全部内容以引用的方式并入本文。 
本领域的技术人员应该理解，根据设计要求和其它因素，可以进行各种变形、组合、子组合和替换，只要它们在本发明的范围内即可。 

Claims (9)

1.一种图像编码设备，包括：
预测准备部分，该预测准备部分通过使用在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号和在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号中的至少一方像素信号来为所述编码目标块的多个帧内预测模式的每一个准备预测；以及
预测模式导出部分，该预测模式导出部分通过使用编码目标图像中的编码目标块的图像和由预测准备部分准备的预测来对编码目标块执行帧内预测操作。
2.根据权利要求1所述的图像编码设备，其中，当预测准备部分使用在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号和在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号中的至少一方像素信号时，预测准备部分通过使用所述编码目标块的这些像素信号和编码目标图像中的与编码目标块相邻的像素信号来准备预测。
3.根据权利要求2所述的图像编码设备，
其中，当预测准备部分使用在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号时，预测准备部分通过使用编码目标图像中的在与编码目标块的左侧相邻的块的右端垂直地排列的像素的像素信号来准备预测，并且
当预测准备部分使用在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号时，预测准备部分通过使用编码目标图像中的在与编码目标块的上侧相邻的块的下端水平地排列的像素的像素信号来准备预测。
4.根据权利要求3所述的图像编码设备，其中，根据由一个或多个编码目标块形成的宏块的处理顺序的方向，预测准备部分使用在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号 或在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号。
5.根据权利要求4所述的图像编码设备，
其中，当宏块的处理顺序的方向是水平的时，预测准备部分在对宏块中的编码目标块的帧内预测操作中使用在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号，并且
当宏块的处理顺序的方向是垂直的时，预测准备部分在对宏块中的编码目标块的帧内预测操作中使用在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号。
6.根据权利要求5所述的图像编码设备，
其中，当宏块的处理顺序的方向是水平的时，预测准备部分在对宏块的上端的编码目标块的帧内预测操作中使用在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号，并且
当宏块的处理顺序的方向是垂直的时，预测准备部分在对宏块的左端的编码目标块的帧内预测操作中使用在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号。
7.根据权利要求1所述的图像编码设备，其中，预测模式导出部分通过使用编码目标图像和已编码图像来为编码目标块计算每一个帧内预测模式的编码代价，并将具有最小编码代价的模式设置为所选择的编码目标块的帧内预测模式。
8.根据权利要求7所述的图像编码设备，
其中，当预测准备部分使用在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号和在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号中的一方像素信号时，预测准备部分通过使用这些像素信号和编码目标图像中的与编码目标块相邻的像素信号来准备预测，并且
预测模式导出部分通过根据使用编码目标块的像素的预测模式执行偏移加法运算来计算编码代价。
9.一种图像编码方法，包括下述步骤： 
预测准备部分通过使用编码目标块的像素信号中的在编码目标块的上端水平地排列的所述编码目标块的像素的像素信号和在编码目标块的左端垂直地排列的所述编码目标块的像素的像素信号中的至少一方像素信号来为所述编码目标块的多个帧内预测模式的每一个准备预测；以及
预测模式导出部分通过使用编码目标图像中的编码目标块的图像和由预测准备部分准备的预测来对编码目标块执行帧内预测操作。 
CN2010101584488A 2009-04-14 2010-04-07 图像编码设备和图像编码方法 Expired - Fee Related CN101867814B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-097826 2009-04-14
JP2009097826A JP2010251953A (ja) 2009-04-14 2009-04-14 画像符号化装置と画像符号化方法およびコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
CN101867814A CN101867814A (zh) 2010-10-20
CN101867814B true CN101867814B (zh) 2013-03-27

Family

ID=42934385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101584488A Expired - Fee Related CN101867814B (zh) 2009-04-14 2010-04-07 图像编码设备和图像编码方法

Country Status (3)

Country Link
US (1) US8780994B2 (zh)
JP (1) JP2010251953A (zh)
CN (1) CN101867814B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286663A1 (en) * 2010-05-20 2011-11-24 Wen-Lung Huang Method And Apparatus Of Color Image Rotation For Display And Recording Using JPEG
US8988531B2 (en) * 2010-07-08 2015-03-24 Texas Instruments Incorporated Method and apparatus for sub-picture based raster scanning coding order
ES2637446T3 (es) * 2010-07-14 2017-10-13 Ntt Docomo, Inc. Intra-predicción de baja complejidad para codificación de vídeo
KR101739579B1 (ko) * 2011-01-04 2017-05-24 에스케이 텔레콤주식회사 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
US8560719B2 (en) * 2011-09-14 2013-10-15 Mobitv, Inc. Fragment server directed device fragment caching
CN102364948B (zh) * 2011-10-28 2013-10-16 上海国茂数字技术有限公司 视频编码合并模式双向补偿方法
EP2806635A4 (en) 2012-01-18 2015-12-02 Korea Electronics Telecomm METHOD AND DEVICE FOR ENCODING AND DECODING AN IMAGE
JP6127964B2 (ja) * 2013-12-26 2017-05-17 ソニー株式会社 信号切換装置および信号切換装置の動作制御方法
US9788078B2 (en) * 2014-03-25 2017-10-10 Samsung Electronics Co., Ltd. Enhanced distortion signaling for MMT assets and ISOBMFF with improved MMT QoS descriptor having multiple QoE operating points
JP2020120141A (ja) * 2017-05-26 2020-08-06 シャープ株式会社 動画像符号化装置及び動画像復号装置、フィルタ装置
US12047567B2 (en) * 2021-01-26 2024-07-23 Beijing Dajia Internet Information Technology Co., Ltd. System and method for applying adaptive loop filter in video coding
CN118285095A (zh) * 2021-09-16 2024-07-02 抖音视界有限公司 视频处理方法、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1819657A (zh) * 2005-02-07 2006-08-16 松下电器产业株式会社 图像编码装置和图像编码方法
CN101115207A (zh) * 2007-08-30 2008-01-30 上海交通大学 基于预测点间相关性的帧内预测实现的方法及装置
CN101141649A (zh) * 2007-07-31 2008-03-12 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
CN101217669A (zh) * 2008-01-15 2008-07-09 北京中星微电子有限公司 帧内预测方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4495580B2 (ja) * 2004-12-13 2010-07-07 パナソニック株式会社 面内予測装置および面内予測方法
JP2007110409A (ja) * 2005-10-13 2007-04-26 Seiko Epson Corp 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP2007150913A (ja) 2005-11-29 2007-06-14 Matsushita Electric Ind Co Ltd 画像符号化装置
JP2009060153A (ja) * 2005-12-21 2009-03-19 Panasonic Corp 面内予測モード決定方法及び装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1819657A (zh) * 2005-02-07 2006-08-16 松下电器产业株式会社 图像编码装置和图像编码方法
CN101141649A (zh) * 2007-07-31 2008-03-12 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
CN101115207A (zh) * 2007-08-30 2008-01-30 上海交通大学 基于预测点间相关性的帧内预测实现的方法及装置
CN101217669A (zh) * 2008-01-15 2008-07-09 北京中星微电子有限公司 帧内预测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2007-150913A 2007.06.14

Also Published As

Publication number Publication date
US8780994B2 (en) 2014-07-15
US20100260263A1 (en) 2010-10-14
CN101867814A (zh) 2010-10-20
JP2010251953A (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
CN101867814B (zh) 图像编码设备和图像编码方法
US8582904B2 (en) Method of second order prediction and video encoder and decoder using the same
CN104378637B (zh) 视频信号解码方法
CN101867824A (zh) 图像编码设备、图像编码方法
CN100593955C (zh) 用于以帧间或帧内模式编码视频图像的方法和设备
CN103299637A (zh) 运动图像编码装置、运动图像译码装置、运动图像编码方法以及运动图像译码方法
CN104702950A (zh) 以帧内预测模式解码图像的方法
CN106034235B (zh) 计算编码失真度和编码模式控制的方法及其系统
CN102396230A (zh) 图像处理设备和方法
JP2007329693A (ja) 画像符号化装置、及び画像符号化方法
TW201206203A (en) Image encoding device, image decoding device, image encoding method and image decoding method
CN104471937B (zh) 编码装置及解码装置
JP2011229145A (ja) 符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法、および関連装置
US20090257497A1 (en) Moving image processing system, encoding device, and decoding device
JP5180887B2 (ja) 符号化装置およびその方法
CN101472174A (zh) 视频解码器中用于复原原始图像数据的方法及装置
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
JP4697802B2 (ja) 動画像予測符号化方法および装置
JP2010035025A (ja) 符号化装置およびその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20150407

EXPY Termination of patent right or utility model