CN104822065A - 图像预测解码装置、方法、以及编码/解码系统和方法 - Google Patents

图像预测解码装置、方法、以及编码/解码系统和方法 Download PDF

Info

Publication number
CN104822065A
CN104822065A CN201510224755.4A CN201510224755A CN104822065A CN 104822065 A CN104822065 A CN 104822065A CN 201510224755 A CN201510224755 A CN 201510224755A CN 104822065 A CN104822065 A CN 104822065A
Authority
CN
China
Prior art keywords
zonule
prediction signal
prediction
signal
residual signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510224755.4A
Other languages
English (en)
Other versions
CN104822065B (zh
Inventor
文仲丞
铃木芳典
陈朝庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN104822065A publication Critical patent/CN104822065A/zh
Application granted granted Critical
Publication of CN104822065B publication Critical patent/CN104822065B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本发明提供图像预测解码装置、方法、以及编码/解码系统和方法。图像预测编码装置具有：区域分割单元，其将输入图像分割为多个块；预测信号生成单元，其针对多个块中作为处理对象的对象块所包含的像素信号，生成预测信号；残差信号生成单元，其生成对象块的像素信号与预测信号之间的残差信号；信号编码单元，其对残差信号进行编码，从而生成压缩信号；以及存储单元，其对压缩信号进行复原，存储该复原后的信号作为再现像素信号，预测信号生成单元将对象块再分割为多个小区域，小区域中的至少一个为非正方形，非正方形的小区域的第1边的长度比与该第1边不同的第2边的长度长。

Description

图像预测解码装置、方法、以及编码/解码系统和方法
本申请是申请日为2009年12月25日，申请号为200980147613.5，发明名称为“图像预测编码装置、方法和程序、图像预测解码装置、方法和程序、以及编码/解码系统和方法”的发明专利申请的分案申请。
技术领域
本发明涉及图像预测编码装置、方法和程序、图像预测解码装置、方法和程序、以及编码/解码系统和方法，特别涉及伴有画面内预测的图像预测编码/解码。
背景技术
为了高效地进行静态图像数据和动态图像数据的传送和蓄积，使用压缩编码技术。在动态图像的情况下，广泛使用MPEG1～4或H.261～H.264的方式。
在这些编码方式中，在将作为编码对象的图像分割成多个块之后，进行编码/解码处理。在MPEG4或H.264中，为了进一步提高编码效率，在画面内的预测编码中，使用位于与对象块相同的画面内的邻接的已再现的图像信号(对被压缩的图像数据进行复原后的图像信号)生成预测信号后，对从对象块的图像信号中减去预测信号而得到的残差信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的邻接的已再现的图像信号，进行运动的校正，生成预测信号，对从对象块的图像信号中减去预测信号而得到的残差信号进行编码。
具体而言，在H.264的画面内预测编码中，采用了在规定方向插值与作为编码对象的块邻接的已再现的像素值来生成预测信号的方法。图15是用于说明在H.264中使用的画面内预测方法的示意图。在图15(A)中，块1302是对象块，由与该对象块的边界邻接的像素A～M(邻接像素1301)构成的像素组是邻接区域，是在过去的处理中已再现的图像信号。该情况下，向下方拉伸邻接像素1301中的位于对象块1302正上方的已再现像素A～D来生成预测信号。并且，在图15(B)中，向右拉伸邻接像素1303中的位于对象块1304左侧的已再现像素I～L来生成预测信号。生成预测信号的具体方法例如记载于专利文献1中。这样，对利用图15(A)～图15(I)所示的方法生成的9个预测信号，分别取得与对象块的像素信号之间的差分，将差分值最小的预测方法作为最佳预测方法。这些插值方法能够如图16那样总结。图16的箭头表示拉伸已再现像素的方向，在各方向中记载的编号是各自的识别编号(也称为“预测模式”)。另外，在通过周边的已再现像素的平均来生成预测信号的方法中，如图15(C)所示，赋予识别编号“2”，在图16中示出“DC”。即，图16示出没有拉伸已再现像素的方向识别编号“2”的方法(通过周边的已再现像素的平均来生成预测信号的方法)、以及通过箭头示出拉伸已再现像素的方向的8个方法，示出合计9个方法。
专利文献1：美国专利公报第6765964号
但是，在现有技术的画面内预测信号生成方法中，将正方形的块作为对象，所以，存在针对与已再现像素的某个边界分开较远的像素的预测精度降低的课题。例如，使用图15(A)，考虑影像的信号在垂直方向稍微变化的情况。该情况下，关于对象块1302中位于上方的像素(例如位于邻接像素I的右侧的像素)，即使利用邻接像素A～D近似，误差也很小，但是，关于对象块1302中位于下方的像素(例如位于邻接像素L的右侧的像素)，由于与邻接像素A～D较远，所以，当利用邻接像素A～D近似时，误差较大。其结果，编码量增加，压缩的效率降低。图15(A)以外的预测方法也示出同样的倾向。
发明内容
因此，本发明的目的在于，解决上述课题，提高针对与对象块的边界分开较远的像素的预测精度，提高编码效率。
为了实现上述目的，本发明的图像预测编码装置的特征在于，具有：区域分割单元，其将输入图像分割为多个块；预测信号生成单元，其针对所述多个块中作为处理对象的对象块所包含的像素信号，生成预测信号；残差信号生成单元，其生成所述对象块的像素信号与所述生成的预测信号之间的残差信号；信号编码单元，其对所述残差信号进行编码，从而生成压缩信号；以及存储单元，其对所述压缩信号进行复原，存储复原后的信号作为再现像素信号，所述预测信号生成单元将所述对象块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长。
另外，在上述图像预测编码装置中，优选构成为，所述预测信号生成单元使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号。
并且，在上述图像预测编码装置中，优选构成为，所述非正方形的小区域的所述第1边与已再现的像素相邻，所述第2边不与已再现的像素相邻，所述预测信号生成单元使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号。
并且，在上述图像预测编码装置中，优选构成为，所述信号编码单元对表示所述小区域的预测信号的生成方法的预测信号生成关联信息进行编码，将通过该编码而得到的信号与所述压缩信号一起输出。
为了实现上述目的，本发明的图像预测解码装置的特征在于，具有：输入单元，其其输入包含残差信号和预测信号生成关联信息的压缩图像数据，其中，该残差信号是这样生成的：将图像分割为多个块，进一步将所述块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，对所述小区域所包含的像素信号进行预测编码，该预测信号生成关联信息表示所述预测编码中的所述小区域的预测信号的生成方法；复原单元，其从所述压缩图像数据中提取所述小区域的残差信号，将其复原为再现残差信号；预测信号生成单元，其从所述压缩图像数据中提取所述预测信号生成关联信息，根据所述预测信号生成关联信息生成所述小区域的预测信号；图像复原单元，其将所述小区域的所述预测信号与所述再现残差信号相加，从而复原所述小区域的像素信号；以及存储单元，其存储所述复原后的像素信号作为再现像素信号，所述预测信号生成单元使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号。
另外，在上述图像预测解码装置中，优选构成为，所述非正方形的小区域的所述第1边与已再现的像素相邻，所述第2边不与已再现的像素相邻。
并且，在上述图像预测解码装置中，优选构成为，所述预测信号生成单元由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地根据所述预测信号生成关联信息，生成所述小区域的预测信号。
并且，在上述图像预测解码装置中，优选构成为，所述复原单元由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地进行逆量化和逆频率转换，从而将所述小区域的残差信号复原为所述再现残差信号。
但是，上述图像预测编码装置的发明还能够记载为图像预测编码方法的发明和图像预测编码程序的发明，能够如下所述来记载。
本发明的图像预测编码方法由图像预测编码装置执行，该图像预测编码方法的特征在于，该图像预测编码方法具有以下步骤：区域分割步骤，将输入图像分割为多个块；预测信号生成步骤，针对所述多个块中作为处理对象的对象块所包含的像素信号，生成预测信号；残差信号生成步骤，生成所述对象块的像素信号与所述生成的预测信号之间的残差信号；信号编码步骤，对所述残差信号进行编码，从而生成压缩信号；以及存储步骤，对所述压缩信号进行复原，存储复原后的信号作为再现像素信号，在所述预测信号生成步骤中，将所述对象块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长。
另外，优选在所述预测信号生成步骤中，使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号。
并且，优选所述非正方形的小区域的所述第1边与已再现的像素相邻，所述第2边不与已再现的像素相邻，在所述预测信号生成步骤中，使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号。
并且，优选在所述预测信号生成步骤中，对表示所述小区域的预测信号的生成方法的预测信号生成关联信息进行编码，将通过该编码而得到的信号与所述压缩信号一起输出。
本发明的图像预测编码程序的特征在于，该图像预测编码程序使计算机作为以下单元进行工作：区域分割单元，其将输入图像分割为多个块；预测信号生成单元，其针对所述多个块中作为处理对象的对象块所包含的像素信号，生成预测信号；残差信号生成单元，其生成所述对象块的像素信号与所述生成的预测信号之间的残差信号；信号编码单元，其对所述残差信号进行编码，从而生成压缩信号；以及存储单元，其对所述压缩信号进行复原，存储复原后的信号作为再现像素信号，所述预测信号生成单元将所述对象块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长。
另一方面，上述图像预测解码装置的发明还能够记载为图像预测解码方法的发明和图像预测解码程序的发明，能够如下所述来记载。
本发明的图像预测解码方法由图像预测解码装置执行，该图像预测解码方法的特征在于，该图像预测解码方法具有以下步骤：输入步骤，输入包含残差信号和预测信号生成关联信息的压缩图像数据，其中，该残差信号是这样生成的：将图像分割为多个块，进一步将所述块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，对所述小区域所包含的像素信号进行预测编码，该预测信号生成关联信息表示所述预测编码中的所述小区域的预测信号的生成方法；复原步骤，从所述压缩图像数据中提取所述小区域的残差信号，将其复原为再现残差信号；预测信号生成步骤，从所述压缩图像数据中提取所述预测信号生成关联信息，根据所述预测信号生成关联信息生成所述小区域的预测信号；图像复原步骤，将所述小区域的所述预测信号与所述再现残差信号相加，从而复原所述小区域的像素信号；以及存储步骤，存储所述复原后的像素信号作为再现像素信号，在所述预测信号生成步骤中，使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号。
另外，优选所述非正方形的小区域的所述第1边与已再现的像素相邻，所述第2边不与已再现的像素相邻。
并且，优选在所述预测信号生成步骤中，由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地根据所述预测信号生成关联信息，生成所述小区域的预测信号。
并且，优选在所述复原步骤中，由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地进行逆量化和逆频率转换，从而将所述小区域的残差信号复原为所述再现残差信号。
本发明的图像预测解码程序的特征在于，该图像预测解码程序使计算机作为以下单元进行工作：输入单元，其输入包含残差信号和预测信号生成关联信息的压缩图像数据，其中，该残差信号是这样生成的：将图像分割为多个块，进一步将所述块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，对所述小区域所包含的像素信号进行预测编码，该预测信号生成关联信息表示所述预测编码中的所述小区域的预测信号的生成方法；复原单元，其从所述压缩图像数据中提取所述小区域的残差信号，将其复原为再现残差信号；预测信号生成单元，其从所述压缩图像数据中提取所述预测信号生成关联信息，根据所述预测信号生成关联信息生成所述小区域的预测信号；图像复原单元，其将所述小区域的所述预测信号与所述再现残差信号相加，从而复原所述小区域的像素信号；以及存储单元，其存储所述复原后的像素信号作为再现像素信号，所述预测信号生成单元使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号。
进而，本发明能够作为编码/解码系统和编码/解码方法，如下所述来记载。
本发明的编码/解码系统的特征在于，该编码/解码系统构成为包含上述图像预测编码装置和上述图像预测解码装置。
本发明的编码/解码方法在构成为包含图像预测编码装置和图像预测解码装置的编码/解码系统中执行，其特征在于，该编码/解码方法具有以下步骤：由所述图像预测编码装置执行的上述图像预测编码方法的处理步骤；以及由所述图像预测解码装置执行的上述图像预测解码方法的处理步骤。
根据本发明，不产生与已再现的像素信号分开较远的小区域的像素，对接近已再现的像素信号的小区域的像素进行预测，所以，能够生成精度更高的预测信号，能够较小地抑制小区域的预测残差信号，具有提高压缩编码效率的效果。
换言之，在将对象块分割为小区域时，与已再现的像素相邻的第1边比不与已再现的像素相邻的第2边长，使用与第1边相邻的已再现的像素信号，生成小区域的预测信号，由此，小区域的像素接近已再现的像素信号，所以，具有能够生成误差少的预测信号的效果。
并且，通过表示预测信号的生成方法的预测信号生成关联信息，确定小区域的分割形状、小区域的残差信号的量化方法/频率转换方法，由此，不需要向接收侧发送用于识别小区域的分割形状以及量化方法/频率转换方法的指示信息。在接收侧，利用预测信号生成关联信息来确定小区域的分割形状以及量化方法/频率转换方法，由此，能够利用与发送侧相同的最佳的逆量化/逆频率转换来进行解码/再现处理。其结果，不需要追加预测信号生成关联信息以外的辅助信息，所以，具有能够进一步抑制编码量的效果。
附图说明
图1是示出本实施方式的图像预测编码装置的框图。
图2是示出本实施方式的图像预测编码方法的流程图。
图3是示出小区域的第1分割方法和该小区域的预测信号的生成方法的示意图。
图4是示出小区域的第2分割方法和该小区域的预测信号的生成方法的示意图。
图5是示出存在多个分割形状时的图像预测编码方法的流程图。
图6是示出存在多个分割形状时的小区域的分割方法和该小区域的预测信号的生成方法的示意图。
图7是示出小区域的第3分割方法和该小区域的预测信号的生成方法的示意图。
图8是示出本实施方式的图像预测解码装置的框图。
图9是示出本实施方式的图像预测解码方法的流程图。
图10是示出存在多个分割形状时的图像预测解码方法的流程图。
图11是用于执行在记录介质中记录的程序的计算机的硬件结构图。
图12是图11的计算机的立体图。
图13是示出预测模式与对象块的分割方法之间的对应关系的表。
图14是本实施方式的编码/解码系统的结构图。
图15是示出现有技术中的生成对象块的预测信号的方法的示意图。
图16是将现有技术中的生成对象块的预测信号的多个方法总结成一个时的示意图。
标号说明
1：编码/解码系统；100：图像预测编码装置；101：输入端子；102：块分割器；103：预测信号生成器；104：帧存储器；105：减法器；106：转换器；107：量化器；108：逆量化器；109：逆转换器；110：加法器；111：熵编码器；112：输出端子；800：图像预测解码装置；801：输入端子；802：数据分析器；803：逆量化器；804：逆转换器；805：加法器；806：输出端子；807：帧存储器；808：预测信号生成器；10：记录介质；12：读取装置；14：作业用存储器；16：存储器；18：显示器；20：鼠标；22：键盘；24：通信装置；30：计算机；40：计算机数据信号。
具体实施方式
下面，使用图1～图14对本发明的实施方式进行说明。
[关于图像预测编码装置]
图1示出本实施方式的图像预测编码装置100的框图。如图1所示，图像预测编码装置100具有：输入端子101、块分割器102、预测信号生成器103、帧存储器104、减法器105、转换器106、量化器107、逆量化器108、逆转换器109、加法器110、熵编码器111以及输出端子112。
如上所述构成的图像预测编码装置100的动作如下所述。由多张图像构成的动态图像的信号被输入到输入端子101。利用块分割器102将作为编码对象的图像分割为多个区域。在本实施方式中，分割为由8×8的像素构成的块，但是，也可以分割为除此之外的块的大小或形状。接着，针对作为编码处理对象的区域(以下称为“对象块”)，生成预测信号。在本实施方式中，使用2种预测方法。即，“画面间预测”和“画面内预测”。
其中，在画面间预测中，将过去编码后并复原的再现图像作为参照图像，根据该参照图像，求出赋予相对于对象块的误差最小的预测信号的运动信息。该处理被称为运动检测。并且，根据情况，也可以对对象块进行再分割，针对再分割后的小区域来确定画面间预测方法。该情况下，从各种分割方法中，确定针对对象块整体效率最高的分割方法和各个运动信息。在本发明的实施方式中，利用预测信号生成器103进行，对象块经由线L102输入到预测信号生成器103，参照图像经由L104输入到预测信号生成器103。作为参照图像，使用过去编码并复原的多个图像作为参照图像。详细地讲，与现有技术即MPEG-2、MPEG-4、H.264的任意方法相同。这样确定的运动信息和小区域的分割方法经由线L112发送到熵编码器111，进行编码后从输出端子112送出。在预测信号生成器103中，根据小区域的分割方法以及与各个小区域对应的运动信息，从帧存储器104取得参照图像信号，生成预测信号。这样生成的画面间预测信号经由线L103发送到减法器105。
另一方面，在画面内预测中，使用在空间上与对象块邻接的已再现的像素值，生成画面内预测信号。具体而言，在预测信号生成器103中，从帧存储器104取得位于相同画面内的已再现的像素信号，利用规定方法确定生成预测信号的画面内预测方法，根据该预测方法生成画面内预测信号。另一方面，与预测方法有关的信息经由线L112发送到熵编码器111，进行编码后从输出端子112送出。这样生成的画面内预测信号被发送到减法器105。预测信号生成器103中的画面内的预测信号生成的详细情况在后面说明。
针对如上所述求出的画面间预测信号和画面内预测信号，选择误差最小的预测信号，发送到减法器105。但是，关于第一张图像，由于没有过去的图像，所以，利用画面内预测对全部对象块进行处理。另外，下述的画面内预测信号生成方法也能够应用于照片等的静态图像的编码/解码。
利用减法器105从对象块的信号(经由线L102)中减去预测信号(经由线L103)，生成残差信号。利用转换器106对该残差信号进行离散余弦转换，利用量化器107对该各系数进行量化。最后，利用熵编码器111对量化后的转换系数进行编码，和与预测方法有关的信息一起从输出端子112输出。
为了进行后续的针对对象块的画面内预测或画面间预测，对压缩后的对象块的信号进行逆处理而将其复原。即，利用逆量化器108对量化后的转换系数进行逆量化后，利用逆转换器109进行逆离散余弦转换来复原残差信号。利用加法器110将复原后的残差信号与从线L103发送的预测信号相加，再现对象块的信号，将其存储在帧存储器104中。在本实施方式中，使用了转换器106和逆转换器109，但是，也可以使用代替这些转换器的其他转换处理。根据情况，也可以不使用转换器106和逆转换器109。
[关于图像预测编码方法]
图2示出本实施方式的图像预测编码方法的流程图。特别地，示出用于生成如上所述进行块分割后的图像的各块的画面内预测信号的处理。图1中的预测信号生成器103利用与下述相同的方法来生成画面预测信号。
在图2的步骤202中，块分割器102将具有N×N个像素的对象块再分割为多个小区域。在本实施方式中，N＝8，但是，也可以是N＝16或其他的整数。小区域的特征在于，取非正方形的形状。在本实施方式中，分割为M个(这里，作为一例为4个)由N(水平)×N/4(垂直)个像素构成的长方形、或M个(这里，作为一例为4个)由N/4(水平)×N(垂直)个像素构成的长方形。在图3(A)和图3(C)中分别示出该分割方法。在图3(A)中，一个分量表示一个像素。各个由虚线包围的像素组302～305是对象块的像素，附加了阴影的像素组301是与对象块邻接的已再现的像素组。该已再现的像素组的像素信号在过去的处理中进行编码后被复原，被存储在帧存储器104中。在图3(A)中，对象块被分割为由8(水平)×2(垂直)个像素构成的横长的4个小区域302～305。在图3(C)中，对象块被分割为由2(水平)×8(垂直)个像素构成的纵长的4个小区域307～310。作为其他分割方法，例如，也可以分割为N×N/2的横长的2个小区域或N/2×N的纵长的2个小区域。
接着，将用于识别处理对象的小区域的计数器k初始设定为0(步骤203)。
然后，针对各小区域进行下述步骤204～209的处理。首先，预测信号生成器103针对图3(A)的小区域302(第k＝0个的小区域)生成多个候选预测信号(步骤204)。在本实施方式中，对与对象小区域邻接的已再现的像素进行插值，由此生成预测信号。具体而言，使用已再现的像素组301中的与小区域302的上方和左侧相邻的已再现像素。作为预测方法，有图3(B)所示的对已再现的像素的平均值(DC)进行插值的方法、以及沿着记为0～8的方向拉伸已再现像素并进行插值的方法的合计9个方法。具体的计算方法与所述图15的方法相同，但是，仅生成8×2个值。在接着的步骤205中，预测信号生成器103从利用上述9个方法得到的9个候选预测信号中，确定相对于小区域302的误差最小的候选预测信号作为预测信号，确定生成该确定的预测信号的方法作为预测模式(以下称为“预测信号生成关联信息”)。在接着的步骤206中，减法器105求出小区域302的像素信号与该小区域302的预测信号之间的差分，通过转换器106对所得到的残差信号进行频率转换，通过量化器107进行量化。通过熵编码器111，利用可变长度编码或算术编码对量化后的信号进行熵编码。然后，在接着的步骤207中，从输出端子112输出进行熵编码后的残差信号和在步骤205中得到的预测信号生成关联信息。
这样编码后的小区域302的信号用于接着处理的小区域303的预测。因此，通过逆量化器108对小区域302的残差信号进行逆量化，通过逆转换器109进行频率逆转换后，通过加法器110与上述求出的预测信号相加，生成为小区域302的再现信号(步骤208)。然后，为了生成后续的小区域303的预测信号，将小区域302的再现信号暂时存储在帧存储器104中(步骤209)。然后，将计数器k加1(步骤210)。
针对下一个小区域303(即第k＝1个的小区域)进行上述步骤204～210的处理。关于此时使用的已再现的像素，使用在图3(A)中位于小区域303正上方的小区域302的已再现像素、以及属于像素组301的像素中的位于小区域303正左侧的像素。关于预测信号的生成方法，同样从图3(B)的9个模式中确定最佳的方法。以后，针对第k＝2、3个的小区域依次进行步骤204～210的处理(即，成为k＝4时与M相等，在步骤211中判定为不是k<M之前进行)。
然后，针对各个对象块执行上述步骤202～211的处理，在步骤212中判定为全部对象块处理完成时，结束图2的处理。
另一方面，图3(C)所示的纵长的小区域的情况也同样，最初对小区域307进行预测编码。此时，在生成预测信号时，使用已再现的像素组306中的与小区域307的左侧和上方相邻的已再现像素。然后，按照小区域308、309、310的顺序进行预测编码，在各个情况下，使用小区域307、308、309的已再现的像素来生成预测信号。
在本发明中，以使小区域成为接近已再现像素的细长形状的方式，进行小区域的分割，所以，所生成的预测信号与作为编码对象的像素信号之间的相关度高，能够较小地抑制预测信号与对象信号之间的差分，能够削减编码量。
图4示出本发明的实施方式的小区域分割方法和该小区域的预测信号的第2生成方法。图4中的小区域分割方法与图3相同，但是，根据各分割方法限定了生成预测信号的方法。在图4(A)中，对象块被分割为横长的小区域402～405。如图4(B)所示，利用沿着从位于小区域上方的已再现的像素信号朝向下方的方向进行插值的方法，生成针对小区域402～405的预测信号。除此之外，也可以使用位于小区域上方的像素的平均值(在图4(B)中表记为“DC(Ver)”)。另一方面，如图4(C)所示，在纵长的分割形状中，如图4(D)所示，利用沿着从位于小区域左方的已再现的像素信号朝向右方的方向进行插值的方法，生成针对小区域407～410的预测信号。除此之外，也可以使用位于小区域左方的像素的平均值(在图4(D)中表记为“DC(Hor)”)。即，在横方向进行分割的情况下在垂直方向插值像素，在纵方向进行分割的情况下在水平方向插值像素。换言之，使用与小区域的长边边界相邻的已再现的像素来生成预测信号。
以这种形式进行小区域分割并生成预测信号，由此，对象小区域始终接近已再现的像素，所以，针对对象小区域的信号，生成相关度高的预测信号。因此，能够较小地抑制差分，具有能够削减编码量的效果。
[作为小区域的形状，切换多个形状来进行编码的例子]
所述图2、图3、图4示出小区域的形状在图像整体中始终为相同形状时的实施方式。但是，小区域的形状在图像整体中不是必须始终为相同形状。下面，说明作为小区域的形状、根据信号性质切换多个形状进行编码的实施方式。图5示出存在多个分割形状时的图像预测编码方法的流程图。
首先，在图5的步骤502中，将用于识别分割方法的计数器p初始设定为0。在接着的步骤503中，按照第p个小区域分割方法(最初为第0个小区域分割方法)，将具有N×N个像素的对象块再分割为多个小区域。在本实施方式中，使用Q种(这里，作为一例为3种)分割方法。图6示出这3种分割方法和在各个分割方法中使用的预测信号生成方法。图6(A)示出对应于p＝0、将对象块分割为4个正方形的小区域602～605的方法。图6(C)示出对应于p＝1、将对象块分割为4个横长的小区域607～610的方法。图6(E)示出对应于p＝2、将对象块分割为4个纵长的小区域612～615的方法。另外，代替图6(C)、(E)的方法，也可以将对象块分割为2个横长的小区域，或者也可以将对象块分割为2个纵长的小区域。在本实施方式中，针对图6(A)的分割方法，利用图6(B)所示的预测方法(DC模式、模式3、4)生成预测信号。针对图6(C)的分割方法，利用图6(D)所示的预测方法(模式0、5、7)生成预测信号。针对图6(E)的分割方法，利用图6(F)所示的预测方法(模式1、6、8)生成预测信号。
在接着的步骤504中，使用对第p个(p＝0)小区域分割方法分配的预测方法(插值方法)，生成各小区域602～605的预测信号。p＝0时的插值方法是图6(B)所示的DC模式、模式3、4。在本实施方式中，针对全部小区域使用共同的方法，所以，在第1模式(DC模式)下生成针对4个小区域的第1预测信号，在第2模式(模式3)下生成针对4个小区域的第2预测信号，在第3模式(模式4)下生成针对4个小区域的第3预测信号。针对这样生成的3个预测信号，分别求出与对象块的像素信号之间的差分。确定赋予所求出的3个差分中最小的差分的预测方法(插值方法)，将该预测方法时的差分的绝对值和(即，针对4个小区域的差分的绝对值之和)作为误差量(SAD)。另外，需要使用之前的小区域的再现信号依次生成各小区域的预测信号，但是，在该步骤504中，利用简单的方法来近似小区域的再现信号。即，针对小区域与其预测信号之间的差分进行量化后进行逆量化，在包含量化误差的残差信号中加上预测信号，由此，近似为小区域的再现信号。使用这样近似的再现信号，生成后续的小区域的预测信号。
在接着的步骤505中，对误差量SAD与基于其他分割方法的误差量进行比较，在误差量SAD更小的情况下，更新SAD的最小值和最佳的预测方法(步骤506)。
以后，上述步骤503～506的处理反复进行分割方法的种类数即Q次。即，在进行了p＝0、1、2时的处理后，确定最佳的预测信号生成方法(步骤507、508)。
根据如上所述确定的最佳的预测信号生成方法，将对象块再分割为彼此相邻的M个(在本实施方式中M＝4)非正方形的小区域(步骤509)。
接着，将用于识别处理对象的小区域的计数器k初始设定为0(步骤510)。
然后，针对各小区域进行下述步骤511～514的处理。首先，在步骤511中，预测信号生成器103针对分割后的小区域中的第k个小区域(对象小区域)，根据最佳的预测信号生成方法生成预测信号。接着，减法器105求出对象小区域的像素信号与对象小区域的预测信号之间的差分，通过转换器106以及量化器107，如下所述针对所得到的残差信号实施基于对象小区域的分割形状的频率转换和量化，然后，通过熵编码器111进行熵编码。即，作为基于对象小区域的分割形状的频率转换，例如，在将对象小区域分割为4×4的情况下进行4×4的频率转换，在将对象小区域分割为8×2的情况下进行8×2的频率转换，在将对象小区域分割为2×8的情况下进行2×8的频率转换。另一方面，关于量化，通过沿着分割形状的倾斜的权重系数来进行量化。
在接着的步骤512中，从输出端子112输出进行编码而得到的残差信号和表示最佳预测方法的预测信号生成关联信息。
如上所述编码后的对象小区域的信号用于后续的小区域的预测。因此，通过逆量化器108对对象小区域的残差信号进行逆量化，通过逆转换器109进行频率逆转换后，通过加法器110与上述求出的预测信号相加，生成为对象小区域的再现信号(步骤513)。然后，为了生成后续的小区域的预测信号，将对象小区域的再现信号暂时存储在帧存储器104中(步骤514)。然后，将计数器k加1(步骤515)。
针对下一个对象小区域(即第k＝1个的小区域)进行上述步骤511～515的处理。以后，针对第k＝2、3个的小区域依次进行步骤511～515的处理(即，成为k＝4时与M相等，在步骤516中判定为不是k<M之前进行)。
然后，针对各个对象块执行上述步骤502～516的处理，在步骤517中判定为全部对象块处理完成时，结束图5的处理。
另外，在本实施方式中，请注意，虽然与通过编码而得到的残差信号一起输出预测信号生成关联信息作为控制信息，但是，不输出与对象块的分割方法或形状有关的信息、以及用于指定频率转换方法或量化方法的信息。这是因为，根据预测信号生成关联信息确定对象块的分割方法，因此，能够自动确定频率转换方法或量化方法。例如，根据图6(C)、(D)，在预测模式为0、5、7中的任意一方的情况下，能够判断为对象块中的小区域为横长的小区域，与此相伴，还确定针对横长的小区域的频率转换方法或量化方法。因此，不需要发送预测信号生成关联信息以外的追加的指示信息。
并且，在本实施方式中，能够使用与图像信号对应的最佳的分割方法和预测信号生成方法，所以，能够进一步提高编码效率。例如，针对振幅不太变化的平坦信号，也可以以使小区域为正方形的方式对对象块进行分割，通过周围的已再现像素的平均值来进行预测。并且，在信号在垂直方向变化的情况下，如图6(C)所示将对象块分割为横长的小区域，沿着垂直方向插值周围的已再现的像素，在信号在水平方向变化的情况下，如图6(E)所示将对象块分割为纵长的小区域，在水平方向上插值周围的已再现的像素。由此，对象小区域的像素始终接近已再现的像素，所以，针对对象小区域的信号，能够生成相关度高的预测信号。因此，能够较小地抑制差分，具有能够削减编码量的效果。
另外，除了长方形以外，还能够采用图7所示的块的分割方法。图7的像素组701是已再现的像素，但是，以使小区域成为沿着像素组701的形状(逆L字)的方式，将对象块分割为小区域。这样，在小区域702中，不与已再现像素相邻的边702a、702b的长度仅为一个像素，非常短，另一方面，能够延长与已再现像素相邻的边。该情况下，使用已再现像素，生成与该已再现像素相邻的像素的预测值，所以，能够生成相关非常高的信号。同样，在小区域703中，也能够根据小区域702的再现信号，生成与已再现像素之间的相关度高的预测信号。另外，在图7的例子中，存在正方形的小区域705，正方形的小区域和非正方形的小区域混合存在。
[关于图像预测解码装置]
接着，说明本实施方式的图像预测解码装置和方法。图8示出本实施方式的图像预测解码装置800的框图。如图8所示，图像预测解码装置800具有：输入端子801、数据分析器802、逆量化器803、逆转换器804、加法器805、预测信号生成器808、帧存储器807以及输出端子806。其中，数据分析器802、逆量化器803和逆转换器804对应于专利文献范围所记载的解码单元，但是，作为解码单元，也可以使用上述部件以外的部件，还可以没有逆转换器804。
下面，说明如上所述构成的图像预测解码装置的动作。从输入端子801输入在图像预测编码装置中利用上述方法压缩编码后的压缩数据。在该压缩数据中包含有对将图像分割为多个块而得到的对象块进行预测编码而得到的残差信号、以及与预测信号的生成相关联的信息。其中，作为与预测信号的生成相关联的信息，包含有图16所示的通过周边的已再现像素的平均值来生成预测信号的方法即DC模式、在规定方向上拉伸已再现像素并对像素进行插值来生成预测信号的方法即模式0、1、3、4、5、6、7、8的合计9个模式中的任意一个模式的信息。
数据分析器802从所输入的压缩数据中，提取量化后的转换系数(对对象块的残差信号进行量化而得到的转换系数)、与预测信号的生成相关联的信息以及量化参数。量化后的转换系数和量化参数经由线L802输出到逆量化器803，逆量化器803根据量化参数，对上述量化后的转换系数进行逆量化，逆转换器804对其结果进行逆离散余弦转换。这样复原后的残差信号经由线L804发送到加法器805。针对对象块所包含的每个小区域进行上述处理，但是，详细情况在后面叙述。
另一方面，与预测信号的生成相关联的信息经由线L802b发送到预测信号生成器808。预测信号生成器808利用后述的方法，根据与预测信号的生成相关联的信息，从帧存储器807中取得参照信号，生成预测信号。该预测信号经由线L808发送到加法器805，加法器805将预测信号与上述复原的残差信号相加，从而再现对象块信号，经由线L805将再现后的对象块信号输出到外部，并且，存储在帧存储器807中。
[关于图像预测解码方法]
接着，使用图9对基于本实施方式的图像预测解码方法的处理进行说明。在图9的步骤902中，输入压缩后的数据，在接着的步骤903中，数据分析器802针对压缩数据进行熵解码，提取量化后的转换系数(对对象块的残差信号进行量化而得到的转换系数)、量化参数、以及预测信号生成关联信息。这里，利用完全相同的方法对作为解码对象的对象块进行分割，如图3(A)、图3(C)、图7中的任意一个图所示，将对象块分割为彼此相邻的多个小区域。小区域呈多与已再现像素相邻的细长的形状。以这些小区域单位依次进行以下的解码/再现处理(步骤904～908)。在图9中省略记载，但是，为了以小区域单位依次进行解码/再现处理(步骤904～908)，针对处理对象的小区域分别确定处理的顺序，将当前的处理对象的小区域作为第k个，依次对该计数器k进行向上计数。
在步骤904中，预测信号生成器808根据预测信号生成关联信息，针对当前的处理对象的小区域(第k个小区域、称为“对象小区域”)生成预测信号。具体而言，采用如下的方法：使用与对象小区域邻接的已再现像素，通过该已再现像素的平均值来生成预测信号的方法；或者，在规定方向上拉伸已再现像素并进行插值来生成预测信号的方法。换言之，通过利用预测信号生成关联信息从所述图3(B)或图3(D)所示的9个模式中确定的方法，生成预测信号。并且，也可以主要使用与小区域的长边相邻的已再现像素来生成预测信号。该情况下，如图4(A)所示，在横方向上对对象块进行分割的情况下，如图4(B)所示在垂直方向或与其接近的方向上插值像素，另一方面，如图4(C)所示，在纵方向上对对象块进行分割的情况下，如图4(D)所示在水平方向或与其接近的方向上插值像素。
在接着的步骤905中，将对象小区域(第k个小区域)的量化后的转换系数和量化参数输出到逆量化器803，逆量化器803根据量化参数，对上述量化后的转换系数进行逆量化，在接着的步骤906中，逆转换器804针对上述逆量化的结果，进行基于对象小区域(第k个小区域)的形状的逆离散余弦转换，由此，生成再现(复原)后的残差信号。再现后的残差信号经由线L804发送到加法器805。
在接着的步骤907中，加法器805将对象小区域(第k个小区域)的预测信号与再现后的残差信号相加，由此，生成再现像素信号。然后，为了再现下一个小区域的像素信号，将该再现像素信号暂时存储在帧存储器中(步骤908)。
针对对象块的全部小区域，依次执行上述步骤904～908的解码/再现处理。针对对象块的全部小区域，步骤904～908的解码/再现处理完成时，在步骤909中判定为肯定，在步骤910中，判定针对全部对象块的处理是否完成。如果针对全部对象块的处理没有完成，则返回步骤903，针对处理未完成的对象块执行处理。然后，针对全部对象块的处理完成时，在步骤910中判定为肯定，结束图9的处理。
这里，在作为解码对象的小区域与完成解码/再现处理的相邻块相邻的情况下，优选使用该相邻块的已再现像素生成预测信号，在作为解码对象的小区域与相同块内的完成解码/再现处理的其他小区域相邻的情况下，优选使用该其他小区域的已再现像素生成预测信号。在任意情况下，所生成的预测信号用于再现位于已再现像素附近的对象像素，所以，与现有技术相比，该预测信号的近似精度提高，具有能够提高压缩编码效率的效果。
[存在多个分割形状时的图像预测解码方法]
图10示出基于存在多个分割形状时的图像预测解码方法的处理。即，不是利用完全相同的方法对作为解码对象的块进行分割，而是利用图6(A)、(C)、(E)中的任意一个方法进行分割。并且，请注意，根据分割方法的不同，分别如图6(B)、(D)、(F)那样确定预测信号的生成方法。
在图10的步骤1002中，输入压缩后的数据，在接着的步骤1003中，数据分析器802针对压缩数据进行熵解码，提取量化后的转换系数(对对象块的残差信号进行量化而得到的转换系数)、量化参数、以及预测信号生成关联信息。
以所述小区域单位依次进行以下的解码/再现处理(步骤1004～1008)。在图10中省略记载，但是，为了以小区域单位依次进行解码/再现处理(步骤1004～1008)，针对处理对象的小区域分别确定处理的顺序，将当前的处理对象的小区域作为第k个，依次对该计数器k进行向上计数。
在步骤1004中，预测信号生成器808根据预测信号生成关联信息，确定对象块的分割方法。通过确定对象块的分割方法，由此，确定小区域的形状，确定所生成的预测信号的形状。这里，如图13所示，根据预测信号生成关联信息，在预测模式为2(DC模式)、3、4中的任一方的情况下，确定如图6(A)那样对块进行分割，在预测模式为0、5、7中的任一方的情况下，确定如图6(C)那样对块进行分割，在预测模式为1、6、8中的任一方的情况下，确定如图6(E)那样对块进行分割。然后，预测信号生成器808按照所确定的预测模式，根据当前的处理对象的小区域(第k个小区域、称为“对象小区域”)的形状，生成该对象小区域的预测信号。
在接着的步骤1005中，将对象小区域(第k个小区域)的量化后的转换系数和量化参数输出到逆量化器803，逆量化器803根据量化参数，对上述量化后的转换系数进行逆量化，在接着的步骤1006中，逆转换器804针对上述逆量化的结果，进行基于对象小区域(第k个小区域)的形状的逆离散余弦转换，由此，生成再现(复原)后的残差信号。再现后的残差信号经由线L804发送到加法器805。这里，根据小区域的形状来选择逆量化的权重系数，通过所选择的权重系数进行逆量化。并且，关于从频率区域到像素区域的逆转换(逆离散余弦转换)，在将对象块分割为4×4后的小区域的情况下进行4×4的逆转换，在将对象块分割为8×2后的小区域的情况下进行8×2的逆转换，在将对象块分割为2×8后的小区域的情况下进行2×8的逆转换。在任意情况下，不需要追加的指示信息，而根据预测信号生成关联信息唯一地确定逆转换的方法。
在接着的步骤1007中，加法器805将对象小区域(第k个小区域)的预测信号与再现后的残差信号相加，由此，生成再现像素信号。然后，为了再现下一个小区域的像素信号，将该再现像素信号暂时存储在帧存储器中(步骤1008)。
针对对象块的全部小区域，依次执行上述步骤1004～1008的解码/再现处理。针对对象块的全部小区域，步骤1004～1008的解码/再现处理完成时，在步骤1009中判定为肯定，在步骤1010中，判定针对全部对象块的处理是否完成。如果针对全部对象块的处理没有完成，则返回步骤1003，针对处理未完成的对象块执行处理。然后，针对全部对象块的处理完成时，在步骤1010中判定为肯定，结束图10的处理。
如上所述，使用与图像信号对应的多个分割方法和预测信号生成方法，由此，具有能够提高编码效率的效果。并且，切换使用多个分割方法、多个逆量化的方法、多个逆转换的方法，但是，不需要追加的指示信息，而使用预测信号生成关联信息唯一地确定分割方法、逆量化的方法、逆转换的方法，所以，具有能够较低地抑制整体编码量的效果。
[关于图像预测编码程序、图像预测解码程序]
图像预测编码装置的发明能够记载为用于使计算机作为图像预测编码装置发挥功能的图像预测编码程序的发明。并且，图像预测解码装置的发明能够记载为用于使计算机作为图像预测解码装置发挥功能的图像预测解码程序的发明。上述图像预测编码程序和图像预测解码程序能够存储在记录介质中来提供。作为这里的记录介质，可以列举软盘、CD-ROM、DVD或ROM等记录介质、或者半导体存储器等。
图11是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图，图12是用于执行存储在记录介质中的程序的计算机的立体图。作为这里的计算机，还包括具有CPU并进行基于软件的信息处理和控制的DVD播放器、机顶盒、便携电话等。
如图11所示，计算机30具有：软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等的读取装置12；使操作系统常驻的作业用存储器(RAM)14；存储在记录介质10中存储的程序的存储器16；显示器18；作为输入装置的鼠标20和键盘22；用于进行数据等的收发的通信装置24；以及对程序的执行进行控制的CPU 26。在将记录介质10插入读取装置12中时，计算机30能够从读取装置12访问在记录介质10中存储的图像预测编码程序和图像预测解码程序，通过该图像预测编码程序和图像预测解码程序，计算机30能够作为本实施方式的图像预测编码装置和图像预测解码装置来动作。
如图12所示，图像预测编码程序和图像预测解码程序也可以作为叠加在载波中的计算机数据信号40而经由网络提供。该情况下，计算机30将通过通信装置24接收到的图像预测编码程序和图像预测解码程序存储在存储器16中，从而能够执行该图像预测编码程序和图像预测解码程序。
另外，本发明能够记载为包括上述图像预测编码装置100(图1)和上述图像预测解码装置800(图8)的编码/解码系统的发明。如图14所示，编码/解码系统1构成为包括图像预测编码装置100和图像预测解码装置800。但是，图像预测编码装置100和图像预测解码装置800能够通过任意的通信单元连接，从图像预测编码装置100向图像预测解码装置800传送比特流。
并且，本发明能够记载为在编码/解码系统中执行的编码/解码方法的发明。例如，编码/解码方法具有以下步骤：由图像预测编码装置100执行的所述图2的图像预测编码方法的处理步骤；以及由图像预测解码装置800执行的所述图9的图像预测解码方法的处理步骤。并且，作为存在多个分割形状时的方式，编码/解码方法具有以下步骤：由图像预测编码装置100执行的所述图5的图像预测编码方法的处理步骤；以及由图像预测解码装置800执行的所述图10的图像预测解码方法的处理步骤。
根据以上说明的实施方式，在利用现有技术中使用的插值的方法生成了画面内预测信号的情况下，防止了针对与对象块的边界分开较远的像素的预测精度的降低，能够高效地预测具有复杂图案的图像信号。

Claims (6)

1.一种图像预测解码装置，其的特征在于具有：
输入单元，其输入包含残差信号和预测信号生成关联信息的压缩图像数据，其中，该残差信号是这样生成的：将图像分割为多个块，进一步将所述块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，对所述小区域所包含的像素信号进行预测编码，该预测信号生成关联信息表示所述预测编码中的所述小区域的预测信号的生成方法；
复原单元，其从所述压缩图像数据中提取所述小区域的残差信号，将其复原为再现残差信号；
预测信号生成单元，其从所述压缩图像数据中提取所述预测信号生成关联信息，根据所述预测信号生成关联信息生成所述小区域的预测信号；
图像复原单元，其将所述小区域的所述预测信号与所述再现残差信号相加，从而复原所述小区域的像素信号；以及
存储单元，其存储所述复原后的像素信号作为再现像素信号，
所述预测信号生成单元确定由所述预测信号生成关联信息表示的分割方法，从预先对所确定的分割方法分配的1个以上的预测信号生成方法中确定由所述预测信号生成关联信息表示的一个预测信号生成方法，根据所确定的预测信号生成方法，使用与所述小区域的所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号，
所述复原单元由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地进行逆量化和逆频率转换，从而将所述小区域的残差信号复原为所述再现残差信号。
2.根据权利要求1所述的图像预测解码装置，其特征在于，
所述非正方形的小区域的所述第1边与已再现的像素相邻，所述第2边不与已再现的像素相邻。
3.一种由图像预测解码装置执行的图像预测解码方法，其特征在于具有以下步骤：
输入步骤，输入包含残差信号和预测信号生成关联信息的压缩图像数据，其中，该残差信号是这样生成的：将图像分割为多个块，进一步将所述块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，对所述小区域所包含的像素信号进行预测编码，该预测信号生成关联信息表示所述预测编码中的所述小区域的预测信号的生成方法；
复原步骤，从所述压缩图像数据中提取所述小区域的残差信号，将其复原为再现残差信号；
预测信号生成步骤，从所述压缩图像数据中提取所述预测信号生成关联信息，根据所述预测信号生成关联信息生成所述小区域的预测信号；
图像复原步骤，将所述小区域的所述预测信号与所述再现残差信号相加，从而复原所述小区域的像素信号；以及
存储步骤，存储所述复原后的像素信号作为再现像素信号，
在所述预测信号生成步骤中，确定由所述预测信号生成关联信息表示的分割方法，从预先对所确定的分割方法分配的1个以上的预测信号生成方法中确定由所述预测信号生成关联信息表示的一个预测信号生成方法，根据所确定的预测信号生成方法，使用与所述小区域的所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号，
在所述复原步骤中，由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地进行逆量化和逆频率转换，从而将所述小区域的残差信号复原为所述再现残差信号。
4.根据权利要求3所述的图像预测解码方法，其特征在于，
所述非正方形的小区域的所述第1边与已再现的像素相邻，所述第2边不与已再现的像素相邻。
5.一种编码/解码系统，其构成为包含图像预测编码装置和图像预测解码装置，该编码/解码系统的特征在于，
所述图像预测编码装置具有：
区域分割单元，其将输入图像分割为多个块；
预测信号生成单元，其针对所述多个块中作为处理对象的对象块所包含的像素信号，生成预测信号；
残差信号生成单元，其生成所述对象块的像素信号与所述生成的预测信号之间的残差信号；
信号编码单元，其对所述残差信号进行编码，从而生成压缩信号；以及
存储单元，其对所述压缩信号进行复原，存储复原后的信号作为再现像素信号，
所述预测信号生成单元将所述对象块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，
所述预测信号生成单元通过从预先对所述区域分割单元的分割方法分配的1个以上的预测信号生成方法中选择出的一个预测信号生成方法，使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号，
所述信号编码单元通过进行与相应于所述区域分割单元的分割方法的所述小区域的分割形状相应的频率转换和量化来对所述残差信号进行编码，并且对表示所述预测信号生成单元使用的预测信号生成方法的预测信号生成关联信息进行编码，将通过该编码而得到的信号与所述压缩信号一起输出，
所述图像预测解码装置具有：
输入单元，其输入包含残差信号和预测信号生成关联信息的压缩图像数据，其中，该残差信号是这样生成的：将图像分割为多个块，进一步将所述块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，对所述小区域所包含的像素信号进行预测编码，该预测信号生成关联信息表示所述预测编码中的所述小区域的预测信号的生成方法；
复原单元，其从所述压缩图像数据中提取所述小区域的残差信号，将其复原为再现残差信号；
预测信号生成单元，其从所述压缩图像数据中提取所述预测信号生成关联信息，根据所述预测信号生成关联信息生成所述小区域的预测信号；
图像复原单元，其将所述小区域的所述预测信号与所述再现残差信号相加，从而复原所述小区域的像素信号；以及
存储单元，其存储所述复原后的像素信号作为再现像素信号，
所述预测信号生成单元确定由所述预测信号生成关联信息表示的分割方法，从预先对所确定的分割方法分配的1个以上的预测信号生成方法中确定由所述预测信号生成关联信息表示的一个预测信号生成方法，根据所确定的预测信号生成方法，使用与所述小区域的所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号，
所述复原单元由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地进行逆量化和逆频率转换，从而将所述小区域的残差信号复原为所述再现残差信号。
6.一种在构成为包含图像预测编码装置和图像预测解码装置的编码/解码系统中执行的编码/解码方法，该编码/解码方法的特征在于，
该编码/解码方法具有以下步骤：
由所述图像预测编码装置执行的图像预测编码方法的处理步骤；以及
由所述图像预测解码装置执行的图像预测解码方法的处理步骤，
所述图像预测编码方法的处理步骤包含以下步骤：
区域分割步骤，将输入图像分割为多个块；
预测信号生成步骤，针对所述多个块中作为处理对象的对象块所包含的像素信号，生成预测信号；
残差信号生成步骤，生成所述对象块的像素信号与所述生成的预测信号之间的残差信号；
信号编码步骤，对所述残差信号进行编码，从而生成压缩信号；以及
存储步骤，对所述压缩信号进行复原，存储复原后的信号作为再现像素信号，
在所述预测信号生成步骤中，将所述对象块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，
在所述信号编码步骤中，通过进行与相应于所述区域分割步骤中的分割方法的所述小区域的分割形状相应的频率转换和量化来对所述残差信号进行编码，并且对表示在所述预测信号生成步骤中使用的预测信号生成方法的预测信号生成关联信息进行编码，将通过该编码而得到的信号与所述压缩信号一起输出，
在所述预测信号生成步骤中，通过从预先对所述区域分割步骤中的分割方法分配的1个以上的预测信号生成方法中选择出的一个预测信号生成方法，使用与所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号，
所述图像预测解码方法的处理步骤包含以下步骤：
输入步骤，输入包含残差信号和预测信号生成关联信息的压缩图像数据，其中，该残差信号是这样生成的：将图像分割为多个块，进一步将所述块再分割为多个小区域，所述小区域中的至少一个为非正方形，所述非正方形的小区域的第1边的长度比与所述第1边不同的第2边的长度长，对所述小区域所包含的像素信号进行预测编码，该预测信号生成关联信息表示所述预测编码中的所述小区域的预测信号的生成方法；
复原步骤，从所述压缩图像数据中提取所述小区域的残差信号，将其复原为再现残差信号；
预测信号生成步骤，从所述压缩图像数据中提取所述预测信号生成关联信息，根据所述预测信号生成关联信息生成所述小区域的预测信号；
图像复原步骤，将所述小区域的所述预测信号与所述再现残差信号相加，从而复原所述小区域的像素信号；以及
存储步骤，存储所述复原后的像素信号作为再现像素信号，
在所述预测信号生成步骤中，确定由所述预测信号生成关联信息表示的分割方法，从预先对所确定的分割方法分配的1个以上的预测信号生成方法中确定由所述预测信号生成关联信息表示的一个预测信号生成方法，根据所确定的预测信号生成方法，使用与所述小区域的所述第1边相邻的已再现的像素信号，生成所述非正方形的小区域的预测信号，
在所述复原步骤中，由所述预测信号生成关联信息确定所述小区域的形状，与所确定的小区域的形状相应地进行逆量化和逆频率转换，从而将所述小区域的残差信号复原为所述再现残差信号。
CN201510224755.4A 2009-01-22 2009-12-25 图像预测解码装置、方法、以及编码/解码系统和方法 Expired - Fee Related CN104822065B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009012299A JP5686499B2 (ja) 2009-01-22 2009-01-22 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP2009-012299 2009-01-22
CN200980147613.5A CN102227911B (zh) 2009-01-22 2009-12-25 图像预测编码装置和方法、图像预测解码装置和方法、以及编码/解码系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200980147613.5A Division CN102227911B (zh) 2009-01-22 2009-12-25 图像预测编码装置和方法、图像预测解码装置和方法、以及编码/解码系统和方法

Publications (2)

Publication Number Publication Date
CN104822065A true CN104822065A (zh) 2015-08-05
CN104822065B CN104822065B (zh) 2018-04-10

Family

ID=42355755

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980147613.5A Expired - Fee Related CN102227911B (zh) 2009-01-22 2009-12-25 图像预测编码装置和方法、图像预测解码装置和方法、以及编码/解码系统和方法
CN201510224755.4A Expired - Fee Related CN104822065B (zh) 2009-01-22 2009-12-25 图像预测解码装置、方法、以及编码/解码系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200980147613.5A Expired - Fee Related CN102227911B (zh) 2009-01-22 2009-12-25 图像预测编码装置和方法、图像预测解码装置和方法、以及编码/解码系统和方法

Country Status (12)

Country Link
US (1) US8483496B2 (zh)
EP (1) EP2384003A4 (zh)
JP (1) JP5686499B2 (zh)
KR (1) KR101717510B1 (zh)
CN (2) CN102227911B (zh)
AU (1) AU2009338306B2 (zh)
BR (1) BRPI0924090A2 (zh)
CA (1) CA2750552C (zh)
MX (1) MX2011007767A (zh)
RU (1) RU2526764C2 (zh)
TW (1) TWI521949B (zh)
WO (1) WO2010084692A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5686499B2 (ja) 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
US8634668B2 (en) * 2011-02-25 2014-01-21 Sony Corporation Method of compression of digital images using a fixed number of bits per block
CN102857762B (zh) * 2011-07-01 2016-03-30 华为技术有限公司 一种解码过程中块索引信息的获取方法及装置
CN102857752B (zh) * 2011-07-01 2016-03-30 华为技术有限公司 一种像素预测方法和装置
WO2013023518A1 (en) * 2011-08-17 2013-02-21 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction using non-square blocks
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
BR112014023948B1 (pt) * 2012-03-28 2021-05-25 JVC Kenwood Corporation dispositivo de decodificação de imagem
JP5798539B2 (ja) 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9813709B2 (en) 2012-09-28 2017-11-07 Nippon Telegraph And Telephone Corporation Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon
GB2518823A (en) * 2013-09-25 2015-04-08 Sony Corp Data encoding and decoding
CN115134595A (zh) 2015-06-05 2022-09-30 杜比实验室特许公司 用于执行帧间预测的图像编解码方法、比特流存储方法
WO2017046005A1 (en) * 2015-09-18 2017-03-23 Koninklijke Philips N.V. Method and apparatus for fast and efficient image compression and decompression
RU2614576C1 (ru) * 2016-03-11 2017-03-28 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ кодирования изображений на основе нелинейной формирующей системы
SI3499884T1 (sl) * 2016-08-08 2023-04-28 Lg Electronics Inc. Postopki kodiranja videa na podlagi načina notranjega napovedovanja ter pripadajoča naprava za obdelavo videa
GB2567861A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
WO2020017987A1 (en) * 2018-06-29 2020-01-23 Huawei Technologies Co., Ltd Intra-prediction apparatus, encoding apparatus, decoding apparatus and methods
US11523112B2 (en) * 2020-04-09 2022-12-06 Tencent America LLC Intra coding with L-type partitioning tree

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1307782A (zh) * 1998-07-03 2001-08-08 株式会社哈德森 图象编码/解码方法以及记录该程序的记录媒体
CN1535027A (zh) * 2004-01-16 2004-10-06 北京工业大学 一种用于视频编码的帧内预测方法
CN1874521A (zh) * 2005-05-30 2006-12-06 三星电子株式会社 用于图像编码和解码的设备和方法
US20070121731A1 (en) * 2005-11-30 2007-05-31 Akiyuki Tanizawa Image encoding/image decoding method and image encoding/image decoding apparatus
JP2008167048A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 情報処理装置およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
DE69709189T2 (de) * 1996-05-28 2002-08-22 Matsushita Electric Ind Co Ltd Vorrichtung zur Bildvorhersage und -decodierung
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 ４×４인트라 휘도 예측 모드 결정방법 및 장치
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP2006100871A (ja) * 2004-09-28 2006-04-13 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR101356653B1 (ko) * 2006-05-15 2014-02-04 세종대학교산학협력단 화면내 예측 처리 방법과 이를 이용한 영상 부호화 및복호화 방법과 장치
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
KR101379187B1 (ko) * 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
JP5294798B2 (ja) * 2008-10-24 2013-09-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5686499B2 (ja) 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1307782A (zh) * 1998-07-03 2001-08-08 株式会社哈德森 图象编码/解码方法以及记录该程序的记录媒体
CN1535027A (zh) * 2004-01-16 2004-10-06 北京工业大学 一种用于视频编码的帧内预测方法
CN1874521A (zh) * 2005-05-30 2006-12-06 三星电子株式会社 用于图像编码和解码的设备和方法
US20070121731A1 (en) * 2005-11-30 2007-05-31 Akiyuki Tanizawa Image encoding/image decoding method and image encoding/image decoding apparatus
JP2008167048A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 情報処理装置およびプログラム

Also Published As

Publication number Publication date
US8483496B2 (en) 2013-07-09
AU2009338306A1 (en) 2011-08-18
TW201043042A (en) 2010-12-01
MX2011007767A (es) 2011-12-08
AU2009338306B2 (en) 2015-09-17
KR101717510B1 (ko) 2017-03-17
CN102227911B (zh) 2015-06-03
TWI521949B (zh) 2016-02-11
EP2384003A4 (en) 2016-04-27
RU2526764C2 (ru) 2014-08-27
JP2010171729A (ja) 2010-08-05
CN104822065B (zh) 2018-04-10
US20110286679A1 (en) 2011-11-24
KR20110114524A (ko) 2011-10-19
JP5686499B2 (ja) 2015-03-18
WO2010084692A1 (ja) 2010-07-29
CA2750552A1 (en) 2010-07-29
BRPI0924090A2 (pt) 2020-08-11
EP2384003A1 (en) 2011-11-02
CN102227911A (zh) 2011-10-26
CA2750552C (en) 2018-04-17
RU2011134659A (ru) 2013-02-27

Similar Documents

Publication Publication Date Title
CN102227911B (zh) 图像预测编码装置和方法、图像预测解码装置和方法、以及编码/解码系统和方法
CN102017637B (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
CN107105239B (zh) 图像预测解码装置、图像预测解码方法
TWI521890B (zh) Image coding apparatus, method and program, and image decoding apparatus, method and program
CN102301691B (zh) 图像编码装置、方法和程序以及图像解码装置、方法和程序
CN102132566B (zh) 图像加工装置及方法、动态图像编码装置及方法、动态图像解码装置及方法、以及编码解码系统和方法
CN104581161B (zh) 通过使用大型变换单元编码和解码图像的方法和设备
CN101971631B (zh) 自适应帧内模式选择
CN101505429B (zh) 对视频数据进行内编码的方法和设备
CN103348651B (zh) 具有降低复杂性的变换单元分割的方法及装置
US9124289B2 (en) Predicted pixel value generation procedure automatic producing method, image encoding method, image decoding method, apparatus therefor, programs therefor, and storage media which store the programs
CN104135665A (zh) 动态图像编码装置及方法、动态图像解码装置及方法
CN102823252A (zh) 动态图像预测编码装置、动态图像预测解码装置、动态图像预测编码方法、动态图像预测解码方法、动态图像预测编码程序及动态图像预测解码程序
CN106131558A (zh) 动态图像的预测编码装置和方法、预测解码装置和方法
CN103188494A (zh) 跳过离散余弦变换对深度图像编码/解码的设备和方法
CN110024397A (zh) 用于编码视频的方法和装置
KR102113904B1 (ko) 보간을 이용한 연산 방법, 인코더, 및 디코더
CN102595117B (zh) 一种编解码方法和装置
CN104380736A (zh) 动态图像预测编码装置、动态图像预测编码方法、动态图像预测编码程序、动态图像预测解码装置、动态图像预测解码方法、动态图像预测解码程序
JPH1098620A (ja) 画像処理装置
Torres et al. Prediction error image coding using a modified stochastic vector quantization scheme
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
Torres Urgell et al. Prediction error image coding using a modified stochastic vector quantization scheme
KR20190132077A (ko) 인코딩 파라미터 예측을 통한 동영상 위변조 검출 방법
JPH04119793A (ja) 映像信号の符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180410

Termination date: 20201225

CF01 Termination of patent right due to non-payment of annual fee