CN109257608A - 图像处理方法、设备及系统 - Google Patents

图像处理方法、设备及系统 Download PDF

Info

Publication number
CN109257608A
CN109257608A CN201710572139.7A CN201710572139A CN109257608A CN 109257608 A CN109257608 A CN 109257608A CN 201710572139 A CN201710572139 A CN 201710572139A CN 109257608 A CN109257608 A CN 109257608A
Authority
CN
China
Prior art keywords
image block
current
reconstruction
reconstruction image
coding mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710572139.7A
Other languages
English (en)
Other versions
CN109257608B (zh
Inventor
张红
杨海涛
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710572139.7A priority Critical patent/CN109257608B/zh
Priority to PCT/CN2018/081678 priority patent/WO2019011011A1/zh
Priority to TW107116651A priority patent/TWI672941B/zh
Publication of CN109257608A publication Critical patent/CN109257608A/zh
Application granted granted Critical
Publication of CN109257608B publication Critical patent/CN109257608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种图像处理方法、设备及系统，包括解析码流，以获取当前图像的当前待重建图像块的编码方式、当前待重建图像块的残差信号、当前待重建图像块对应的每个参考重建图像块中的像素，编码方式为原分辨率编码方式或下采样编码方式，当前待重建图像块对应M个参考重建图像块；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素；根据多个参考像素生成预测信号；根据预测信号和残差信号生成重建信号，根据重建信号重建当前待重建图像块，得到当前重建图像块。从而使得解码端得到的重建图像块效果更佳。

Description

图像处理方法、设备及系统
技术领域
本申请涉及图像处理技术，尤其涉及一种图像处理方法、设备及系统。
背景技术
数字视频是以数字形式记录的视频。图1为本申请提供的数字视频的示意图，如图1所示，数字视频由多帧数字图像组成。图2为本申请提供的数字图像的示意图，如图2所示，图像由12*16个像素组成，其中，每个像素被称为一个像素，12*16表示图像分辨率。例如2K视频的图像分辨率是1920*1080，4K视频的图像分辨率是3840*2160。通常原始视频包括的数据量较大，不适合存储和传输，需要利用高效的视频压缩编码技术来压缩原始数据。
具体地，图3为本申请提供的编码端的编码示意图，如图3所示，编码端的编码流程包括：编码端接收到视频之后，对于构成视频的每帧图像，将该图像划分成多个待编码图像块。对于当前待编码图像块，首先通过参考重建图像块(该参考重建图像块用于提供当前待编码图像块所需的参考像素，该参考像素用于对当前待编码图像块进行预测)对当前待编码图像块进行预测，得到当前待编码图像块的预测信号；用当前待编码图像块的原始信号减去预测信号，得到残差信号。经过预测后，残差信号的幅值远小于原始信号。将残差信号进行变换和量化操作。经过变换量化后，得到变换量化系数，再通过熵编码技术编码量化系数以及编码中的其他指示信息，得到码流。进一步地，编码端还需要重建当前待编码图像块，以实现对后续待编码图像块的编码提供参考像素。具体地，在得到当前待编码图像块的变换量化系数之后，编码端需要对当前待编码图像块的变换量化系数进行反量化和反变换，得到重建的残差信号，将重建的残差信号与当前待编码图像块对应的预测信号相加，得到当前待编码图像块的重建信号，根据该重建信号得到重建图像块。其中，该重建图像块可以对后续待编码图像块进行预测。可选地，残差信号经过变换后得到变换系数，变换系数通过量化后会有信息损失，该信息损失不可逆。即经过反量化后的变换系数会有失真，从而使得重建信号与原始信号不一致，这种压缩方式为有损压缩。因此，对于有损压缩，在得到重建图像块后，需要对该重建图像块进行滤波，从而去除有损压缩引入的一些失真，例如块效应，振铃效应等。为了去除块效应，可以使用H.264、H.265标准中的DBK滤波器。为了去除振铃效应，可以使用H.265中的SAO滤波器，以及下一代标准中的ALF滤波器等。也有无损压缩方法，即残差信号使用无损的变换操作得到变换系数，不进行量化操作，将变换系数进行熵编。对于无损压缩，一般不再进行滤波操作。进一步地，当前图像的各个图像块都完成重建之后，得到重建图像，其中，该重建图像可以对后续其他帧图像进行预测。
图4为本申请提供的解码端的解码示意图，如图4所示，解码端获取到码流之后，首先对码流进行熵解码，得到当前待重建图像块的变换量化系数，然后对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。通过它的参考重建图像块对当前待重建图像块进行预测，得到当前待重建图像块的预测信号，然后将预测信号和上述重建的残差信号相加，得到当前待重建图像块的重建信号，然后根据该重建信号得到当前待重建图像块对应的当前重建图像块，其中，该当前重建图像块可以对后续其他待重建图像块进行预测。类似于上述编码端的情况，可选地，在解码端需要对当前重建图像块进行滤波。进一步地，当前图像的各个图像块都完成重建之后，得到重建图像，其中，该重建图像可以对后续其他帧图像进行预测。
为了降低编解码复杂度，编码端对每帧图像先进行下采样处理，图5为本申请提供的编码端的编码示意图，如图5所示，编码端对整幅图像采用下采样处理，然后对经过下采样处理后的图像中的每个待编码图像块进行编码，得到码流。其中，每个待编码图像块对应的重建图像块的分辨率为下采样分辨率。相应的，解码端解析码流，每个待重建图像块的分辨率均为下采样分辨率，得到对应的重建图像块的分辨率也为下采样分辨率，解码端需要对重建图像块采用上采样处理，以得到原始分辨率的重建图像块。
现有技术中，编码端对整幅图像都采用下采样处理，然而，整幅图像包括的各个图像块的特性可能不同，例如，有些图像块可能较为平坦，编码端适合对其采用下采样处理；有些图像块可能细节比较多，这种情况下，下采样处理会损失掉这些细节。这将导致编码端的编码效果不佳。相应的，这将导致解码端得到的有些重建图像块比较模糊，即解码端得到的重建图像块效果不佳。
发明内容
本申请提供一种图像处理方法、设备及系统，从而使得解码端得到的重建图像块效果更佳，同时编码端的编码效果更好。
第一方面，本申请提供一种图像处理方法，包括：解析码流，以获取当前图像的当前待重建图像块的编码方式、当前待重建图像块的残差信号、当前待重建图像块对应的每个参考重建图像块中的像素，其中，编码方式为原分辨率编码方式或者下采样编码方式，当前待重建图像块对应M个参考重建图像块，M为大于或者等于1的正整数；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素；根据多个参考像素生成当前待重建图像块的预测信号；根据预测信号和残差信号生成当前待重建图像块的重建信号，并根据重建信号重建所述当前待重建图像块，得到当前重建图像块。
本申请实施例的有益效果是：本申请考虑到图像块具有各自的特性，编码端对它们所采用的编码方式也不尽相同，基于此，解码端将当前待重建图像块的编码方式和M个参考重建图像块的编码方式两个因素考虑在内，以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。
可选地，若当前重建图像块的编码方式为下采样编码方式，则方法还包括：基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对当前重建图像块进行上采样处理。
可选方式一，上采样处理是在当前图像的所有图像块都重建完成后进行的；相应的，码流包括：M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：根据当前待重建图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素。
可选方式二，上采样处理是在当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行的；相应的，码流包括：M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：根据当前待重建图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素。
可选方式三，对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选方式四，对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若当前图像的所有图像块均已完成重建，则根据在所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
综上，通过上述四种方式对当前重建图像块进行上采样处理时，当前重建图像块的部分边界都是通过所需的相邻重建图像块进行上采样处理的，而现有技术中，当前重建图像块的部分边界都是通过复制当前重建图像块的像素进行上采样处理的，因此，本申请提供的方法可以避免当前重建图像块边界不连续的问题。
可选地，一部分相邻重建图像块为当前重建图像块的上边图像块和左边图像块，另一部分相邻重建图像块为当前重建图像块的下边图像块和右边图像块；或者，一部分相邻重建图像块为当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，另一部分相邻重建图像块为当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
可选地，当前重建图像块的部分边界为当前重建图像块的右边界和下边界。
可选地，所需的相邻重建图像块包括当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，所需的相邻重建图像块包括当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
可选地，对当前重建图像块进行上采样处理后，方法还包括：标识当前重建图像块已完成上采样处理。从而可以避免对当前重建图像块的重复上采样。
可选地，针对上述方式一和方式二，根据当前待重建图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：若当前待重建图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素；若当前待重建图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从编码方式为下采样编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，并对当前待重建图像块进行重建时所需的像素进行上采样处理，以得到当前待重建图像块的参考像素；若当前待重建图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素；若当前待重建图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，对当前待重建图像块进行重建时所需的像素进行下采样处理，以得到当前待重建图像块的参考像素。
可选地，针对上述方式三和方式四，根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：若当前待重建图像块的编码方式为原分辨率编码方式，则在M个参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，并在M个参考重建图像块中确定当前待重建图像块的参考像素；若当前待重建图像块的编码方式为下采样编码方式，则对当前待重建图像块进行重建时所需的像素进行下采样处理，以得到当前待重建图像块的参考像素。
通过上述这两种可选方法可以有效的确定当前重建图像块的参考像素，进而实现对当前重建图像块的重建。
第二方面，本申请提供一种图像处理方法，包括：获取当前图像的当前待编码图像块的编码方式、当前待编码图像块对应的每个参考重建图像块中的像素，其中，编码方式为原分辨率编码方式或者下采样编码方式，当前待编码图像块对应M个参考重建图像块，M为大于或者等于1的正整数；根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素；根据多个参考像素生成当前待编码图像块的预测信号；获取当前待编码图像块的编码信号，其中，当当前待编码图像块的编码方式是原分辨率编码方式时，编码信号为当前待编码图像块的原始信号，当当前待编码图像块的编码方式是下采样编码方式时，编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号；根据预测信号和编码信号生成当前待编码图像块的残差信号；对残差信号对进行编码。
本申请实施例的有益效果是：本申请考虑到待编码图像块具有各自的特性，编码端对它们所采用的编码方式也不尽相同，基于此，编码端将当前待重建图像块的编码方式和M个参考重建图像块的编码方式两个因素考虑在内，以对当前待编码图像块进行编码。从而使得编码端的编码效果更佳。
可选地，还包括：生成当前待编码图像块的重建信号，并根据重建信号重建当前待编码图像块，得到当前重建图像块；若当前重建图像的编码方式为下采样编码方式，则基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对当前重建图像块进行上采样处理。
可选方式一，上采样处理是在当前图像的所有图像块都重建完成后进行的；相应的，根据当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：获取M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待编码图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素。
可选方式二，上采样处理是在当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行的；相应的，根据当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：获取M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待编码图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素。
可选方式三，对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选方式四，对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若当前图像的所有图像块均已完成重建，则根据在所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
综上，通过上述四种方式对当前重建图像块进行上采样处理时，当前重建图像块的部分边界都是通过所需的相邻重建图像块进行上采样处理的，而现有技术中，当前重建图像块的部分边界都是通过复制当前重建图像块的像素进行上采样处理的，因此，本申请提供的方法可以避免当前重建图像块边界不连续的问题。
可选地，一部分相邻重建图像块为当前重建图像块的上边图像块和左边图像块，另一部分相邻重建图像块为当前重建图像块的下边图像块和右边图像块；或者，一部分相邻重建图像块为当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，另一部分相邻重建图像块为当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
可选地，当前重建图像块的部分边界为当前重建图像块的右边界和下边界。
可选地，所需的相邻重建图像块包括当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，所需的相邻重建图像块包括当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
可选地，对当前重建图像块进行上采样处理后，方法还包括：标识当前重建图像块已完成上采样处理。从而可以避免对当前重建图像块的重复上采样。
可选地，针对上述方式一和方式二，根据当前待编码图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素，包括：若当前待编码图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素；若当前待编码图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从编码方式为下采样编码方式的参考重建图像块的像素中获取对当前重建图像块进行重建时所需的像素，并对当前待编码图像块进行重建时所需的像素进行上采样处理，以得到当前待编码图像块的参考像素；若当前待编码图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素；若当前待编码图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待编码图像块进行重建时所需的像素，对当前待编码图像块进行重建时所需的像素进行下采样处理，以得到当前待编码图像块的参考像素。
可选地，针对上述方式三和方式四，根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素，包括：若当前待编码图像块的编码方式为原分辨率编码方式，则在M个参考重建图像块的像素中确定当前待编码图像块的参考像素；若当前待编码图像块的编码方式为下采样编码方式，则在M个参考重建图像块的像素中获取对当前待编码图像块进行重建时所需的像素，并对当前待编码图像块进行重建时所需的像素进行下采样处理，以得到当前待编码图像块的参考像素。
通过上述两种可选方法可以有效的确定当前重建图像块的参考像素，进而实现对当前重建图像块的重建。
可选地，获取当前待编码图像块的编码方式，包括：确定当前待编码图像块采用原分辨率编码方式时的第一编码代价；确定当前待编码图像块采用下采样编码方式时的第二编码代价；将第一编码代价和第二编码代价中较小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
本申请中，待编码图像块采用的编码方式为编码代价较小的编码方式，从而降低编码端的编码复杂度，进而提高编码端的编码效率。
下面对图像处理设备及系统进行介绍，其实现原理和技术效果与上述原理和技术效果类似，此处不再赘述。
第三方面，本申请提供一种图像处理设备，包括：解析模块，用于解析码流，以获取当前图像的当前待重建图像块的编码方式、当前待重建图像块的残差信号、当前待重建图像块对应的每个参考重建图像块中的像素，其中，编码方式为原分辨率编码方式或者下采样编码方式，当前待重建图像块对应M个参考重建图像块，M为大于或者等于1的正整数；确定模块，用于根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素；生成模块，用于根据多个参考像素生成所述当前待重建图像块的预测信号；重建模块，用于根据预测信号和残差信号生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块。
第四方面，本申请提供一种图像处理设备，包括：获取模块，用于获取当前图像的当前待编码图像块的编码方式和当前待编码图像块对应的每个参考重建图像块中的像素，其中，编码方式为原分辨率编码方式或者下采样编码方式，当前待编码图像块对应M个参考重建图像块，M为大于或者等于1的正整数；确定模块，用于根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素；生成模块，用于根据多个参考像素生成当前待编码图像块的预测信号；获取模块，还用于获取当前待编码图像块的编码信号，其中，当当前待编码图像块的编码方式是原分辨率编码方式时，编码信号为当前待编码图像块的原始信号，当当前待编码图像块的编码方式是下采样编码方式时，编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号；生成模块，还用于根据预测信号和编码信号生成当前待编码图像块的残差信号；编码模块，用于对残差信号进行编码。
第五方面，本申请提供一种图像处理系统，包括：如第三方面所述的图像处理设备，以及如第四方面所述的图像处理设备。
第六方面，本申请提供一种图像处理设备，该设备包括经配置以进行以下操作的解码器：
解析码流，以获取当前图像的当前待重建图像块的编码方式、当前待重建图像块的残差信号、当前待重建图像块对应的每个参考重建图像块中的像素，其中，编码方式为原分辨率编码方式或者下采样编码方式，当前待重建图像块对应M个参考重建图像块，M为大于或者等于1的正整数；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素；根据多个参考像素生成当前待重建图像块的预测信号；根据预测信号和残差信号生成当前待重建图像块的重建信号，并根据重建信号重建所述当前待重建图像块，得到当前重建图像块。
第七方面，本申请提供一种图像处理设备，该设备包括经配置以进行以下操作的编码器：
获取当前图像的当前待编码图像块的编码方式、当前待编码图像块对应的每个参考重建图像块中的像素，其中，编码方式为原分辨率编码方式或者下采样编码方式，当前待编码图像块对应M个参考重建图像块，M为大于或者等于1的正整数；根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素；根据多个参考像素生成当前待编码图像块的预测信号；获取当前待编码图像块的编码信号，其中，当当前待编码图像块的编码方式是原分辨率编码方式时，编码信号为当前待编码图像块的原始信号，当当前待编码图像块的编码方式是下采样编码方式时，编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号；根据预测信号和编码信号生成当前待编码图像块的残差信号；对残差信号进行编码。
第八方面，本申请提供一种计算机存储介质，用于储存为上述第三方面或者第六方面涉及的图像处理设备所用的计算机软件指令，其包含用于执行上述第三方面或者第六方面所设计的程序。
第九方面，本申请提供一种计算机程序产品，其包含指令，当所述计算机程序被计算机所执行时，该指令使得计算机执行第三方面或者第六方面中图像处理设备所执行的功能。
第十方面，本申请提供一种计算机存储介质，用于储存为上述第四方面或者第七方面涉及的图像处理设备所用的计算机软件指令，其包含用于执行上述第四方面或者第七方面所设计的程序。
第十一方面，本申请提供一种计算机程序产品，其包含指令，当所述计算机程序被计算机所执行时，该指令使得计算机执行第四方面或者第七方面中图像处理设备所执行的功能。
本申请提供一种图像处理方法、设备及系统，其中由于本申请考虑到图像块具有各自的特性，编码端对它们所采用的编码方式也不尽相同，基于此，解码端将当前待重建图像块的编码方式和M个参考重建图像块的编码方式两个因素考虑在内，以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。同样的，编码端将当前待重建图像块的编码方式和M个参考重建图像块的编码方式两个因素考虑在内，以对当前待编码图像块进行编码。从而使得编码端的编码效果更佳。
附图说明
图1为本申请提供的数字视频的示意图；
图2为本申请提供的数字图像的示意图；
图3为本申请提供的编码端的编码示意图；
图4为本申请提供的解码端的解码示意图；
图5为本申请提供的编码端的编码示意图；
图6为本申请一实施例提供的正在编码的图像的示意图；
图7为本申请一实施例提供的参考像素模板的示意图；
图8A和图8B为本申请一实施例提供的Planar模式的示意图；
图9为本申请一实施例提供的33种角度预测模式的具体方向示意图；
图10为本申请一实施例提供的图像下采样示意图；
图11为本申请一实施例提供的图像上采样示意图；
图12为本申请一实施例提供的图像上采样示意图；
图13为本申请一实施例提供的一种图像处理方法的流程图；
图14为本申请一实施例提供的4邻域像素的示意图；
图15为本申请一实施例提供的8邻域像素的示意图；
图16为本申请一实施例提供的图像上采样示意图；
图17为本申请另一实施例提供的图像上采样示意图；
图18为本申请一实施例提供的图像上采样示意图；
图19为本申请另一实施例提供的图像上采样示意图；
图20为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图；
图21为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图；
图22为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图；
图23为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图；
图24为本申请另一实施例提供的一种图像处理方法的流程图；
图25为本申请一实施例提供的一种图像处理设备的结构示意图；
图26为本申请另一实施例提供的一种图像处理设备的结构示意图；
图27为本申请提供的一种图像处理系统的结构示意图。
具体实施方式
以下，对本申请中的部分专业用语进行解释说明，以便于本领域技术人员理解。
数字视频是以数字形式记录的视频。数字视频由多帧数字图像组成。通常原始视频包括的数据量较大，不适合存储和传输，需要利用高效的视频压缩编码技术来压缩原始数据。
视频压缩技术是通过消除视频冗余来达到压缩的目的。视频冗余主要包括如下几项：空间冗余，时间冗余，视觉冗余和信息熵冗余。
空间冗余：它是静态图像存在的最主要的数据冗余。它是指在一幅图像中，相邻的像素的幅值都比较相近，这种空间连贯性被称为空间相关或空间冗余。空间冗余主要是通过帧内预测方法来消除，帧内预测方法是指利用视频空间域的相关性，使用参考重建图像块的像素预测当前图像块的像素，以达到去除视频空间冗余的目的。
时间冗余：它是视频序列中经常包含的冗余，由于视频的相邻图像往往包含相同或类似的背景和运动物体，只是运动物体所在的空间位置略有不同，这种相邻图像间的数据的高度相关性就称为时间冗余。时间冗余主要是通过帧间预测技术来消除，帧间预测技术是指利用时间上相邻图像的像素来预测当前像素。
视觉冗余：人眼视觉系统对图像细节的变化不敏感，这些细微变化信息即使丢失，人眼也感受不到。而在记录原始视频数据时，通常假定视觉系统是对各种内容的敏感度是一致的，这样就产生了比理想编码更多的数据，称为视觉冗余。视觉冗余主要是通过变换，量化技术来消除，该变换技术是指将图像信号变换到频率域进行处理，根据不同频率信号对视觉质量的贡献大小进行数据表达和比特再分配，这样可以纠正空间域上均匀采样的不合理表达。同时在比特再分配过程中融合考虑去除视觉冗余的需要，通过量化操作，省略过分精细的高频分量表达，实现有效压缩。
信息熵冗余：由信息论可知，为表示图像数据的一个像素，只要按其信息熵的大小分配相应比特数即可，而对于图像数据的每个像素，在图像获取时很难得到它的信息熵，因此一般是对每个像素采用相同的比特数来表示，这样必然存在冗余。信息熵冗余主要是通过熵编码技术来消除熵编码技术是通过统计系数的信息熵分布，为具有不同信息熵的数据分配不同的比特数。
当前主流的视频压缩编码架构是混合编码架构，针对上述冗余，采取不同的技术来消除冗余，并将这些技术结合在一起，形成了视频编码的混合架构。如图3所示，编码端接收到视频之后，对于构成视频的每帧图像，将该图像划分成待编码图像块。对于当前待编码图像块，首先通过参考重建图像块对当前待编码图像块进行预测，得到当前待编码图像块的预测信号；用当前待编码图像块的原始信号减去预测信号，得到残差信号。经过预测后，残差信号的幅值远小于原始信号。将残差信号进行变换和量化操作。经过变换量化后，得到变换量化系数，再通过熵编码技术编码量化系数以及编码中的其他指示信息，得到码流。进一步地，编码端还需要重建当前待编码图像块，以实现对后续待编码图像块的编码提供参考像素。具体地，在得到当前待编码图像块的变换量化系数之后，编码端需要对当前待编码图像块的变换量化系数进行反量化和反变换，得到重建的残差信号，将重建的残差信号与当前待编码图像块对应的预测信号相加，得到当前待编码图像块的重建信号，根据该重建信号得到重建图像块。
如图4所示，解码端获取到码流之后，首先对码流进行熵解码，得到当前待重建图像块的变换量化系数，然后对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。通过参考重建图像块对当前待重建图像块进行预测，得到当前待重建图像块的预测信号，然后将预测信号和上述重建的残差信号相加，得到当前待重建图像块的重建信号，然后根据该重建信号得到当前待重建图像块对应的当前重建图像块。
为了降低编解码复杂度，编码端对每帧图像先进行下采样处理，如图5所示，编码端对整幅图像采用下采样处理，然后对经过下采样处理后的图像中的每个待编码图像块进行编码，得到码流。其中，每个待编码图像块对应的重建图像块的分辨率为下采样分辨率。相应的，解码端解析码流，每个待重建图像块的分辨率均为下采样分辨率，得到对应的重建图像块的分辨率也为下采样分辨率，解码端需要对重建图像块采用上采样处理，以得到原始分辨率的重建图像块。
其中，在编码端和解码端均涉及通过参考重建图像块对当前图像块(当前待编码图像块或者当前待重建图像块)进行预测，得到当前图像块的预测信号。在本申请中，对当前图像块的预测模式(主要是帧内预测方法)可以采用现有技术，具体如下：
例如：图6为本申请一实施例提供的正在编码的图像的示意图，如图6所示，该图像包括多个图像块，其中，该图像的编码顺序是：从上到下，从左到右。在图6中，图像块C、B、D、E和A表示已经完成重建的重建图像块，图像块F为当前待编码图像块，该图像中的其他区域为未编码的图像区域。
这里以H.265标准来说明帧内预测方法的具体过程，H.265支持将当前待编码图像块划分成更小的子图像块进行预测操作。子图像块的划分结构为四叉树结构，即一个图像块可以划分成四个子图像块，每个子图像块可以继续划分成四个子图像块。如图6所示，假设当前待编码图像块被划分成7个子图像块进行预测操作，当前待编码图像块也可以划分成更多的子图像块进行预测操作。对于每个子图像块，先进行预测操作，获得预测信号，然后根据预测信号获得子图像块的残差信号，进一步对残差信号进行变换、量化和熵编码。对于预测操作，每个子图像块可选的帧内预测方法有35种，包括Planar模式、DC模式以及33种角度预测模式。所有预测模式都使用相同的参考像素模板(由多个参考像素构成)，图7为本申请一实施例提供的参考像素模板的示意图，如图7所示，P1，1，P2，1……PN，1……P1，N，P2，N……PN，N这些像素构成待编码的子图像块，例如：该待编码的子图像块可以是图6中的子图像块1。如图7所示，除了待编码的子图像块，其他参考像素R0，0，R1，0……R2N+1，0……R0，2N构成参考像素模板，假设该待编码的子图像块是图6中的子图像块1，这种情况下，这些参考像素中的一部分像素为参考重建图像块B的最后一行的像素，另一部分像素为参考重建图像块A的最右侧一列的像素。对于其他标准，这些参考像素中的一部分像素为参考重建图像块B包括的下方多行的像素，另一部分像素为参考重建图像块A包括的右侧多列的像素。即本申请对参考像素模板不做限制。
Planar模式
Planar模式适用于像素值缓慢变化的区域，图8A和图8B为本申请一实施例提供的Planar模式的示意图，如图8所示，使用水平和竖直方向的两个线性滤波器，分别得到两个预测值和并将和的平均值作为像素(x,y)的预测信号。
DC模式
DC模式适用于大面积平坦区域，当前待编码的子图像块的预测信号可由其左侧和上方的参考像素的平均值得到，如图7所示，待编码的子图像块中各个像素的预测信号可以通过R0,1,…,R0,N,R1,0,…,RN,0的平均值得到。
角度模式
H.265/HEVC规定了33种角度预测模式，以更好地适应视频内容中不同方向的纹理。图9为本申请一实施例提供的33种角度预测模式的具体方向示意图，如图9所示，33种角度预测模式分为水平类模式(2～17)和竖直类模式(18～34)。其中V0(模式26)和H0(模式10)分别表示竖直和水平方向，其余角度预测模式的预测方向都可以看作是在竖直或水平方向上做一个角度偏移。这里以竖直方向V0(26)为例说明角度预测过程，竖直方向预测是使用当前待编码的子图像块上方相邻的一行参考像素来预测当前待编码的子图像块，当前待编码的子图像块内每个像素的预测信号等于该像素所在列对应的参考像素的像素值，即Px,y＝Ry,0。对于其他角度预测模式，会与水平或竖直方向有一个角度偏移，根据这个角度偏移可以计算参考像素的位置。该参考像素的位置可能是两个相邻参考像素之间的位置，若是这种情况，则需要在两个参考像素之间根据计算出来的位置插值得到一个参考像素。通过得到的参考像素生成预测信号。
需要说明的是，上述帧内预测方法同样适用于解码端，本申请在此不再赘述。
进一步地，本申请还涉及到图像下采样处理和图像上采样处理。
其中，图像下采样处理涉及三个方面的信息：1、下采样比例；2、下采样位置；3、下采样所使用的滤波器。
下采样比例是指原图像与下采样后的图像的比例，可以分别在水平方向和竖直方向来描述。例如可以对图像信号进行水平方向2:1下采样，竖直方向4:1下采样；或者水平方向不下采样，竖直方向2:1下采样；或者水平和竖直方向都进行2:1下采样等。
下采样位置是指下采样点与原采样点的位置关系，例如，下采样点的位置可以与部分原采样点位置一样，或者下采样点落在几个原采样点之间。
下采样滤波器可以是3-lobe Lanczos滤波器，Bilinear滤波器，Bicubic，Gauss滤波器等。
下面以分辨率为16*16的图像块(实际的图像会比这大很多，例如1920*1080)为例来说明下采样过程。图10为本申请一实施例提供的图像下采样示意图，假设水平方向和竖直方向的采样比例均为2:1，水平方向上，下采样点的位置落在两个原采样点的左侧原采样点位置，竖直方向上，下采样点落在两个原采样点的上方原采样点位置。如图10所示，框出来的圆圈表示下采样点的位置，下采样的滤波器如下：
该滤波器是简单的低通滤波器，该低通滤波器可以被看作是一个二维滤波器，也可以被看作是两个一维滤波器。如果当作一个二维滤波器，可以在一次滤波操作中同时完成水平和竖直方向上的下采样。如图10所示，对下采样点A进行下采样时，用到了邻近的8个原采样点(用三角形框起的圆圈)，根据上面滤波器计算出该下采样点A的像素值。如果当作是两个一维滤波器，需要先完成水平或者竖直方向的下采样，再对已完成水平或者竖直方向下采样的结果进行竖直或水平方向下采样。如图10所示，对下采样点A进行下采样时，先利用下采样点A左右各一个原采样点进行水平下采样，然后对下采样后的结果利用下采样点A上下各一个原采样点进行竖直方向上的下采样，根据上述滤波器计算出下采样点A的像素值。采用相同的方法，对整个16*16的图像块进行下采样处理，最终下采样的结果如图10所示，各个下采样点的位置如框出来的圆圈所示，下采样点的像素值为通过滤波器操作后的数值。如图10所示，下采样后的图像块的分辨率为8*8。
通常编码端或者解码端需要对经过下采样后的图像进行上采样处理，目的是为了得到原分辨率的图像。上采样处理涉及三个方面的信息：1、上采样比例；2、上采样位置；3上采样所使用的滤波器。
上采样比例是指上采样前的图像与上采样后的图像的比例，可以分别在水平方向和竖直方向来描述。例如可以对上采样才的图像信号进行水平方向1:2上采样，竖直方向1:4上采样；或者水平方向不上采样，竖直方向1:2上采样；或者水平和竖直方向都进行1:2上采样等。
上采样位置是指上采样后的采样点与上采样前的采样点的位置关系，例如，图11为本申请一实施例提供的图像上采样示意图，如图11所示，在第一行，采用水平1:2上采样比例，上采样后的采样点的位置可以在上采样前的采样点的右侧，其中×表示上采样后的采样点位置，圆圈表示上采样前的采样点位置。在第二行，采用水平1:2上采样比例，上采样后的采样点的位置可以在上采样前的采样点的左侧，其中×表示上采样后的采样点位置，圆圈表示上采样前的采样点位置。需要说明的是，上采样后的采样点的位置应与上述下采样点的位置选取相对应，例如：在进行下采样时，选择下采样点的位置为它的左侧原采样点的位置，那么在进行上采样时，选择上采样后的采样点的位置为它的右侧上采样前的采样点(下采样点)的位置。
上采样滤波器可以是DCTIF滤波器，双线性插值滤波器，sinc滤波器等。下面以分辨率为8*8的图像块(即上述下采样后的图像块)为例来说明上采样过程。假设水平方向和竖直方向的上采样比例均为1:2，在水平方向上，上采样后的采样点的位置为右侧上采样前的采样点的位置，在竖直方向上，上采样后的采样点的位置为下方上采样前的采样点的位置，这里以水平方向和竖直方向分别上采样为例，以及以DCTIF滤波器为例来说明上采样处理过程。DCTIF滤波器为(-1,4,-11,40,40,-11,4,-1)，假设当前要进行水平方向上采样，在图11中，假设需要插入B3采样点，则采用如下公式确定B3的像素值：
B3＝(-A0+4*A1-11*A2+40*A3+40*A4-11*A5+4*A6-A7)＞＞6
对于其他位置的插值采样点，例如B7，需要用到B7右边的四个像素，这些像素目前不可得，实际中一般会将A7重复4次，以用于计算B7的像素值。在竖直方向上的上采样与在水平方向上的上采样类似，在此不再赘述。也可以先进行竖直方向上的上采样，再进行水平方向上的上采样。图12为本申请一实施例提供的图像上采样示意图，如图12所示，×表示上采样后的采样点，圆圈表示上采样前的采样点。
现有技术中，编码端对整幅图像都采用下采样处理，然而，整幅图像包括的各个图像块的特性可能不同，例如，有些图像块可能较为平坦，编码端适合对其采用下采样处理；有些图像块可能细节比较多，这种情况下，下采样处理会损失掉这些细节。这将导致编码端的编码效果不佳。相应的，这将导致解码端得到的有些重建图像块比较模糊，即解码端得到的重建图像块效果不佳。
为了解决上述技术问题，本申请提供一种图像处理方法、设备及系统。本申请基于图3和图5的编码示意图，如图3和图5所示，一幅图像包括的待编码图像块的编码方式可以是如图3所示的原分辨率编码方式或者是如图5所示的下采样编码方式。其中，原分辨率编码方式是指对当前待编码图像块直接进行编码操作。下采样编码方式是指对当前待编码图像块先进行下采样处理，然后对下采样后的当前待编码图像块进行编码操作。一般情况下，纹理图像块采用原分辨率编码方式，平滑图像块采用下采样编码方式。编码端需要标记每个待编码图像块使用的编码方式，并将该标记写入码流中。使得解码端，根据该标记对待重建图像块进行相应的操作。本申请的主旨思想在于：解码端根据当前待重建图像块的编码方式、当前待重建图像块对应的M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，根据多个参考像素生成预测信号，进而重建待重建图像块。相应的，编码端根据当前待编码图像块的编码方式、当前待编码图像块对应的M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素，根据多个参考像素生成预测信号，进而得到残差信号，对残差信号进行编码。
具体地，图13为本申请一实施例提供的一种图像处理方法的流程图，如图13所示，该方法包括：
步骤S1301：解析码流，以获取当前图像的当前待重建图像块的编码方式、当前待重建图像块的残差信号、当前待重建图像块对应的每个参考重建图像块中的像素；
其中，解码端解析码流，该码流中携带有当前待重建图像块的编码方式对应的标记、以及当前待重建图像块的变换量化系数。解码端可以对变换量化系数进行反量化和反变换，得到当前待重建图像块的残差信号。
当前待重建图像块对应M个参考重建图像块，M为大于或者等于1的正整数。参考重建图像块用于确定待重建图像块的多个参考像素，其中，多个参考像素用于生成当前重建图像块的预测信号。实际上，参考重建图像块具体是哪个重建图像块和解码端采用的预测模式有关。当采用上述35中预测模式中的任一种时，可以参考如图7所示的参考像素模板。
步骤S1302：根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素。
其中，若参考重建图像块与当前待重建图像块的分辨率相同，则直接在该参考重建图像块中确定至少一个参考像素；若当前待重建图像块是原分辨率，参考重建图像块的分辨率为下采样分辨率，则从该参考重建图像块中获取对当前重建图像块进行重建时所需的至少一个像素，并对当前重建图像块进行重建时所需的至少一个像素进行上采样处理，以得到当前待重建图像块的至少一个参考像素；若当前待重建图像块是下采样分辨率，参考重建图像块的分辨率为原分辨率，则从该参考重建图像块中获取对所述当前待重建图像块进行重建时所需的至少一个像素，对这些像素进行下采样处理，以得到当前待重建图像块的至少一个参考像素。
步骤S1303：根据多个参考像素生成当前待重建图像块的预测信号；
步骤S1304：根据预测信号和残差信号生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块。
其中，根据多个参考像素生成当前待重建图像块的预测信号，可以采用上述35中预测模式中的任一种预测模式，当然也可以采用现有技术中其他的预测模式，本申请对此不做限制。最后，将重建的残差信号与预测信号相加，得到当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块。
综上，本申请考虑到图像块具有各自的特性，编码端对它们所采用的编码方式也不尽相同，基于此，解码端将当前待重建图像块的编码方式这个因素考虑在内，以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。
进一步地，若当前重建图像块的编码方式为下采样编码方式，则图像处理方法还包括：基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对当前重建图像块进行上采样处理。需要说明的是，所需的相邻重建图像块的像素主要用于对当前重建图像块的部分边界进行上采样处理，对于当前重建图像块中除上述部分边界之外的部分，均采用自己的像素进行上采样处理。其中，当解码端采用滤波器对当前重建图像块进行上采样处理时，针对不同的滤波器，当前重建图像块所需的相邻重建图像块也不同。假设滤波器是基于离散余弦变换的插值滤波器(Discrete Cosine Transform-BasedInterpolation Filter，DCTIF)，这种情况下，当前重建图像块所需的相邻重建图像块具体如下：图14为本申请一实施例提供的4邻域像素的示意图，如图14所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块和右边图像块。假设滤波器是卷积神经网络(Convolutional Neural Network，CNN)滤波器。这种情况下，当前重建图像块所需的相邻重建图像块具体如下：图15为本申请一实施例提供的8邻域像素的示意图，如图15所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块、右边图像块、左上图像块、左下图像块、右上图像块和右下图像块。按照目前的编码顺序(从上至下，从左至右的编码顺序)，目前当前重建图像块的下边图像块、右边图像块、左下图像块和右下图像块都还没有完成重建，现有技术是通过复制当前重建图像块自己的像素以实现上采样处理，但是这种方式将导致经过上采样处理后的当前重建图像块存在右边界和下边界不连续的问题。为了解决这一问题，本申请提供如下四种可选方式：
方式一、上采样处理是在当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行的；相应的，码流包括：M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：根据当前待重建图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素。
方式二、上采样处理是在当前图像的所有图像块都重建完成后进行的；相应的，码流包括：M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：根据当前待重建图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素。
方式三、根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
方式四、对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若当前图像的所有图像块均已完成重建，则根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
其中，所述当前重建图像块的部分边界满足条件：在对当前重建图像块进行的第一次上采样处理中，该部分边界所需的另一部分相邻重建图像块未完成重建。
可选地，当前重建图像块的部分边界为当前重建图像块的右边界和下边界。
可选地，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块。
或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
针对方式一进行详细说明：
具体地，针对不同的滤波器，当前重建图像块所需的相邻重建图像块也不同。例如：如图14所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块和右边图像块。如图15所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块、右边图像块、左上图像块、左下图像块、右上图像块和右下图像块。
其中，可以采用现有技术的上采样处理方法对当前重建图像块进行处理。例如：图16为本申请一实施例提供的图像上采样示意图，如图16所示，当前重建图像块B所需的相邻重建图像块1、相邻重建图像块2、相邻重建图像块3和相邻重建图像块4均已完成重建。基于此，对当前重建图像块B进行上采样处理，如图16所示，其中B中的圆圈表示上采样前的采样点，×表示上采样后的采样点。对B进行上采样处理时，可以先对B进行水平方向上的上采样，再对上采样后的信号进行竖直方向上的上采样；或者，可以先对B进行竖直方向上的上采样，再对上采样后的信号进行水平方向上的上采样。
特别的，若当前重建图像块本身是一幅图像的边界图像块，这种情况下，即使所需的相邻重建图像块都重建完成，在进行上采样处理时，还是需要复制当前重建图像的像素。例如：如图14所示，当当前重建图像块是一幅图像的最右侧的一个图像块时，它的右边图像块是不存在的，因此可以对当前重建图像块包括的最右侧一列的像素进行复制，以实现上采样处理。当然，也可以采用其他方法进行上采样处理，本申请对此不做限制。
进一步地，由于当前重建图像块所需的各个相邻重建图像块的编码方式可以是下采样编码方式，也可以是原分辨率编码方式，因此在对当前重建图像块进行上采样处理时，具体分为以下两种情况：
1、若某相邻重建图像块的编码方式为下采样编码方式，则可以直接根据该相邻重建图像块中的像素对当前重建图像块进行上采样处理。
2、若某相邻重建图像块的编码方式为原分辨率编码方式，则可以获取该相邻重建图像块的像素中上采样处理所需的至少一个像素，对这些像素进行下采样处理，并根据下采样处理后的至少一个像素对当前重建图像块进行上采样处理。
具体地，相邻重建图像块主要用于对当前重建图像块的部分边界进行上采样处理(该部分边界根据滤波器的不同而不同)，例如：如图16所示，相邻重建图像块3采用下采样编码方式，这种情况下，可以直接利用相邻重建图像块3包括的像素对当前重建图像块B的右边界进行上采样处理。而相邻重建图像块4采用原分辨率编码方式，则需要对相邻重建图像块4包括的上采样处理所需的像素进行下采样处理，或者对相邻重建图像块4采用下采样处理，并根据下采样处理后的像素对当前重建图像块B的下边界进行上采样处理。其中，对相邻重建图像块4采用下采样处理，具体可以是直接取图16中被框圈出的像素作为下采样后的采样点。或者是对相邻重建图像块4进行竖直方向上的下采样处理。图17为本申请另一实施例提供的图像上采样示意图，如图17所示，这种是8邻域像素的情况，解码端对当前重建图像块C采样的上采样处理方法与4邻域像素情况下的方法类似，在此不再赘述。
需要说明的是，为了避免对当前重建图像块的重复上采样处理，可以对当前重建图像块进行上采样处理后，标识当前重建图像块已完成上采样处理。或者，按照一定的规则对当前重建图像块进行上采样处理。当上采样处理是基于4邻域像素的情况时，当前重建图像块的下边图像块一旦完成重建，则可以对当前重建图像块进行上采样处理。当上采样处理是基于8邻域像素的情况时，当前重建图像块的右下图像块一旦完成重建，则可以对当前重建图像块进行上采样处理。
针对方式二进行详细说明：
当当前图像的所有图像块都已经完成重建之后，则对于每个重建图像块来讲，它所需的相邻重建图像块都已经完成重建，基于此，对任一采用下采样编码的重建图像块都可以进行上采样处理。具体上采样处理过程类似于上述方式一的方式，本申请在此不再赘述。
针对方式三进行详细说明：
在方式三中，对当前重建图像块进行的上采样处理包括两次上采样处理过程。第一次上采样处理过程为：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理。第二次上采样处理过程为：若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的所述部分边界与另一部分相邻重建图像块邻接。
可选地，在对当前重建图像块进行第一次上采样处理之前，保存下采样编码方式的当前重建图像块，为后续对其他待重建图像块进行预测时提供参考像素。
具体地，假设采用从上至下、从左至右的编码顺序，对于基于4邻域像素或者8邻域像素进行上采样处理的情况，在对当前重建图像块进行第一次上采样处理时，它的右边图像块、下边图像块、左下图像块和右下图像块都还没有完成重建。这种情况下，解码端可以复制当前重建图像块包括的最右侧一列或者多列的像素，得到插值像素。通过这些插值像素对当前重建图像块包括的右边界进行上采样处理。解码端还可以复制当前重建图像块包括的最下方一行或者多行的像素，得到插值像素。通过这些插值像素对当前重建图像块包括的下边界进行上采样处理。
图18为本申请一实施例提供的图像上采样示意图，如图18所示，假设当前重建图像块为图像块A，在对当前重建图像块A进行第二次上采样处理时，假设目前采用DCTIF滤波器进行上采样处理，当前重建图像块A已完成第一次上采样处理，如上面所述使用DCTIF滤波器进行上采样处理时，需要用到左右各四个像素，那么在第一次上采样处理时，当前重建图像块A的右边四列×(×表示第一次上采样处理后的采样点)所需的四个参考像素均是不全的。例如，对于最右侧的一列×，每个×所需要的右边四个参考像素都不存在。若相邻重建图像块C完成了重建，则根据相邻重建图像块C对当前重建图像块的右边界进行第二次上采样处理。这里的上采样处理方法与上述上采样处理方法相同，在此不再赘述。
同样地，假设当前重建图像块为图像块B，在对当前重建图像块B进行第二次上采样处理时，假设目前采用DCTIF滤波器进行上采样处理，当前重建图像块B已完成第一次上采样处理，如上面所述使用DCTIF滤波器进行上采样处理时，需要用到上下各四个像素，那么在第一次上采样处理时，当前重建图像块B的下方四行×(×表示第一次上采样处理后的采样点)所需的四个参考像素均是不全的。例如，对于最下方的一行×，每个×所需要的下方四个参考像素都不存在。若相邻重建图像块C完成了重建，则根据相邻重建图像块C对当前重建图像块的下边界进行第二次上采样处理。这里的上采样处理方法与上述上采样处理方法相同，在此不再赘述。
图19为本申请另一实施例提供的图像上采样示意图，如图19所示，这种是8邻域像素的情况，解码端对当前重建图像块A的右边界以及当前重建图像块B的下边界采用的上采样处理方法与4邻域像素情况下的方法类似，在此不再赘述。
需要说明的是，为了避免对当前重建图像块的重复上采样处理，可以对当前重建图像块完成第二次上采样处理后，标识当前重建图像块已完成上采样处理。或者，按照一定的规则对当前重建图像块进行上采样处理。当上采样处理是基于4邻域像素的情况时，当前重建图像块的下边图像块一旦完成重建，则可以对当前重建图像块进行第二次上采样处理。当上采样处理是基于8邻域像素的情况时，当前重建图像块的右下图像块一旦完成重建，则可以对当前重建图像块进行第二次上采样处理。
针对方式四进行详细说明：
当当前图像的所有图像块都已经完成重建之后，则对于每个重建图像块来讲，它所需的相邻重建图像块都已经完成重建，基于此，对任一已完成第一次上采样处理后的重建图像块都可以进行第二次上采样处理。具体上采样处理过程类似于上述方式三的方式，本申请在此不再赘述。
可选地，在对当前重建图像块进行第一次上采样处理之前，保存下采样编码方式的当前重建图像块，为后续对其他待重建图像块进行预测时提供参考像素。
综上，通过上述四种方式对当前重建图像块进行上采样处理时，当前重建图像块的部分边界都是通过所需的相邻重建图像块进行上采样处理的，而现有技术中，当前重建图像块的部分边界都是通过复制当前重建图像块的像素进行上采样处理的，因此，本申请提供的方法可以避免当前重建图像块边界不连续的问题。
更进一步地，基于上述方式一和方式二，对步骤S1302进行详细说明：
其中步骤S1302具体包括如下四种情况：
情况1、若当前待重建图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素。
情况2、若当前待重建图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从编码方式为下采样编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，并对当前待重建图像块进行重建时所需的像素进行上采样处理，以得到当前待重建图像块的参考像素。
情况3、若当前待重建图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素。
情况4、若当前待重建图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，对当前待重建图像块进行重建时所需的像素进行下采样处理，以得到当前待重建图像块的参考像素。
对情况1进行说明：图20为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图，如图20所示，假设本申请实施例使用如图7所示的参考像素模板，则当前待重建图像块E对应的M个参考重建图像块为参考重建图像块A、B、C和D，实际上，按照如图7所示的参考像素模板，图像块E还需要使用图像块A下方的图像块，但是按照目前的编码顺序，图像块A下方的图像块还未完成重建，现有技术通过复制图像块A的方式，实现对图像块E的预测。本申请对此不做详细说明。对于参考重建图像块A、B、C和D，由于它们的编码方式均为原分辨率编码方式，而当前待重建图像块E的编码方式也是原分辨率编码方式，因此，可以直接从参考重建图像块A、B、C和D中确定当前待重建图像块的参考像素。例如：如图20所示，被框中的像素为参考像素。
对情况2进行说明：图21为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图，如图21所示，假设本申请实施例使用如图7所示的参考像素模板，则当前待重建图像块E对应的M个参考重建图像块为参考重建图像块A、B、C和D，其中，当前待重建图像块E的编码方式为原分辨率编码方式，参考重建图像块B的编码方式为下采样编码方式，这种情况下，需要获取参考重建图像块B中的最下方一行的像素，然后对获取的像素进行上采样处理，得到当前重建图像块E的参考像素。如图21所示，被框中的像素为所有的参考像素。需要说明的是，还可以根据参考重建图像块B中的多行像素确定当前重建图像块E的参考像素等，本申请对此不做限制。
对情况3进行说明：图22为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图，如图22所示，假设本申请实施例使用如图7所示的参考像素模板，则当前待重建图像块E对应的M个参考重建图像块为参考重建图像块A、B、C和D，其中，当前待重建图像块E的编码方式为原分辨率编码方式，参考重建图像块A、B和D的编码方式均为原采样编码方式，这种情况下，可以直接从参考重建图像块A、B、C和D中确定当前待重建图像块的参考像素。例如：如图22所示，被框中的像素为参考像素。
对情况4进行说明：图23为本申请一实施例提供的当前待重建图像块与参考重建图像块的示意图，如图23所示，假设本申请实施例使用如图7所示的参考像素模板，则当前待重建图像块E对应的M个参考重建图像块为参考重建图像块A、B、C和D，其中，当前待重建图像块E的编码方式为下采样编码方式，参考重建图像块B的编码方式为原分辨率编码方式，这种情况下，需要获取参考重建图像块B中的最下方一行的像素，然后对获取的像素进行下采样处理，得到当前重建图像块E的参考像素。如图23所示，被框中的像素为所有的参考像素。
上述四种情况所涉及的下采样处理和上采样处理都可以采用现有技术的方法，本申请对此不做限制。
需要强调的是，由于在方式三和方式四中，对于任何一个采用下采样编码方式的待重建图像块，在对待重建图像块重建完之后，都要进行第一次上采样处理，因此任何一个重建图像块的分辨率都是原分辨率。
基于此，针对方式三和方式四情况，步骤S1302包括：若当前待重建图像块的编码方式为原分辨率编码方式，则在M个参考重建图像块的像素中确定当前待重建图像块的参考像素；若当前待重建图像块的编码方式为下采样编码方式，则在M个参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，并对当前待重建图像块进行重建时所需的像素进行下采样处理，以得到当前待重建图像块的参考像素；或者，若当前待重建图像块所需的某相邻重建图像块采用下采样编码方式，则保存该相邻重建图像块在进行第一次上采样处理之前的像素，若当前待重建图像块的编码方式为下采样编码方式，则可以直接在之前保存的像素中确定当前待重建图像块的参考像素。
综上，通过上述方法可以有效的确定当前重建图像块的参考像素，进而实现对当前重建图像块的重建。
上面主要介绍了解码端的图像处理方法，下面将介绍编码端的图像处理方法。
具体地，图24为本申请另一实施例提供的一种图像处理方法的流程图，如图24所示，该方法包括：
步骤S2401：获取当前图像的当前待编码图像块的编码方式、当前待编码图像块对应的每个参考重建图像块中的像素；
步骤S2402：根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素；
步骤S2403：根据多个参考像素生成当前待编码图像块的预测信号；
步骤S2404：获取当前待编码图像块的编码信号，其中，当当前待编码图像块的编码方式是原分辨率编码方式时，编码信号为当前待编码图像块的原始信号，当当前待编码图像块的编码方式是下采样编码方式时，编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号；
步骤S2405：根据预测信号和编码信号生成当前待编码图像块的残差信号；
步骤S2406：对残差信号进行编码。
其中，编码方式为原分辨率编码方式或者下采样编码方式，当前待编码图像块对应M个参考重建图像块，M为大于或者等于1的正整数。
其中，若参考重建图像块与当前待重建图像块的分辨率相同，则直接在该参考重建图像块中确定至少一个参考像素；若当前待重建图像块是原分辨率，参考重建图像块的分辨率为下采样分辨率，则从该参考重建图像块中获取对当前重建图像块进行重建时所需的至少一个像素，并对当前重建图像块进行重建时所需的至少一个像素进行上采样处理，以得到当前待重建图像块的至少一个参考像素；若当前待重建图像块是下采样分辨率，参考重建图像块的分辨率为原分辨率，则从该参考重建图像块中获取对所述当前待编码图像块进行重建时所需的至少一个像素，对这些像素进行下采样处理，以得到当前待重建图像块的至少一个参考像素。
实际上，参考重建图像块具体是哪个重建图像块和解码端采用的预测模式有关。当采用上述35中预测模式中的任一种时，可以参考如图7所示的参考像素模板。根据多个参考像素生成当前待重建图像块的预测信号，可以采用上述35中预测模式中的任一种预测模式，当然也可以采用现有技术中其他的预测模式，本申请对此不做限制。最后，根据预测信号和编码信号生成当前待编码图像块的残差信号；对残差信号进行编码，包括：将残差信号进行变换和量化操作。经过变换量化后，得到变换量化系数，再通过熵编码技术编码量化系数以及编码中的其他指示信息，得到码流。
综上，本申请考虑到待编码图像块具有各自的特性，编码端对它们所采用的编码方式也不尽相同，基于此，编码端将当前待重建图像块的编码方式这个因素考虑在内，以对当前待编码图像块进行编码。从而使得编码端的编码效果更佳。
进一步地，上述方法还包括：生成当前待编码图像块的重建信号，并根据重建信号重建当前待编码图像块，得到当前重建图像块；若当前重建图像块的编码方式为下采样编码方式，则基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对当前重建图像块进行上采样处理。
其中，生成当前待编码图像块的重建信号包括：对当前待编码图像块的残差信号进行变换、量化，得到当前待编码图像块的量化系数，将量化系数进行反量化，反变换，得到重建的残差信号，将重建的残差信号与当前待编码图像块的预测信号相加，得到当前待编码图像块的重建信号。
对当前重建图像块进行上采样处理，目的是为了获得原分辨率的当前重建图像块，从而为后续帧间预测技术做准备。
其中，对当前重建图像块进行的上采样处理存在四种可选方式：
方式一、上采样处理是在当前图像的所有图像块都重建完成后进行的；相应的，根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：获取M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待编码图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素。
方式二、上采样处理是在当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行的；相应的，根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：获取M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待编码图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素。
方式三、对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
方式四、对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若当前图像的所有图像块均已完成重建，则根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
上述四种方式与解码端的四种方式完全相同，对应内容和效果在此不再赘述。
可选地，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块。
或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
可选地，所述当前重建图像块的部分边界为所述当前重建图像块的右边界和下边界。
可选地，所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
可选地，基于上述方式一和方式二，对步骤S2402具体包括如下四种情况：
情况1、若当前待编码图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素。
情况2、若当前待编码图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从编码方式为下采样编码方式的参考重建图像块的像素中获取对当前重建图像块进行重建时所需的像素，并对当前待编码图像块进行重建时所需的像素进行上采样处理，以得到当前待编码图像块的参考像素。
情况3、若当前待编码图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素。
情况4、若当前待编码图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待编码图像块进行重建时所需的像素，对当前待编码图像块进行重建时所需的像素进行下采样处理，以得到当前待编码图像块的参考像素。
上述四种情况与解码端的四种情况类似，对应内容和效果在此不再赘述。
针对方式三和方式四，上述步骤S2402包括：若当前待编码图像块的编码方式为原分辨率编码方式，则在M个参考重建图像块的像素中确定当前待编码图像块的参考像素；若当前待编码图像块的编码方式为下采样编码方式，则在M个参考重建图像块的像素中获取对当前待编码图像块进行重建时所需的像素，并对当前待编码图像块进行重建时所需的像素进行下采样处理，以得到所述当前待编码图像块的参考像素。
可选地，对当前重建图像块进行上采样处理后，上述方法还包括：标识当前重建图像块已完成上采样处理。或者，按照一定的规则对当前重建图像块进行上采样处理。当上采样处理是基于4邻域像素的情况时，当前重建图像块的下边图像块一旦完成重建，则可以对当前重建图像块进行上采样处理。当上采样处理是基于8邻域像素的情况时，当前重建图像块的右下图像块一旦完成重建，则可以对当前重建图像块进行上采样处理。
可选地，步骤S2401中获取当前待编码图像块的编码方式，包括：确定当前待编码图像块采用原分辨率编码方式时的第一编码代价；确定当前待编码图像块采用下采样编码方式时的第二编码代价；将第一编码代价和第二编码代价中较小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
其中，编码端可以采用率失真优化(Rate Distortion Optimization，RDO)方法计算当前编码图像块的编码代价。RDO方法是一种提升视频压缩性能的最优化方法。其原理是对视频的有损(画面质量)与比特率(编码所需的数据量)同时进行最优化，以求达到一个最佳的平衡点。虽然此算法一开始是在视频压缩的编码器中被使用，但也可以用于各种多媒体编码包含视频、视频、音频等等，只要编码时会同时考虑到质量及文件大小皆可使用。
基于此，本申请中，待编码图像块采用的编码方式为编码代价较小的编码方式，从而降低编码端的编码复杂度，进而提高编码端的编码效率。
图25为本申请一实施例提供的一种图像处理设备的结构示意图，如图25所示，该设备包括：解析模块2501，用于解析码流，以获取当前图像的当前待重建图像块的编码方式、所述当前待重建图像块的残差信号、所述当前待重建图像块对应的每个参考重建图像块中的像素，其中，所述编码方式为原分辨率编码方式或者下采样编码方式，所述当前待重建图像块对应M个参考重建图像块，M为大于或者等于1的正整数；确定模块2502，用于根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素；生成模块2503，用于根据多个参考像素生成当前待重建图像块的预测信号；重建模块2504，用于根据预测信号和残差信号生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块。
可选地，还包括：处理模块2505。其中，处理模块2505用于若当前重建图像块的编码方式为所述下采样编码方式，则基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对当前重建图像块进行上采样处理。
可选地，处理模块2505具体用于：在所述当前图像的所有图像块都重建完成后进行所述上采样处理。相应的，码流包括：所述M个参考重建图像块中的每个参考重建图像块的编码方式；所述确定模块2502具体用于：根据所述当前待重建图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素。
可选地，处理模块2505具体用于：在当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行上采样处理。相应的，码流包括：所述M个参考重建图像块中的每个参考重建图像块的编码方式；所述确定模块2502具体用于：根据所述当前待重建图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素。
可选地，确定模块2502具体用于：若当前待重建图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素；若当前待重建图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从编码方式为下采样编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，并对当前待重建图像块进行重建时所需的像素进行上采样处理，以得到当前待重建图像块的参考像素；若当前待重建图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素；若当前待重建图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素，对当前待重建图像块进行重建时所需的像素进行下采样处理，以得到当前待重建图像块的参考像素。
可选地，处理模块2505具体用于：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与所述另一部分相邻重建图像块邻接。
可选地，处理模块2505具体用于：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若当前图像的所有图像块均已完成重建，则根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，确定模块2502具体用于：若当前待重建图像块的编码方式为原分辨率编码方式，则在M个参考重建图像块的像素中确定所述当前待重建图像块的参考像素；若当前待重建图像块的编码方式为所述下采样编码方式，则在所述M个参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素，并对当前待重建图像块进行重建时所需的像素进行下采样处理，以得到所述当前待重建图像块的参考像素。
可选地，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块。
或者，
可选地，所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
可选地，所述当前重建图像块的部分边界为所述当前重建图像块的右边界和下边界。
可选地，所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，所需的相邻重建图像块包括当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
可选地，处理模块2505还用于：在对所述当前重建图像块进行上采样处理后，标识所述当前重建图像块已完成上采样处理。
本申请提供的图像处理设备可以执行上述图13对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。
图26为本申请另一实施例提供的一种图像处理设备的结构示意图，如图26所示，该设备包括：
获取模块2601，用于获取当前图像的当前待编码图像块的编码方式、所述当前待编码图像块对应的每个参考重建图像块中的像素，其中，所述编码方式为原分辨率编码方式或者下采样编码方式，所述当前待编码图像块对应M个参考重建图像块，M为大于或者等于1的正整数。
确定模块2602，用于根据所述当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素。
生成模块2603，用于根据所述多个参考像素生成所述当前待编码图像块的预测信号。
所述获取模块2601，还用于获取所述当前待编码图像块的编码信号，其中，当所述当前待编码图像块的编码方式是所述原分辨率编码方式时，所述编码信号为所述当前待编码图像块的原始信号，当所述当前待编码图像块的编码方式是所述下采样编码方式时，所述编码信号为所述当前待编码图像块的原始信号经过下采样处理后得到的信号。
所述生成模块2603，还用于根据所述预测信号和所述编码信号生成所述当前待编码图像块的残差信号。
编码模块2604，用于对残差信号进行编码。
可选地，还包括处理模块2605。其中，生成模块2603还用于生成所述当前待编码图像块的重建信号，并根据所述重建信号重建所述当前待编码图像块，得到当前重建图像块；处理模块2605，用于若当前重建图像块的编码方式为所述下采样编码方式，则基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对当前重建图像块进行上采样处理。
可选地，所述处理模块2605具体用于：在所述当前图像的所有图像块都重建完成后进行所述上采样处理；相应的，所述确定模块2602具体用于：获取所述M个参考重建图像块中的每个参考重建图像块的编码方式；根据所述当前待编码图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素。
可选地，所述处理模块2605具体用于：在当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行上采样处理。
可选地，确定模块2602具体用于：若当前待编码图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素；若当前待编码图像块的编码方式为原分辨率编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从编码方式为下采样编码方式的参考重建图像块的像素中获取对当前重建图像块进行重建时所需的像素，并对当前待编码图像块进行重建时所需的像素进行上采样处理，以得到当前待编码图像块的参考像素；若当前待编码图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素；若当前待编码图像块的编码方式为下采样编码方式，且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待编码图像块进行重建时所需的像素，对当前待编码图像块进行重建时所需的像素进行下采样处理，以得到当前待编码图像块的参考像素。
可选地，所述处理模块2605具体用于：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，所述处理模块2605具体用于：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若当前图像的所有图像块均已完成重建，则根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，确定模块2502具体用于：若当前待编码图像块的编码方式为原分辨率编码方式，则在M个参考重建图像块的像素中确定所述当前待编码图像块的参考像素；若所述当前待编码图像块的编码方式为所述下采样编码方式，则在所述M个参考重建图像块的像素中获取对所述当前待编码图像块进行重建时所需的像素，并对所述当前待编码图像块进行重建时所需的像素进行下采样处理，以得到所述当前待编码图像块的参考像素。
可选地，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块。
或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
可选地，所述当前重建图像块的部分边界为所述当前重建图像块的右边界和下边界。
所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
可选地，所述处理模块2605还用于：在对所述当前重建图像块进行上采样处理后，标识所述当前重建图像块已完成上采样处理。
可选地，所述获取模块2601具体用于：确定当前待编码图像块采用原分辨率编码方式时的第一编码代价；确定当前待编码图像块采用下采样编码方式时的第二编码代价；将第一编码代价和第二编码代价中较小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
本申请提供的图像处理设备可以执行上述图24对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。
图27为本申请提供的一种图像处理系统的结构示意图，如图27所示，该系统包括：上述解码端的图像处理设备2701，以及编码端的图像处理设备2702。
本申请提供一种图像处理设备，该设备包括：处理器和用于存储所述处理器的可执行指令的存储器；其中该处理器可以执行图13对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似，此处不再赘述。
本申请提供一种图像处理设备，该设备包括：处理器和用于存储所述处理器的可执行指令的存储器；其中该处理器可以执行图24对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似，此处不再赘述。
本申请提供的图像处理系统包括的解码端的图像处理设备可以执行上述图13对应的图像处理方法以及该方法的可选方式，包括的编码端的图像处理设备可以执行上述图24对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。

Claims (51)

1.一种图像处理方法，其特征在于，包括：
解析码流，以获取当前图像的当前待重建图像块的编码方式、所述当前待重建图像块的残差信号、所述当前待重建图像块对应的每个参考重建图像块中的像素，其中，所述编码方式为原分辨率编码方式或者下采样编码方式，所述当前待重建图像块对应M个参考重建图像块，M为正整数；
根据所述当前待重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素；
根据所述多个参考像素生成所述当前待重建图像块的预测信号；
根据所述预测信号和所述残差信号生成所述当前待重建图像块的重建信号，并根据所述重建信号重建所述当前待重建图像块，得到当前重建图像块。
2.根据权利要求1所述的方法，其特征在于，若所述当前重建图像块的编码方式为所述下采样编码方式，则所述方法还包括：
基于所述当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对所述当前重建图像块进行上采样处理。
3.根据权利要求2所述的方法，其特征在于，所述上采样处理是在所述当前图像的所有图像块都重建完成后进行的；
相应的，所述码流包括：所述M个参考重建图像块中的每个参考重建图像块的编码方式；
所述根据所述当前待重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素，包括：
根据所述当前待重建图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素。
4.根据权利要求2所述的方法，其特征在于，所述上采样处理是在所述当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行的；
相应的，所述码流包括：所述M个参考重建图像块中的每个参考重建图像块的编码方式；
所述根据所述当前待重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素，包括：
根据所述当前待重建图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素。
5.根据权利要求3或4所述的方法，其特征在于，所述根据所述当前待重建图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素，包括：
若所述当前待重建图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在所述编码方式为原分辨率编码方式的参考重建图像块的像素中确定所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从所述编码方式为下采样编码方式的参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素，并对所述当前待重建图像块进行重建时所需的像素进行上采样处理，以得到所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为下采样编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在所述编码方式为下采样编码方式的参考重建图像块的像素中确定所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为所述下采样编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素，对所述当前待重建图像块进行重建时所需的像素进行下采样处理，以得到所述当前待重建图像块的参考像素。
6.根据权利要求2所述的方法，其特征在于，所述对所述当前重建图像块进行上采样处理包括：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
7.根据权利要求2所述的方法，其特征在于，所述对所述当前重建图像块进行上采样处理包括：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述当前图像的所有图像块均已完成重建，则根据在所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
8.根据权利要求6或7所述的方法，其特征在于，所述根据所述当前待重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素，包括：
若所述当前待重建图像块的编码方式为原分辨率编码方式，则在所述M个参考重建图像块的像素中确定所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为所述下采样编码方式，则在所述M个参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素，并对所述当前待重建图像块进行重建时所需的像素进行下采样处理，以得到所述当前待重建图像块的参考像素。
9.根据权利要求6至8任一项所述的方法，其特征在于，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块；或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
10.根据权利要求6至9任一项所述的方法，其特征在于，所述当前重建图像块的部分边界为所述当前重建图像块的右边界和下边界。
11.根据权利要求2至10任一项所述的方法，其特征在于，所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，
所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
12.根据权利要求2至11任一项所述的方法，其特征在于，所述对所述当前重建图像块进行上采样处理后，所述方法还包括：
标识所述当前重建图像块已完成上采样处理。
13.一种图像处理方法，其特征在于，包括：
获取当前图像的当前待编码图像块的编码方式、所述当前待编码图像块对应的每个参考重建图像块中的像素，其中，所述编码方式为原分辨率编码方式或者下采样编码方式，所述当前待编码图像块对应M个参考重建图像块，M为大于或者等于1的正整数；
根据所述当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素；
根据所述多个参考像素生成所述当前待编码图像块的预测信号；
获取所述当前待编码图像块的编码信号，其中，当所述当前待编码图像块的编码方式是所述原分辨率编码方式时，所述编码信号为所述当前待编码图像块的原始信号，当所述当前待编码图像块的编码方式是所述下采样编码方式时，所述编码信号为所述当前待编码图像块的原始信号经过下采样处理后得到的信号；
根据所述预测信号和所述编码信号生成所述当前待编码图像块的残差信号；
对所述残差信号进行编码。
14.根据权利要求13所述的方法，其特征在于，还包括：
生成所述当前待编码图像块的重建信号，并根据所述重建信号重建所述当前待编码图像块，得到当前重建图像块；
若所述当前重建图像块的编码方式为所述下采样编码方式，则基于所述当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对所述当前重建图像块进行上采样处理。
15.根据权利要求14所述的方法，其特征在于，所述上采样处理是在所述当前图像的所有图像块都重建完成后进行的；
相应的，所述根据所述当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素，包括：
获取所述M个参考重建图像块中的每个参考重建图像块的编码方式；
根据所述当前待编码图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素。
16.根据权利要求14所述的方法，其特征在于，所述上采样处理是在所述当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行的；
相应的，所述根据所述当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素，包括：
获取所述M个参考重建图像块中的每个参考重建图像块的编码方式；
根据所述当前待编码图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素。
17.根据权利要求15或16所述的方法，其特征在于，所述根据所述当前待编码图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素，包括：
若所述当前待编码图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在所述编码方式为原分辨率编码方式的参考重建图像块的像素中确定所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从所述编码方式为下采样编码方式的参考重建图像块的像素中获取对所述当前重建图像块进行重建时所需的像素，并对所述当前待编码图像块进行重建时所需的像素进行上采样处理，以得到所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为下采样编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在所述编码方式为下采样编码方式的参考重建图像块的像素中确定所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为所述下采样编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对所述当前待编码图像块进行重建时所需的像素，对所述当前待编码图像块进行重建时所需的像素进行下采样处理，以得到所述当前待编码图像块的参考像素。
18.根据权利要求14所述的方法，其特征在于，所述对所述当前重建图像块进行上采样处理包括：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
19.根据权利要求14所述的方法，其特征在于，所述对所述当前重建图像块进行上采样处理包括：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述当前图像的所有图像块均已完成重建，则根据在所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
20.根据权利要求18或19所述的方法，其特征在于，所述根据所述当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素，包括：
若所述当前待编码图像块的编码方式为原分辨率编码方式，则在所述M个参考重建图像块的像素中确定所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为所述下采样编码方式，则在所述M个参考重建图像块的像素中获取对所述当前待编码图像块进行重建时所需的像素，并对所述当前待编码图像块进行重建时所需的像素进行下采样处理，以得到所述当前待编码图像块的参考像素。
21.根据权利要求18至20任一项所述的方法，其特征在于，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块；或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
22.根据权利要求18至21任一项所述的方法，其特征在于，所述当前重建图像块的部分边界为所述当前重建图像块的右边界和下边界。
23.根据权利要求14至22任一项所述的方法，其特征在于，所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，
所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
24.根据权利要求14至23任一项所述的方法，其特征在于，所述对所述当前重建图像块进行上采样处理后，所述方法还包括：
标识所述当前重建图像块已完成上采样处理。
25.根据权利要求13至24任一项所述的方法，其特征在于，所述获取当前待编码图像块的编码方式，包括：
确定所述当前待编码图像块采用原分辨率编码方式时的第一编码代价；
确定所述当前待编码图像块采用下采样编码方式时的第二编码代价；
将所述第一编码代价和所述第二编码代价中较小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
26.一种图像处理设备，其特征在于，包括：
解析模块，用于解析码流，以获取当前图像的当前待重建图像块的编码方式、所述当前待重建图像块的残差信号、所述当前待重建图像块对应的每个参考重建图像块中的像素，其中，所述编码方式为原分辨率编码方式或者下采样编码方式，所述当前待重建图像块对应M个参考重建图像块，M为大于或者等于1的正整数；
确定模块，用于根据所述当前待重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素；
生成模块，用于根据所述多个参考像素生成所述当前待重建图像块的预测信号；
重建模块，用于根据所述预测信号和所述残差信号生成所述当前待重建图像块的重建信号，并根据所述重建信号重建所述当前待重建图像块，得到当前重建图像块。
27.根据权利要求26所述的设备，其特征在于，还包括：处理模块；
所述处理模块，用于若所述当前重建图像块的编码方式为所述下采样编码方式，则基于所述当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对所述当前重建图像块进行上采样处理。
28.根据权利要求26所述的设备，其特征在于，所述处理模块具体用于：在所述当前图像的所有图像块都重建完成后进行所述上采样处理；
相应的，所述码流包括：所述M个参考重建图像块中的每个参考重建图像块的编码方式；
所述确定模块具体用于：
根据所述当前待重建图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素。
29.根据权利要求26所述的设备，其特征在于，所述处理模块具体用于：在所述当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行所述上采样处理；
相应的，所述码流包括：所述M个参考重建图像块中的每个参考重建图像块的编码方式；
所述确定模块具体用于：
根据所述当前待重建图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待重建图像块的多个参考像素。
30.根据权利要求28或29所述的设备，其特征在于，所述确定模块具体用于：
若所述当前待重建图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在所述编码方式为原分辨率编码方式的参考重建图像块的像素中确定所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从所述编码方式为下采样编码方式的参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素，并对所述当前待重建图像块进行重建时所需的像素进行上采样处理，以得到所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为下采样编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在所述编码方式为下采样编码方式的参考重建图像块的像素中确定所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为所述下采样编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素，对所述当前待重建图像块进行重建时所需的像素进行下采样处理，以得到所述当前待重建图像块的参考像素。
31.根据权利要求26所述的设备，其特征在于，所述处理模块具体用于：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
32.根据权利要求26所述的设备，其特征在于，所述处理模块具体用于：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述当前图像的所有图像块均已完成重建，则根据在所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
33.根据权利要求31或32所述的设备，其特征在于，所述确定模块具体用于：
若所述当前待重建图像块的编码方式为原分辨率编码方式，则在所述M个参考重建图像块的像素中确定所述当前待重建图像块的参考像素；
若所述当前待重建图像块的编码方式为所述下采样编码方式，则在所述M个参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素，并对所述当前待重建图像块进行重建时所需的像素进行下采样处理，以得到所述当前待重建图像块的参考像素。
34.根据权利要求31至33任一项所述的设备，其特征在于，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块；或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
35.根据权利要求31至34任一项所述的设备，其特征在于，所述当前重建图像块的部分边界为所述当前重建图像块的右边界和下边界。
36.根据权利要求27至35任一项所述的设备，其特征在于，所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，
所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
37.根据权利要求27至36任一项所述的设备，其特征在于，所述处理模块还用于：
在对所述当前重建图像块进行上采样处理后，标识所述当前重建图像块已完成上采样处理。
38.一种图像处理设备，其特征在于，包括：
获取模块，用于获取当前图像的当前待编码图像块的编码方式、所述当前待编码图像块对应的每个参考重建图像块中的像素，其中，所述编码方式为原分辨率编码方式或者下采样编码方式，所述当前待编码图像块对应M个参考重建图像块，M为大于或者等于1的正整数；
确定模块，用于根据所述当前待编码图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素；
生成模块，用于根据所述多个参考像素生成所述当前待编码图像块的预测信号；
所述获取模块，还用于获取所述当前待编码图像块的编码信号，其中，当所述当前待编码图像块的编码方式是所述原分辨率编码方式时，所述编码信号为所述当前待编码图像块的原始信号，当所述当前待编码图像块的编码方式是所述下采样编码方式时，所述编码信号为所述当前待编码图像块的原始信号经过下采样处理后得到的信号；
所述生成模块，还用于根据所述预测信号和所述编码信号生成所述当前待编码图像块的残差信号；
编码模块，用于对所述残差信号进行编码。
39.根据权利要求38所述的设备，其特征在于，还包括：处理模块；
所述生成模块，还用于生成所述当前待编码图像块的重建信号，并根据所述重建信号重建所述当前待编码图像块，得到当前重建图像块；
所述处理模块，用于若所述当前重建图像块的编码方式为所述下采样编码方式，则基于所述当前重建图像块进行上采样处理时所需的相邻重建图像块的像素，对所述当前重建图像块进行上采样处理。
40.根据权利要求39所述的设备，其特征在于，所述处理模块具体用于：在所述当前图像的所有图像块都重建完成后进行所述上采样处理；
相应的，所述确定模块具体用于：
获取所述M个参考重建图像块中的每个参考重建图像块的编码方式；
根据所述当前待编码图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素。
41.根据权利要求39所述的设备，其特征在于，所述处理模块具体用于：在所述当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行所述上采样处理；
相应的，所述确定模块具体用于：
获取所述M个参考重建图像块中的每个参考重建图像块的编码方式；
根据所述当前待编码图像块的编码方式、所述M个参考重建图像块的编码方式和所述M个参考重建图像块中的像素，确定所述当前待编码图像块的多个参考像素。
42.根据权利要求40或41所述的设备，其特征在于，所述确定模块具体用于：
若所述当前待编码图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则在所述编码方式为原分辨率编码方式的参考重建图像块的像素中确定所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为原分辨率编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则从所述编码方式为下采样编码方式的参考重建图像块的像素中获取对所述当前重建图像块进行重建时所需的像素，并对所述当前待编码图像块进行重建时所需的像素进行上采样处理，以得到所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为下采样编码方式，且所述M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块，则在所述编码方式为下采样编码方式的参考重建图像块的像素中确定所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为所述下采样编码方式，且所述M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块，则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对所述当前待编码图像块进行重建时所需的像素，对所述当前待编码图像块进行重建时所需的像素进行下采样处理，以得到所述当前待编码图像块的参考像素。
43.根据权利要求39所述的设备，其特征在于，所述处理模块具体用于：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
44.根据权利要求39所述的设备，其特征在于，所述处理模块具体用于：
根据所述所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对所述当前重建图像块进行一次上采样处理；
若所述当前图像的所有图像块均已完成重建，则根据在所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
45.根据权利要求43或44所述的设备，其特征在于，所述确定模块具体用于：
若所述当前待编码图像块的编码方式为原分辨率编码方式，则在所述M个参考重建图像块的像素中确定所述当前待编码图像块的参考像素；
若所述当前待编码图像块的编码方式为所述下采样编码方式，则在所述M个参考重建图像块的像素中获取对所述当前待编码图像块进行重建时所需的像素，并对所述当前待编码图像块进行重建时所需的像素进行下采样处理，以得到所述当前待编码图像块的参考像素。
46.根据权利要求43至45任一项所述的设备，其特征在于，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块；或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
47.根据权利要求43至46任一项所述的设备，其特征在于，所述当前重建图像块的部分边界为所述当前重建图像块的右边界和下边界。
48.根据权利要求39至47任一项所述的设备，其特征在于，所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块和右边图像块；或者，
所述所需的相邻重建图像块包括所述当前重建图像块的上边图像块，下边图像块，左边图像块，右边图像块，左上图像块，左下图像块，右上图像块和右下图像块。
49.根据权利要求39至48任一项所述的设备，其特征在于，所述处理模块还用于：
在对所述当前重建图像块进行上采样处理后，标识所述当前重建图像块已完成上采样处理。
50.根据权利要求39至49任一项所述的设备，其特征在于，所述获取模块具体用于：
确定所述当前待编码图像块采用原分辨率编码方式时的第一编码代价；
确定所述当前待编码图像块采用下采样编码方式时的第二编码代价；
将所述第一编码代价和所述第二编码代价中较小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
51.一种图像处理系统，其特征在于，包括：如权利要求26至37任一项所述的图像处理设备，以及如权利要求38至50任一项所述的图像处理设备。
CN201710572139.7A 2017-07-13 2017-07-13 图像处理方法、设备及系统 Active CN109257608B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710572139.7A CN109257608B (zh) 2017-07-13 2017-07-13 图像处理方法、设备及系统
PCT/CN2018/081678 WO2019011011A1 (zh) 2017-07-13 2018-04-03 图像处理方法、设备及系统
TW107116651A TWI672941B (zh) 2017-07-13 2018-05-16 影像處理方法、設備及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710572139.7A CN109257608B (zh) 2017-07-13 2017-07-13 图像处理方法、设备及系统

Publications (2)

Publication Number Publication Date
CN109257608A true CN109257608A (zh) 2019-01-22
CN109257608B CN109257608B (zh) 2021-11-30

Family

ID=65000880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710572139.7A Active CN109257608B (zh) 2017-07-13 2017-07-13 图像处理方法、设备及系统

Country Status (3)

Country Link
CN (1) CN109257608B (zh)
TW (1) TWI672941B (zh)
WO (1) WO2019011011A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586410A (zh) * 2020-06-02 2020-08-25 浙江大华技术股份有限公司 视频编码方法、解码方法及其相关装置
CN111641831A (zh) * 2019-03-01 2020-09-08 杭州海康威视数字技术股份有限公司 帧内预测方法、装置、设备及存储介质
CN112235568A (zh) * 2019-07-15 2021-01-15 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN113329228A (zh) * 2021-05-27 2021-08-31 杭州朗和科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104170379A (zh) * 2011-10-24 2014-11-26 码间私人有限公司 用于图像解码的方法和装置
CN105430417A (zh) * 2014-09-22 2016-03-23 中兴通讯股份有限公司 编码方法、解码方法、装置及电子设备
CN105556963A (zh) * 2013-10-14 2016-05-04 联发科技（新加坡）私人有限公司 用于hevc范围扩展的残差差分脉冲编码调制方法
US20170064323A1 (en) * 2011-10-26 2017-03-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using intra prediction mode
WO2017069419A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998727B2 (en) * 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104170379A (zh) * 2011-10-24 2014-11-26 码间私人有限公司 用于图像解码的方法和装置
US20170064323A1 (en) * 2011-10-26 2017-03-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using intra prediction mode
CN105556963A (zh) * 2013-10-14 2016-05-04 联发科技（新加坡）私人有限公司 用于hevc范围扩展的残差差分脉冲编码调制方法
CN105430417A (zh) * 2014-09-22 2016-03-23 中兴通讯股份有限公司 编码方法、解码方法、装置及电子设备
WO2017069419A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641831A (zh) * 2019-03-01 2020-09-08 杭州海康威视数字技术股份有限公司 帧内预测方法、装置、设备及存储介质
CN111641831B (zh) * 2019-03-01 2023-09-01 杭州海康威视数字技术股份有限公司 帧内预测方法、装置、设备及存储介质
CN112235568A (zh) * 2019-07-15 2021-01-15 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
WO2021008535A1 (zh) * 2019-07-15 2021-01-21 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN112235568B (zh) * 2019-07-15 2024-03-26 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN111586410A (zh) * 2020-06-02 2020-08-25 浙江大华技术股份有限公司 视频编码方法、解码方法及其相关装置
CN113329228A (zh) * 2021-05-27 2021-08-31 杭州朗和科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
TW201909635A (zh) 2019-03-01
WO2019011011A1 (zh) 2019-01-17
TWI672941B (zh) 2019-09-21
CN109257608B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN109302608A (zh) 图像处理方法、设备及系统
CN103931190B (zh) 编码设备、编码方法、解码设备和解码方法
CN109257605A (zh) 图像处理方法、设备及系统
CN109257608A (zh) 图像处理方法、设备及系统
JP2019216466A (ja) 省略符号化を用いた映像符号化及び復号化装置及びその方法
JP6535744B2 (ja) 画像符号化装置、画像復号化装置、及びこれらのプログラム
KR20200128586A (ko) 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
JP2010528555A (ja) ビデオ信号の処理方法および装置
CA2608455A1 (en) Continuous extension of discrete transform for data processing
KR20110114524A (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
JP5022471B2 (ja) ウェーブレット画像の符号化方法及び対応する復号化方法
TW201036450A (en) Image processing device, method, and program, dynamic image encoding device, method, and program, dynamic image decoding device, method, and program, and encoding/decoding system and method
CN110383695A (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
CN105830442B (zh) 使用自适应采样编码和解码视频信号的方法和装置
CN108028933A (zh) 视频编码和解码方法及装置
CN111586410A (zh) 视频编码方法、解码方法及其相关装置
TWI727826B (zh) 使用內預測之寫碼技術
TWI795635B (zh) 圖像解碼裝置、圖像解碼方法及程式
JP4194472B2 (ja) 画像処理方法及び装置
JP6641149B2 (ja) 映像符号化装置、映像復号装置及びプログラム
BG63586B1 (bg) Метод и устройство за пирамидално кодиране на изображения
Shen et al. Down-sampling based embedded compression in video systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190819

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant after: Huawei Technologies Co., Ltd.

Applicant after: University of Science and Technology of China

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: Huawei Technologies Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant