CN114531596A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN114531596A
CN114531596A CN202210086020.XA CN202210086020A CN114531596A CN 114531596 A CN114531596 A CN 114531596A CN 202210086020 A CN202210086020 A CN 202210086020A CN 114531596 A CN114531596 A CN 114531596A
Authority
CN
China
Prior art keywords
current
image
image frame
block
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210086020.XA
Other languages
English (en)
Inventor
那彦波
卢运华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210086020.XA priority Critical patent/CN114531596A/zh
Publication of CN114531596A publication Critical patent/CN114531596A/zh
Priority to PCT/CN2023/070405 priority patent/WO2023142926A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

本申请实施例公开了一种图像处理方法和装置，涉及图像领域。具体方案为：首先，获取当前图像帧和参考图像帧，将当前图像帧依次进行下采样和上采样，得到处理后的当前图像帧，将参考图像帧依次进行下采样和上采样，得到处理后的参考图像帧。然后，根据预设划分方式分别将处理后的当前图像帧和处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块。在多个参考子图像块中确定与每个当前子图像块相似度最小的参考子图像块作为该当前子图像块的匹配块。基于每个当前子图像块，以及该当前子图像块对应的匹配块，得到当前子图像块对应的运动矢量。最后，基于运动矢量对当前图像帧进行编码。

Description

图像处理方法和装置
技术领域
本公开涉及图像领域，尤其涉及一种图像处理方法和装置。
背景技术
目前，在对图像帧进行编码时，为了降低图像帧的编码数据量，可以对当前图像帧进行帧间编码。对当前图像帧进行帧间编码时，可以在参考图像帧中搜索与当前图像块最相似的已编码图像块作为该当前图像块的匹配块，将当前图像块与该匹配块之间的偏移量作为运动矢量，并对运动矢量进行编码，以使解码端能够根据该运动矢量获知当前图像块的位置。
发明内容
本申请实施例提供一种图像处理方法和装置，能够更准确的计算运动矢量，提升图像质量。
一方面，提供一种图像处理方法，该方法包括：首先，获取当前图像帧和参考图像帧，将当前图像帧依次进行下采样和上采样，得到处理后的当前图像帧，将参考图像帧依次进行下采样和上采样，得到处理后的参考图像帧。然后，根据预设划分方式分别将处理后的当前图像帧和处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块，在多个参考子图像块中确定与每个当前子图像块相似度最小的参考子图像块作为该当前子图像块的匹配块。基于每个当前子图像块，以及该当前子图像块对应的匹配块，得到当前子图像块对应的运动矢量。最后，基于运动矢量对当前图像帧进行编码。
基于本方案，通过将当前图像帧和参考图像帧依次进行下采样和上采样处理，能够减少当前图像帧和参考图像帧中不代表主要信息的高频部分，过滤噪声信号，再通过对处理后的当前图像帧和参考图像帧划分图像块，能够较为准确的得到每个当前子图像块的最佳匹配块，因此，根据该最佳匹配块得到的运动矢量较准确，基于该运动矢量对当前图像帧进行编码时，能够减小比特流大小，提升图像质量。
在一些实施例中，上述当前图像帧为原始当前图像帧或采用缩放系数K对原始当前图像帧缩放至少一次后的图像帧，参考图像帧为原始参考图像帧或采用缩放系数K对原始参考图像帧缩放至少一次后的图像帧。
基于本方案，可以对当前图像帧和参考图像帧进行至少一次缩放，得到不同尺寸的当前图像帧和参考图像帧，并对相应尺寸的当前图像帧和参考图像帧进行下采样和上采样处理，以减少当前图像帧和参考图像帧中不代表主要信息的高频部分，过滤噪声信号，再根据处理后的当前图像帧和参考图像帧能够较为准确的得到每个尺寸下每个当前子图像块的最佳匹配块。
在一些实施例中，在当前子图像块对应的搜索范围内，分别计算该搜索范围内的多个参考子图像块与当前子图像块之间的距离。对搜索范围内的多个参考子图像块与当前子图像块之间的距离进行正则化处理，得到多个候选相似度。将多个候选相似度中最小的相似度对应的参考子图像块确定为当前子图像块的匹配块。
基于本方案，在当前子图像块对应的搜索范围内，通过计算参考子图像块与当前子图像块之间的距离并对距离进行处理，将最小的相似度对应的参考子图像块确定为当前子图像块的匹配块，能够确保得到的匹配块为当前图像块的最佳匹配块。
在一些实施例中，每个当前子图像块对应的多个候选相似度中最小的相似度为该当前子图像块对应的相似度。
在一些实施例中，该方法还包括：根据第一当前子图像块对应的第一相似度和第二当前子图像块对应的第二相似度，在第一当前子图像块对应的第一运动矢量和第二当前子图像块对应的第二运动矢量中确定目标运动矢量。其中，第一当前子图像块为第二当前子图像块进行缩放后的图像块。
在一些实施例中，比较第一相似度和第二相似度，在第一相似度小于或等于第二相似度的情况下，将第一运动矢量确定为目标运动矢量。在第一相似度大于第二相似度的情况下，将第二运动矢量确定为目标运动矢量。
基于本方案，由于对当前图像帧和参考图像帧进行缩放时，每个尺寸下都可以得到一组运动矢量和相似度，因此需要对当前图像块在不同尺寸下的多组相似度进行比较，并确定最佳的运动矢量。而且本方案在确定最佳运动矢量时，如果大块的相似度高于小块的相似度，将大块对应的运动矢量作为最佳运动矢量，如果大块的相似度低于小块的相似度，将小块对应的运动矢量作为最佳运动矢量，因此可以在不同尺寸下选择最佳的运动矢量，进一步提高运动矢量的准确度。另外，通过本方案可以将当前图像帧划分为不同大小的图像块进行编码。可以理解的，相似度数值越小表示相似度越高，相似度数值越大表示相似度越低。
在一些实施例中，上述基于所述运动矢量对所述当前图像帧进行编码，包括：基于目标运动矢量对当前图像帧进行编码。
再一方面，提供一种图像处理装置。图像处理装置包括：
获取模块，用于获取当前图像帧和参考图像帧；
采样模块，用于将当前图像帧依次进行下采样和上采样，得到处理后的当前图像帧，将参考图像帧依次进行下采样和上采样，得到处理后的参考图像帧；
划分模块，用于根据预设划分方式分别将处理后的当前图像帧和处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块；
确定模块，用于在在多个参考子图像块中确定与每个当前子图像块相似度最小的参考子图像块作为该当前子图像块的匹配块；
确定模块，还用于基于每个当前子图像块，以及该当前子图像块对应的匹配块，得到当前子图像块对应的运动矢量；
编码模块，用于基于运动矢量对当前图像帧进行编码。
在一些实施例中，上述当前图像帧为原始当前图像帧或采用缩放系数K对原始当前图像帧缩放至少一次后的图像帧，参考图像帧为原始参考图像帧或采用缩放系数K对原始参考图像帧缩放至少一次后的图像帧。
在一些实施例中，确定模块具体用于：在当前子图像块对应的搜索范围内，分别计算该搜索范围内的多个参考子图像块与当前子图像块之间的距离。对搜索范围内的多个参考子图像块与当前子图像块之间的距离进行正则化处理，得到多个候选相似度。将多个候选相似度中最小的相似度对应的参考子图像块确定为当前子图像块的匹配块。
在一些实施例中，每个当前子图像块对应的多个候选相似度中最小的相似度为该当前子图像块对应的相似度。
在一些实施例中，确定模块还用于根据第一当前子图像块对应的第一相似度和第二当前子图像块对应的第二相似度，在第一当前子图像块对应的第一运动矢量和第二当前子图像块对应的第二运动矢量中确定目标运动矢量；其中，第一当前子图像块为第二当前子图像块进行缩放后的图像块。
在一些实施例中，确定模块具体用于比较第一相似度和第二相似度，在第一相似度小于或等于第二相似度的情况下，将第一运动矢量确定为目标运动矢量；在第一相似度大于第二相似度的情况下，将第二运动矢量确定为目标运动矢量。
在一些实施例中，编码模块具体用于基于目标运动矢量对当前图像帧进行编码。
另一方面，提供一种计算机可读存储介质。该计算机可读存储介质存储有计算机程序指令，当计算机程序指令在计算机(例如，图像处理装置)上运行时，使得计算机执行如上述任一实施例所述的图像处理方法。
又一方面，提供一种计算机程序产品。该计算机程序产品包括计算机程序指令，当在计算机(例如，图像处理装置)上执行计算机程序指令时，计算机程序指令使计算机执行如上述任一实施例所述的图像处理方法。
又一方面，提供一种计算机程序。当该计算机程序在计算机(例如，图像处理装置)上执行时，该计算机程序使计算机执行如上述实施例所述的图像处理方法。
附图说明
为了更清楚地说明本公开中的技术方案，下面将对本公开一些实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例的附图，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。此外，以下描述中的附图可以视作示意图，并非对本公开实施例所涉及的产品的实际尺寸、方法的实际流程、信号的实际时序等的限制。
图1为本申请实施例提供的一种图像编码器的结构图；
图2为本申请实施例提供的一种图像处理方法的流程图；
图3为本申请实施例提供的一种图像处理方法的应用图；
图4为本申请实施例提供的另一种图像处理方法的应用图；
图5为本申请实施例提供的又一种图像处理方法的应用图；
图6为本申请实施例提供的再一种图像处理方法的应用图；
图7为本申请实施例提供的再一种图像处理方法的应用图；
图8为本申请实施例提供的再一种图像处理方法的应用图；
图9为本申请实施例提供的再一种图像处理方法的应用图；
图10为本申请实施例提供的再一种图像处理方法的应用图；
图11为本申请实施例提供的再一种图像处理方法的应用图；
图12为本申请实施例提供的另一种图像处理方法的流程图；
图13为本申请实施例提供的再一种图像处理方法的应用图；
图14为本申请实施例提供的一种图像处理装置的结构图。
具体实施方式
下面将结合附图，对本公开一些实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开所提供的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
除非上下文另有要求，否则，在整个说明书和权利要求书中，术语“包括(comprise)”及其其他形式例如第三人称单数形式“包括(comprises)”和现在分词形式“包括(comprising)”被解释为开放、包含的意思，即为“包含，但不限于”。在说明书的描述中，术语“一个实施例(one embodiment)”、“一些实施例(some embodiments)”、“示例性实施例(exemplary embodiments)”、“示例(example)”、“特定示例(specific example)”或“一些示例(some examples)”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外，所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
“A和/或B”，包括以下三种组合：仅A，仅B，及A和B的组合。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
首先，对本公开实施例中的名词进行解释。
下采样(或称为降采样)是指缩小图像帧，通过下采样可以使图像帧符合显示区域的大小，或生成图像帧的缩略图。例如，对尺寸为M*N像素的图像帧进行c倍下采样，得到(M/c)*(N/c)像素的图像帧，其中c为M和N的公约数。
上采样(或称为图像插值)是指放大图像帧，图像帧通过上采样可以显示在更高分辨率的显示设备上。上采样几乎都是采用内插值方法，即在原有图像帧像素的基础上，在像素点之间采用合适的插值算法插入新的元素。
帧内编码是指在进行图像压缩处理时，对图像帧进行离散余弦变换(discretecosine transform，DCT)、Z字形扫描、量化处理和可变长度编码(variable lengthcoding，VLC)等处理的编码方式。
帧间编码是指在进行图像压缩处理时，利用视频图像的时间冗余，对图像帧之间的运动矢量和纹理(预测残差)信息进行编码的编码方式。
接下来，对本公开涉及的系统架构进行介绍。
图1是本公开实施例提供的一种应用本公开所提供方法的图像编码器的结构图。该图像编码器包括残差计算单元、选择开关、DCT模块、量化器、VLC模块、缓冲器、速率控制模块、去量化器、逆DCT模块、帧存储模块以及运动估计和补偿模块。
如图1所示，图像编码器通过输入接口接收图像帧。例如，该图像帧可以为形成视频或视频序列的图片序列中的一帧图像。图像编码器接收的图像帧也可以称为当前图像帧或待编码图像帧。图像编码器可以对其接收的图像帧进行帧内编码或帧间编码。
选择开关用于在对图像进行压缩时，选择帧内编码的图像压缩方式，或者，选择帧间编码的图像压缩方式。为了更好的压缩图像，帧内编码一般用于静止图像(图片)，帧间编码一般用于活动图像(视频)。
残差计算单元用于基于当前图像帧和预测图像帧计算残差。DCT模块用于将空间域图像变换到频率域进行图像压缩。在空间域看来，图像内容千差万别，但在频率域上，经过对大量图像的统计分析发现，图像经过DCT变换后，其频率系数的主要成分集中于比较小的范围，且主要位于低频部分。根据图像信号在频率域的统计特性，可以采取一些措施把频谱中能量较小的部分舍弃，尽量保留传输频谱中主要的频率分量，从而达到图像数据压缩目的。
量化器用于对DCT模块处理后的频率数据再次进行处理，进一步压缩数据量。由于人眼睛对各种频率的敏感程度不同，可以对DCT模块处理后的频率数据进行量化处理，经过量化处理后的DCT系数矩阵将出现许多零值。一般左上角位置的数据的商数是非0，在右下角位置的数据的商数很小，经四舍五入取整值后可简写为0。在系数矩阵上出现了许多0值，大大减少了数据量，一方面保留了图像信息的主体部分，另一方面压缩了图像数据。
VLC模块用于对上述量化处理后的系数矩阵进行编码。VLC模块编码时可以通过Z字形扫描将上述量化处理后的系数矩阵化为一维数组，该一维数组的尾部具有多个“0”，可以将该多个“0”用其他的形式代替，解码时再恢复该多个“0”，以便填满矩阵的64位。因此，通过VLC编码可以进一步的压缩图像数据。例如，00000000可以表示为80，在解码时恢复为00000000。
对于静止图像，经过上述DCT模块、量化器和VLC模块可以完成图像数据的帧内编码，降低图像数据量。
缓冲器用于暂存图像压缩数据。
速率控制模块用于根据缓冲器的数据缓存量调整图像的码率。当图像较复杂时码率较高，图像较简单时码率较低，速率控制模块用于将码率调控在一定的范围内。
去量化器、逆DCT模块用于将编码后的图像数据恢复至编码前的图像数据作为参考图像帧。
帧存储用于存储参考帧和运动矢量。
运动估计和补偿模块用于根据参考图像帧与当前图像帧计算运动矢量和运动残差的计算。
对于活动图像，根据参考帧、运动矢量和运动残差可以进行图像数据的帧间编码，降低图像数据量。
目前，在帧间编码的图像处理过程中，搜索的匹配块可能不是最佳的匹配块，导致得到的运动矢量不准确，不准确的运动矢量将导致比特流的大小较大，需要占用较大的存储空间。而且不准确的运动矢量将降低图像质量。为了解决该问题，本申请实施例提供一种图像处理方法，能够找到最佳的匹配块，得到更准确的运动矢量，因此能够减小比特流大小，提升图像质量。
图2为本申请实施例提供的一种图像处理方法的流程图，如图2所示，该方法包括步骤201-206。
201、获取当前图像帧和参考图像帧。
结合图1，当前图像帧为编码器接收的图像帧，参考图像帧为编码后的图像数据经去量化器和逆DCT模块恢复的图像帧。
在一些实施例中，当前图像帧可以为原始当前图像帧或采用缩放系数K对原始当前图像帧缩放至少一次后的图像帧，参考图像帧可以为原始参考图像帧或采用缩放系数K对原始参考图像帧缩放至少一次后的图像帧。本申请实施例对于当前图像帧和参考图像帧是否进行缩放并不限定，对于缩放系数K的具体取值并不限定，下述实施例以缩放系数K等于2为例进行示例性说明。
当前图像帧与参考图像帧能够缩放的次数与图像编码标准有关。例如，以图像编码标准为活动图像专家组(moving picture experts group-2，MPEG2)为例，由于MPEG2支持8*8大小的图像块，因此不对当前图像帧与参考图像帧进行缩放，此时，当前图像帧为未经缩放的当前图像帧(也可以称为原始当前图像帧)，参考图像帧为未经缩放的参考图像帧(也可以称为原始参考图像帧)。以图像编码标准为高效视频编码(high efficiency videocoding，HEVC)为例，由于HEVC支持4*4、8*8、16*16、32*32、64*64的图像块，因此可以采用缩放系数为2对当前图像帧与参考图像帧进行4次缩放，得到5个层级的当前图像帧与参考图像帧，而且该5个层级的当前图像帧与参考图像帧的尺寸依次减小。本申请实施例对于采用何种编码标准进行图像编码、缩放系数的具体大小，以及具体缩放次数并不限定。为了方便说明，下述实施例以缩放系数为2，对当前图像帧和参考图像帧分别进行2次缩放为例进行说明。
如图3所示，以当前图像帧的大小为1280*1280，参考图像帧的大小为1280*1280，缩放系数K为2，缩放2次为例。首先，采用缩放系数2，对1280*1280的当前图像帧和参考图像帧分别进行一次缩放，得到640*640像素的当前图像帧和640*640像素的参考图像帧。然后，再采用缩放系数2，对640*640像素的当前图像帧和640*640的参考图像帧分别进行一次缩放，得到320*320像素的当前图像帧和320*320像素的参考图像帧。即，缩放次数为2时，可以得到三个层级的当前图像帧与参考图像帧，第一层为1280*1280像素的当前图像帧和1280*1280像素的参考图像帧，第二层为640*640像素的当前图像帧和640*640像素的参考图像帧，第三层为320*320像素的当前图像帧和320*320像素的参考图像帧。
202、将当前图像帧依次进行下采样和上采样，得到处理后的当前图像帧，将参考图像帧依次进行下采样和上采样，得到处理后的参考图像帧。
如图4所示，以当前图像帧与参考图像帧不能进行缩放为例，当前图像帧xn依次进行下采样和上采样，得到处理后的当前图像帧xn+1，参考图像帧yn依次进行下采样和上采样，得到处理后的当前图像帧yn+1。
在一些实施例中，当参考图像帧经过多次缩放后，由于最后一层的图像尺寸较小，为了避免对尺寸较小的图像进行下采样和上采样处理后可能造成图像信息丢失的问题，可以对缩放最多次得到的参考图像帧不进行下采样、上采样处理，直接将缩放最多次得到参考图像帧作为处理后的参考图像帧。本申请实施例对于缩放最多次得到的参考图像帧是否进行下采样、上采样处理并不限定，下述实施例以对缩放最多次得到的参考图像帧不进行下采样、上采样处理为例进行示例性说明。
如图5所示，以当前图像帧为1280*1280像素的图像帧，参考图像帧为1280*1280像素的图像帧，缩放系数K为2，缩放2次为例。1280*1280像素的当前图像帧p0依次进行下采样和上采样，得到处理后的当前图像帧p1，640*640像素的当前图像帧pn依次进行下采样和上采样，得到处理后的当前图像帧pn+1，320*320像素的当前图像帧pN依次进行下采样和上采样，得到处理后的当前图像帧pN+1。1280*1280像素的参考图像帧q0依次进行下采样和上采样，得到处理后的参考图像帧q1，640*640像素的参考图像帧qn依次进行下采样和上采样，得到处理后的参考图像帧qn+1，320*320像素的参考图像帧qN不进行下采样和上采样，将参考图像帧qN作为处理后的参考图像帧qN+1。
本申请实施例提供的图像处理方法，通过对当前图像帧和参考图像帧进行至少一次缩放，得到不同尺寸的当前图像帧和参考图像帧，并对相应尺寸的当前图像帧和参考图像帧进行下采样和上采样处理，以减少当前图像帧和参考图像帧中不代表主要信息的高频部分，过滤噪声信号，再根据处理后的当前图像帧和参考图像帧能够较为准确的得到每个尺寸下每个当前子图像块的最佳匹配块。
203、根据预设划分方式分别将处理后的当前图像帧和处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块。
对于不同的图像编码标准，可以采用不同的预设划分方式。如果图像编码标准支持一种划分方式，将该划分方式作为预设划分方式。如果图像编码标准支持多种划分方式，可以将包含像素数量最少的划分方式作为预设划分方式。本申请实施例对于预设划分方式具体采用哪种划分方式并不限定。
例如，以图像编码标准为MPEG2为例，由于MPEG2仅支持8*8像素的图像块，因此预设划分方式为采用8*8像素大小，将处理后的当前图像帧和处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块。以图像编码标准为HEVC为例，由于HEVC支持4*4、8*8、16*16、32×32和64×64像素的图像块，因此预设划分方式可以采用4*4像素大小，将处理后的当前图像帧和处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块。
如图6所示，以编码标准为HEVC为例，可以采用4*4像素的预设划分方式将处理后的当前图像帧划分为M个当前子图像块，将处理后的参考图像帧划分为M个参考子图像块。
多个当前子图像块的具体数量和多个参考子图像块的具体数量，与当前图像帧和参考图像帧的图像大小，以及预设划分方式有关。本申请实施例对于多个当前子图像块的具体数量和多个参考子图像块的具体数量并不限定。
204、在多个参考子图像块中确定与每个当前子图像块相似度最小的参考子图像块作为该当前子图像块的匹配块。
在多个参考子图像块中确定当前子图像块的匹配块可以包括步骤1-3。
步骤1、在当前子图像块对应的搜索范围内，分别计算该搜索范围内的多个参考子图像块与当前子图像块之间的距离。
每个当前子图像块对应一个搜索范围，不同子图像块对应的搜索范围可以不同，不同子图像块对应的搜索范围可以包括同一个图像块。本申请实施例对每个当前子图像块对应的搜索范围的大小和该搜索范围与当前子图像块的位置关系并不限定，该当前子图像块对应的搜索范围的大小与图像编码标准有关。
在一些示例中，以图像编码标准为HEVC，采用4*4像素的预设划分方式将处理后的当前图像帧划分为多个当前子图像块为例，当前子图像块对应的搜索范围可以为该当前子图像块周围的正方形中以半径＝16像素或半径＝32像素等进行搜索。
在一些实施例中，可以通过均方误差(mean squared error，MSE)计算搜索范围内的多个参考子图像块与当前子图像块之间的距离：
Di,j＝MSE(Ki,Qj)
其中，Di,j表示参考子图像块与当前子图像块之间的距离，Ki表示当前子图像块，Qj表示参考子图像块。
结合图6，如图7所示，以处理后的当前图像帧划分为M个当前子图像块为例，图7中的L个参考子图像块为当前子图像块对应的搜索范围内的图像块，通过MSE可以计算得到多个参考子图像块与当前子图像块之间的距离，距离越近，表示两个图像块之间的相似性越高。
步骤2、对搜索范围内的多个参考子图像块与当前子图像块之间的距离进行正则化处理，得到多个候选相似度。
本申请实施例对于正则化的具体处理方式并不限定。正则化处理得到的相似度越小，参考子图像块与当前子图像块之间的差异越小，参考子图像块与当前子图像块越相似。
在一些示例中，可以通过以下公式对搜索范围内的多个参考子图像块与当前子图像块之间的距离进行正则化处理：
Figure BDA0003487981460000101
其中Si,j表示参考子图像块与当前子图像块之间的相似度，Di,j表示参考子图像块与当前子图像块之间的距离，α为非0的参数，
Figure BDA0003487981460000102
表示当前子图像块与多个参考子图像块的距离中最小的Di,j。
如图8所示，以处理后的当前图像帧划分为M个当前子图像块，当前子图像块的搜索范围内包括L个参考子图像块为例，通过对多个参考子图像块与当前子图像块之间的距离进行正则化处理，得到多个候选相似度。
步骤3、将多个候选相似度中最小的相似度对应的参考子图像块确定为当前子图像块的匹配块。
在一些示例中，可以通过以下公式确定当前子图像块的匹配块：
Figure BDA0003487981460000103
其中，jnn(i)表示当前子图像块对应的参考子图像块(匹配块)，
Figure BDA0003487981460000111
表示在多个候选相似度中寻找最小相似度对应的参考子图像块。
如图9所示，以处理后的当前图像帧划分为M个当前子图像块，当前子图像块的搜索范围内包括L个参考子图像块为例，通过jnn(i)可以在多个候选相似度中找到最小的相似度对应的参考子图像块，即0.7、0.3和0.2等最小的相似度对应的参考子图像块为当前子图像块的匹配块。
本申请实施例提供的图像处理方法，通过计算参考子图像块与当前子图像块之间的距离并对距离进行处理，将最小的相似度对应的参考子图像块确定为当前子图像块的匹配块，能够确保得到的匹配块为当前图像块的最佳匹配块。
205、基于每个当前子图像块，以及该当前子图像块对应的匹配块，得到当前子图像块对应的运动矢量。
根据图像编码标准的不同，当前图像帧和参考图像帧可以缩放的次数不同，得到当前子图像块对应的运动矢量的数量也不同。本申请实施例对于具体采用图像编码标准的类型，得到运动矢量的具体数量并不限定。
如图10所示，上述步骤203和204可以由最近邻(patches nearest neighbors，PNN)模块执行，PNN模块的具体执行步骤可参考上述203和204的相关内容。以图像编码标准为MPEG2为例，当前图像帧和参考图像帧不进行缩放，根据当前子图像块，以及当前子图像块对应的匹配块，可以得到当前子图像块对应的1组运动矢量mv＝(cx，cy)，其中(cx，cy)表示当前图像块与匹配块之间的相对坐标。
在一些示例中，如果当前图像帧和参考图像帧可以缩放多次，在每种图像尺寸下，根据当前子图像块，以及该当前子图像块对应的匹配块可以得到该当前子图像块对应的一个运动矢量。因此，图像缩放多次后，对于每个当前子图像块可以得到多组运动矢量：
mv＝(Kgcx，Kgcy)
其中，K表示缩放系数，g表示当前子图像块对应的不同缩放层级。
如图11所示，以当前图像帧和参考图像帧可以缩放2次，共3个缩放层级为例，对于第一层，运动矢量mv1＝(K1cx，K1cy)。对于第二层，运动矢量mv2＝(K2cx，K2cy)。对于第三层，运动矢量mv3＝(K3cx，K3cy)。即在每一层得到当前子图像块的匹配块之间的运动矢量(cx，cy)后，还需要将该运动矢量(cx，cy)乘以Kg，得到该当前图像块未压缩时对应的运动矢量。
206、基于运动矢量对当前图像帧进行编码。
如果基于每个当前子图像块，以及该当前子图像块对应的匹配块，得到一组当前子图像块对应的运动矢量，基于该运动矢量对当前图像帧进行编码。
本申请实施例提供的图像处理方法，通过将当前图像帧和参考图像帧依次进行下采样和上采样处理，能够减少当前图像帧和参考图像帧中不代表主要信息的高频部分，过滤噪声信号，再通过对处理后的当前图像帧和参考图像帧划分图像块，能够较为准确的得到每个当前子图像块的最佳匹配块，因此，根据该最佳匹配块得到的运动矢量较准确，基于该运动矢量对当前图像帧进行编码时，能够减小比特流大小，提升图像质量。
如图12所示，如果基于每个当前子图像块，以及该当前子图像块对应的匹配块，得到多组当前子图像块对应的运动矢量，本申请实施例提供的图像处理方法除包括上述步骤201-206，在步骤206之前还可以包括步骤207。
207、根据第一当前子图像块对应的第一相似度和第二当前子图像块对应的第二相似度，在第一当前子图像块对应的第一运动矢量和第二当前子图像块对应的第二运动矢量中确定目标运动矢量。其中，第一当前子图像块为第二当前子图像块进行缩放后的图像块。
在一些示例中，第一当前子图像块可以是第二当前子图像块进行1次缩放后的图像块，第一当前子图像块也可以是第二当前子图像块进行多次缩放后的图像块。本申请实施例对于第一当前子图像块具体为第二当前子图像块进行几次缩放后的图像块并不限定。
第二当前子图像块可以为多个当前子图像块，每个当前子图像块可以对应一个第二相似度。本申请实施例对于第二当前子图像块具体包括的当前子图像块的数量并不限定，该第二当前子图像块包括的当前子图像块的数量与缩放系数等参数有关。
例如，如图3所示，以第一当前子图像块为320*320像素的当前图像帧中的图像块，第二当前子图像块为640*640像素的当前图像帧中的图像块，第一当前子图像块和第二当前子图像块的大小均为4*4为例，由于320*320像素的当前图像帧是640*640像素的当前图像帧进行一次缩放后的图像帧，320*320像素的当前图像帧较640*640像素的当前图像帧的尺寸小，因此320*320像素的当前图像帧中的一个4*4的第一当前子图像块对应640*640像素的当前图像帧中的4个4*4的第二当前子图像块。也就是说，4个4*4的第二当前子图像块经过一次缩放后可以得到一个4*4的第一当前子图像块。
比较第一相似度和第二相似度，在第一相似度小于或等于第二相似度的情况下，将第一运动矢量确定为目标运动矢量。在第一相似度大于第二相似度的情况下，将第二运动矢量确定为目标运动矢量。
如图13所示，以缩放系数K等于2，第一当前子图像块包括1个子图像块，第一相似度为S0，第一当前子图像块为第二当前子图像块进行1次缩放后的图像块为例，第二当前子图像块包括4个子图像块，第二相似度包括S1、S2、S3和S4。依次比较第一相似度S0和第二相似度S1-S4，在第一相似度S0小于或等于第二相似度S1-S4的情况下，将第一运动矢量确定为目标运动矢量。在第一相似度S0大于S1-S4中任一第二相似度的情况下，将第二运动矢量确定为目标运动矢量。
相应的，步骤206中可以基于步骤207确定的目标运动矢量对当前图像帧进行编码。
在一些示例中，可以使用张量处理框架并行处理上述步骤203-207提高处理效率。例如，Pytorch(python torch)、Tensorflow。本申请实施例对于具体采用什么类型的张量处理框架进行并行计算并不限定。
在一些示例中，可以通过图形处理器(graphics processing unit，GPU)提高编码效率。
本申请实施例提供的图像处理方法由于对当前图像帧和参考图像帧进行缩放时，每个尺寸下都可以得到一组运动矢量和相似度，因此需要对当前图像块在不同尺寸下的多组相似度进行比较，并确定最佳的运动矢量。而且本方案在确定最佳运动矢量时，如果大块的相似度高于小块的相似度，将大块对应的运动矢量作为最佳运动矢量，如果大块的相似度低于小块的相似度，将小块对应的运动矢量作为最佳运动矢量，因此可以在不同尺寸下选择最佳的运动矢量，进一步提高运动矢量的准确度。另外，通过本方案可以将当前图像帧划分为不同大小的图像块进行编码。可以理解的，相似度数值越小表示相似度越高，相似度数值越大表示相似度越低。
本申请实施例提供一种图像处理装置，该装置可以为图像编码器，具体的，图像处理装置用于执行以上图像处理方法中的步骤201-207。本申请实施例提供的图像处理装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图14示出上述实施例中所涉及图像处理装置的一种可能的结构示意图。如图14所示，图像处理装置1400可以包括获取模块1401、采样模块1402、划分模块1403、确定模块1404、编码模块1405。具体的，各模块功能如下：
获取模块1401，用于获取当前图像帧和参考图像帧。
采样模块1402，用于将当前图像帧依次进行下采样和上采样，得到处理后的当前图像帧，将参考图像帧依次进行下采样和上采样，得到处理后的参考图像帧。
划分模块1403，用于根据预设划分方式分别将处理后的当前图像帧和处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块。
确定模块1404，用于在多个参考子图像块中确定与每个当前子图像块相似度最小的参考子图像块作为该当前子图像块的匹配块。
确定模块1404，还用于基于每个当前子图像块，以及该当前子图像块对应的匹配块，得到当前子图像块对应的运动矢量。
编码模块1405，用于基于运动矢量对当前图像帧进行编码。
在一种可行的实施方式中，当前图像帧为原始当前图像帧或采用缩放系数K对原始当前图像帧缩放至少一次后的图像帧，参考图像帧为原始参考图像帧或采用缩放系数K对原始参考图像帧缩放至少一次后的图像帧。
在一种可行的实施方式中，确定模块1404具体用于：在当前子图像块对应的搜索范围内，分别计算该搜索范围内的多个参考子图像块与当前子图像块之间的距离。对搜索范围内的多个参考子图像块与当前子图像块之间的距离进行正则化处理，得到多个候选相似度。将多个候选相似度中最小的相似度对应的参考子图像块确定为当前子图像块的匹配块。
在一种可行的实施方式中，每个当前子图像块对应的多个候选相似度中最小的相似度为该当前子图像块对应的相似度。
在一种可行的实施方式中，确定模块1404还用于根据第一当前子图像块对应的第一相似度和第二当前子图像块对应的第二相似度，在第一当前子图像块对应的第一运动矢量和第二当前子图像块对应的第二运动矢量中确定目标运动矢量。其中，第一当前子图像块为第二当前子图像块进行缩放后的图像块。
在一种可行的实施方式中，确定模块1404具体用于比较第一相似度和第二相似度，在第一相似度小于或等于第二相似度的情况下，将第一运动矢量确定为目标运动矢量。在第一相似度大于第二相似度的情况下，将第二运动矢量确定为目标运动矢量。
在一种可行的实施方式中，编码模块1405具体用于基于目标运动矢量对当前图像帧进行编码。
本申请的一些实施例提供了一种计算机可读存储介质(例如，非暂态计算机可读存储介质)，该计算机可读存储介质中存储有计算机程序指令，计算机程序指令在计算机(例如，图像处理装置)上运行时，使得计算机执行如上述实施例中任一实施例所述的图像处理方法。
在一些示例中，上述计算机可读存储介质可以包括，但不限于：磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，CD(Compact Disk，压缩盘)、DVD(Digital VersatileDisk，数字通用盘)等)，智能卡和闪存器件(例如，EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、卡、棒或钥匙驱动器等)。本公开描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
本公开的一些实施例还提供了一种计算机程序产品，例如该计算机程序产品存储在非瞬时性的计算机可读存储介质上。该计算机程序产品包括计算机程序指令，在计算机(例如，图像处理装置)上执行该计算机程序指令时，该计算机程序指令使计算机执行如上述实施例所述的图像处理方法。
本公开的一些实施例还提供了一种计算机程序。当该计算机程序在计算机(例如，图像处理装置)上执行时，该计算机程序使计算机执行如上述实施例所述的图像处理方法。
上述计算机可读存储介质、计算机程序产品及计算机程序的有益效果和上述一些实施例所述的图像处理方法的有益效果相同，此处不再赘述。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
获取当前图像帧和参考图像帧；
将所述当前图像帧依次进行下采样和上采样，得到处理后的当前图像帧，将所述参考图像帧依次进行下采样和上采样，得到处理后的参考图像帧；
根据预设划分方式分别将所述处理后的当前图像帧和所述处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块；
在所述多个参考子图像块中确定与每个所述当前子图像块相似度最小的所述参考子图像块作为该当前子图像块的匹配块；
基于每个所述当前子图像块，以及该当前子图像块对应的匹配块，得到所述当前子图像块对应的运动矢量；
基于所述运动矢量对所述当前图像帧进行编码。
2.根据权利要求1所述的方法，其特征在于，所述当前图像帧为原始当前图像帧或采用缩放系数K对所述原始当前图像帧缩放至少一次后的图像帧，所述参考图像帧为原始参考图像帧或采用所述缩放系数K对所述原始参考图像帧缩放至少一次后的图像帧。
3.根据权利要求2所述的方法，其特征在于，所述在所述多个参考子图像块中确定与每个所述当前子图像块相似度最小的所述参考子图像块作为该当前子图像块的匹配块，包括：
在所述当前子图像块对应的搜索范围内，分别计算该搜索范围内的多个所述参考子图像块与所述当前子图像块之间的距离；
对所述搜索范围内的多个所述参考子图像块与所述当前子图像块之间的距离进行正则化处理，得到多个候选相似度；
将所述多个候选相似度中最小的相似度对应的所述参考子图像块确定为所述当前子图像块的匹配块。
4.根据权利要求3所述的方法，其特征在于，每个所述当前子图像块对应的多个候选相似度中最小的相似度为该当前子图像块对应的相似度。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据第一当前子图像块对应的第一相似度和第二当前子图像块对应的第二相似度，在所述第一当前子图像块对应的第一运动矢量和所述第二当前子图像块对应的第二运动矢量中确定目标运动矢量；其中，所述第一当前子图像块为所述第二当前子图像块进行缩放后的图像块。
6.根据权利要求5所述的方法，其特征在于，所述根据第一当前子图像块对应的第一相似度和第二当前子图像块对应的第二相似度，在所述第一当前子图像块对应的第一运动矢量和所述第二当前子图像块对应的第二运动矢量中确定目标运动矢量，包括：
比较所述第一相似度和所述第二相似度，在所述第一相似度小于或等于第二相似度的情况下，将所述第一运动矢量确定为所述目标运动矢量；在所述第一相似度大于所述第二相似度的情况下，将所述第二运动矢量确定为所述目标运动矢量。
7.根据权利要求5或6所述的方法，其特征在于，所述基于所述运动矢量对所述当前图像帧进行编码，包括：
基于所述目标运动矢量对所述当前图像帧进行编码。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取当前图像帧和参考图像帧；
采样模块，用于将所述当前图像帧依次进行下采样和上采样，得到处理后的当前图像帧，将所述参考图像帧依次进行下采样和上采样，得到处理后的参考图像帧；
划分模块，用于根据预设划分方式分别将所述处理后的当前图像帧和所述处理后的参考图像帧划分为多个当前子图像块和多个参考子图像块；
确定模块，用于在在所述多个参考子图像块中确定与每个所述当前子图像块相似度最小的所述参考子图像块作为该当前子图像块的匹配块；
确定模块，还用于基于每个所述当前子图像块，以及该当前子图像块对应的匹配块，得到所述当前子图像块对应的运动矢量；
编码模块，用于基于所述运动矢量对所述当前图像帧进行编码。
9.根据权利要求8所述的装置，其特征在于，所述当前图像帧为原始当前图像帧或采用缩放系数K对所述原始当前图像帧缩放至少一次后的图像帧，所述参考图像帧为原始参考图像帧或采用所述缩放系数K对所述原始参考图像帧缩放至少一次后的图像帧。
10.根据权利要求9所述的装置，其特征在于，所述确定模块具体用于：
在所述当前子图像块对应的搜索范围内，分别计算该搜索范围内的多个所述参考子图像块与所述当前子图像块之间的距离；
对所述搜索范围内的多个所述参考子图像块与所述当前子图像块之间的距离进行正则化处理，得到多个候选相似度；
将所述多个候选相似度中最小的相似度对应的所述参考子图像块确定为所述当前子图像块的匹配块。
11.根据权利要求10所述的装置，其特征在于，每个所述当前子图像块对应的多个候选相似度中最小的相似度为该当前子图像块对应的相似度。
12.根据权利要求11所述的装置，其特征在于，所述确定模块还用于根据第一当前子图像块对应的第一相似度和第二当前子图像块对应的第二相似度，在所述第一当前子图像块对应的第一运动矢量和所述第二当前子图像块对应的第二运动矢量中确定目标运动矢量；其中，所述第一当前子图像块为所述第二当前子图像块进行缩放后的图像块。
13.根据权利要求12所述的装置，其特征在于，所述确定模块具体用于比较所述第一相似度和所述第二相似度，在所述第一相似度小于或等于第二相似度的情况下，将所述第一运动矢量确定为所述目标运动矢量；在所述第一相似度大于所述第二相似度的情况下，将所述第二运动矢量确定为所述目标运动矢量。
14.根据权利要求12或13所述的装置，其特征在于，所述编码模块具体用于基于所述目标运动矢量对所述当前图像帧进行编码。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序指令，当计算机程序指令在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的图像处理方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序指令，当计算机程序指令在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的图像处理方法。
CN202210086020.XA 2022-01-25 2022-01-25 图像处理方法和装置 Pending CN114531596A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210086020.XA CN114531596A (zh) 2022-01-25 2022-01-25 图像处理方法和装置
PCT/CN2023/070405 WO2023142926A1 (zh) 2022-01-25 2023-01-04 一种图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210086020.XA CN114531596A (zh) 2022-01-25 2022-01-25 图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN114531596A true CN114531596A (zh) 2022-05-24

Family

ID=81622256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210086020.XA Pending CN114531596A (zh) 2022-01-25 2022-01-25 图像处理方法和装置

Country Status (2)

Country Link
CN (1) CN114531596A (zh)
WO (1) WO2023142926A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900691A (zh) * 2022-07-14 2022-08-12 浙江大华技术股份有限公司 编码方法、编码器及计算机可读存储介质
WO2023142926A1 (zh) * 2022-01-25 2023-08-03 京东方科技集团股份有限公司 一种图像处理方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929648B (zh) * 2014-03-27 2017-04-19 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
WO2019084801A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 运动估计方法和装置
CN108833917B (zh) * 2018-06-20 2022-04-08 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
EP3777143A4 (en) * 2019-03-11 2022-02-16 Alibaba Group Holding Limited INTERCODING FOR ADAPTIVE RESOLUTION VIDEO CODING
CN112738517B (zh) * 2019-10-14 2022-03-01 珠海格力电器股份有限公司 运动估计搜索方法、装置、设备及存储介质
CN114531596A (zh) * 2022-01-25 2022-05-24 京东方科技集团股份有限公司 图像处理方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142926A1 (zh) * 2022-01-25 2023-08-03 京东方科技集团股份有限公司 一种图像处理方法和装置
CN114900691A (zh) * 2022-07-14 2022-08-12 浙江大华技术股份有限公司 编码方法、编码器及计算机可读存储介质
CN114900691B (zh) * 2022-07-14 2022-10-28 浙江大华技术股份有限公司 编码方法、编码器及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023142926A1 (zh) 2023-08-03

Similar Documents

Publication Publication Date Title
US7483625B2 (en) Picture recording apparatus and method thereof
EP1138152B8 (en) Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
WO2023142926A1 (zh) 一种图像处理方法和装置
JPH118855A (ja) デジタル・ビデオ信号エンコーダ及び符号化方法
JP2004503951A (ja) ビデオ情報を符号化する方法および装置
US20090304090A1 (en) Method for Scalable Video Coding
JP2004227519A (ja) 画像処理方法
JP3778960B2 (ja) 動画像符号化方法及び装置
US8396313B2 (en) Image compression and decompression using the PIXON method
EP3104615B1 (en) Moving image encoding device and moving image encoding method
US10034016B2 (en) Coding apparatus, computer system, coding method, and computer product
CN109618227B (zh) 视频数据存储方法及其系统
US20120093227A1 (en) Data compression method and data compression device
Zhu et al. Video coding with spatio-temporal texture synthesis and edge-based inpainting
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
JPH09502840A (ja) テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用
JPH1023420A (ja) 動き検出方法および動き検出装置
US7706440B2 (en) Method for reducing bit rate requirements for encoding multimedia data
CN112313950A (zh) 视频图像分量的预测方法、装置及计算机存储介质
US20240048709A1 (en) Methods and systems for temporal resampling for multi-task machine vision
Shen et al. Down-sampling based video coding with super-resolution technique
JP5736863B2 (ja) トランスコード装置及びトランスコード方法
KR100987584B1 (ko) 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법
US20240073425A1 (en) Image encoding apparatus and image decoding apparatus both based on artificial intelligence, and image encoding method and image decoding method performed by the image encoding apparatus and the image decoding apparatus
JPH10164596A (ja) 動き検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination