CN113115034B - 一种视频处理方法、装置、电子设备及存储介质 - Google Patents

一种视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113115034B
CN113115034B CN202110322080.2A CN202110322080A CN113115034B CN 113115034 B CN113115034 B CN 113115034B CN 202110322080 A CN202110322080 A CN 202110322080A CN 113115034 B CN113115034 B CN 113115034B
Authority
CN
China
Prior art keywords
image block
value
pixel
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110322080.2A
Other languages
English (en)
Other versions
CN113115034A (zh
Inventor
豆修鑫
樊鸿飞
许道远
宋嘉文
徐琴琴
贺沁雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110322080.2A priority Critical patent/CN113115034B/zh
Publication of CN113115034A publication Critical patent/CN113115034A/zh
Application granted granted Critical
Publication of CN113115034B publication Critical patent/CN113115034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种视频处理方法、装置、电子设备及存储介质。其中，该方法包括：获取对待处理视频中每帧图像进行分割得到的图像块；将图像块输入恰可察觉失真模型，得到由恰可察觉失真模型中各个子模型输出的输出结果，并根据输出结果计算图像块各像素的最小可觉差；根据图像块及对图像块进行编码得到的编码后图像块，计算图像块各像素的像素残差值；当根据图像块中各像素的像素残差值以及最小可觉差确定图像块为零块时，对图像块采用预设编码模式进行编码处理。本申请根据恰可察觉失真模型中各个子模型输出的计算结果得到最小可觉差，并根据像素残差值以及最小可觉差找到目标图像快，简化了计算过程，提高了视频编码中零块的查找效率。

Description

一种视频处理方法、装置、电子设备及存储介质
技术领域
本申请涉及食品处理领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
现有技术中，一般以基于感知失真度量来加快HEVC的编码时间，但是只用到亮度幅度非线性(luminance masking，LM)模型和纹理对比度掩蔽(contrast masking，CM)模型，导致JND值的判断不完整；并且只支持2Nx2N的块的SKIP判断，用法局限，不适用AV1的多重块类型的SKIP支持；且计算过程复杂，实现困难。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种视频处理方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面，提供了一种视频处理方法，包括：
获取对待处理视频中每帧图像进行分割得到的图像块；
将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
根据所述图像块及对所述图像块进行编码得到的编码后图像块，计算所述图像块各像素的像素残差值；
当根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理。
进一步的，所述恰可察觉失真模型中的子模型包括：视觉对比度敏感度带通模型、亮度幅度非线性模型、纹理对比度掩蔽模型、人眼凸起掩蔽模型以及时域掩蔽模型；
所述将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差，包括：
将所述图像块输入所述视觉对比度敏感度带通模型，由所述视觉对比度敏感度带通模型采用多个预设梯度算子分别对所述图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；
将所述图像块输入所述亮度幅度非线性模型，由所述亮度幅度非线性模型输出所述图像块中亮度分量强度；
将所述图像块输入所述纹理对比度掩蔽模型，由所述纹理对比度掩蔽模型输出所述图像块中边缘像素和；
将所述图像块输入所述人眼凸起掩蔽模型，由所述人眼凸起掩蔽模型输出所述图像块中的多个目标区域，以及所述目标区域的中心点之间的距离总和；
将所述图像块输入所述时域掩蔽模型，由所述时域掩蔽模型输出所述图像块的时域变化值；
根据所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值进行求和，得到所述图像块中每个像素的最小可觉差。
进一步的，所述根据所述图像块及对所述图像块进行编码得到的编码后图像块，计算所述图像块各像素的像素残差值，包括：
确定对所述图像块进行编码的目标编码速度；
按照所述目标编码速度对所述图像块进行编码，得到编码后的图像块；
确定所述图像块的原始像素值，以及所述编码后的图像块的目标像素值；
根据所述目标像素值与所述原始像素值之间的差值，得到所述图像块各像素的像素残差值。
进一步的，在根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理之前，所述方法还包括：
获取所述图像块的像素尺寸，以及所述目标编码速度对应的权重值，其中，所述编码速度与所述权重值成正比例关系；
根据所述权重值与所述像素尺寸的乘积，得到目标阈值。
进一步的，所述当根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理，包括：
根据所述像素残差值的绝对值与所述最小可觉差进行计算，得到用于确定目标图像块的成本函数值；
对比所述成本函数值与所述目标阈值得到对比结果；
根据所述对比结果选择所述成本函数值小于或等于所述目标阈值的图像块确定为所述零块，对所述图像块采用预设编码模式进行编码处理。
进一步的，所述根据所述像素残差值的绝对值与所述最小可觉差进行计算，得到用于确定目标图像块的成本函数值，包括：
当所述像素残差值的绝对值大于所述最小可觉差时，确定所述图像块各像素中像素残差值的绝对值与最小可觉差的差值；
根据所述差值进行求和得到所述成本函数值。
进一步的，所述根据所述像素残差值的绝对值与所述最小可觉差进行计算，得到用于确定目标图像块的成本函数值，包括：
当所述像素残差值的绝对值小于或等于所述最小可觉差时，获取预设值，将所述预设值作为所述成本函数值。
根据本申请实施例的另一方面，还提供了一种视频处理装置，包括：
获取模块，用于获取对待处理视频中每帧图像进行分割得到的图像块；
处理模块，用于将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
编码模块，用于根据所述图像块及对所述图像块进行编码得到的编码后图像块，计算所述图像块各像素的像素残差值；
执行模块，用于当根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请根据恰可察觉失真模型中各个子模型输出的计算结果得到最小可觉差，并根据像素残差值以及最小可觉差找到目标图像快，简化了计算过程，提高了视频编码中零块的查找效率。同时在视频编码过程中对零块按照预设编码模式处理，有利于减小码率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频处理方法的流程图；
图2为本申请另一实施例提供的一种视频处理方法的流程图；
图3为本申请另一实施例提供的一种视频处理方法的流程图；
图4为本申请实施例提供的一种视频处理装置的框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种视频处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
根据本申请实施例的一方面，提供了一种视频处理方法的方法实施例。图1为本申请实施例提供的一种视频处理方法的流程图，如图1所示，该方法包括：
步骤S11，获取对待处理视频中每帧图像进行分割得到的图像块；
在本申请实施例中，通过按照预设参数对待处理视频中的每帧图像进行分割处理得到多个图像块。
作为一个示例，确定每帧图像的原始图像大小(height：图像的高度，width：图像的高度)和图像块的分块大小(Window Size)，根据原始图像大小以及分块大小得到索引图，索引图中包括多个图像块，其中，相同图像块的像素点公用一个标记值。
步骤S12，将图像块输入恰可察觉失真模型，得到由恰可察觉失真模型中各个子模型输出的输出结果，并根据输出结果计算图像块各像素的最小可觉差；
在本申请实施例中，恰可察觉失真模型中的子模型包括：(1)视觉对比度敏感度带通模型(contrast sensitivity function，CSF)。(2)亮度幅度非线性模型(Luminancemasking，LM)。(3)纹理对比度掩蔽模型(Contrast masking，CM)。(4)人眼凸起掩蔽模型(Foveated masking，FM)。(5)时域掩蔽模型(Temporal masking，TM)。其中，对比敏感度函数反映对比敏感度与空间频率之间的关系，通过实验观察数据拟合获得数学模型，视觉对比度敏感度带通模型反映人眼传递特性。
恰可察觉失真模型(Just Noticeable Distortion,JND)指的就是当视觉内容改变时，能够引起恰可察觉失真的最大的可见度阈值。恰可察觉失真(Just NoticeableDistortion,JND)模型能够很好地指导各种视频图像处理系统以获取更高的性能指标，如视频压缩、图像增强、数字水印、图像质量评价等。
在本申请实施例中，如图2所示，步骤S12，将图像块输入恰可察觉失真模型，得到由恰可察觉失真模型中各个子模型输出的输出结果，并根据输出结果计算图像块各像素的最小可觉差，包括以下步骤A1-A6：
步骤A1，将图像块输入视觉对比度敏感度带通模型，由视觉对比度敏感度带通模型采用多个预设梯度算子分别对图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；
在本申请实施例中，视觉对比度敏感度带通模型计算过程如下：
Figure BDA0002993269080000091
上述式中，T_CSF为目标对比度值，k为梯度算子，x为像素点的横坐标，y为像素点的纵坐标。
步骤A2，将图像块输入亮度幅度非线性模型，由亮度幅度非线性模型输出图像块中亮度分量强度；
在本申请实施例中，亮度幅度非线性模型的计算过程如下：
Figure BDA0002993269080000092
上述式中，T_LM为亮度分量强度，Ixy为亮度增量，x为像素点的横坐标，y为像素点的纵坐标。
步骤A3，将图像块输入纹理对比度掩蔽模型，由纹理对比度掩蔽模型输出图像块中边缘像素和；
在本申请实施例中，纹理对比度掩蔽模型的计算过程如下：
T_CM＝∑canny。
上述式中，T_CM为边缘像素和，canny为高频滤波算子。
步骤A4，将图像块输入人眼凸起掩蔽模型，由人眼凸起掩蔽模型输出图像块中的多个目标区域，以及目标区域的中心点之间的距离总和；
在本申请实施例中，人眼凸起掩蔽模型的计算过程如下：
Figure BDA0002993269080000093
上述式中，T_FM为图像块中心区域的各像素点之间的距离总和，x0、x1为图像块中心区域任意两个像素点的横坐标，y0、y1为图像块中心区域任意两个像素点的纵坐标，k为编码时的像素点总数。
步骤A5，将图像块输入时域掩蔽模型，由时域掩蔽模型输出图像块的时域变化值；
在本申请实施例中，时域掩蔽模型的计算过程如下
Figure BDA0002993269080000101
上述式中，T_TM为时域变化值，帧内intra可以忽略不计，SAD为帧间亮度差，cu为编码快。
步骤A6，根据目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及时域变化值进行求和，得到图像块中每个像素的最小可觉差。
在本申请实施例中，最小可觉差的计算方式如下：
JNDi＝(T_CSF+T_LM+T_CM+T_FM+T_TM)。
步骤S13，根据图像块及对图像块进行编码得到的编码后图像块，计算图像块各像素的像素残差值；
在本申请实施例中，如图3所示，步骤S13，根据图像块及对图像块进行编码得到的编码后图像块，计算图像块各像素的像素残差值，包括以下步骤B1-B4：
步骤B1，确定对图像块进行编码的目标编码速度；
在本申请实施例中，编码速度包括：快速档编码，中速挡编码以及慢速档编码。目标编码速度可以是工作人员根据编码工作需求进行选择的。
步骤B2，按照目标编码速度对图像块进行编码，得到编码后的图像块；
在本申请实施例中，按照不同编码类型对图像块进行编码，得到编码后的图像块也不同。可以理解的，编码速度的档位越慢，得到的编码后的图像块越细致。
步骤B3，确定图像块的原始像素值，以及编码后的图像块的目标像素值；
步骤B4，根据目标像素值与原始像素值之间的差值，得到图像块各像素的像素残差值。
在本申请实施例中，由于图像块在进行编码后，像素值会发生变化，因此，根据编码后图像块的目标像素值减去原始像素值，得到的差值即为图像块进行编码时产生的像素残差值。
步骤S14，当根据图像块中各像素的像素残差值以及最小可觉差确定图像块为零块时，对图像块采用预设编码模式进行编码处理。
在本申请实施例中，在根据图像块中各像素的像素残差值以及最小可觉差确定图像块为零块时，对图像块采用预设编码模式进行编码处理之前，方法还包括以下步骤C1-C2：
步骤C1，获取图像块的像素尺寸，以及目标编码速度对应的权重值，其中，编码速度与权重值成正比例关系；
步骤C2，根据权重值与像素尺寸的乘积，得到目标阈值。
在本申请实施例中，目标阈值的计算过程如下：
Figure BDA0002993269080000111
上述式中，1为慢速档编码对应的权重值，3为中速挡编码对应的权重值，5为快速档编码对应的权重值，M为图像块的像素宽，N为图像块的像素高。
在本申请实施例中，步骤S14，当根据图像块中各像素的像素残差值以及最小可觉差确定图像块为零块时，对图像块采用预设编码模式进行编码处理，包括D1-D3：
步骤D1，根据像素残差值的绝对值与最小可觉差进行计算，得到用于确定目标图像块的成本函数值；
在本申请实施例中，步骤D1，根据像素残差值的绝对值与最小可觉差进行计算，得到用于确定目标图像块的成本函数值，包括步骤D10-D11：
步骤D10，当像素残差值的绝对值大于最小可觉差时，确定图像块各像素中像素残差值的绝对值与最小可觉差的差值；
步骤D11，根据差值进行求和得到成本函数值。
在本申请实施例中，步骤D1，根据像素残差值的绝对值与最小可觉差进行计算，得到用于确定目标图像块的成本函数值，还包括步骤D20：
步骤D20，当像素残差值的绝对值小于或等于最小可觉差时，获取预设值，将预设值作为成本函数值。
在本申请实施例中，成本函数值的计算方式如下：
Figure BDA0002993269080000121
其中，costM×N为成本函数值，resi为像素残差值，JNDi为最小可觉差，M为图像块的像素宽度，N为图像块的像素高度。
步骤D2，对比成本函数值与目标阈值得到对比结果；
在本申请实施例中，对比costM×N与λM×N的大小得到对比结果。
步骤D3，根据对比结果选择成本函数值小于或等于目标阈值的图像块确定为零块，对图像块采用预设编码模式进行编码处理。
在本申请实施例中，当costM×N小于或等于λM×N时，则确认图像块为零块，并对图像块采用预设编码模式进行编码处理。
在本申请实施例中，当检测到零块之后，对零块采用的预设编码模式为：不对零块进行编码。
可以理解，在正常编码时，对于不属于零块的图像块，编码需要对残差进行变换、预测、熵编码、重构等一系列计算；对于属于零块的图像块，由于零块没有残差，因此不用做变换、量化、熵编码、重构等一系列计算，所以加快了编码速度。当零块越多时，编码速度加快越快，码率越小。
本申请根据恰可察觉失真模型中各个子模型输出的计算结果得到最小可觉差，并根据像素残差值以及最小可觉差找到目标图像快，简化了计算过程，提高了视频编码中零块的查找效率。同时在视频编码过程中对零块按照预设编码模式处理，有利于减小码率。
图4为本申请实施例提供的一种视频编码装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，该装置包括：
获取模块41，用于获取对待处理视频中每帧图像进行分割得到的图像块；
处理模块42，用于将图像块输入恰可察觉失真模型，得到由恰可察觉失真模型中各个子模型输出的输出结果，并根据输出结果计算图像块各像素的最小可觉差；
编码模块43，用于根据图像块及对图像块进行编码得到的编码后图像块，计算图像块各像素的像素残差值；
执行模块44，用于当根据图像块中各像素的像素残差值以及最小可觉差确定图像块为零块时，对图像块采用预设编码模式进行编码处理。
在本申请实施例中，恰可察觉失真模型中的子模型包括：视觉对比度敏感度带通模型、亮度幅度非线性模型、纹理对比度掩蔽模型、人眼凸起掩蔽模型以及时域掩蔽模型；
处理模块42，用于将图像块输入视觉对比度敏感度带通模型，由视觉对比度敏感度带通模型采用多个预设梯度算子分别对图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；将图像块输入亮度幅度非线性模型，由亮度幅度非线性模型输出图像块中亮度分量强度；将图像块输入纹理对比度掩蔽模型，由纹理对比度掩蔽模型输出图像块中边缘像素和；将图像块输入人眼凸起掩蔽模型，由人眼凸起掩蔽模型输出图像块中的多个目标区域，以及目标区域的中心点之间的距离总和；将图像块输入时域掩蔽模型，由时域掩蔽模型输出图像块的时域变化值；根据目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及时域变化值进行求和，得到图像块中每个像素的最小可觉差。
在本申请实施例中，编码模块43，用于确定对图像块进行编码的目标编码速度；按照目标编码速度对图像块进行编码，得到编码后的图像块；确定图像块的原始像素值，以及编码后的图像块的目标像素值；根据目标像素值与原始像素值之间的差值，得到图像块各像素的像素残差值。
在本申请实施例中，装置还包括：计算模块，用于获取图像块的像素尺寸，以及目标编码速度对应的权重值，其中，编码速度与权重值成正比例关系；根据权重值与像素尺寸的乘积，得到目标阈值。
在本申请实施例中，执行模块44，包括：
计算子模块，用于根据像素残差值的绝对值与最小可觉差进行计算，得到用于确定目标图像块的成本函数值；
对比子模块，用于对比成本函数值与目标阈值得到对比结果；
选择子模块，用于根据对比结果选择成本函数值小于或等于目标阈值的图像块确定为零块，对图像块采用预设编码模式进行编码处理。
在本申请实施例中，计算子模块，用于当像素残差值的绝对值大于最小可觉差时，确定图像块各像素中像素残差值的绝对值与最小可觉差的差值；根据差值进行求和得到成本函数值。
在本申请实施例中，计算子模块，用于当像素残差值的绝对值小于或等于最小可觉差时，获取预设值，将预设值作为成本函数值。
本申请实施例还提供一种电子设备，如图4所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频处理方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种视频处理方法，其特征在于，包括：
获取对待处理视频中每帧图像进行分割得到的图像块；
将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
根据所述图像块及对所述图像块进行编码得到的编码后图像块，计算所述图像块各像素的像素残差值；
当根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理；
所述根据所述图像块及对所述图像块进行编码得到的编码后图像块，计算所述图像块各像素的像素残差值，包括：
确定对所述图像块进行编码的目标编码速度；
按照所述目标编码速度对所述图像块进行编码，得到编码后图像块；
确定所述图像块的原始像素值，以及所述编码后图像块的目标像素值；
根据所述目标像素值与所述原始像素值之间的差值，得到所述图像块各像素的像素残差值。
2.根据权利要求1所述的方法，其特征在于，所述恰可察觉失真模型中的子模型包括：视觉对比度敏感度带通模型、亮度幅度非线性模型、纹理对比度掩蔽模型、人眼凸起掩蔽模型以及时域掩蔽模型；
所述将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差，包括：
将所述图像块输入所述视觉对比度敏感度带通模型，由所述视觉对比度敏感度带通模型采用多个预设梯度算子分别对所述图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；
将所述图像块输入所述亮度幅度非线性模型，由所述亮度幅度非线性模型输出所述图像块中亮度分量强度；
将所述图像块输入所述纹理对比度掩蔽模型，由所述纹理对比度掩蔽模型输出所述图像块中边缘像素和；
将所述图像块输入所述人眼凸起掩蔽模型，由所述人眼凸起掩蔽模型输出所述图像块中的多个目标区域，以及所述目标区域的中心点之间的距离总和；
将所述图像块输入所述时域掩蔽模型，由所述时域掩蔽模型输出所述图像块的时域变化值；
根据所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值进行求和，得到所述图像块中每个像素的最小可觉差。
3.根据权利要求2所述的方法，其特征在于，在根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理之前，所述方法还包括：
获取所述图像块的像素尺寸，以及所述目标编码速度对应的权重值，其中，所述编码速度与所述权重值成正比例关系；
根据所述权重值与所述像素尺寸的乘积，得到目标阈值。
4.根据权利要求3所述的方法，其特征在于，所述当根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理，包括：
根据所述像素残差值的绝对值与所述最小可觉差进行计算，得到用于确定目标图像块的成本函数值；
对比所述成本函数值与所述目标阈值得到对比结果；
根据所述对比结果选择所述成本函数值小于或等于所述目标阈值的图像块确定为所述零块，对所述图像块采用预设编码模式进行编码处理。
5.根据权利要求4所述的方法，其特征在于，所述根据所述像素残差值的绝对值与所述最小可觉差进行计算，得到用于确定目标图像块的成本函数值，包括：
当所述像素残差值的绝对值大于所述最小可觉差时，确定所述图像块各像素中像素残差值的绝对值与最小可觉差的差值；
根据所述差值进行求和得到所述成本函数值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述像素残差值的绝对值与所述最小可觉差进行计算，得到用于确定目标图像块的成本函数值，包括：
当所述像素残差值的绝对值小于或等于所述最小可觉差时，获取预设值，将所述预设值作为所述成本函数值。
7.一种视频处理装置，其特征在于，包括：
获取模块，用于获取对待处理视频中每帧图像进行分割得到的图像块；
处理模块，用于将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
编码模块，用于根据所述图像块及对所述图像块进行编码得到的编码后图像块，计算所述图像块各像素的像素残差值；
执行模块，用于当根据所述图像块中各像素的所述像素残差值以及最小可觉差确定所述图像块为零块时，对所述图像块采用预设编码模式进行编码处理；
所述编码模块，用于确定对所述图像块进行编码的目标编码速度；按照所述目标编码速度对所述图像块进行编码，得到编码后图像块；确定所述图像块的原始像素值，以及所述编码后图像块的目标像素值；根据所述目标像素值与所述原始像素值之间的差值，得到所述图像块各像素的像素残差值。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6中任一项所述的方法步骤。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1-6中任一项所述的方法步骤。
CN202110322080.2A 2021-03-25 2021-03-25 一种视频处理方法、装置、电子设备及存储介质 Active CN113115034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322080.2A CN113115034B (zh) 2021-03-25 2021-03-25 一种视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322080.2A CN113115034B (zh) 2021-03-25 2021-03-25 一种视频处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113115034A CN113115034A (zh) 2021-07-13
CN113115034B true CN113115034B (zh) 2022-11-08

Family

ID=76712173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322080.2A Active CN113115034B (zh) 2021-03-25 2021-03-25 一种视频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113115034B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757111A (zh) * 2020-06-29 2020-10-09 北京百度网讯科技有限公司 视频编码方法、装置、设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750138B1 (ko) * 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
CN101854555B (zh) * 2010-06-18 2011-07-27 上海交通大学 基于预测残差自适应调整的视频编码系统
CN103379326B (zh) * 2012-04-19 2018-06-01 中兴通讯股份有限公司 基于roi和jnd的视频编码方法及装置
CN106454386B (zh) * 2016-10-26 2019-07-05 广东电网有限责任公司电力科学研究院 一种基于jnd的视频编码的方法和装置
CN110139112B (zh) * 2019-04-29 2022-04-05 暨南大学 一种基于jnd模型的视频编码方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757111A (zh) * 2020-06-29 2020-10-09 北京百度网讯科技有限公司 视频编码方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN113115034A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110381311B (zh) 视频帧的编码方法、装置、计算机可读介质及电子设备
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
CN113362246A (zh) 一种图像带状伪影去除方法、装置、设备和介质
CN109214996B (zh) 一种图像处理方法及装置
CN104335565A (zh) 采用具有自适应滤芯的细节增强滤波器的图像处理方法
CN110062230B (zh) 图像编码方法及装置
Soh et al. Reduction of video compression artifacts based on deep temporal networks
CN110992264B (zh) 一种图像处理方法、处理装置、电子设备及存储介质
CN113612996A (zh) 一种基于时域滤波的视频降噪的方法及装置
CN110956594B (zh) 图像滤波方法、装置、电子设备及存储介质
CN113422956B (zh) 一种图像编码方法、装置、电子设备及存储介质
CN110740316A (zh) 数据编码方法及装置
CN113115034B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN112399069B (zh) 图像编码方法及装置、存储介质、电子设备
CN116567246A (zh) Avc编码方法和装置
CN108683915B (zh) 一种写入dQP值的方法、装置及电子设备
CN114666584B (zh) 一种基于高频置零的编码方法、装置、设备及介质
CN111918061B (zh) 编码块的划分方法及装置、存储介质及电子设备
CN115567712A (zh) 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置
CN112203094B (zh) 编码方法、装置、电子设备及存储介质
CN110910380B (zh) 一种合成图片的检测方法及装置
CN103530886A (zh) 一种视频分析低运算量背景去除方法
CN109995962B (zh) 图片编码尺寸上限的控制方法及系统
CN109544591B (zh) 一种运动估计方法、装置、电子设备及存储介质
CN114596210A (zh) 噪声估计方法、装置、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant