CN113422956A - 一种图像编码方法、装置、电子设备及存储介质 - Google Patents

一种图像编码方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113422956A
CN113422956A CN202110672838.5A CN202110672838A CN113422956A CN 113422956 A CN113422956 A CN 113422956A CN 202110672838 A CN202110672838 A CN 202110672838A CN 113422956 A CN113422956 A CN 113422956A
Authority
CN
China
Prior art keywords
image block
pixel
model
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110672838.5A
Other languages
English (en)
Other versions
CN113422956B (zh
Inventor
豆修鑫
许道远
徐琴琴
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110672838.5A priority Critical patent/CN113422956B/zh
Publication of CN113422956A publication Critical patent/CN113422956A/zh
Application granted granted Critical
Publication of CN113422956B publication Critical patent/CN113422956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像编码方法、装置、电子设备及存储介质。其中，该方法包括：获取对待处理的全景视频中每帧全景图像进行分割得到的图像块；将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；获取所述图像块对应的权重系数，其中，所述权重系数是根据所述图像块的特征信息得到的；根据所述权重系数以及所述最小可觉差对所述图像块进行编码处理。本申请图像块的特征信息计算权重系数，根据权重系数更新最小可觉差，采用更新后的最小可觉差进行编码，以此实现了全景视频中不同区域在编码后的图像质量不同，解决了现有技术中编码资源的浪费的问题。

Description

一种图像编码方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种图像编码方法、装置、电子设备及存储介质。
背景技术
为了利用HVS的感知特性，JND(JND是Just noticeable difference的缩写，意思是即最小可觉差)模型是基于心理学和生理学的高效模型。在视频压缩应用中使用JND模型是降低编码器复杂性的一种有前景的方法。JND作为视频、图像的特征，可以用来节省大量压缩码率，因此精确的求取JND数值至关重要。在现有技术中，当JND应用在VR(全景视频)特征的情况下，由于用户对全景图像中各个区域的关注度不同，如果采用现有JND计算方法，依据JND值统一对全景图像进行编码，会导致用户关注度高的区域的图像质量差，用户关注度低的区域的图像质量高，最终造成了编码资源的浪费。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种图像编码方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面，提供了一种图像编码方法，包括：
获取对待处理的全景视频中每帧全景图像进行分割得到的图像块；
将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
获取所述图像块对应的权重系数，其中，所述权重系数是根据所述图像块的特征信息得到的；
根据所述权重系数以及所述最小可觉差对所述图像块进行编码处理。
进一步的，所述恰可察觉失真模型中的子模型包括：视觉对比度敏感度带通模型、亮度幅度非线性模型、纹理对比度掩蔽模型、人眼凸起掩蔽模型以及时域掩蔽模型。
进一步的，所述将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差，包括：
将所述图像块输入所述视觉对比度敏感度带通模型，由所述视觉对比度敏感度带通模型采用多个预设梯度算子分别对所述图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；
将所述图像块输入所述亮度幅度非线性模型，由所述亮度幅度非线性模型输出所述图像块中亮度分量强度；
将所述图像块输入所述纹理对比度掩蔽模型，由所述纹理对比度掩蔽模型输出所述图像块中边缘像素和；
将所述图像块输入所述人眼凸起掩蔽模型，由所述人眼凸起掩蔽模型输出所述图像块中的多个目标区域，以及所述目标区域的中心点之间的距离总和；
将所述图像块输入所述时域掩蔽模型，由所述时域掩蔽模型输出所述图像块的时域变化值；
根据所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值进行求和，得到所述图像块中每个像素的最小可觉差。
进一步的，所述根据所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值进行求和，得到所述图像块中每个像素的最小可觉差，包括：
获取所述图像块的尺寸信息；
计算所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值的和值；
将所述和值与所述尺寸信息之间的商值，确定为所述图像块中每个像素的最小可觉差。
进一步的，所述获取所述图像块对应的权重系数，包括：
获取所述图像块在全景图像中的坐标信息；
根据所述坐标信息计算所述图像块对应的权重系数；
所述权重系数的计算过程为：
Figure BDA0003120032790000031
其中，W为权重系数，y为图像块的纵坐标，H为图像块所在图像的高度，ABS为函数。
进一步的，所述根据所述权重系数以及所述最小可觉差对所述图像块进行编码处理，包括：
使用所述权重系数对最小可觉差进行更新，得到更新后的最小可觉差；
根据所述更新后的最小可觉差对所述图像块进行编码处理。
进一步的，所述根据所述更新后的最小可觉差对所述图像块进行编码处理，包括：
获取所述图像块中各像素的原始像素值；
对所述图像块进行编码，确定编码后所述图像块中各像素的目标像素值；
根据目标像素值与原始像素值之间的差值，得到图像块各像素的像素残差值；
使用更新后的最小可觉差对所述图像块中各像素的像素残差值进行修正，直至所述图像块中各像素的像素残差值落入预设残差范围，得到目标图像块，其中，所述预设残差范围是根据所述图像块中像素残差平均值得到的。
根据本申请实施例的另一个方面，还提供了一种图像编码装置，包括：
获取模块，用于获取对待处理的全景视频中每帧全景图像进行分割得到的图像块；
处理模块，用于将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
计算模块，用于获取所述图像块对应的权重系数，其中，所述权重系数是根据所述图像块的特征信息得到的；
编码模块，用于根据所述权重系数以及所述最小可觉差对所述图像块进行编码处理。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请图像块的特征信息计算权重系数，根据权重系数更新最小可觉差，采用更新后的最小可觉差进行编码，以此实现了全景视频中不同区域在编码后的图像质量不同，解决了现有技术中编码资源的浪费的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像编码方法的流程图；
图2为本申请另一实施例提供的一种图像编码方法的流程图；
图3为本申请另一实施例提供的一种图像编码方法的流程图；
图4为本申请实施例提供的一种全景图像示意图；
图5为本申请实施例提供的一种图像编码装置的框图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种图像编码方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
根据本申请实施例的一方面，提供了一种图像编码方法的方法实施例。图1为本申请实施例提供的一种图像编码方法的流程图，如图1所示，该方法包括：
步骤S11，获取对待处理的全景视频中每帧全景图像进行分割得到的图像块；
在本申请实施例中，通过按照预设参数对待处理视频中的每帧图像进行分割处理得到多个图像块。
作为一个示例，确定每帧图像的原始图像大小(height：图像的高度，width：图像的高度)和图像块的分块大小(Window Size)，根据原始图像大小以及分块大小得到索引图，索引图中包括多个图像块，其中，相同图像块的像素点公用一个标记值。
步骤S12，将图像块输入恰可察觉失真模型，得到由恰可察觉失真模型中各个子模型输出的输出结果，并根据输出结果计算图像块各像素的最小可觉差；
在本申请实施例中，恰可察觉失真模型中的子模型包括：(1)视觉对比度敏感度带通模型(contrast sensitivity function，CSF)。(2)亮度幅度非线性模型(Luminancemasking，LM)。(3)纹理对比度掩蔽模型(Contrast masking，CM)。(4)人眼凸起掩蔽模型(Foveated masking，FM)。(5)时域掩蔽模型(Temporal masking，TM)。其中，对比敏感度函数反映对比敏感度与空间频率之间的关系，通过实验观察数据拟合获得数学模型，视觉对比度敏感度带通模型反映人眼传递特性。
恰可察觉失真模型(Just Noticeable Distortion,JND)指的就是当视觉内容改变时，能够引起恰可察觉失真的最大的可见度阈值。恰可察觉失真(Just NoticeableDistortion,JND)模型能够很好地指导各种视频图像处理系统以获取更高的性能指标，如视频压缩、图像增强、数字水印、图像质量评价等。
在本申请实施例中，如图2所示，步骤S12，将图像块输入恰可察觉失真模型，得到由恰可察觉失真模型中各个子模型输出的输出结果，并根据输出结果计算图像块各像素的最小可觉差，包括以下步骤A1-A6：
步骤A1，将图像块输入视觉对比度敏感度带通模型，由视觉对比度敏感度带通模型采用多个预设梯度算子分别对图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；
在本申请实施例中，视觉对比度敏感度带通模型计算过程如下：
Figure BDA0003120032790000091
上述式中，T_CSF为目标对比度值，k为梯度算子，x为像素点的横坐标，y为像素点的纵坐标。
步骤A2，将图像块输入亮度幅度非线性模型，由亮度幅度非线性模型输出图像块中亮度分量强度；
在本申请实施例中，亮度幅度非线性模型的计算过程如下：
Figure BDA0003120032790000092
上述式中，T_LM为亮度分量强度，Ixy为亮度增量，x为像素点的横坐标，y为像素点的纵坐标。
步骤A3，将图像块输入纹理对比度掩蔽模型，由纹理对比度掩蔽模型输出图像块中边缘像素和；
在本申请实施例中，纹理对比度掩蔽模型的计算过程如下：
T_CM＝∑canny。
上述式中，T_CM为边缘像素和，canny为高频滤波算子。
步骤A4，将图像块输入人眼凸起掩蔽模型，由人眼凸起掩蔽模型输出图像块中的多个目标区域，以及目标区域的中心点之间的距离总和；
在本申请实施例中，人眼凸起掩蔽模型的计算过程如下：
Figure BDA0003120032790000093
上述式中，T_FM为图像块中心区域的各像素点之间的距离总和，x0、x1为图像块中心区域任意两个像素点的横坐标，y0、y1为图像块中心区域任意两个像素点的纵坐标，k为编码时的像素点总数。
步骤A5，将图像块输入时域掩蔽模型，由时域掩蔽模型输出图像块的时域变化值；
在本申请实施例中，时域掩蔽模型的计算过程如下
Figure BDA0003120032790000101
上述式中，T_TM为时域变化值，帧内intra可以忽略不计，SAD为帧间亮度差，cu为编码快。
步骤A6，根据目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及时域变化值进行求和，得到图像块中每个像素的最小可觉差。
在本申请实施例中，根据目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及时域变化值进行求和，得到图像块中每个像素的最小可觉差，包括以下步骤A601-A603：
步骤A601，获取图像块的尺寸信息；
在本申请实施例中，图像块的尺寸信息包括图像块的长度，及图像块的宽度。
步骤A601，计算目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及时域变化值的和值；
在本申请实施例中，和值的计算过程如下：
JND1＝(T_CSF+T_LM+T_CM+T_FM+T_TM)。其中，JND1为和值。
步骤A603，将和值与尺寸信息之间的商值，确定为图像块中每个像素的最小可觉差。
在本申请实施例中，计算和值与尺寸信息之间的商值的过程如下：
JND2＝(T_CSF+T_LM+T_CM+T_FM+T_TM)/(m×n)，其中，JND2为商值，m为图像块的长度，n为图像块的宽度。
步骤S13，获取图像块对应的权重系数，其中，权重系数是根据图像块的特征信息得到的；
在本申请实施例中，图像块的特征信息包括：图像块的坐标以及图像块的清晰度等等。本实施例具体以坐标计算权重系数，具体过程如图3所示，步骤S13，获取图像块对应的权重系数，包括以下步骤B1-B2：
步骤B1，获取图像块在全景图像中的坐标信息；
步骤B2，根据坐标信息计算图像块对应的权重系数。
在本申请实施例中，权重系数的具体计算过程如下：
Figure BDA0003120032790000111
其中，W为权重系数，y为图像块的纵坐标，H为图像块所在图像的高度，ABS为函数。
可以理解的，对于如图4所示的全景图像，一般用户对图像赤道区域关注度更大，对于南北极区域关注度更小，如果按照现有技术中的JND计算方法计算，会发现赤道区域质量差，南北极区域质量高(但是用户很少关注)最终造成了视频或者图像编码浪费。
因此本申请通过坐标信息计算权重系数，使其在图像中心区域的权重值为0，在图像边缘区域的权重值为1。因此就会导致赤道区域JND值的作用较低，从而确保编码后的图像的主观质量较好；同理，南北极JND值作用最强，从而确保编码后图像的主观质量较差。解决了现有技术中编码资源浪费的问题，同时还有利于增强图像在编码后的主观效果。
步骤S14，根据权重系数以及最小可觉差对图像块进行编码处理。
在本申请实施例中，根据权重系数以及最小可觉差对图像块进行编码处理，包括以下步骤C1-C2：
步骤C1，使用权重系数对最小可觉差进行更新，得到更新后的最小可觉差；
在本申请实施例中，使用权重系数对最小可觉差进行更新的过程如下：
Figure BDA0003120032790000121
其中，JND3为更新后的最小可觉差。
步骤C2，根据更新后的最小可觉差对图像块进行编码处理。
在本申请实施例中，步骤C2，根据更新后的最小可觉差对图像块进行编码处理，包括以下步骤C201-C204：
步骤C201，获取所述图像块中各像素的原始像素值；
步骤C202，对所述图像块进行编码，确定编码后所述图像块中各像素的目标像素值；
步骤C203，根据目标像素值与原始像素值之间的差值，得到图像块各像素的像素残差值。
在本申请实施例中，由于图像块在进行初次编码后，像素值会发生变化，因此，根据编码后图像块的目标像素值减去原始像素值，得到的差值即为图像块进行编码时产生的像素残差值。
步骤C204，使用更新后的最小可觉差对所述图像块中各像素的像素残差值进行修正，直至所述图像块中各像素的像素残差值落入预设残差范围，得到目标图像块，其中，所述预设残差范围是根据所述图像块中像素残差平均值得到的。
在本申请实施例中，用更新后的最小可觉差对图像块中每个像素的像素残差值进行第二编码操作，得到目标图像块，具体包括：根据图像块中每个像素的像素残差值计算像素残差平均值，然后根据最小可觉差对图像块中每个像素的像素残差值进行修正，直至其接近像素残差平均值，即可得到目标图像块。
作为一个示例，当像素残差值大于像素残差平均值时，使用更新后的最小可觉差对像素残差值进行修正，使其变小，并接近像素残差平均值。或当像素残差值小于像素残差平均值时，使用更新后的最小可觉差对像素残差值进行修正，使其变大，并接近像素残差平均值。
本申请图像块的特征信息计算用于更新最小可觉差的权重系数，并根据更新后最小可觉差对图像块的像素残差值进行修正，以此保证了全景视频中各位置图像块的主观效果一直，同时增强了用户体验。
图5为本申请实施例提供的一种图像编码装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，该装置包括：
获取模块51，用于获取对待处理的全景视频中每帧全景图像进行分割得到的图像块；
处理模块52，用于将图像块输入恰可察觉失真模型，得到由恰可察觉失真模型中各个子模型输出的输出结果，并根据输出结果计算图像块各像素的最小可觉差；
计算模块53，用于获取图像块对应的权重系数，其中，权重系数是根据图像块的特征信息得到的；
编码模块54，用于根据权重系数以及最小可觉差对图像块进行编码处理。
在本申请实施例中，恰可察觉失真模型中的子模型包括：视觉对比度敏感度带通模型、亮度幅度非线性模型、纹理对比度掩蔽模型、人眼凸起掩蔽模型以及时域掩蔽模型。
在本申请实施例中，处理模块52，包括：
第一子处理模块，用于将所述图像块输入所述视觉对比度敏感度带通模型，由所述视觉对比度敏感度带通模型采用多个预设梯度算子分别对所述图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；
第二子处理模块，用于将所述图像块输入所述亮度幅度非线性模型，由所述亮度幅度非线性模型输出所述图像块中亮度分量强度；
第三子处理模块，用于将所述图像块输入所述纹理对比度掩蔽模型，由所述纹理对比度掩蔽模型输出所述图像块中边缘像素和；
第四子处理模块，用于将所述图像块输入所述人眼凸起掩蔽模型，由所述人眼凸起掩蔽模型输出所述图像块中的多个目标区域，以及所述目标区域的中心点之间的距离总和；
第五子处理模块，用于将所述图像块输入所述时域掩蔽模型，由所述时域掩蔽模型输出所述图像块的时域变化值；
第六子处理模块，用于将根据目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及时域变化值进行求和，得到图像块中每个像素的最小可觉差。
在本申请实施例中，第六子处理模块，用于获取图像块的尺寸信息；计算目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及时域变化值的和值；将和值与尺寸信息之间的商值，确定为图像块中每个像素的最小可觉差。
在本申请实施例中，获取图像块对应的权重系数，包括：
获取图像块在全景图像中的坐标信息；
根据坐标信息计算图像块对应的权重系数；
计算过程为：
Figure BDA0003120032790000151
其中，W为权重系数，y为图像块的纵坐标，H为图像块所在图像的高度，ABS为函数。
在本申请实施例中，编码模块44，包括：
更新子模块，用于使用权重系数对最小可觉差进行更新，得到更新后的最小可觉差；
编码子模块，用于根据更新后的最小可觉差对图像块进行编码处理。
在本申请实施例中，编码子模块，用于获取图像块中各像素的原始像素值；对图像块进行编码，确定编码后图像块中各像素的目标像素值；根据目标像素值与原始像素值之间的差值，得到图像块各像素的像素残差值；使用更新后的最小可觉差对图像块中各像素的像素残差值进行修正，直至图像块中各像素的像素残差值落入预设残差范围，得到目标图像块，其中，预设残差范围是根据图像块中像素残差平均值得到的。
本申请实施例还提供一种电子设备，如图6所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像编码方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像编码方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像编码方法，其特征在于，包括：
获取对待处理的全景视频中每帧全景图像进行分割得到的图像块；
将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
获取所述图像块对应的权重系数，其中，所述权重系数是根据所述图像块的特征信息得到的；
根据所述权重系数以及所述最小可觉差对所述图像块进行编码处理。
2.根据权利要求1所述的方法，其特征在于，所述恰可察觉失真模型中的子模型包括：视觉对比度敏感度带通模型、亮度幅度非线性模型、纹理对比度掩蔽模型、人眼凸起掩蔽模型以及时域掩蔽模型。
3.根据权利要求2所述的方法，其特征在于，所述将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差，包括：
将所述图像块输入所述视觉对比度敏感度带通模型，由所述视觉对比度敏感度带通模型采用多个预设梯度算子分别对所述图像块中的像素值进行计算，得到多个对比度值，并将最大的对比度值作为目标对比度值；
将所述图像块输入所述亮度幅度非线性模型，由所述亮度幅度非线性模型输出所述图像块中亮度分量强度；
将所述图像块输入所述纹理对比度掩蔽模型，由所述纹理对比度掩蔽模型输出所述图像块中边缘像素和；
将所述图像块输入所述人眼凸起掩蔽模型，由所述人眼凸起掩蔽模型输出所述图像块中的多个目标区域，以及所述目标区域的中心点之间的距离总和；
将所述图像块输入所述时域掩蔽模型，由所述时域掩蔽模型输出所述图像块的时域变化值；
根据所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值进行求和，得到所述图像块中每个像素的最小可觉差。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值进行求和，得到所述图像块中每个像素的最小可觉差，包括：
获取所述图像块的尺寸信息；
计算所述目标对比度值、亮度分量强度、边缘像素和、中心点之间的距离总和以及所述时域变化值的和值；
将所述和值与所述尺寸信息之间的商值，确定为所述图像块中每个像素的最小可觉差。
5.根据权利要求1所述的方法，其特征在于，所述获取所述图像块对应的权重系数，包括：
获取所述图像块在全景图像中的坐标信息；
根据所述坐标信息计算所述图像块对应的权重系数；
所述权重系数的计算过程为：
Figure FDA0003120032780000031
其中，W为权重系数，y为图像块的纵坐标，H为图像块所在图像的高度，ABS为函数。
6.根据权利要求1所述的方法，其特征在于，所述根据所述权重系数以及所述最小可觉差对所述图像块进行编码处理，包括：
使用所述权重系数对最小可觉差进行更新，得到更新后的最小可觉差；
根据所述更新后的最小可觉差对所述图像块进行编码处理。
7.根据权利要求6所述的方法，其特征在于，所述根据所述更新后的最小可觉差对所述图像块进行编码处理，包括：
获取所述图像块中各像素的原始像素值；
对所述图像块进行编码，确定编码后所述图像块中各像素的目标像素值；
根据目标像素值与原始像素值之间的差值，得到图像块各像素的像素残差值；
使用更新后的最小可觉差对所述图像块中各像素的像素残差值进行修正，直至所述图像块中各像素的像素残差值落入预设残差范围，得到目标图像块，其中，所述预设残差范围是根据所述图像块中像素残差平均值得到的。
8.一种图像编码装置，其特征在于，包括：
获取模块，用于获取对待处理的全景视频中每帧全景图像进行分割得到的图像块；
处理模块，用于将所述图像块输入恰可察觉失真模型，得到由所述恰可察觉失真模型中各个子模型输出的输出结果，并根据所述输出结果计算所述图像块各像素的最小可觉差；
计算模块，用于获取所述图像块对应的权重系数，其中，所述权重系数是根据所述图像块的位置信息得到的；
编码模块，用于根据所述权重系数以及所述最小可觉差对所述图像块进行编码处理。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1-7中任一项所述的方法步骤。
CN202110672838.5A 2021-06-17 2021-06-17 一种图像编码方法、装置、电子设备及存储介质 Active CN113422956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110672838.5A CN113422956B (zh) 2021-06-17 2021-06-17 一种图像编码方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672838.5A CN113422956B (zh) 2021-06-17 2021-06-17 一种图像编码方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113422956A true CN113422956A (zh) 2021-09-21
CN113422956B CN113422956B (zh) 2022-09-09

Family

ID=77788855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672838.5A Active CN113422956B (zh) 2021-06-17 2021-06-17 一种图像编码方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113422956B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660789A (zh) * 2022-11-23 2023-01-31 成都信息工程大学 基于智慧电商平台的产品图像管理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086063A1 (en) * 2008-10-02 2010-04-08 Apple Inc. Quality metrics for coded video using just noticeable difference models
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
CN107027031A (zh) * 2016-01-31 2017-08-08 西安电子科技大学 一种用于视频图像的编码方法和装置
CN110062236A (zh) * 2019-05-10 2019-07-26 上海大学 基于空时域恰可感知失真的码率分配方法、系统及介质
CN110139112A (zh) * 2019-04-29 2019-08-16 暨南大学 一种基于jnd模型的视频编码方法
CN111464805A (zh) * 2020-03-13 2020-07-28 宁波大学 一种基于全景显著性的立体全景视频快速编码方法
CN112435188A (zh) * 2020-11-23 2021-03-02 深圳大学 基于方向权重的jnd预测方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086063A1 (en) * 2008-10-02 2010-04-08 Apple Inc. Quality metrics for coded video using just noticeable difference models
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
CN107027031A (zh) * 2016-01-31 2017-08-08 西安电子科技大学 一种用于视频图像的编码方法和装置
CN110139112A (zh) * 2019-04-29 2019-08-16 暨南大学 一种基于jnd模型的视频编码方法
CN110062236A (zh) * 2019-05-10 2019-07-26 上海大学 基于空时域恰可感知失真的码率分配方法、系统及介质
CN111464805A (zh) * 2020-03-13 2020-07-28 宁波大学 一种基于全景显著性的立体全景视频快速编码方法
CN112435188A (zh) * 2020-11-23 2021-03-02 深圳大学 基于方向权重的jnd预测方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许晴晴 等: "结合感兴趣区域恰可感知编码失真的会议视频编码方法", 《数据通信》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660789A (zh) * 2022-11-23 2023-01-31 成都信息工程大学 基于智慧电商平台的产品图像管理系统
CN115660789B (zh) * 2022-11-23 2023-08-04 广州锐竞信息科技有限责任公司 基于智慧电商平台的产品图像管理系统

Also Published As

Publication number Publication date
CN113422956B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
Zhang et al. Low-rank decomposition-based restoration of compressed images via adaptive noise estimation
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN109214996B (zh) 一种图像处理方法及装置
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
CN110149554B (zh) 视频图像处理的方法、装置、电子设备以及存储介质
CN109255752B (zh) 图像自适应压缩方法、装置、终端及存储介质
CN110717922A (zh) 一种图像清晰度评价方法及装置
WO2021047177A1 (zh) 数据编码方法及装置
Soh et al. Reduction of video compression artifacts based on deep temporal networks
CN110830808A (zh) 一种视频帧重构方法、装置及终端设备
CN113422956B (zh) 一种图像编码方法、装置、电子设备及存储介质
CN111031359B (zh) 视频播放方法、装置、电子设备和计算机可读存储介质
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
CN110992264B (zh) 一种图像处理方法、处理装置、电子设备及存储介质
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN110956594A (zh) 图像滤波方法、装置、电子设备及存储介质
CN112419161B (zh) 图像处理方法及装置、存储介质及电子设备
CN114331857A (zh) 一种彩色图像紫边校正方法、装置及计算机存储介质
CN114666584B (zh) 一种基于高频置零的编码方法、装置、设备及介质
CN113115034B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN113365060B (zh) 一种图像滤波方法、装置、设备及存储介质
CN112203094B (zh) 编码方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant