CN110062225B - 一种图片滤波的方法及装置 - Google Patents

一种图片滤波的方法及装置 Download PDF

Info

Publication number
CN110062225B
CN110062225B CN201810050422.8A CN201810050422A CN110062225B CN 110062225 B CN110062225 B CN 110062225B CN 201810050422 A CN201810050422 A CN 201810050422A CN 110062225 B CN110062225 B CN 110062225B
Authority
CN
China
Prior art keywords
image block
distorted image
distorted
edge
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810050422.8A
Other languages
English (en)
Other versions
CN110062225A (zh
Inventor
姚佳宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810050422.8A priority Critical patent/CN110062225B/zh
Priority to PCT/CN2019/072412 priority patent/WO2019141255A1/zh
Publication of CN110062225A publication Critical patent/CN110062225A/zh
Application granted granted Critical
Publication of CN110062225B publication Critical patent/CN110062225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

本申请是关于一种图片滤波的方法及装置，属于视频领域。所述方法包括：获取视频编解码过程生成的失真图片；通过对所述失真图片进行划分，获取所述失真图片包括的多个失真图像块；使用卷积神经网络模型对所述失真图片的每个失真图像块进行滤波，得到所述每个失真图像块对应的去失真图像块；根据所述每个失真图像块对应的去失真图像块生成一帧图片。所述装置包括：第一获取模块、第二获取模块、滤波模块和生成模块。本申请可以减小滤波所需要的资源，从而使设备能够满足滤波所需的资源。

Description

一种图片滤波的方法及装置
技术领域
本申请涉及视频领域，特别涉及一种图片滤波的方法及装置。
背景技术
在视频编码系统中，在对原始视频图片进行编码时，原始视频图片会被进行多次处理，并得到重构图片。得到的重构图片相对原始视频图片可能已经发生像素偏移，即重构图片存在失真，导致视觉障碍或假象。
这些失真不但影响重构图像的主客观质量，若重构图像作为后续编码像素的参考，这还会影响后续编码像素的预测准确性，影响最终比特流的大小。因此，视频编解码系统中，加入环内滤波模块，通过环内滤波模块对该重构图片进行滤波，以消除重构图片存在的失真。
发明人在实现本申请的过程中，发现上述方式至少存在如下缺陷：
目前环内滤波模块对整帧重构图片进行滤波，当重构图片是高分辨率的图片时，滤波重构图片所需要的资源往往较高，使得设备可能无法满足。例如对4K分辨率的重构图片进行滤波，可能会引起显存不足的问题。
发明内容
为了使设备能够满足滤波所需的资源，本申请实施例提供了一种图片滤波的方法及装置。所述技术方案如下：
第一方面，本申请实施例提供了一种图片滤波的方法，所述方法包括：
获取视频编解码过程生成的失真图片；
通过对所述失真图片进行划分，获取多个第一图像块；
使用卷积神经网络模型对每个第一图像块进行滤波，得到所述每个第一图像块对应的第二图像块；
根据所述每个第一图像块对应的第二图像块生成一帧去失真图片。
可选的，所述通过对所述失真图片进行划分，获取多个第一图像块，包括：
根据目标宽度和目标高度对所述失真图片进行划分，得到所述失真图片包括的多个失真图像块；
根据第一扩边尺寸对所述多个失真图像块中的每个失真图像块进行扩边处理，得到所述每个失真图像块对应的第一图像块。
可选的，所述多个失真图像块中位于所述失真图片的顶点位置的第一失真图像块的宽度和高度分别等于W1-lap和H1-lap，W1为所述目标宽度，H1为所述目标高度，lap为所述第一扩边尺寸；
位于所述失真图片的上边界和下边界上的第二失真图像块的宽度和高度分别等于W1-2lap和H1-lap，所述第二失真图像块与所述第一失真图像块不同；
位于所述失真图片的左边界和右边界上的第三失真图像块的宽度和高度分别为W1-lap和H1-2lap，所述第三失真图像块与所述第一失真图像块不同；
所述多个失真图块中除所述第一失真图像块、所述第二失真图像块和所述第三失真图像块之外的第四失真图像块的宽度和高度分别为W1-2lap和H1-2lap。
可选的，所述根据第一扩边尺寸对所述多个失真图像块中的每个失真图像块进行扩边处理，得到所述每个失真图像块对应的第一图像块，包括：
根据第一扩边尺寸分别对所述第一失真图像块的目标边缘、所述第二失真图像块的目标边缘和所述第三失真图像块的目标边缘进行扩边处理，得到所述第一失真图像块对应的第一图像块、所述第二失真图像块对应的第二图像块和所述第三失真图像块对应的第一图像块，失真图像块的目标边缘为所述失真图像块中不与所述失真图片的边界重合的边缘；
根据所述第一扩边尺寸，对所述第四失真图像块的四个边缘进行扩边处理，得到所述第四失真图像块对应的第一图像块。
可选的，所述使用卷积神经网络模型分别对所述失真图片的每个失真图像块进行滤波之前，还包括：
设置所述卷积神经网络模型包括的卷积层对应的扩边尺寸，所述设置的扩边尺寸不小于零且不大于所述卷积层对应的第二扩边尺寸，所述第二扩边尺寸为在训练所述卷积神经网络模型时所述卷积层的扩边尺寸。
可选的，所述方法还包括：
根据所述卷积神经网络模型包括的每个卷积层对应的第二扩边尺寸，设置所述第一扩边尺寸。
可选的，所述根据所述每个失真图像块对应的去失真图像块生成一帧去失真图片，包括：
对所述每个失真图像块对应的去失真图像块进行栽边处理，得到每个失真图像块对应的第三图像块；
将所述每个失真图像块对应的第三图像块组成一帧去失真图片。
可选的，所述方法还包括：
根据所述第一扩边尺寸、所述失真图片的宽度和高度，确定所述目标宽度和所述目标高度。
第二方面，本申请实施例提供了一种图片滤波的装置，所述装置包括：
第一获取模块，用于获取视频编解码过程生成的失真图片；
第二获取模块，用于通过对所述失真图片进行划分，获取多个第一图像块；
滤波模块，用于使用卷积神经网络模型对每个第一图像块进行滤波，得到所述每个第一图像块对应的第二图像块；
生成模块，用于根据所述每个第一图像块对应的第二图像块生成一帧去失真图片。
可选的，所述第二获取模块包括：
划分单元，用于根据目标宽度和目标高度对所述失真图片进行划分，得到所述失真图片包括的多个失真图像块；
扩边单元，用于根据第一扩边尺寸对所述多个失真图像块中的每个失真图像块进行扩边处理，得到所述每个失真图像块对应的第一图像块。
可选的，所述多个失真图像块中位于所述失真图片的顶点位置的第一失真图像块的宽度和高度分别等于W1-lap和H1-lap，W1为所述目标宽度，H1为所述目标高度，lap为所述第一扩边尺寸；
位于所述失真图片的上边界和下边界上的第二失真图像块的宽度和高度分别等于W1-2lap和H1-lap，所述第二失真图像块与所述第一失真图像块不同；
位于所述失真图片的左边界和右边界上的第三失真图像块的宽度和高度分别为W1-lap和H1-2lap，所述第三失真图像块与所述第一失真图像块不同；
所述多个失真图块中除所述第一失真图像块、所述第二失真图像块和所述第三失真图像块之外的第四失真图像块的宽度和高度分别为W1-2lap和H1-2lap。
可选的，所述扩边单元，用于：
根据第一扩边尺寸分别对所述第一失真图像块的目标边缘、所述第二失真图像块的目标边缘和所述第三失真图像块的目标边缘进行扩边处理，得到所述第一失真图像块对应的第一图像块、所述第二失真图像块对应的第二图像块和所述第三失真图像块对应的第一图像块，失真图像块的目标边缘为所述失真图像块中不与所述失真图片的边界重合的边缘；
根据所述第一扩边尺寸，对所述第四失真图像块的四个边缘进行扩边处理，得到所述第四失真图像块对应的第一图像块。
可选的，所述装置还包括：
第一设置模块，用于设置所述卷积神经网络模型包括的卷积层对应的扩边尺寸，所述设置的扩边尺寸不小于零且不大于所述卷积层对应的第二扩边尺寸，所述第二扩边尺寸为在训练所述卷积神经网络模型时所述卷积层的扩边尺寸
可选的，所述装置还包括：
第二设置模块，用于根据所述卷积神经网络模型包括的每个卷积层对应的第二扩边尺寸，设置所述第一扩边尺寸。
可选的，所述生成模块包括：
栽边单元，用于对所述每个失真图像块对应的去失真图像块进行栽边处理，得到每个失真图像块对应的第三图像块；
组成单元，用于将所述每个失真图像块对应的第三图像块组成一帧去失真图片。
可选的，所述装置还包括：
确定模块，用于根据所述第一扩边尺寸、所述失真图片的宽度和高度，确定所述目标宽度和所述目标高度。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面或第一方面任可选的方式提供的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
通过对视频编解码过程中生成的失真图片进行划分，获取失真图片包括的多个失真图像块，再使用卷积神经网络模型分别对失真图片的每个失真图像块进行滤波，得到每个失真图像块对应的去失真图像块，根据每个失真图像块对应的去失真图像块生成一帧图片。生成的一帧图片为滤波后的图片，由于使用卷积神经网络滤波对失真图像块进行滤波，这样相比对整帧失真图片进行滤波，可以减小滤波所需要的资源，从而使设备能够满足滤波所需。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种图片滤波的方法流程图；
图2-1是本申请实施例提供的另一种图片滤波的方法流程图；
图2-2是本申请实施例提供的一种视频编码系统的结构框图；
图2-3是本申请实施例提供的另一种视频编码系统的结构框图；
图2-4是本申请实施例提供的划分图像块的示意图；
图2-5是本申请实施例提供的划分图像块的另一示意图；
图2-6是本申请实施例提供的划分图像块的另一示意图；
图2-7是本申请实施例提供的划分图像块的另一示意图；
图2-8是本申请实施例提供的划分图像块的另一示意图；
图2-9是本申请实施例提供的技术方案的系统架构图；
图2-10是本申请实施例提供的技术方案的数据流示意图；
图2-11是本申请实施例获得失真图像的失真图像颜色分量的示意图；
图2-12是本申请实施例提供的边信息分量的示意图之一；
图2-13是本申请实施例提供的边信息分量的示意图之二；
图2-14是本申请实施例提供的失真图像的去失真方法的流程图；
图2-15是本申请实施例提供的卷积神经网络模型训练方法的流程图；
图3-1是本申请实施例提供的另一种图片滤波的方法流程图；
图3-2是本申请实施例提供的一种视频编码系统的结构框图；
图3-3是本申请实施例提供的另一种视频编码系统的结构框图；
图3-4是本申请实施例提供的另一种视频编码系统的结构框图；
图4是本申请实施例提供的一种图片滤波的装置示意图；
图5是本申请实施例提供的一种装置结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
参见图1，本申请实施列提供了一种图片滤波的方法，包括：
步骤101：获取视频编解码过程生成的失真图片。
步骤102：通过对失真图片进行划分，获取多个失真图像块。
可选的，在视频编码或解码的过程中，可以获取到整帧视频图片，然后对整帧视频图片进行划分，得到多个失真图片。或者，在视频编码或解码的过程中，可以每次获取到整帧视频图片中的部分图像数据，当获取到的图像数据达到一个失真图像块时，就对该失真图像块执行如下操作，从而实现将失真图片划分成多个失真图像块，且可提高视频编码或解码的效率。
步骤103：使用卷积神经网络模型对每个失真图像块进行滤波，得到每个失真图像块对应的去失真图像块。
可选的，可以同时对一个或多个失真图像块进行滤波，即可以实现并行化滤波，提高滤波效率。
步骤104：根据每个失真图像块对应的去失真图像块生成一帧去失真图片。
其中，本实施例提供的方法可以发生在视频编码过程，或者，发生在视频解码过程。所以失真图片可以是视频编码过程中生成的视频图片，或者是视频解码过程中生成的视频图片。
在本申请实施例中，通过对视频编解码过程中生成的失真图片进行划分，获取多个失真图像块，再使用卷积神经网络模型分别对每个失真图像块进行滤波，得到每个失真图像块对应的去失真图像块，根据每个失真图像块对应的去失真图像块生成一帧去失真图片。生成的一帧去失真图片为滤波后的图片，由于使用卷积神经网络滤波对失真图像块进行滤波，这样相比对整帧失真图片进行滤波，可以减小滤波所需要的资源，从而使设备能够满足滤波所需的资源，该资源可以为显存和/或内存等资源。
参见图2-1，本申请实施例提供了一种图片滤波的方法，该方法可以对编码过程中生成的失真图片进行滤波，包括：
步骤201：获取视频编码过程中生成的失真图片。
在视频编码过程中会生成重构图片，失真图片可以为该重构图片，或者可以为对该重构图片进行滤波后得到的图片。
参见图2-2所示的视频编码系统的结构示意图，视频编码系统包括预测模块、加法器、变换单元、量化单元、熵编码器、反量化单元、反变换单元、重建单元、CNN(卷积神经网络模型)和缓存器等部分组成。
该视频编码系统编码的过程可以为：将原始图片输入到预测模块和加法器中，预测模块根据缓存器中的参考图片对输入的原始图片进行预测得到预测数据，并将该预测数据输入到加法器、熵编码器和重建单元。其中，预测模块包括帧内预测单元、运动估计与运动补偿单元和开关。帧内预测单元可以对原始图片进行帧内预测得到帧内预测数据，运动估计与运动补偿单元根据缓存器中缓存的参考图片对原始图片进行帧间预测得到帧间预测数据，开关选择将帧内预测数据或将帧间预测数据输出给加法器和重建单元。
加法器根据该预测数据和原始图片产生预测误差信息，变换单元对该预测误差信息进行变换，将变换的该预测误差信息输出给量化单元；量化单元根据量化参数对变换的该预测误差信息进行量化得到残差信息，将该残差信息输出给熵编码器和反量化单元；熵编码器对该残差信息和预设数据等信息进行编码形成比特流。同时，反量化单元和反变换单元分别对该残差信息进行反量化和反变换处理，得到预测误差信息，将该预测误差信息输入到重建单元中；重建单元根据该预测误差信息和预测数据生成重构图片。相应的，在本步骤中，可以获取重建单元生成的重构图片，并将该重构图片作为失真图片。
可选的，参见图2-3，在卷积神经网络模型和重建单元之间还可以串联滤波器，该滤波器还可以对重建单元生成的重构图片进行滤波，输出滤波的重构图片。相应的，在本步骤中，可以获取滤波的重构图片，并将滤波的该重构图片作为失真图片。
步骤202：根据目标宽度和目标高度对失真图片进行划分，得到失真图片包括的多个失真图像块。
在本步骤中划分得到的失真图像块可以等大小，也可以不是等大小的。
第一种情况、当每个失真图像块可以等大小时，失真图片中的每个失真图像块的宽度可以等于目标宽度，以及失真图片中的每个失真图像块的高度可以等于目标高度。
当失真图片的宽度是目标宽度的整数倍时，根据目标宽度划分得到的每行失真图像块中各失真图像块之间不存在重叠。例如，参见图2-4，失真图片的宽度等于目标宽度的整数倍，根据目标宽度划分得到的每行包括三个失真图像块，对于每行失真图像块，该行包括的三个失真图像块之间不存在重叠。
当失真图片的宽度不是目标宽度的整数倍时，根据目标宽度划分得到的每行失真图像块中存在两个失真图像块之间存在重叠。例如，参见图2-5，失真图片的宽度不等于目标宽度的整数倍，根据目标宽度划分得到的每行包括四个失真图像块，对于每行失真图像块，该行包括的第三个和第四个失真图像块之间存在重叠，其中，在图2-5中ΔW是第三个和第四个失真图像块的重叠宽度。
当失真图片的高度是目标高度的整数倍时，根据目标高度划分得到的每列失真图像块中的各失真图像块之间不存在重叠。例如，参见图2-4，失真图片的高度等于目标高度的整数倍，根据目标高度划分得到的每列包括三个失真图像块，对于每列失真图像块，该列包括的三个失真图像块之间不存在重叠。
当失真图片的高度不是目标高度的整数倍时，根据目标高度划分得到的每列失真图像块中的存在两个失真图像块之间存在重叠。例如，参见图2-6，失真图片的高度不等于目标高度的整数倍，根据目标高度划分得到的每列包括四个失真图像块，对于每列失真图像块，该列包括的第三个和第四个失真图像块之间存在重叠，其中，在图2-6中ΔH是第三个和第四个失真图像块的重叠高度。
第二种情况、当每个失真图像块可以不等大小时，得到的多个失真图像块可以包括第一失真图像块、第二失真图像块、第三失真图像块和第四失真图像块四种类型。
参见图2-7(图中的实线框为失真图像块)，第一失真图像块位于失真图片的顶点位置，分别为第一失真图像块P1、P5、P16和P20，第一失真图像块P1、P5、P16和P20的宽度和高度分别等于W1-lap和H1-lap，W1为目标宽度，H1为目标高度，lap为第一扩边尺寸。
第二失真图像块位于所述失真图片的上边界和下边界上，第二失真图像块与第一失真图像块不同，分别为第二失真图像块P2、P3、P4、P17、P18和P19，且第二失真图像块P2、P3、P4、P17、P18和P19的宽度和高度分别等于W1-2lap和H1-lap。
第三失真图像块位于失真图片的左边界和右边界上，第三失真图像块与第一失真图像块不同，分别为第三失真图像块P6、P11、P10和P15，第三失真图像块P6、P11、P10和P15的宽度和高度分别为W1-lap和H1-2lap。
多个失真图块中除第一失真图像块、第二失真图像块和第三失真图像块之外的失真图像块为第四失真图像块，分别为第四失真图像块P7、P8、P9、P12、P13和P14，第四失真图像块P7、P8、P9、P12、P13和P14的宽度和高度分别为W1-2lap和H1-2lap。
其中，在第二种情况下每行失真图像块中的最后两个失真图像块，可能会存在部分重叠，也可能不存在部分重叠，例如，在图2-7中位于第一行的失真图像块P4和P5存在部分重叠，在图2-7中ΔW是第一行失真图像块P4和P5的重叠宽度。以及，每列失真图像块中的最后两个失真图像块，可能会存在部分重叠，也可能不存在部分重叠，例如，在图2-7中位于第一列的失真图像块P11和P16存在部分重叠，在图2-7中ΔH是第一列失真图像块P11和P16的重叠高度。
在执行本步骤之前，还可以设置第一扩边尺寸，以及根据第一扩边尺寸、失真图片的宽度和高度，确定目标宽度和目标高度。
其中，卷积神经网络模型包括多个卷积层，每个卷积层对应一个第二扩边尺寸。第一扩边尺寸是根据每个卷积层对应的第二扩边尺寸计算得到的，在实现时可以将每个卷积层对应的第二扩边尺寸进行累加得到累加值，设置第一扩边尺寸大于或等于该累加值。
对于确定目标宽度和目标高度的过程，将在后续内容中进行描述，在此先不说明。
其中，需要说明的是：在本申请实施例中，获取失真图片可以是获取到一整帧失真图片，然后才对该整帧失真图片进行划分；或者，
每次获取该帧失真图片包括的部分图像数据，当获取的图像数据达到一个失真图像块的数据量时，就输出该失真图像块，从而实现对失真图片进行划分，这样不需要等待得到整帧失真图片，提高了视频编码的效率。
其中，对于上述第一种情况，则当获取的图像数据能够组成宽度为目标宽度且高度为目标高度的失真图像块时输出该失真图像块，这样实现将失真图片划分成等大小的多个失真图像块。对于上述第二种情况，则当获取的图像数据为第一失真图像块的数据且能够组成第一失真图像块时，输出第一失真图块，当获取的图像数据为第二失真图像块的数据且能够组成第二失真图像块时，输出第二失真图块，当获取的图像数据为第三失真图像块的数据且能够组成第三失真图像块时，输出第三失真图块，当获取的图像数据为第四失真图像块的数据且能够组成第四失真图像块时，输出第四失真图块；从而将失真图片划分成第一失真图像块、第二失真图像块、第三失真图像块和第四失真图像块。
步骤203：根据第一扩边尺寸对每个失真图像块进行扩边处理，得到每个失真图像块对应的失真图像块。
可选的，当划分出的每个失真图像块等大小时，本步骤可以为：
根据第一扩边尺寸分别对目标图像块的四个边缘进行扩边处理，得到目标图像块对应的第一图像块，目标图像块为所述多个失真图像块中的任一个失真图像块。
对目标图像块的每个边缘进行扩边的宽度等于第一扩边尺寸。假设，目标图像块的宽度为W1，第一扩边尺寸为lap，扩边后得到的失真图像块的宽度为W2＝W1+2xlap。
例如，参见图2-8，对于任一个失真图像块，假设为失真图像块P1，对失真图像块的每个边缘扩边第一扩边尺寸lap得到失真图像块。
当在第一种情况下对失真图片划分得到等大小的失真图像块时，则在执行步骤202之前可以按如下步骤确定目标宽度和目标高度。
对于目标宽度的确定过程可以包括31-34的过程，分别为：
31：从预设宽度范围中选择一宽度值。
预设宽度范围为大于0且小于失真图片的宽度中的整数值。例如，假设失真图片的宽度为10个像素，则预设宽度范围包括整数值2、3、4、5、6、7、8和9。
32：如果失真图片的宽度等于该该宽度值的整数倍，则将该宽度值确定为目标宽度，结束。
33：如果失真图征的宽度不等于该宽度值的整数倍，则按如下公式(1)计算该宽度值对应的重叠宽度。
Figure BDA0001552200300000111
在公式(1)中，ΔW该宽度值对应的重叠宽度，W1为选择的该宽度值，W2为对失真图像块扩边处理后的第一图像块的宽度，W3为失真图片的宽度，％为求余运算。
34：如果该预设宽度范围中还存在未选择的宽度值，则从未选择的宽度值中选择一个宽度值，返回执行32，否则，将最小重叠宽度对应的宽度值确定为目标宽度。
对于目标高度的确定过程可以包括35-38的过程，分别为：
35：从预设高度范围中选择一高度值。
预设高度范围为大于0且小于失真图片的高度中的整数值。例如，假设失真图片的高度为10个像素，则预设高度范围包括整数值2、3、4、5、6、7、8和9。
36：如果失真图片的高度等于该高度值的整数倍，则将该高度值确定为目标高度，结束。
37：如果失真图片的高度不等于该高度值的整数倍，则按如下公式(2)计算该高度值对应的重叠高度。
Figure BDA0001552200300000112
在公式(2)中，ΔH该宽度值对应的重叠宽度，H1为选择的高度值，H2为对失真图像块扩边处理后第一图像块的高度，H3为失真图片的高度。
38：如果该预设高度范围中还存在未选择的高度值，则从未选择的高度值中选择一个高度值，返回执行36，否则，将最小重叠高度对应的高度值确定为目标高度。
当划分出的每个失真图像块不等大小时，本步骤可以为：
对于位于失真图片边界的失真图像块，对该失真图像块的目标边缘进行扩边处理，目标边缘为该失真图像块中不与失真图片的边界重合的边缘，对于失真图片的其他失真图像块，可以分别对该失真图像块的四个边缘进行扩边处理。详细实现如下：
根据第一扩边尺寸分别对第一失真图像块的目标边缘、第二失真图像块的目标边缘和第三失真图像块的目标边缘进行扩边处理，得到第一失真图像块对应的第一图像块、第二失真图像块对应的第二图像块和第三失真图像块对应的第一图像块，失真图像块的目标边缘为失真图像块中不与失真图片的边界重合的边缘；根据第一扩边尺寸，对第四失真图像块的四个边缘进行扩边处理，得到第四失真图像块对应的第一图像块。其中，扩边的宽度均等于第一扩边尺寸。
例如，参见图2-7，对于第一失真图像块P1，第一失真图像块P1的目标边缘为右边缘和下边缘，根据第一扩边尺寸lap分别对该右边缘和下边缘进行扩边处理，得到第一失真图像块P1对应的第一图像块(为包括P1的虚线框)。
对于第二失真图像块P2，第二失真图像块P2的目标边缘为左边缘、右边缘和下边缘，根据第一扩边尺寸lap分别对该左边缘、右边缘和下边缘进行扩边处理，得到第二失真图像块P2对应的第一图像块(为包括P2的虚线框)。
对于第三失真图像块P6，第三失真图像块P6的目标边缘为上边缘、下边缘和右边缘，根据第一扩边尺寸lap分别对该上边比、下边缘和右边缘进行扩边处理，得到第三失真图像块P6对应的第一图像块(为包括P6的虚线框)。
对于第四失真图像块P8，根据第一扩边尺寸lap分别第四失真图像块P8的四个边缘进行扩边处理，得到第四失真图像块P8对应的第一图像块(为包括P8的虚线框)。
其中，需要说明的是：在上述第二种情况下得到的每个第一图像块的宽度均等于目标宽度，以及每个第一图像块的高度均等于目标高度。
当在第二种情况下对失真图片划分得到的每个失真图像块不是等大小的失真图像块时，则在执行步骤202之前可以按如下方式确定目标宽度和目标高度。可以为：
根据预设宽度范围中的每个宽度值，按如下公式(3)计算每个宽度值对应的第一参数，将最小的第一参数对应的宽度值确定为目标宽度。
Figure BDA0001552200300000131
在上述公式(3)中，S1为第一参数，W1为预设宽度范围中的宽度值，W2为失真图像块的宽度，W3为失真图片的宽度。
根据预设高度范围中的每个高度值，按如下公式(4)计算每个高度值对应的第二参数，将最小的第二参数对应的高度值确定为目标高度。
Figure BDA0001552200300000132
在上述公式(4)中，S2为第二参数，H1为预设高度范围中的高度值，H2为失真图像块的高度，H3为失真图片的高度。
可选的，对于上述第一种情况或第二种情况下，上述对失真图像块的边缘扩边处理的方式有多种，在本步骤中列举如下三种方式，对失真图像块的边缘进行扩边处理，分别为。
第一种方式，使用预设像素值对失真图像块的边缘进行扩边处理。
例如，预设像素值可以为0、1、2或3等像素值，参见图2-8，可以采用预设像素值对失真图像块P1的四条边缘扩边，且对每条边缘扩边的宽度等于第一扩边尺寸，对该边缘扩边得到的区域内的每个像素点的像素值为预设像素值。
第二种方式，使用失真图像块的边缘包括的各像素点的像素值对该边缘进行扩边处理。
例如，参见图2-8，对于失真图像块的左边缘，可以使用左边缘包括的各像素点的像素值对左边缘进行扩边处理，对该左边缘扩边得到的区域内的各像素点，该像素点的像素值为该左边缘包括的某个像素点的像素值。
第三种方式，使用与失真图像块的边缘相邻的邻居图像块对该边缘进行扩边处理。
例如，参见图2-8，失真图像块P1的右边缘相邻的邻居图像块为P4，使用邻居图像块P4，对失真图像块P1的右边缘进行扩边处理。
步骤204：使用卷积神经网络模型分别对失真图片的每个第一图像块进行滤波，得到每个第一图像块对应的第二图像块。
该卷积神经网络模型可以为目前出现任何卷积神经网络模型，也可以是预先建立的卷积神经网络模型。
卷积神经网络包括多个卷积层，每个卷积层对应一个裁边尺寸和第二扩边尺寸，该裁边尺寸等于该第二扩边尺寸。每个卷积层在对输入的第一图像块做卷积运算的过程中，根据该裁边尺寸分别对第一图像块进行裁边处理，以及在输出第一图像块之前，根据第一扩边尺寸对该第一图像块进行扩边处理，使得输入到卷积层的第一图像块的大小等于从卷积层输出的第一图像块的大小。
在本实施例中，当在上述第一种情况下，在执行本步骤之前可以设置每个卷积层对应的扩边尺寸，对于每个卷积层，该卷积层对应的扩边尺寸不小于0且不大于在训练卷积神经网络模型时该卷积层对应的第二扩边尺寸。
由于第一扩边尺寸大于或等于每个卷积层对应的第二扩边尺寸的累加值，这样在将第一图像块输入到卷积神经网络模型后，卷积神经网络模型输出的该第一图像块对应的第二图像块的大小于等于该第一图像块对应的失真图像块的大小。
或者，
当在上述第一种情况或第二种情况下，也可以不对每个卷积层对应的第二扩边尺寸进行设置，这样在将第一图像块输入到卷积神经网络模型后，卷积神经网络模型输出的该第一图像块对应的第二图像块的大小于等于该第一图像块的大小。
在本步骤中，当使用预先建立的卷积神经网络模型时，还可以生成第一图像块对应的边信息分量，其中，边信息分量表示第一图像块相对原始图片的失真特征；将第一图像块的失真图像颜色分量以及该边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真的第二图像块。
对于采用预先建立的卷积神经网络模型的方案，为了实现该方案还提供了一种系统架构图，参见图2-9，包括：边信息分量生成模块11，卷积神经网络12，网络训练模块13；
其中，卷积神经网络12可以包括如下三层结构：
输入层处理单元121，用于接收向卷积神经网络模型输入的输入数据，本方案中输入数据包括第一图像块的失真图像颜色分量，以及第一图像块的边信息分量；并对输入的数据进行第一层的卷积滤波处理；
隐含层处理单元122，对输入层处理单元121的输出数据，进行至少一层的卷积滤波处理；
输出层处理单元123，对隐含层处理单元122的输出数据，进行最后一层的卷积滤波处理，输出结果作为去失真图像颜色分量，用于生成去失真的第二图像块。
图2-10为实现该解决方案的数据流的示意图，其中，第一图像块的失真图像颜色分量，以及第一图像块的边信息分量作为输入数据，输入到预先训练的卷积神经网络模型中，卷积神经网络模型可以由预设结构的卷积神经网络和配置的网络参数集进行表示，输入数据经过输入层、隐含层和输出的卷积滤波处理之后，得到去失真的第二图像块。
作为卷积神经网络模型的输入数据，根据实际需要，可以包括一种或多种边信息分量，也可以包括一种或多种失真图像颜色分量，例如，至少包括Y颜色分量、U颜色分量和V颜色分量之一，相应的，包括一种或多种去失真图像颜色分量。
例如，在一些图像处理中，可能仅针对全部颜色分量中的一种颜色分量存在失真情况，则可以在去失真处理时，仅将失真图像块的该颜色分量作为输入数据，如两种颜色分量存在失真情况，则将失真图像块的该两种颜色分量均作为输入数据，相应的，均输出对应的去失真图像颜色分量。
一个图像块的每个像素点的存储数据，包括该像素点的所有颜色分量的值，在获得失真图像块的失真图像颜色分量时，可以根据需要，从每个像素点的存储数据中，提取出需要的一种或多种颜色分量的值，从而得到失真图像块的失真图像颜色分量。
如图2-11所示，以YUV颜色空间为例，从中提取出每个像素点的Y颜色分量的值，从而得到失真图像的Y颜色分量。
对于边信息分量，其表示第一图像块相对原始图片中对应的原始图像块的失真特征，是一种由图像处理过程确定的失真特征的表达。
在一个可选实施例中，上述失真特征可以至少包括如下失真特征之一：
失真程度、失真位置，失真类型：
首先，边信息分量可以表示失真的第一图像块相对原始图片中对应的原始图像块的失真程度。
其次，边信息分量也可以表示失真的第一图像块相对原始图片中对应的原始图像块的失真位置，例如在主流的视频编解码应用中，图像通常被划分为多个不重叠且不固定大小的编码单元，编码单元分别进行预测编码及不同程度的量化处理，编码单元之间的失真通常不具有一致性，在编码单元的边界处通常会产生像素突变，因此，编码单元的边界坐标可以作为一种先验的表征失真位置的边信息。
再次，边信息分量也可以表示失真的第一图像块相对原始图片中对应的原始图像块的失真类型，例如在视频编解码应用中，图像中不同编码单元可能采用不同预测模式，不同预测模式会影响残差数据的分布，从而影响失真的第一图像块的特征，因此，编码单元的预测模式可以作为一种表征失真类型的边信息。
可选的，边信息分量可以为上述一种或多种的组合，也可以为上述一种的多个边信息分量，例如，经过图像处理后，可能通过一种物理含义的参量表示失真的第一图像块的失真程度，也可能通过不同物理含义的两种参量表示失真的第一图像块的失真程度，相应的，即可以根据实际需要，将一种或多种均表示失真程度的边信息分量作为输入数据。
如图2-12所示，边信息分量的矩阵结构与失真的第一图像块颜色分量的矩阵结构相同，其中，坐标[0,0]、[0,1]表示失真位置，矩阵的元素值1表示失真程度，即边信息分量同时能表示失真程度与失真位置。
又如图2-13所示，坐标[0,0]、[0,1]、[2,0]、[2,4]表示失真位置，矩阵的元素值1、2表示失真类型，即边信息分量同时能表示失真程度与失真位置。
并且，本申请实施例提供的上述解决方案中，可以同时包括图2-12和图2-13分别所示意的两个边信息分量。
进一步的，根据方案的一个可选实施例情况和需要，当失真图像颜色分量包括多种时，边信息分量可以包括分别与每种失真图像颜色分量对应的边信息分量。
本申请实施例提供的上述解决方案，可以应用于目前已知的各种一个可选实施例场景中，例如，可应用于对图像进行超分辨率处理的应用场景中，本发明在此不做限定。
对于采用预先建立的卷积神经网络模型滤波的方案，参见图2-14，具体包括如下处理步骤：
本步骤可以通过如下两个步骤来实现，分别为
步骤61、针对待处理的目标图像块，确定目标图像块中的每个像素点的失真程度值。
在一个可选实施例中，对原始图像进行不同方式的图像处理之后，表示失真程度的物理参量也可能不同，因此，本步骤中，可以基于不同的图像处理方式，确定出对应的能够准确表示像素点失真程度的失真程度值，具体可以如下：
第一种方式：针对通过编解码得到的目标图像块，目标图像块中的每个编码单元的量化参数都是已知的，即可以获取目标图像块中的每个编码单元的量化参数，将目标图像块的每个像素点所在编码单元的量化参数，确定为目标图像块的每个像素点的失真程度值；
第二种方式：针对通过编解码得到的目标图像块，目标图像块中的每个编码单元的编码信息都是已知的，即可以获取目标图像块中的每个编码单元的编码信息，根据目标图像块中的每个编码单元的编码信息计算出每个编码单元的量化参数，将目标图像块的每个像素点所在编码单元的量化参数，确定为目标图像块的每个像素点的失真程度值。
步骤62、基于目标图像块中的各像素点的位置，使用获取的各像素点的失真程度值，生成目标图像块对应的边信息分量，其中，边信息分量包括的每个分量值与目标图像块上相同位置的像素点相对应。
由于边信息分量包括的每个分量值与目标图像块上相同位置的像素点相对应，则边信息分量与目标图像块的失真图像颜色分量的结构相同，即表示边信息分量的矩阵与表示目标图像块颜色分量的矩阵是同型的。
本步骤中，可以基于目标图像块中的各像素点的位置，将获取的每个像素点的失真程度值，确定为目标图像块对应的边信息分量中该像素点相同位置的分量值，即直接将每个像素点的失真程度值，确定为该像素点对应的分量值。
当目标图像块的像素值范围与像素点的失真程度值的取值范围不同时，也可以基于目标图像块的像素值范围，对获取的各像素点的失真程度值进行标准化处理，得到处理后失真程度值，处理后失真程度值的取值范围与像素值范围相同；
然后基于目标图像块中的各像素点的位置，将每个像素点的处理后失真程度值，确定为目标图像块对应的边信息分量中该像素点相同位置的分量值。
本步骤中，可以采用如下公式对像素点的失真程度值进行标准化处理：
Figure BDA0001552200300000171
其中，norm(x)为标准化处理后得到的处理后失真程度值，x为像素点的失真程度值，目标图像块的像素值范围为[PIEXLMIN，PIXELMAX]，像素点的失真程度值的取值范围为[QPMIN，QPMAX]。
通过上述两个步骤，即生成了目标图像块的边信息分量，生成边信息分量的过程，也可以理解为生成了目标图像块对应的边信息引导图，该边信息引导图通过其边信息分量表示目标图像块的失真程度，且该边信息引导图与目标图像块是等高等宽的。
本发明实施例中，以卷积神经网络模型包括输入层、隐含层和输出层的结构为例，对方案进行描述。
步骤63、将第一图像块的失真图像颜色分量以及生成的边信息分量，作为预先建立的卷积神经网络模型的输入数据，由输入层进行第一层的卷积滤波处理，具体可以如下：
在卷积神经网络模型中，输入数据可以是通过各自的通道输入到网络中，本步骤中，可以将cy通道的第一图像块颜色分量Y与cm通道的边信息分量M，在通道的维度上进行合并，共同组成cy+cm通道的输入数据I，并采用如下公式对输入数据I进行多维卷积滤波和非线性映射，产生n1个以稀疏形式表示的图像块：
F1(I)＝g(W1*I+B1)；
其中，F1(I)为输入层的输出，I为输入层中卷积层的输入，*为卷积操作，W1为输入层的卷积层滤波器组的权重系数，B1为输入层的卷积层滤波器组的偏移系数，g()为非线性映射函数。
其中，W1对应于n1个卷积滤波器，即有n1个卷积滤波器作用于输入层的卷积层的输入，输出n1个图像块；每个卷积滤波器的卷积核的大小为c1×f1×f1，其中c1为输入通道数，f1为每个卷积核在空间上的大小。
在一个具体的实施例中，该输入层的参数可以为：c1＝2，f1＝5，n1＝64，使用ReLU(Rectified linear unit)函数作为g()，它的函数表达式为：
g(x)＝max(0，x)；
则该实施例中输入层卷积处理表达式为：
F1(I)-max(0，W1*I+B1)；
步骤64、隐含层对输入层输出的稀疏表示的图像块F1(I)进行进一步的高维映射。
本发明实施例中，不对隐含层中包含的卷积层层数、卷积层连接方式、卷积层属性等作限定，可以采用目前已知的各种结构，但隐含层中包含至少1个卷积层。
例如，隐含层包含N-1(N≥2)层卷积层，隐含层处理由下式表示：
Fi(I)＝g(Wi*Fi-1(I)+Bi)，i∈{2，3，…，N}；
其中，Fi(I)表示卷积神经网络中第i层卷积层的输出，*为卷积操作，Wi为第i层卷积层滤波器组的权重系数，Bi为卷积层滤波器组的偏移系数，g()为非线性映射函数。
其中，Wi对应于ni个卷积滤波器，即有ni个卷积滤波器作用于第i层卷积层的输入，输出ni个图像块；每个卷积滤波器的卷积核的大小为ci×fi×fi，其中ci为输入通道数，fi为每个卷积核在空间上的大小。
在一个具体的实施例中，该隐含层可以包括1个卷积层，该卷积层的卷积滤波器参数为：c2＝64，f2＝1，n2＝32，使用ReLU(Rectified linear unit)函数作为g()，则该实施例中隐含层的卷积处理表达式为：
F2(I)＝max(0，W2*F1(I)+B2)；
步骤65、输出层对隐含层输出的高维图像块FN(I)进行聚合，输出去第一图像块颜色分量，用于生成去失真的第二图像块。
本发明实施例中不对输出层的结构作限定，输出层可以是Residual Learning结构，也可以是Direct Learning结构，或者其他的结构。
采用Residual Learning结构的处理如下：
对隐含层的输出进行卷积操作获取补偿残差，再与输入的失真图像颜色分量相加，得到去失真图像颜色分量，即得到去失真的第二图像块。输出层处理可由下式表示：
F(I)＝WN+1*FN(I)+BN+1+Y；
其中，F(I)为输出层输出，FN(I)为隐含层的输出，*为卷积操作，WN+1为输出层的卷积层滤波器组的权重系数，BN+1为输出层的卷积层滤波器组的偏移系数，Y为未经过卷积滤波处理、欲进行去失真处理的失真图像颜色分量。
其中，WN+1对应于nN+1个卷积滤波器，即有nN+1个卷积滤波器作用于第N+1层卷积层的输入，输出nN+1个图像块，nN+1为输出的去失真图像颜色分量个数，一般与输入的失真图像颜色分量的个数相等，如果只输出一种去失真图像颜色分量，则nN+1一般取值为1；每个卷积滤波器的卷积核的大小为cN+1×fN+1×fN+1，其中cN+1为输入通道数，fN+1为每个卷积核在空间上的大小。
采用Direct Learning结构的处理如下：
对隐含层的输出进行卷积操作后直接输出去失真图像颜色分量，即得到去失真的第二图像块。输出层处理可由下式表示：
F(I)＝WN+1*FN(I)+BN+1；
其中，F(I)为输出层输出，FN(I)为隐含层的输出，*为卷积操作，WN+1为输出层的卷积层滤波器组的权重系数，BN+1为输出层的卷积层滤波器组的偏移系数。
其中，WN+1对应于nN+1个卷积滤波器，即有nN+1个卷积滤波器作用于第N+1层卷积层的输入，输出nN+1个图像块，nN+1为输出的去失真图像颜色分量个数，一般与输入的失真图像颜色分量的个数相等，如果只输出一种去失真图像颜色分量，则nN+1一般取值为1；每个卷积滤波器的卷积核的大小为cN+1×fN+1×fN+1，其中cN+1为输入通道数，fN+1为每个卷积核在空间上的大小。
在一个具体的实施例中，该输出层采用Residual Learning结构，输出层包括1个卷积层，该输出层的卷积滤波器参数为：c3＝32，f3＝3，n3＝1，则该实施例中输出层的卷积处理表达式为：
F(I)＝W3*F3(I)+B3+Y。
其中，需要说明的是：在本实施例中可以同时对多个失真图像块进行滤波，从而可以实现并行化滤波，提高视频编码的效率。
在本发明实施例提供的上述解决方案中，还提出了一种卷积神经网络模型训练方法，如图2-15所示，具体包括如下处理步骤：
步骤71、获取预设训练集，预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，其中，失真图像对应的边信息分量表示该失真图像相对原始样本图像的失真特征。该多个失真图像的失真特征不同。
本步骤中，可以预先对原始样本图像(即未失真的自然图像)，进行不同失真程度的一种图像处理，得到各自对应的失真图像，并按照上述去失真方法中的步骤，针对每个失真图像，生成对应的边信息分量，从而将每个原始样本图像、对应的失真图像以及对应的边信息分量组成图像对，由这些图像对组成预设训练集Ω。
进一步的，训练集可以包括一个原始样本图像，针对该原始样本图像进行上述图像处理，得到失真特征不同的多个失真图像，以及每个失真图像对应的边信息分量；
训练集也可以包括多个原始样本图像，分别针对每个原始样本图像进行上述图像处理，得到失真特征不同的多个失真图像，以及每个失真图像对应的边信息分量。
步骤72、针对预设结构的卷积神经网络CNN，初始化该卷积神经网络CNN的网络参数集中的参数，初始化的参数集可以由Θ1表示，初始化的参数可以根据实际需要和经验进行设置。
本步骤中，还可以对训练相关的高层参数如学习率、梯度下降算法等进行合理的设置，具体可以采用上述提及的方式设置，还可以采用其他方式设置，在此不再进行详细描述。
步骤73、进行前向计算，具体如下：
将预设训练集中的每个失真图像的失真图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该失真图像对应的去失真图像颜色分量。
本步骤中，具体可以为对预设训练集Ω进行参数集为Θi的卷积神经网络CNN的前向计算，获取卷积神经网络的输出F(Y)，即每个失真图像对应的去失真图像颜色分量。
第一次进入本步骤处理时，当前参数集为Θ1，后续再次进入本步骤处理时，当前参数集Θi为对上一次使用的参数集Θi-1进行调整后得到的，详见后续描述。
步骤74、基于多个原始样本图像的原始图像颜色分量和得到的去失真图像颜色分量，确定多个原始样本图像的损失值。
具体可以使用均方误差(MSE)公式作为损失函数，得到损失值L(Θ1)，详见如下公式：
Figure BDA0001552200300000211
其中，H表示单次训练中从预设训练集中选取的图像对个数，Ih表示第h个失真图像对应的由边信息分量和失真图像颜色分量合并后的输入数据，F(Ih|ΘL)表示针对第h个失真图像，卷积神经网络CNN在参数集Θi下前向计算得到的去失真图像颜色分量，Xh表示第h个失真图像对应的原始图像颜色分量，i为当前已进行前向计算的次数计数。
步骤75、基于损失值确定采用当前参数集的该预设结构的卷积神经网络是否收敛，如果不收敛，进入步骤76，如果收敛，进入步骤77。
具体的，可以当损失值小于预设损失值阈值时，确定收敛；也可以当本次计算得到损失值与上一次计算得到的损失值之差，小于预设变化阈值时，确定收敛，本发明在此不做限定。
步骤76，对当前参数集中的参数进行调整，得到调整后的参数集，然后进入步骤73，用于下一次前向计算。
具体可以利用反向传播算法对当前参数集中的参数进行调整。
步骤77、将当前参数集作为输出的最终参数集Θfinal，并将采用最终参数集Θfinal的该预设结构的卷积神经网络，作为训练完成的卷积神经网络模型。
步骤205：根据每个第一图像块对应的第二图像块生成一帧图片。
在本步骤中，如果将卷积神经网络模型中的每个卷积层对应的第二扩边尺寸设置为零，则得到的每个第一图像块对应的第二图像块与每个第一图像块对应的失真图像块等宽等高，则可以根据每个第一图像块对应的失真图像块在失真图片中的位置，将每个第一图像块对应的第二图像块组成一帧去失真图片，将该帧去失真图片缓存在缓存器中作为一帧参考图片。
可选的，对于每行最后两个第二图像块，如果该两个第二图像块分别对应的失真图像块存在部分重叠，则在组成一帧去失真图片之前，还可以从最后一个第二图像块中去除重叠部分。和/或，对于每列最后两个第二图像块，如果该两个第二图像块分别对应的失真图像块存在部分重叠，则在组成一帧去失真图片之前，还可以从最后一个第二图像块中去除重叠部分。然后再组成一帧去失真图片。
或者，
在本步骤中，如果没有设置卷积神经网络模型中的每个卷积层对应的第二扩边尺寸，则得到的每个第一图像块对应的第二图像块与第一图像块等宽等高，则可以根据第一扩边尺寸对每个第一图像块对应的第二图像块进行裁边处理，得到每个第一图像块对应的去失真图像块，根据每个第一图像块对应的失真图像块在失真图片中的位置，将每个第一图像块对应的去失真图像块组成一帧去失真图片，将该帧去失真图片缓存在缓存器中作为一帧参考图片。
其中，在进行裁边处理时，对于任一个第一图像块对应的第二图像块，确定该第二图像块中被扩边处理的边缘，根据该第一扩边尺寸，对该第二图像块是确定的边缘进行裁边处理，得到该第一图像块对应的去失真图像块，且裁去的边缘的宽度等于第一扩边尺寸。
可选的，对于每行最后两个去失真图像块，如果该两个去失真图像块分别对应的失真图像块存在部分重叠，则在组成一帧去失真图片之前，还可以从最后一个去失真图像块中去除重叠部分。和/或，对于每列最后两个去失真图像块，如果该两个去失真图像块分别对应的失真图像块存在部分重叠，则在组成一帧去失真图片之前，还可以从最后一个去失真图像块中去除重叠部分。然后再组成一帧去失真图片。
在本申请实施例中，通过对视频编码过程中生成的失真图片进行划分，获取多个失真图像块，再使用卷积神经网络模型可以同时对一个或多个失真图像块进行滤波，得到每个失真图像块对应的去失真图像块，根据每个失真图像块对应的去失真图像块生成一帧去失真图片。生成的一帧去失真图片为滤波后的图片，由于使用卷积神经网络滤波对失真图像块进行滤波，这样相比对整帧失真图片进行滤波，可以减小滤波所需要的资源，从而使设备能够满足滤波所需的资源。另外，又可以同时对多个失真图像块进行滤波，这样可以提高滤滤效率，以及提高视频编码效率。
参见图3-1，本申请实施例提供了一种图片滤波的方法，该方法可以对解码过程中生成的失真图片进行滤波，包括：
步骤301：获取视频解码过程中生成的失真图片。
在视频解码过程中会生成重构图片，失真图片可以为该重构图片，或者可以为对该重构图片进行滤波后得到的图片。
参见图3-2所示的视频解码系统的结构示意图，视频解码系统包括预测模块、熵解码器、反量化单元、反变换单元、重建单元、卷积神经网络模型CNN和缓存器等部分组成。
该视频解码系统编码的过程为：将比特流输入到熵解码器中，熵解码器对该比特流进行解码得到模式信息、量化参数和残差信息，将该模式信息输入到预测模块中，将该量化参数输入到卷积神经网络模型中，以及将该残差信息输入到反量化单元中。预测模块根据缓存器中的参考图片对输入的该模式信息进行预测得到预测数据，并将该预测数据输入重建单元。其中，预测模块包括帧内预测单元、运动估计与运动补偿单元和开关，模式信息可以包括帧内模式信息和帧间模式信息。帧内预测单元可以对帧内模式信息预测得到帧内预测数据，运动估计与运动补偿单元根据缓存器中缓存的参考图片对帧间模式信息帧间预测得到帧间预测数据，开关选择将帧内预测数据或将帧间预测数据输出给重建单元。
反量化单元和反变换单元分别对该残差信息进行反量化和反变换处理，得到预测误差信息，将该预测误差信息输入到重建单元中；重建单元根据该预测误差信息和预测数据生成重构图片。相应的，在本步骤中，可以获取重建单元生成的重构图片，并将该重构图片作为失真图片。
可选的，参见图3-3，在卷积神经网络模型和重建单元之间还可以串联滤波器，该滤波器还可以对重建单元生成的重构图片进行滤波，输出滤波的重构图片。相应的，在本步骤中，可以获取滤波的重构图片，并将滤波的该重构图片作为失真图片。
可选的，参见图3-4，熵解码器输出的模式信息可以只包括帧内模式信息，且预测模块只包括帧内预测单元，该帧内预测单元对该帧内模式信息进行预测得到预测数据并输入给重建单元，由该重建单元生成重构图片。相应的，在本步骤中，可以获取滤波的重构图片，并将滤波的该重构图片作为失真图片。
步骤302-305：分别与上述步骤202-205相同，在此不再详细说明。
在本申请实施例中，通过对视频解码过程中生成的失真图片进行划分，获取多个失真图像块，再使用卷积神经网络模型可以同时对一个或多个失真图像块进行滤波，得到每个失真图像块对应的去失真图像块，根据每个失真图像块对应的去失真图像块生成一帧去失真图片。生成的一帧去失真图片为滤波后的图片，由于使用卷积神经网络滤波对失真图像块进行滤波，这样相比对整帧失真图片进行滤波，可以减小滤波所需要的资源，从而使设备能够满足滤波所需的资源。另外，又可以同时对多个失真图像块进行滤波，这样可以提高滤滤效率，以及提高视频解码效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
参见图4，本申请实施例提供了一种图片滤波的装置400，所述装置400包括：
第一获取模块401，用于获取视频编解码过程生成的失真图片；
第二获取模块402，用于通过对所述失真图片进行划分，获取多个第一图像块；
滤波模块403，用于使用卷积神经网络模型对每个第一图像块进行滤波，得到所述每个第一图像块对应的第二图像块；
生成模块404，用于根据所述每个第一图像块对应的第二图像块生成一帧去失真图片。
可选的，所述第二获取模块402包括：
划分单元，用于根据目标宽度和目标高度对所述失真图片进行划分，得到所述失真图片包括的多个失真图像块；
扩边单元，用于根据第一扩边尺寸对所述多个失真图像块中的每个失真图像块进行扩边处理，得到所述每个失真图像块对应的第一图像块。
可选的，所述多个失真图像块中位于所述失真图片的顶点位置的第一失真图像块的宽度和高度分别等于W1-lap和H1-lap，W1为所述目标宽度，H1为所述目标高度，lap为所述第一扩边尺寸；
位于所述失真图片的上边界和下边界上的第二失真图像块的宽度和高度分别等于W1-2lap和H1-lap，所述第二失真图像块与所述第一失真图像块不同；
位于所述失真图片的左边界和右边界上的第三失真图像块的宽度和高度分别为W1-lap和H1-2lap，所述第三失真图像块与所述第一失真图像块不同；
所述多个失真图块中除所述第一失真图像块、所述第二失真图像块和所述第三失真图像块之外的第四失真图像块的宽度和高度分别为W1-2lap和H1-2lap。
可选的，所述扩边单元，用于：
根据第一扩边尺寸分别对所述第一失真图像块的目标边缘、所述第二失真图像块的目标边缘和所述第三失真图像块的目标边缘进行扩边处理，得到所述第一失真图像块对应的第一图像块、所述第二失真图像块对应的第二图像块和所述第三失真图像块对应的第一图像块，失真图像块的目标边缘为所述失真图像块中不与所述失真图片的边界重合的边缘；
根据所述第一扩边尺寸，对所述第四失真图像块的四个边缘进行扩边处理，得到所述第四失真图像块对应的第一图像块。
可选的，所述装置400还包括：
第一设置模块，用于设置所述卷积神经网络模型包括的卷积层对应的扩边尺寸，所述设置的扩边尺寸不小于零且不大于所述卷积层对应的第二扩边尺寸，所述第二扩边尺寸为在训练所述卷积神经网络模型时所述卷积层的扩边尺寸。
可选的，所述装置400还包括：
第二设置模块，用于根据所述卷积神经网络模型包括的每个卷积层对应的第二扩边尺寸，设置所述第一扩边尺寸。
可选的，所述生成模块404包括：
栽边单元，用于对所述每个失真图像块对应的去失真图像块进行栽边处理，得到每个失真图像块对应的第三图像块；
组成单元，用于将所述每个失真图像块对应的第三图像块组成一帧去失真图片。
可选的，所述装置400还包括：
确定模块，用于根据所述第一扩边尺寸、所述失真图片的宽度和高度，确定所述目标宽度和所述目标高度。
在本申请实施例中，通过对视频编解码过程中生成的失真图片进行划分，获取多个失真图像块，再使用卷积神经网络模型可以同时对一个或多个失真图像块进行滤波，得到每个失真图像块对应的去失真图像块，根据每个失真图像块对应的去失真图像块生成一帧去失真图片。生成的一帧去失真图片为滤波后的图片，由于使用卷积神经网络滤波对失真图像块进行滤波，这样相比对整帧失真图片进行滤波，可以减小滤波所需要的资源，从而使设备能够满足滤波所需的资源。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5示出了本发明一个示例性实施例提供的终端500的结构框图。该终端500可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的一种图片滤波的方法。
在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图片滤波的方法，其特征在于，所述方法包括：
获取视频编解码过程生成的失真图片；
根据目标宽度和目标高度对所述失真图片进行划分，得到所述失真图片包括的多个失真图像块；
根据第一扩边尺寸对所述多个失真图像块中的每个失真图像块进行扩边处理，得到所述每个失真图像块对应的第一图像块；
使用卷积神经网络模型对每个第一图像块进行滤波，得到所述每个第一图像块对应的第二图像块；
根据所述每个第一图像块对应的第二图像块生成一帧去失真图片；
其中，所述多个失真图像块中位于所述失真图片的顶点位置的第一失真图像块的宽度和高度分别等于W1-lap和H1-lap，W1为所述目标宽度，H1为所述目标高度，lap为所述第一扩边尺寸；
位于所述失真图片的上边界和下边界上的第二失真图像块的宽度和高度分别等于W1-2lap和H1-lap，所述第二失真图像块与所述第一失真图像块不同；
位于所述失真图片的左边界和右边界上的第三失真图像块的宽度和高度分别为W1-lap和H1-2lap，所述第三失真图像块与所述第一失真图像块不同；
所述多个失真图块中除所述第一失真图像块、所述第二失真图像块和所述第三失真图像块之外的第四失真图像块的宽度和高度分别为W1-2lap和H1-2lap。
2.如权利要求1所述的方法，其特征在于，所述根据第一扩边尺寸对所述多个失真图像块中的每个失真图像块进行扩边处理，得到所述每个失真图像块对应的第一图像块，包括：
根据第一扩边尺寸分别对所述第一失真图像块的目标边缘、所述第二失真图像块的目标边缘和所述第三失真图像块的目标边缘进行扩边处理，得到所述第一失真图像块对应的第一图像块、所述第二失真图像块对应的第二图像块和所述第三失真图像块对应的第一图像块，失真图像块的目标边缘为所述失真图像块中不与所述失真图片的边界重合的边缘；
根据所述第一扩边尺寸，对所述第四失真图像块的四个边缘进行扩边处理，得到所述第四失真图像块对应的第一图像块。
3.如权利要求1所述的方法，其特征在于，所述使用卷积神经网络模型分别对所述失真图片的每个失真图像块进行滤波之前，还包括：
设置所述卷积神经网络模型包括的卷积层对应的扩边尺寸，所述设置的扩边尺寸不小于零且不大于所述卷积层对应的第二扩边尺寸，所述第二扩边尺寸为在训练所述卷积神经网络模型时所述卷积层的扩边尺寸。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述卷积神经网络模型包括的每个卷积层对应的第二扩边尺寸，设置所述第一扩边尺寸。
5.如权利要求1或2所述的方法，其特征在于，所述根据所述每个失真图像块对应的去失真图像块生成一帧去失真图片，包括：
对所述每个失真图像块对应的去失真图像块进行裁边处理，得到每个失真图像块对应的第三图像块；
将所述每个失真图像块对应的第三图像块组成一帧去失真图片。
6.如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
根据所述第一扩边尺寸、所述失真图片的宽度和高度，确定所述目标宽度和所述目标高度。
7.一种图片滤波的装置，其特征在于，所述装置包括：
第一获取模块，用于获取视频编解码过程生成的失真图片；
第二获取模块，用于根据目标宽度和目标高度对所述失真图片进行划分，得到所述失真图片包括的多个失真图像块；根据第一扩边尺寸对所述多个失真图像块中的每个失真图像块进行扩边处理，得到所述每个失真图像块对应的第一图像块；
滤波模块，用于使用卷积神经网络模型对每个第一图像块进行滤波，得到所述每个第一图像块对应的第二图像块；
生成模块，用于根据所述每个第一图像块对应的第二图像块生成一帧去失真图片；
其中，所述多个失真图像块中位于所述失真图片的顶点位置的第一失真图像块的宽度和高度分别等于W1-lap和H1-lap，W1为所述目标宽度，H1为所述目标高度，lap为所述第一扩边尺寸；
位于所述失真图片的上边界和下边界上的第二失真图像块的宽度和高度分别等于W1-2lap和H1-lap，所述第二失真图像块与所述第一失真图像块不同；
位于所述失真图片的左边界和右边界上的第三失真图像块的宽度和高度分别为W1-lap和H1-2lap，所述第三失真图像块与所述第一失真图像块不同；
所述多个失真图块中除所述第一失真图像块、所述第二失真图像块和所述第三失真图像块之外的第四失真图像块的宽度和高度分别为W1-2lap和H1-2lap。
8.如权利要求7所述的装置，其特征在于，所述扩边单元，用于：
根据第一扩边尺寸分别对所述第一失真图像块的目标边缘、所述第二失真图像块的目标边缘和所述第三失真图像块的目标边缘进行扩边处理，得到所述第一失真图像块对应的第一图像块、所述第二失真图像块对应的第二图像块和所述第三失真图像块对应的第一图像块，失真图像块的目标边缘为所述失真图像块中不与所述失真图片的边界重合的边缘；
根据所述第一扩边尺寸，对所述第四失真图像块的四个边缘进行扩边处理，得到所述第四失真图像块对应的第一图像块。
9.如权利要求7所述的装置，其特征在于，所述装置还包括：
第一设置模块，用于设置所述卷积神经网络模型包括的卷积层对应的扩边尺寸，所述设置的扩边尺寸不小于零且不大于所述卷积层对应的第二扩边尺寸，所述第二扩边尺寸为在训练所述卷积神经网络模型时所述卷积层的扩边尺寸。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
第二设置模块，用于根据所述卷积神经网络模型包括的每个卷积层数目对应的第二扩边尺寸，设置所述第一扩边尺寸。
11.如权利要求7或8所述的装置，其特征在于，所述生成模块包括：
裁边单元，用于对所述每个失真图像块对应的去失真图像块进行裁边处理，得到每个失真图像块对应的第三图像块；
组成单元，用于将所述每个失真图像块对应的第三图像块组成一帧去失真图片。
12.如权利要求7至10任一项所述的装置，其特征在于，所述装置还包括：
确定模块，用于根据所述第一扩边尺寸、所述失真图片的宽度和高度，确定所述目标宽度和所述目标高度。
CN201810050422.8A 2018-01-18 2018-01-18 一种图片滤波的方法及装置 Active CN110062225B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810050422.8A CN110062225B (zh) 2018-01-18 2018-01-18 一种图片滤波的方法及装置
PCT/CN2019/072412 WO2019141255A1 (zh) 2018-01-18 2019-01-18 一种图片滤波的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810050422.8A CN110062225B (zh) 2018-01-18 2018-01-18 一种图片滤波的方法及装置

Publications (2)

Publication Number Publication Date
CN110062225A CN110062225A (zh) 2019-07-26
CN110062225B true CN110062225B (zh) 2021-06-11

Family

ID=67301965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810050422.8A Active CN110062225B (zh) 2018-01-18 2018-01-18 一种图片滤波的方法及装置

Country Status (2)

Country Link
CN (1) CN110062225B (zh)
WO (1) WO2019141255A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214362A (zh) * 2011-04-27 2011-10-12 天津大学 基于块的快速图像混合方法
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248152A (ja) * 2003-02-17 2004-09-02 Ricoh Co Ltd 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法、プログラム、及び記録媒体
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
CN105611303B (zh) * 2016-03-07 2019-04-09 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
CN107018422B (zh) * 2017-04-27 2019-11-05 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107197260B (zh) * 2017-06-12 2019-09-13 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107590804A (zh) * 2017-09-14 2018-01-16 浙江科技学院 基于通道特征和卷积神经网络的屏幕图像质量评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214362A (zh) * 2011-04-27 2011-10-12 天津大学 基于块的快速图像混合方法
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Convolutional Neural Network Approach for Post-Processing in HEVC Intra Coding;Yuanying Dai;《MultiMedia Modeling 23rd International Conference》;20170106;第28-38页 *
Spatial-temporal residue network based in-loop filter for video coding;Chuanmin Jia等;《arXiv》;20171225;第1-4页 *

Also Published As

Publication number Publication date
WO2019141255A1 (zh) 2019-07-25
CN110062225A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
US11671712B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
CN108305236B (zh) 图像增强处理方法及装置
CN108810538B (zh) 视频编码方法、装置、终端及存储介质
CN109978936B (zh) 视差图获取方法、装置、存储介质及设备
CN111669493A (zh) 一种拍摄方法、装置与设备
CN111445392B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN110062246B (zh) 对视频帧数据进行处理的方法和装置
CN111932463B (zh) 图像处理方法、装置、设备及存储介质
CN111246106B (zh) 图像处理方法、电子设备及计算机可读存储介质
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
CN111107357B (zh) 一种图像处理的方法、装置、系统及存储介质
CN110991457A (zh) 二维码处理方法、装置、电子设备及存储介质
CN113542600A (zh) 一种图像生成方法、装置、芯片、终端和存储介质
CN110572710B (zh) 视频生成方法、装置、设备及存储介质
CN115205164B (zh) 图像处理模型的训练方法、视频处理方法、装置及设备
CN110062226B (zh) 一种视频编码方法、视频解码方法、装置、系统及介质
WO2023087637A1 (zh) 视频编码方法和装置、电子设备和计算机可读存储介质
CN110062225B (zh) 一种图片滤波的方法及装置
CN114332709A (zh) 视频处理方法、装置、存储介质以及电子设备
CN113379624A (zh) 图像生成方法、图像生成模型的训练方法、装置及设备
CN114630113A (zh) 基于自适应帧内刷新机制的解码、编码方法及相关设备
CN113079372B (zh) 帧间预测的编码方法、装置、设备及可读存储介质
CN113038124B (zh) 视频编码方法、装置、存储介质及电子设备
CN111225202B (zh) 一种图片故障诊断方法、装置及系统
CN116980627A (zh) 用于解码的视频滤波方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant