CN111445424A - 图像处理和移动终端视频处理方法、装置、设备和介质 - Google Patents
图像处理和移动终端视频处理方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111445424A CN111445424A CN202010348909.1A CN202010348909A CN111445424A CN 111445424 A CN111445424 A CN 111445424A CN 202010348909 A CN202010348909 A CN 202010348909A CN 111445424 A CN111445424 A CN 111445424A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- filtering
- video
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims abstract description 57
- 238000001914 filtration Methods 0.000 claims abstract description 183
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 10
- 239000013598 vector Substances 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种图像处理和移动终端视频处理方法、装置、设备和介质，该图像处理方法包括：确定待处理图像中每个图像块的图像属性；根据图像属性确定每个图像块对应的滤波模型；分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。本发明实施例利用待处理图像中每个图像块的图像属性的快速计算，加快了图像块的滤波处理速度，进而实现了图像的实时滤波，并且，通过对应的滤波模型对每个图像块进行自适应滤波，优化了视频的清晰度。
Description
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种图像处理和移动终端视频处理方法、装置、设备和介质。
背景技术
视频在保存和传输过程中，一般都会使用有损压缩的手段进行编码。在视频解码后，会产生编码噪声。其中，编码噪声的类型包括块效应、振铃效应和锯齿效应。具体的，当用户观看视频时，移动端视频应用程序从服务器拉取视频流，在本地对视频流解码并播放。由于网络环境的限制，移动端拉取到的视频流往往是经过高度压缩的视频流，在用户在观看视频时，一般会出现可见的编码噪声，这种编码噪声在网络条件较差时尤其明显。
在图像/视频去噪领域，常见的方法是去除由摄像头感光器产生的高斯白噪声。也有一些方法用于去除编码噪声，但往往只针对编码噪声中的特定类型如块效应进行处理；此外，近年来业内也有探索基于神经网络的编码噪声去除算法，虽然对编码噪声去除有一定效果，但神经网络的计算量非常大，实时性差。
发明内容
本发明实施例提供了一种图像处理和移动终端视频处理方法、装置、设备和介质，实现了对图像的实时去噪，以及对每个图像块的自适应滤波，进而优化了视频的清晰度。
第一方面，本发明实施例提供了一种图像处理方法，包括：
确定待处理图像中每个图像块的图像属性；
根据所述图像属性确定每个所述图像块对应的滤波模型；
分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。
第二方面，本发明实施例提供了一种移动终端视频处理方法，包括：
解码从视频流中拉取的待处理视频；
抽取所述待处理视频中的视频帧；
采用上述第一方面中所述的方法处理作为待处理图像的所述视频帧，得到对应的滤波图像；
根据所述滤波图像，进行视频播放。
第三方面，本发明实施例提供了一种图像处理装置，包括：
第一确定模块，用于确定待处理图像中每个图像块的图像属性；
第二确定模块，用于根据所述图像属性确定每个所述图像块对应的滤波模型；
第一滤波模块，用于分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。
第四方面，本发明实施例提供了一种移动终端视频处理装置，包括：
解码模块，用于解码从视频流中拉取的待处理视频；
抽取模块，用于抽取所述待处理视频中的视频帧；
处理模块，用于采用上述第一方面所述的方法处理作为待处理图像的所述视频帧，得到对应的滤波图像；
播放模块，用于根据所述滤波图像，进行视频播放。
第五方面，本发明实施例提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面中所述的图像处理方法，或者实现本发明第二方面中所述的移动终端视频处理方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面中所述的图像处理方法，或者实现本发明第二方面中所述的移动终端视频处理方法。
本发明实施例提供的图像处理方法和移动终端视频处理方法、装置、设备和介质，通过确定待处理图像中每个图像块的图像属性；根据图像属性确定每个图像块对应的滤波模型；分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。本发明实施例利用待处理图像中每个图像块的图像属性的快速计算，加快了图像块的滤波处理速度，进而实现了图像的实时滤波，并且，通过对应的滤波模型对每个图像块进行自适应滤波，优化了视频的清晰度。
进一步的，也提高了视频的去噪效率，实现了视频的实时去噪，以及，优化了视频观看时的清晰度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例提供的一种图像处理方法的流程图；
图2是本发明实施例提供的一种待处理图像进行图像块划分的显示示意图；
图3为本发明实施例提供的另一种图像处理方法的流程图；
图4是本发明实施例提供的又一种图像处理方法的流程图；
图5是本发明实施例提供的再一种图像处理方法的流程图；
图6是本发明实施例提供的一种图像处理方法中对图像块进行滤波处理的流程图；
图7是本发明实施例提供的一种移动终端视频处理方法的流程图；
图8为本发明实施例提供的一种图像处理装置的结构示意图；
图9是本发明实施例提供的一种移动终端视频处理装置的结构示意图；
图10为本发明实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在此需要说明的是，本发明实施例可适用于在用户观看视频时，由于所处环境的网络限制，一般会出现可见的编码噪声。本发明实施例提供了一种图像处理方法，实现了对图像的实时滤波，以及通过对应的滤波模型对每个图像块进行自适应滤波，优化了视频的清晰度。
在执行图像处理方法之前，对滤波模型进行训练，从而在执行图像处理方法时，可根据待处理图像的编码噪声强度以及待处理图像中图像块的图像属性，确定对应的滤波模型，并对图像块进行滤波处理。其中，对滤波模型进行训练的过程具体包括：获取第一预设尺寸的高清图像和携带编码噪声的低清图像，高清图像和低清图像的分辨率相同；分别从所述高清图像和低清图像中抽取多个第二预设尺寸的图像块，以组成第一矩阵和第二矩阵，所述第二预设尺寸小于所述第一预设尺寸；按照最小二乘法的正规方程，并根据第一矩阵和第二矩阵，得到滤波模型。
可选的，本发明实施例中的滤波模型可以基于最小二乘法计算得到。具体的，假设有L张MxN的高清图像，并用xi表示第i张图像，i＝1,2,...,L，M和N用于表示高清图像的尺寸，并均为正数，比如，M表示高清图像的长度，N表示高清图像的宽度；L为大于等于1的正整数。同时，获取对应的等分辨率但携带编码噪声的图像(记为低清图像)，并用yi表示第i张图像，i＝1,2,...,L。同时，假设训练一个dxd的滤波模型h，将低清图像yi中的像素值，调整为高清图像xi中对应的像素值。其中，dxd用于表示滤波模型的尺寸。在实施例中，dxd的滤波模型h，指的是滤波操作过程中，输入的原始图像的尺寸为dxd。
其中，训练滤波模型的原则是求解以下最小二乘问题，其中，需求解公式为：
其中，
是
的向量化表示，
表示d2维的实数向量的集合，h为实数向量的集合中的一个实数向量元素。
是一个矩阵，由低清图像yi中抽取出的尺寸为dxd的图像块组成，抽取的方式是：针对每一个像素，抽取以这个像素为中心的dxd的一个图像块，把dxd的图像块拉伸为一行，作为矩阵Ai的某一行；
表示MN行，d2列的实数矩阵的集合，Ai为实数矩阵的集合中的一个实数矩阵。
由xi的像素展开构成，其中，bi中的每个元素对应低清图像yi中若干个dxd的图像块的中心位置的像素，
表示MN维的实数向量的集合，bi为实数向量的集合中的一个实数向量元素。Ai和bi均对应第i张图像，i＝1,2,...,L，L为大于等于1的正整数。在此需要说明的是，由于该最优滤波模型的训练方法由一张图可以很容易扩展到多张图，为了便于说明，可将最优滤波模型的训练方法限定在一张图内，并省略角标i。可以理解为，滤波模型的尺寸和图像块的尺寸相同，即滤波模型的尺寸为dxd，则图像块的尺寸也为dxd。
由公式(1)可知，A是一个非常大的矩阵，空间复杂度将达到O(MNd2)。因此，利用最小二乘法的正规方程对公式(1)进行转变，即可将对公式(1)的求解转变为对公式(2)的求解
其中，Q＝ATA，V＝ATb。可以得出，Q是一个d2 xd2的矩阵，V是一个d2维向量。令Aj表示A的第j行，
则Q和V都可以通过小的矩阵/向量累加而成。
表示1行，d2列的实数矩阵的集合，Aj为实数矩阵的集合中的一个实数矩阵。
可以得到，利用公式(3)和公式(4)的累加方法，公式(2)的空间复杂度是O(d4)，并且，为了便于对图像中每个图像块的像素值进行统计，可选的，将d的取值设置在5-13之间。因此，公式(2)的空间复杂度也不是很大。
利用最小二乘法的原理，可将公式(2)转换为求解方程：Qh＝V。其中，方程中的解h是最小二乘意义下的滤波模型。虽然，利用滤波模型h对一张低清图像进行滤波，可以生成尽可能去除编码噪声的高清图，但该滤波模型难以针对图像内容做出自适应调整。因此，对低清图像中的每个图像块进行哈希分类(hashing)，并对哈希分类的每个桶(bucket)，各自训练一个滤波模型。从而，在对待处理图像进行滤波处理的实际操作中，首先对当前将要进行滤波操作的低清图(即待处理图像)的图像块，计算出对应的第一哈希值和第二哈希值，根据第一哈希值和第二哈希值找到对应的桶序号，用该桶序号所对应的滤波模型进行滤波。
示例性地，针对一个d*d的图像块，对图像块的第一哈希值和第二哈希值的计算过程进行说明。其中，第一哈希值可以用θ来表示，第二哈希值可以用μ来表示。并且，θ可以采用公式(5)进行计算得到，μ可以采用公式(6)进行计算得到。
其中，LGx和LGy表示图像块的x方向和y方向的图像梯度；i的取值为1-d中的任意一个数，j的取值为1-d中的任意一个数，LGx2表示每个图像块在x方向所对应图像梯度的平方值，LGy2表示每个图像块在y方向所对应图像梯度的平方值，LGxLGy表示每个图像块在x方向和y方向所对应图像梯度的乘积值。显然，θ和μ的取值范围都在[0,1]范围内。利用θ和μ，平均划分为qθ和qμ个区间。然后，将任意两个不同区间的组合称为一个桶(bucket)，并且，每个图像块均会落在一个确定的桶内。当然，为了保证落在每个桶内的所有图像块均对应有一个滤波模型。在对滤波模型进行训练时，需对每个桶内的所有图像块进行滤波模型的训练，最终可以得到qθ*qμ个滤波模型。相应地，在求解过程中，需构造qθ*qμ个矩阵Q和向量V，并求解对应的qθ*qμ个最小二乘方程。其中，q可以为现有滤波模型的个数，比如，现有滤波模型为1024个，则q为1024，即将θ和μ分别划分为1024个区间。
在实施例中，最优滤波模型的训练过程具体包括如下步骤：
S10、对训练集中的低清图像，遍历所有尺寸为dxd的图像块。
S11、计算出每个图像块的第一哈希值θ和第二哈希值μ，以得到对应的桶序号。
S12、利用公式(3)，将当前图像块的像素值展开成一行(即Aj)，将
累加到该桶序号对应的矩阵Q上，并根据图像块的位置，查找到对应高清图像对应位置的像素值bj，将
累加到该桶序号对应的矩阵V上。
S13、在遍历完所有低清图像的图像块后，得到每个桶最终的Q和V，解方程Qh＝V，即可得到该桶对应的最优滤波模型h。
当然，步骤S11中，在对每个图像块的θ和μ进行计算的过程，若按照“先遍历图像块，再按照公式求θ和μ”的顺序，则时间复杂度为O(MNd2)。但由于θ和μ的计算公式中，对图像块的每个元素进行的操作都是无差别的相加，此时，可以利用积分图算法进行简化，将时间复杂度简化到O(MN)。具体的，第一哈希值和第二哈希值的计算步骤如下：
首先，利用待处理图像的原图，求得每张待处理图像在x方向和y方向的图像梯度，即梯度图Gx和Gy；然后，根据梯度图Gx和Gy求得每张待处理图像在x方向所对应图像梯度的平方值Gx2(Gx2表示Gx的平方，即(Gx)2的简写)，在y方向所对应图像梯度的平方值Gy2(Gy2表示Gy的平方，即(Gy)2的简写)，以及在x方向和y方向所对应图像梯度的乘积值Gxy(Gxy表示Gx和Gy的乘积值，即Gx·Gy的简写)；然后利用Gx2、Gy2和Gxy的积分图算法，得到待处理图像的积分图(积分图指的是用二维矩阵表示的一个图，用于表示图像的积分)
和IGxy，使得
通过
和IGxy计算待处理图像Gx2、Gy2和Gxy的局部和
和LSGxy，使得
LSGxy(i,j)＝IGxy(i+l)-IGxy(i-l)，其中
计算出以(i,j)为中心位置的待处理图像中每个dxd的图像块的第一哈希值θ和第二哈希值μ：
需要理解的是，对滤波模型进行训练的过程，是离线地训练一个画质增强的模型，即将低清图像提升为高清图像的模型。其中，该模型是一个模型文件。然后，可通过该模型文件对线上视频进行实时滤波，以得到画质增强的视频。可以理解为，本实施例中的图像处理方法即为采用该模型文件对线上视频中的每个视频帧进行实时滤波的过程。
图1为本发明实施例提供的一种图像处理方法的流程图，本实施例可应用于任一种具备图像处理能力的服务端中。本发明实施例的方案可以适用于如何在网络条件较差的情况下，对当前视频帧进行去噪处理，以提高视频清晰度的问题。本实施例提供的一种图像处理方法可以由本发明实施例提供的图像处理装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是任一具备图像处理能力的服务器。
具体的，参考图1，该方法可以包括如下步骤：
S110、确定待处理图像中每个图像块的图像属性。
其中，图像属性包括：第一哈希值和第二哈希值；第一哈希值用于表示每个图像块所对应图像梯度的侧重方向；第二哈希值用于表示每个图像块在第一方向和第二方向所对应图像梯度之间的接近度。
在此需要说明的是，待处理图像中的每个图像块可以对应有两个方向的图像梯度。在实施例中，以图像块具备x方向和y方向的图像梯度进行说明。其中，第一哈希值用于每个图像块所对应图像梯度侧重x方向还是y方向；第二哈希值用于表示每个图像块在x方向和y方向所对应图像梯度之间的接近度。可以理解为，通过公式(5)，可以得到，当θ越大时，表明该图像块的图像梯度更侧重x方向；当θ越小时，表明该图像块的图像梯度更侧重y方向。通过公式(6)，可以得到，当μ越接近1时，表明该图像块在x方向和y方向的接近度越高，即x方向和y方向的图像梯度越接近。
在实施例中，确定待处理图像中每个图像块的图像属性，包括：根据每个图像块在第一方向和第二方向的图像梯度，计算得到每个图像块在第一方向和第二方向所对应图像梯度的平方值，以及每个图像块在第一方向和第二方向所对应图像梯度的乘积值；通过积分图算法对第一方向所对应图像梯度的平方值、第二方向所对应图像梯度的平方值，以及第一方向和第二方向所对应图像梯度的乘积值进行计算，以得到对应的第一哈希值和第二哈希值。
在此需要说明的是，为了能够确定待处理图像中每个图像块的滤波模型，需先对待处理图像中图像块的图像属性进行统计，以查找到对应的滤波模型。具体的，从待处理图像抽取预设尺寸的图像块，并通过上述实施例中图像块的图像属性的确定方式，得到待处理图像中每个图像块的第一哈希值和第二哈希值。图2是本发明实施例提供的一种待处理图像进行图像块划分的显示示意图。如图2所示，假设待处理图像的尺寸为7*7，即该待处理图像具备49个像素值，以滤波模型的尺寸为5*5为例，由于需要保证图像块的尺寸和滤波模型的尺寸相同，则待处理图像中每个图像块的尺寸为5*5，可以得到待处理图像可以划分为9个尺寸为5*5的图像块。比如，从待处理图像的左上角开始，对图像块个数进行统计，其中，阴影为灰色的区域A可以记为待处理图像的第一个图像块，依次向右或向下移动一个像素值，即可得到新的图像块，依次类推，该待处理图像可以划分为9个尺寸为5*5的图像块。
需要理解的是，在将一整张待处理图像进行图像块的抽取之后，遍历该待处理图像中所有图像块，然后利用第一哈希值和第二哈希值的计算公式，计算出每个图像块的第一哈希值和第二哈希值，即确定了待处理图像中每个图像块的图像属性。
S120、根据图像属性确定每个图像块对应的滤波模型。
需要理解的是，在确定待处理图像中每个图像块的第一哈希值和第二哈希值之后，可根据每个图像块的第一哈希值和第二哈希值，确定每个图像块对应的滤波模型。可以理解为，预先在图像属性和滤波模型之间建立有映射关系，在确定每个图像块的图像属性之后，可根据两者之间的映射关系，查找到每个图像块对应的滤波模型。
S130、分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。
在实施例中，在确定每个图像块的滤波模型之后，利用滤波模型对每个图像块进行滤波处理，以得到每个图像块的滤波图像，从而实现了对每帧待处理图像中每个图像块的自适应滤波，进而优化了待处理图像的清晰度。
为了便于对图像块的滤波过程进行解释。在实施例中，以对待处理图像中的中心点位置(i,j)所对应图像块进行滤波为例，对图像块的滤波过程进行说明。具体的，假设该图像块的中心点位置为(i,j)，根据该图像块的第一哈希值θ和第二哈希值μ，确定该图像块的滤波模型h，然后利用滤波模型h对该图像块进行滤波，以得到目标图像
其中
Ak是图像块的像素展开成一行的行向量，
是该行向量的转置向量，
是目标图像(i,j)位置的像素。当然，对待处理图像中的其它图像块的滤波过程同上述过程，在此不再一一赘述。在对待处理图像中的每个图像块进行滤波之后，合成每个图像块对应的目标图像，以得到待处理图像的滤波图像。
图3为本发明实施例提供的另一种图像处理方法的流程图，本实施例中是在上述实施例提供的技术方案的基础上进行优化。具体的，本实施例中主要对滤波模型的确定过程进行详细的解释说明。
如图3所示，本实施例中可以包括如下步骤：
S210、确定待处理图像中每个图像块的图像属性。
S220、根据第一哈希值和第二哈希值确定桶序号。
具体来说，在得到每个图像块的第一哈希值θ和第二哈希值μ之后，利用第一哈希值θ和第二哈希值μ，平均划分为qθ和qμ个区间。其中，qθ和qμ中的q为预先配置的已有滤波模型的个数。比如，已有滤波模型的个数为1024个，则将第一哈希值θ和第二哈希值μ平均划分为1024个区间。从而，每个图像块根据自身的θ和μ均可以得到对应的桶序号。
S230、根据桶序号确定每个图像块对应的滤波模型。
在此需要说明的是，在桶序号与滤波模型之间建立有一对一的映射关系。可以理解为，一个桶序号对应有一个滤波模型。在得到每个图像块的桶序号之后，按照两者之间的映射关系可查找到对应的滤波模型。
S240、分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。
本实施例提供的技术方案，在上述实施例的基础上，通过根据每个图像块的第一哈希值和第二哈希值确定的桶序号，查找到对应的滤波模型，从而实现了对每个图像块均对应有滤波模型，以对每个图像块进行自适应滤波，进而优化了图像的清晰度。
图4是本发明实施例提供的又一种图像处理方法的流程图。本实施例是在上述实施例的基础上，对滤波模型的确定过程作进一步说明。
如图4所示，该方法包括如下步骤：
S310、确定待处理图像中每个图像块的图像属性。
S320、根据图像属性确定每个图像块对应的滤波模型。
S330、根据待处理图像的编码噪声强度确定图像块的滤波模型。
其中，编码噪声强度用于表示待处理图像中所包含编码噪声的强弱程度。当然，在实际操作过程中，整张待处理图像中的编码噪声并不是均匀分布的。可以理解为，若将待处理图像划分为若干个图像块，则每个图像块中所包含的编码噪声强度并不是相同的。为了便于根据待处理图像的编码噪声强度确定图像块的滤波模型，可将整张待处理图像比较偏重的编码噪声强度作为待处理图像的编码噪声强度，比如，待处理图像的编码噪声强度可以为整张待处理图像中所有图像块的平均编码噪声强度。当然，也可以按照其它的方式根据每个图像块的编码噪声强度确定整张待处理图像的编码噪声强度，对此并不进行限定。
在实施例中，待处理图像的编码噪声强度的确定方式，包括：获取待处理图像所对应视频编码的当前质量参数；根据当前质量参数确定待处理图像对应的编码噪声强度。其中，当前质量参数至少包括如下参数之一：量化参数(Quantization Parameter，QP)和恒定速率系数(Constant Ratio Factor，CRF)。其中，量化参数是视频编码参数的一种，用于描述视频编码过程中细节的损失程度。并且，QP越高，表示细节损失越多，相应的，视频中的待处理图像失真加强和质量下降；恒定速率系数，也是一种视频编码参数，类似于QP，但QP是编码过程中的一个具体的技术指标，而CRF是恒定质量的编码方式，即从视频质量的角度描述，一个确定的CRF对应一个恒定的视频质量。其中，CRF的取值范围一般为18-28，并且在x264编码器中，CRF的默认值为23；在x265编码器中，CRF的默认值为28。
在实施例中，在对视频进行性能测试时，可通过性能测试的输出日志中获取待处理图像所对应视频编码的QP和CRF。在得到视频编码的QP和CRF之后，利用预先设定的编码噪声强度和当前质量参数的映射关系，确定视频编码对应的编码噪声强度。当然，也可以利用视频编码中的其中一个质量参数确定对应的编码噪声强度，即通过QP或CRF确定视频编码对应的编码噪声强度。示例性地，以CRF为18,23为例，对编码噪声强度的范围进行划分。假设CRF＜18，编码噪声强度处于弱阶段；18＜CRF＜23，编码噪声强度处于中等阶段；CRF＞23，编码噪声强度处于强阶段。可以理解为，不同的编码噪声强度对应不同的滤波模型。当然，也可对QP与编码噪声强度之间建立映射关系，以及在QP、CRF共同与编码噪声强度之间建立映射关系。然后，根据不同的当前质量参数与编码噪声强度之间的映射关系，确定待处理图像所对应视频编码对应的编码噪声强度，即确定待处理图像的编码噪声强度。
在确定待处理图像的编码噪声强度之后，按照待处理图像整体的编码噪声强度确定图像块的滤波模型。可以理解为，按照编码噪声强度确定的每个图像块的滤波模型是相同的。
S340、分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。
需要理解的是，根据待处理图像的编码噪声强度确定每个图像块的滤波模型之后，采用该滤波模型对待处理图像的整体进行自适应滤波。然后再根据每个图像块的图像属性确定对应的滤波模型，并按照该滤波模型对待处理图像中每个图像块进行自适应滤波，然后对每个图像块滤波之后的图像进行合成，以得到待处理图像的滤波图像。
当然，在实际操作过程中，可先按照每帧待处理图像的编码噪声强度确定的滤波模型对待处理图像整体进行自适应滤波，然后再按照待处理图像中每个图像块的图像属性确定的滤波模型对每个图像块进行自适应滤波；也可先按照待处理图像中每个图像块的图像属性确定的滤波模型对每个图像块进行自适应滤波，然后再按照每帧待处理图像的编码噪声强度确定的滤波模型对待处理图像整体进行自适应滤波，对两个步骤的顺序不作限定。
需要说明的是，步骤S330可在步骤S310或S320之前执行，只要保证步骤S330在步骤S340之前执行即可。
本实施例的技术方案，在上述实施例的基础上，根据待处理图像的编码噪声强度确定滤波模型，以对每帧待处理图像进行自适应滤波，优化了视频的清晰度。
在此需要说明的是，在对待处理图像进行自适应滤波的过程，相当于对一个图像块的像素值进行加权平均的过程。因此，若待处理图像中包含字幕等白色文字区域时，会使得白色文字区域出现变淡的效果。为了尽可能降低编码去噪对白色文字区域的影响，可以对白色文字区域进行二值化处理，以得到一张二值化图像。具体的，在上述实施例的基础上，所述方法，还包括：对待处理图像进行二值化处理，得到待处理图像的二值化图像。
其中，对待处理图像进行二值化处理，得到待处理图像的二值化图像，包括步骤S1-S3：
S1、对待处理图像进行拉普拉斯滤波，得到文字边缘图像。
需要说明的是，待处理图像为原低清图像，记为y。具体的，对该原低清图像进行拉普拉斯滤波，以得到文字边缘图像，记为T1。其中，在文字边缘图像中，若RGB值为0，则表示该区域为平坦区域，几乎不可能是文字；而当RGB值越大，表示该位置是文字边缘的可能性就越大。但此时的滤波图像的文字边缘不清晰，并且存在缺口和缝隙，以及文字边缘图像中还存在一些其它的非文字边缘的区域。
S2、基于预先设定的像素阈值，对文字边缘图像进行阈值分割，得到第一图像。
其中，第一图像为去掉文字边缘图像中非文字边缘区域的图像。在此需要理解的是，由于文字区域边缘较为锐利，在经过拉普拉斯滤波之后得到的像素值比较大，而非文字区域对应的像素值比较小。因此，此时，可以设置一个像素阈值，记为th，然后对文字边缘图像进行阈值分割，力图去掉文字边缘图像中非文字边缘的区域，以得到去掉文字边缘图像中非文字边缘区域的图像，记为第一图像T2。
具体的，步骤S2可以包括步骤S21-S24：
S21、对文字边缘图像中每个像素点对应的像素值与预先设定的像素阈值进行比对。
S22、将大于像素阈值的像素点对应的像素值调整为第一像素。
S23、将小于像素阈值的像素点对应的像素值调整为第二像素。
S24、将第一像素和第二像素对应的像素点合成为第一图像。
在实施例中，可以将阈值分割的数学表达式设置为：
其中，T1(i,j)为待处理图像中(i,j)位置图像块所对应的文字边缘图像的像素值；T2(i，j)为待处理图像中(i,j)位置图像块所对应的文字边缘图像在进行阈值分割后的像素值；第一像素为255；第二像素为0。可以理解为，将文字边缘图像中所有像素点的像素值均调整为0或255，以去掉非文字边缘的区域，得到第一图像。其中，第一图像也是一个二值图像，但该二值图像不清晰，且包含不连续的文字边缘。
S3、对第一图像进行形态学闭操作，得到二值化图像。
具体来说，形态学闭操作可以消弭狭窄的间断，消除小的孔洞。可以理解为，形体学闭操作具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。具体的，对第一图像进行形态学闭操作的具体过程，包括：对第一图像进行膨胀操作，得到膨胀图像；对膨胀图像进行腐蚀操作，以得到二值化图像。在实施例中，对第一图像T2进行形态学闭操作，以得到二值化图像，记为T3，从而可以将不清晰、不连续的文字边缘连接完整。
其中，在得到二值化图像之后，还包括：对二值化图像进行均值滤波。具体的，在得到二值化图像之后，还可以对二值化图像进行均值滤波，以平滑文字区域的锐利边缘，使其平滑过渡。
在上述是实施例的基础上，对待处理图像的去噪图像的合成过程作具体解释。图5是本发明实施例提供的再一种图像处理方法的流程图。
如图5所示，该方法具体包括如下步骤：
S410、确定待处理图像中每个图像块的图像属性。
S420、根据图像属性确定每个图像块对应的滤波模型。
S430、根据待处理图像的编码噪声强度确定图像块的滤波模型。
S440、分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。
S450、对待处理图像进行拉普拉斯滤波，得到文字边缘图像。
S460、文字边缘图像中每个像素点对应的像素值是否大于预先设定的像素阈值，若是，则执行步骤S470；若否，则执行步骤S480。
S470、将大于像素阈值的像素点对应的像素值调整为第一像素。
S480、将小于像素阈值的像素点对应的像素值调整为第二像素。
S490、将第一像素和第二像素对应的像素点合成为第一图像。
S4100、对第一图像进行形态学闭操作，得到二值化图像。
S4110、将第一像素和二值化图像的像素值的差值，与第一像素之间的比值作为第一权重。
S4120、将二值化图像的像素值与第一像素之间的比值作为第二权重。
S4130、对滤波图像的像素值和第一权重的乘积值，与待处理图像的像素值和第二权重的乘积值进行相加，以得到去噪图像。
在实施例中，去噪图像的合成公式可以为：
其中，y表示原低清图像，T＝T3为二值化图像，
为待处理图像的去噪图像，
为第一权重，
为第二权重。可以理解为，当二值化图像的像素值为255，则表示待处理图像的去噪图像为原低清图像；当二值化图像的像素值为0，则表示待处理图像的去噪图像为自适应滤波得到的滤波图像。
在此需要说明的是，对待处理图像进行拉普拉斯滤波，以得到二值化图像的步骤，即步骤S450-S4100，可以与得到待处理图像的滤波图像的步骤，即步骤S410-S440，同时进行。可以理解为，只要步骤S410-S440和S450-S4100在步骤S4110之前执行即可，对步骤S410-S440和S450-S4100的执行顺序不作限定。
本实施例的技术方案，通过对待处理图像中文字区域的二值化处理，尽可能降低了编码去噪对文字区域的影响，避免文字区域出现变淡效果的现象，从而在保证视频中图像清晰度的同时，还可以保证视频字幕的干净清晰。
图6是本发明实施例提供的一种图像处理方法中对图像块进行滤波处理的流程图。在上述实施例的基础上，对图像处理方法中每个图像块进行滤波处理的过程作具体解释说明。在实施例中，以图像处理方法应用于移动终端为例进行说明，其中，移动终端可以为智能手机、ipad、笔记本电脑等。
如图6所示，该方法具体包括如下步骤：
S510、获取一张含编码噪声的图片，并作为待处理图像。
S520、按照图像块的图像属性的计算公式，得到每个图像块的第一哈希值和第二哈希值。
S530、根据每个图像块的第一哈希值和第二哈希值查找到对应桶序号的滤波模型。
S540、利用滤波模型对图像块进行滤波，得到目标图像。
S550、合成每个图像块的目标图像，以得到待处理图像的滤波图像。
本实施例的技术方案，通过新的图像局部特征的定义和快速计算方式，提高了图像块的第一哈希值和第二哈希值的计算效率，从而在移动终端拉取到携带较强编码噪声的视频后，在视频解码之后，播放视频之前，可实时去除视频中的当前视频帧的编码噪声，以及去除视频中任意类型的编码噪声。
当然，在视频直播、短视频等应用领域，编码噪声的强度会随着网络情况的变化而变化，此时，可以针对不同强度的编码噪声进行处理。具体的，在对滤波模型进行训练时，可以构建不同编码噪声强度的训练集，并分别进行训练，得到若干个滤波模型。从而在图像处理的实际操作过程中，可以根据视频编码的当前质量参数(比如，QP和/或CRF)，来使用不同的滤波模型进行滤波。
本发明实施例提供了一种移动终端视频处理方法，本实施例可应用于任一种具体视频处理功能的移动终端中。本实施例提供的一种移动终端视频处理方法可以由本发明实施例提供的移动终端视频处理装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是任一具备视频处理能力的移动终端。
具体的，图7是本发明实施例提供的一种移动终端视频处理方法的流程图，如图7所示，该方法包括：
S610、解码从视频流中拉取的待处理视频。
S620、抽取待处理视频中的视频帧。
S630、对作为待处理图像的视频帧进行处理，得到对应的滤波图像。
S640、根据滤波图像，进行视频播放。
在实施例中，在用户观看视频时，移动终端上的APP需要从服务器上拉取视频流，获取并解码视频流中的待处理视频，然后识别抽取待处理视频中的当前视频帧，并将当前视频帧作为待处理图像，并执行上述任一实施例所述的图像处理方法，对当前视频帧进行滤波去噪，以得到当前视频帧的滤波图像，然后通过去噪图像更新待处理视频中对应的当前视频帧，并进行视频的播放，优化了视频的清晰度，另外因前述实施例的图像处理方法计算快并且去噪效率高，因而应用在移动终端上能够满足视频帧及播放的实时处理需求，从而提升了移动终端的功能性和用户的观看体验。
本实施例的技术方案，通过对视频流中的视频帧进行自适应滤波，在网络受限的情况下，不仅可以显著消除编码噪声，还能适应当前的网络状况，对视频帧上的字幕进行二值化处理，以保持字幕干净清晰，提升了用户的观看体验。
图8为本发明实施例提供的一种图像处理装置的结构示意图，具体的，如图8所示，该装置可以包括：第一确定模块710、第二确定模块720和第一滤波模块730。
其中，第一确定模块710，用于确定待处理图像中每个图像块的图像属性；
第二确定模块720，用于根据图像属性确定每个图像块对应的滤波模型；
第一滤波模块730，用于分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。
本实施例提供的技术方案，通过确定待处理图像中每个图像块的图像属性；根据图像属性确定每个图像块对应的滤波模型；分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。本发明实施例利用待处理图像中每个图像块的图像属性的快速计算，加快了图像块的滤波处理速度，进而实现了图像的实时滤波，并且，通过对应的滤波模型对每个图像块进行自适应滤波，优化了视频的清晰度。
在上述实施例的基础上，图像属性包括：第一哈希值和第二哈希值；
第一哈希值用于表示每个图像块所对应图像梯度的侧重方向；第二哈希值用于表示每个图像块在第一方向和第二方向所对应图像梯度之间的接近度。
在上述实施例的基础上，待处理图像中图像块的图像属性的确定方式，包括：
根据每个图像块在第一方向和第二方向的图像梯度，计算得到每个图像块在第一方向和第二方向所对应图像梯度的平方值，以及每个图像块在第一方向和第二方向所对应图像梯度的乘积值；
通过积分图算法对第一方向所对应图像梯度的平方值、第二方向所对应图像梯度的平方值，以及第一方向和第二方向所对应图像梯度的乘积值进行计算，以得到对应的第一哈希值和第二哈希值。
在上述实施例的基础上，第二确定模块，包括：
第一确定单元，用于根据所述第一哈希值和所述第二哈希值确定桶序号；
第二确定单元，用于根据所述桶序号确定每个所述图像块对应的滤波模型。
在上述实施例的基础上，图像处理装置，还包括：
第三确定模块，用于根据待处理图像的编码噪声强度确定所述图像块的滤波模型。
在上述实施例的基础上，待处理图像的编码噪声强度的确定方式，具体为：
获取待处理图像对应视频编码的当前质量参数；
根据所述当前质量参数确定所述待处理图像的编码噪声强度。
在上述实施例的基础上，图像处理装置，还包括：
处理模块，用于对所述待处理图像进行二值化处理，得到所述待处理图像的二值化图像。
在上述实施例的基础上，处理模块，包括：
滤波单元，用于对待处理图像进行拉普拉斯滤波，得到文字边缘图像；
分割单元，用于基于预先设定的像素阈值，对文字边缘图像进行阈值分割，得到第一图像，第一图像为去掉文字边缘图像中非文字边缘区域的图像；
闭操作单元，用于对第一图像进行形态学闭操作，得到二值化图像。
在上述实施例的基础上，图像处理装置，还包括：
第二滤波模块，用于在得到二值化图像之后，还包括：对二值化图像进行均值滤波。
在上述实施例的基础上，闭操作单元，包括：
第一操作子单元，用于对第一图像进行膨胀操作，得到膨胀图像；
第二操作子单元，用于对膨胀图像进行腐蚀操作，以得到二值化图像。
在上述实施例的基础上，分割单元，包括：
比对子单元，用于对文字边缘图像中每个像素点对应的像素值与预先设定的像素阈值进行比对；
第一调整子单元，用于将大于像素阈值的像素点对应的像素值调整为第一像素；
第二调整子单元，用于将小于像素阈值的像素点对应的像素值调整为第二像素；
合成子单元，用于将第一像素和第二像素对应的像素点合成为第一图像。
在上述实施例的基础上，图像处理装置，还包括：
第一权重确定模块，用于将第一像素和二值图像的像素值的差值，与第一像素之间的比值作为第一权重；
第二权重确定模块，用于将二值图像的像素值与第一像素之间的比值作为第二权重；
去噪模块，用于对滤波图像的像素值和第一权重的乘积值，与待处理图像的像素值和第二权重的乘积值进行相加，以得到去噪图像。
在上述实施例的基础上，对滤波模型进行训练的过程具体包括：
获取第一预设尺寸的高清图像和携带编码噪声的低清图像，高清图像和低清图像的分辨率相同；
分别从高清图像和低清图像中抽取多个第二预设尺寸的图像块，以组成第一矩阵和第二矩阵，第二预设尺寸小于第一预设尺寸；
基于最小二乘法的正规方程，并根据第一矩阵和第二矩阵得到滤波模型。
在上述实施例的基础上，滤波模型的尺寸和图像块的尺寸相同。
本实施例提供的图像处理装置可适用于本发明任意实施例提供的图像处理方法，具备相应的功能和有益效果。
图9是本发明实施例提供的一种移动终端视频处理装置的结构示意图。如图9所示，该装置包括：解码模块810、抽取模块820、处理模块830和播放模块840。
其中，解码模块810，用于解码从视频流中拉取的待处理视频；
抽取模块820，用于抽取待处理视频中的视频帧；
处理模块830，用于采用上述实施例中所述的图像处理方法处理作为待处理图像的视频帧，得到对应的滤波图像；
播放模块840，用于根据滤波图像，进行视频播放。
本实施例提供的技术方案，通过对视频中的当前视频帧进行去噪处理，提高了视频的去噪效率，实现了视频的实时去噪，以及优化了视频观看时的清晰度，从而提升了用户的观看体验。
本实施例提供的移动终端视频处理装置可适用于本发明任意实施例提供的移动终端视频处理方法，具备相应的功能和有益效果。
图10为本发明实施例提供的一种设备的结构示意图，如图10所示，该设备包括处理器910、存储装置920、输入装置930和输出装置940。该设备中的处理器910可以是一个或多个，图10中以一个处理器910为例，设备中的处理器910、存储器920、输入装置930和输出装置940可以通过总线或其他方式连接，图10中以通过总线连接为例。
该设备中的存储器920作为一种计算机可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例所提供的图像处理方法对应的程序指令/模块(例如，图8所示的图像处理装置中的模块，包括：第一确定模块710、第二确定模块720和第一滤波模块730)。处理器910通过运行存储在存储器920中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述方法实施例中图像处理方法。
存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器920可进一步包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置930可用于接收用户输入的数字或字符信息，以产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
并且，当上述设备所包括一个或者多个程序被一个或者多个处理器910执行时，程序进行如下操作：确定待处理图像中每个图像块的图像属性；根据图像属性确定每个图像块对应的滤波模型；分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像。
本实施例提供的一种设备可用于执行本发明任意实施例提供的图像处理方法，具备相应的功能和有益效果。
当然，本实施例提供的一种设备可用于执行本发明任意实施例提供的移动终端视频处理方法，具备相应的功能和有益效果。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的图像处理方法或者移动终端视频处理方法。其中，该图像处理方法具体可以包括：确定待处理图像中每个图像块的图像属性；根据图像属性确定每个图像块对应的滤波模型；分别通过对应的滤波模型对图像块进行滤波，得到待处理图像的滤波图像
该移动终端视频处理方法包括：解码从视频流中拉取的待处理视频；抽取待处理视频中的视频帧；对采用上述任一实施例所述的图像处理方法处理作为待处理图像的视频帧，得到对应的滤波图像；根据当前视频帧的滤波图像，进行视频播放。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像处理方法或者移动终端视频处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像处理方法或移动终端视频处理方法。
值得注意的是，上述图像处理装置或者移动终端视频处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (19)
1.一种图像处理方法，其特征在于，包括：
确定待处理图像中每个图像块的图像属性；
根据所述图像属性确定每个所述图像块对应的滤波模型；
分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。
2.根据权利要求1所述的方法，其特征在于，所述图像属性包括：第一哈希值和第二哈希值；
所述第一哈希值用于表示每个图像块所对应图像梯度的侧重方向；所述第二哈希值用于表示每个图像块在第一方向和第二方向所对应图像梯度之间的接近度。
3.根据权利要求2所述的方法，其特征在于，所述确定待处理图像中每个图像块的图像属性，包括：
根据每个所述图像块在第一方向和第二方向的图像梯度，计算得到每个图像块在第一方向和第二方向所对应图像梯度的平方值，以及每个图像块在第一方向和第二方向所对应图像梯度的乘积值；
通过积分图算法对所述第一方向所对应图像梯度的平方值、所述第二方向所对应图像梯度的平方值，以及所述第一方向和所述第二方向所对应图像梯度的乘积值进行计算，以得到对应的第一哈希值和第二哈希值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述图像属性确定每个所述图像块对应的滤波模型，包括：
根据所述第一哈希值和所述第二哈希值确定桶序号；
根据所述桶序号确定每个所述图像块对应的滤波模型。
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法，还包括：
根据待处理图像的编码噪声强度确定所述图像块的滤波模型。
6.根据权利要求5所述的方法，其特征在于，所述待处理图像的编码噪声强度的确定方式，包括：
获取待处理图像对应视频编码的当前质量参数；
根据所述当前质量参数确定所述待处理图像的编码噪声强度。
7.根据权利要求1-4任一所述的方法，其特征在于，所述方法，还包括：
对所述待处理图像进行二值化处理，得到所述待处理图像的二值化图像。
8.根据权利要求7所述的方法，其特征在于，所述对所述待处理图像进行二值化处理，得到所述待处理图像的二值化图像，包括：
对所述待处理图像进行拉普拉斯滤波，得到文字边缘图像；
基于预先设定的像素阈值，对所述文字边缘图像进行阈值分割，得到第一图像，所述第一图像为去掉所述文字边缘图像中非文字边缘区域的图像；
对所述第一图像进行形态学闭操作，得到二值化图像。
9.根据权利要求8所述的方法，其特征在于，在所述得到二值化图像之后，还包括：对所述二值化图像进行均值滤波。
10.根据权利要求8所述的方法，其特征在于，所述对所述第一图像进行形态学闭操作，得到二值化图像，包括：
对所述第一图像进行膨胀操作，得到膨胀图像；
对所述膨胀图像进行腐蚀操作，得到二值化图像。
11.根据权利要求8所述的方法，其特征在于，所述基于预先设定的像素阈值，对所述文字边缘图像进行阈值分割，得到第一图像，包括：
对所述文字边缘图像中每个像素点对应的像素值与预先设定的像素阈值进行比对；
将大于所述像素阈值的像素点对应的像素值调整为第一像素；
将小于所述像素阈值的像素点对应的像素值调整为第二像素；
将所述第一像素和所述第二像素对应的像素点合成为第一图像。
12.根据权利要求11所述的方法，其特征在于，所述方法，还包括：
将所述第一像素和所述二值化图像的像素值的差值，与所述第一像素之间的比值作为第一权重；
将所述二值化图像的像素值与所述第一像素之间的比值作为第二权重；
对所述滤波图像的像素值和所述第一权重的乘积值，与所述待处理图像的像素值和所述第二权重的乘积值进行相加，得到所述待处理图像的去噪图像。
13.根据权利要求1至4任一项所述的方法，其特征在于，对所述滤波模型进行训练的过程，包括：
获取第一预设尺寸的高清图像和携带编码噪声的低清图像，所述高清图像和所述低清图像的分辨率相同；
分别从所述高清图像和低清图像中抽取多个第二预设尺寸的图像块，以组成第一矩阵和第二矩阵，所述第二预设尺寸小于所述第一预设尺寸；
按照最小二乘法的正规方程，并根据所述第一矩阵和第二矩阵得到滤波模型。
14.根据权利要求1至4任一项所述的方法，其特征在于，所述滤波模型的尺寸和所述图像块的尺寸相同。
15.一种移动终端视频处理方法，其特征在于，包括：
解码从视频流中拉取的待处理视频；
抽取所述待处理视频中的视频帧；
采用权利要求1至14任一项所述的方法处理作为待处理图像的所述视频帧，得到对应的滤波图像；
根据所述滤波图像，进行视频播放。
16.一种图像处理装置，其特征在于，包括：
第一确定模块，用于确定待处理图像中每个图像块的图像属性；
第二确定模块，用于根据所述图像属性确定每个所述图像块对应的滤波模型；
第一滤波模块，用于分别通过对应的所述滤波模型对所述图像块进行滤波，得到所述待处理图像的滤波图像。
17.一种移动终端视频处理装置，其特征在于，包括：
解码模块，用于解码从视频流中拉取的待处理视频；
抽取模块，用于抽取所述待处理视频中的视频帧；
处理模块，用于采用权利要求1至14任一项所述的方法处理作为待处理图像的所述视频帧，得到对应的滤波图像；
播放模块，用于根据所述视频帧的滤波图像，进行视频播放。
18.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-14中任一所述的图像处理方法，或者实现如权利要求15所述的移动终端视频处理方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-14中任一所述的图像处理方法，或者实现如权利要求15所述的移动终端视频处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/101243 WO2021012965A1 (zh) | 2019-07-23 | 2020-07-10 | 图像处理和移动终端视频处理方法、装置、设备和介质 |
| US17/629,132 US20220239908A1 (en) | 2019-07-23 | 2020-07-10 | Method for processing images, method for processing videos, computer device and medium |
| EP20844069.3A EP4006824A4 (en) | 2019-07-23 | 2020-07-10 | IMAGE PROCESSING METHOD AND APPARATUS, MOBILE TERMINAL VIDEO PROCESSING METHOD AND APPARATUS, DEVICE AND MEDIA |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019106676966 | 2019-07-23 | ||
| CN201910667696 | 2019-07-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111445424A true CN111445424A (zh) | 2020-07-24 |
| CN111445424B CN111445424B (zh) | 2023-07-18 |
Family
ID=71653546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010348909.1A Active CN111445424B (zh) | 2019-07-23 | 2020-04-28 | 图像处理和移动终端视频处理方法、装置、设备和介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220239908A1 (zh) |
| EP (1) | EP4006824A4 (zh) |
| CN (1) | CN111445424B (zh) |
| WO (1) | WO2021012965A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233049A (zh) * | 2020-12-14 | 2021-01-15 | 成都中轨轨道设备有限公司 | 一种用于提升图像清晰度的图像融合方法 |
| CN113038135A (zh) * | 2021-05-19 | 2021-06-25 | 杭州微帧信息科技有限公司 | 基于块效应检测的crf自适应方法 |
| CN113808020A (zh) * | 2021-09-18 | 2021-12-17 | 北京字节跳动网络技术有限公司 | 图像处理方法及设备 |
| WO2023070582A1 (en) * | 2021-10-29 | 2023-05-04 | Huawei Technologies Co.,Ltd. | A device and method for noise-adaptive high dynamic range image processing |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021181681A1 (ja) * | 2020-03-13 | 2021-09-16 | 日本電信電話株式会社 | 数理モデル導出装置、数理モデル導出方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043581A (zh) * | 2006-03-21 | 2007-09-26 | 中国科学院计算技术研究所 | 一种多模板混合滤波的图像去噪方法 |
| CN104103064A (zh) * | 2013-04-10 | 2014-10-15 | 无锡金帆钻凿设备股份有限公司 | 基于梯度相似度的无参考噪声图像质量评价方法 |
| CN107527321A (zh) * | 2017-08-22 | 2017-12-29 | 维沃移动通信有限公司 | 一种图像重建方法、终端及计算机可读存储介质 |
| CN108550119A (zh) * | 2018-03-27 | 2018-09-18 | 福州大学 | 一种结合边缘信息的图像去噪方法 |
| CN108765343A (zh) * | 2018-05-29 | 2018-11-06 | Oppo（重庆）智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4599457B1 (ja) * | 2009-09-18 | 2010-12-15 | 株式会社東芝 | 画像処理装置、表示装置及び画像処理方法 |
| US20150039637A1 (en) * | 2013-07-31 | 2015-02-05 | The Nielsen Company (Us), Llc | Systems Apparatus and Methods for Determining Computer Apparatus Usage Via Processed Visual Indicia |
| US9628730B2 (en) * | 2015-01-27 | 2017-04-18 | Semiconductor Components Industries, Llc | Dark current gradient estimation using optically black pixels |
| US10335026B2 (en) * | 2017-01-11 | 2019-07-02 | Canon Kabushiki Kaisha | Image processing apparatus that generates a tomographic image using an estimation value of pixel values, and related optical coherence tomography apparatus, image processing method, and computer-readable storage medium |
| US10521878B1 (en) * | 2017-09-27 | 2019-12-31 | United Services Automobile Association (Usaa) | Machine-learning for enhanced machine reading of non-ideal capture conditions |
| NL2019905B1 (en) * | 2017-11-14 | 2019-05-20 | Mat | Systems and methods for segmenting images |
| CN108765322B (zh) * | 2018-05-16 | 2021-04-27 | 上饶师范学院 | 图像去噪方法及装置 |
-
2020
- 2020-04-28 CN CN202010348909.1A patent/CN111445424B/zh active Active
- 2020-07-10 WO PCT/CN2020/101243 patent/WO2021012965A1/zh unknown
- 2020-07-10 US US17/629,132 patent/US20220239908A1/en active Pending
- 2020-07-10 EP EP20844069.3A patent/EP4006824A4/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043581A (zh) * | 2006-03-21 | 2007-09-26 | 中国科学院计算技术研究所 | 一种多模板混合滤波的图像去噪方法 |
| CN104103064A (zh) * | 2013-04-10 | 2014-10-15 | 无锡金帆钻凿设备股份有限公司 | 基于梯度相似度的无参考噪声图像质量评价方法 |
| CN107527321A (zh) * | 2017-08-22 | 2017-12-29 | 维沃移动通信有限公司 | 一种图像重建方法、终端及计算机可读存储介质 |
| CN108550119A (zh) * | 2018-03-27 | 2018-09-18 | 福州大学 | 一种结合边缘信息的图像去噪方法 |
| CN108765343A (zh) * | 2018-05-29 | 2018-11-06 | Oppo（重庆）智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233049A (zh) * | 2020-12-14 | 2021-01-15 | 成都中轨轨道设备有限公司 | 一种用于提升图像清晰度的图像融合方法 |
| CN113038135A (zh) * | 2021-05-19 | 2021-06-25 | 杭州微帧信息科技有限公司 | 基于块效应检测的crf自适应方法 |
| CN113038135B (zh) * | 2021-05-19 | 2022-02-18 | 杭州微帧信息科技有限公司 | 基于块效应检测的crf自适应方法 |
| CN113808020A (zh) * | 2021-09-18 | 2021-12-17 | 北京字节跳动网络技术有限公司 | 图像处理方法及设备 |
| WO2023040563A1 (zh) * | 2021-09-18 | 2023-03-23 | 北京字节跳动网络技术有限公司 | 图像处理方法及设备 |
| WO2023070582A1 (en) * | 2021-10-29 | 2023-05-04 | Huawei Technologies Co.,Ltd. | A device and method for noise-adaptive high dynamic range image processing |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021012965A1 (zh) | 2021-01-28 |
| CN111445424B (zh) | 2023-07-18 |
| US20220239908A1 (en) | 2022-07-28 |
| EP4006824A4 (en) | 2022-11-30 |
| EP4006824A1 (en) | 2022-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445424B (zh) | 图像处理和移动终端视频处理方法、装置、设备和介质 | |
| KR100754181B1 (ko) | 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치 | |
| CN109743473A (zh) | 视频图像3d降噪方法、计算机装置及计算机可读存储介质 | |
| US8594449B2 (en) | MPEG noise reduction | |
| CN108337515B (zh) | 一种视频编码方法及装置 | |
| US20070280551A1 (en) | Removing ringing and blocking artifacts from JPEG compressed document images | |
| CN110796615B (zh) | 一种图像去噪方法、装置以及存储介质 | |
| WO2022143421A1 (zh) | 噪声强度估计方法、装置及电子设备 | |
| CN109255752B (zh) | 图像自适应压缩方法、装置、终端及存储介质 | |
| CN109587491A (zh) | 一种帧内预测方法、装置及存储介质 | |
| CN110555863A (zh) | 一种运动目标检测方法、装置和计算机可读存储介质 | |
| CN110378860B (zh) | 修复视频的方法、装置、计算机设备和存储介质 | |
| CN110992264A (zh) | 一种图像处理方法、处理装置、电子设备及存储介质 | |
| KR20060111528A (ko) | 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 | |
| US8831354B1 (en) | System and method for edge-adaptive and recursive non-linear filtering of ringing effect | |
| US7570812B2 (en) | Super precision for smoothly changing area based on segmentation and low-pass filtering | |
| JP2009095004A (ja) | 画像シーケンス中の画素をフィルタリングする方法 | |
| WO2015128302A1 (en) | Method and apparatus for filtering and analyzing a noise in an image | |
| KR100821939B1 (ko) | 영상 잡음 제거 장치 및 방법 | |
| CN111046727A (zh) | 视频特征提取方法及装置、电子设备及存储介质 | |
| CN105893999B (zh) | 一种感兴趣区域提取方法及装置 | |
| RU2621635C1 (ru) | Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки | |
| CN115908184B (zh) | 一种摩尔纹图案的自动去除方法和装置 | |
| CN116760983B (zh) | 用于视频编码的环路滤波方法及装置 | |
| CN111080550B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |