CN116095291A - 一种用于媒体流图像传输的图像预处理方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种用于媒体流图像传输的图像预处理方法，通过确定模糊图像中每个像素点的窗口区域，确定每个像素点对应的各个颜色分量值总序列以及在每个设定方向上的各个颜色分量值子序列，基于这些序列确定每个像素点的模糊因子，进而确定模糊像素点集合和非模糊像素点集合；确定在不同功率谱比值参数下对应的复原图像中对应模糊像素点集合和非模糊像素点集合对应的复原评价指标，基于复原评价指标确定最优功率谱比值参数，并将最优功率谱比值参数对应的复原图像作为预处理后的图像。本发明通过自适应确定模糊图像在最优功率谱比值参数下的复原图像，从有效提高了模糊图像复原的质量。

Description

一种用于媒体流图像传输的图像预处理方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种用于媒体流图像传输的图像预处理方法。

背景技术

媒体流图像传输是采用流式传输方式，只需要几秒或数十秒的延时启动时间，即可在用户计算机上利用解压设备对压缩内容解压来获取图像。在图像压缩解压的过程中，为了减少存储空间会造成压缩伪影或者图像失真，压缩伪影和图像失真表现在图像上为图像模糊，图像质量降低，因此需要对传输图像进行去模糊化处理，以保证最终显示的图像是高质量图像。

现阶段对图像去模糊化的主要技术之一是图像复原技术，针对图像在获取、传输以及保存过程中产生的畸变和失真，图像复原技术是利用图像退化模型对模糊图像的质量进行提升。得益于适用范围广的特点，维纳滤波是图像复原技术中常用的方法之一，维纳滤波的复原原理是最小化复原图像和模糊图像的均方误差，去除噪声以提高图像清晰度。当计算机解压得到模糊图像后，利用维纳滤波对模糊图像进行复原，在维纳滤波复原过程中需要人为设置代表噪声功率谱与未退化图像功率谱之比的功率谱比值参数，设置功率谱比值参数的大小直接影响着模糊图像复原效果的好坏，当设置的功率谱比值参数过小时，复原图像的边缘就会存在严重的振铃效应，当设置的功率谱比值参数过大时，振铃效应会消失但是图像却比较模糊。因此，在维纳滤波复原过程中当设置功率谱比值参数的大小与对应的模糊图像不匹配时，就会导致模糊图像的复原质量较低。同时，在维纳滤波复原过程中，是直接选择水平方向作为退化方向以确定退化函数，无法实现对图像实际退化方向的准确评估，从而导致退化函数不够合理，这也决定了模糊图像的复原质量不会太高。

发明内容

本发明的目的在于提供一种用于媒体流图像传输的图像预处理方法，用于解决现有对模糊图像进行复原存在复原质量较差的问题。

为解决上述技术问题，本发明提供了一种用于媒体流图像传输的图像预处理方法，包括以下步骤：

获取待复原处理的模糊图像，确定模糊图像中每个像素点的窗口区域，并根据窗口区域中每个像素点的各个颜色分量值，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列；

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的方向模糊度；

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的方向模糊度，确定模糊图像中每个像素点的模糊因子；

根据模糊图像中每个像素点的模糊因子，确定模糊图像中的模糊像素点集合和非模糊像素点集合；

确定模糊图像的退化函数，根据模糊图像的退化函数和不同功率谱比值参数，对模糊图像进行滤波复原操作，获取在不同功率谱比值参数下对应的复原图像，并根据模糊图像中的模糊像素点集合和非模糊像素点集合，确定在不同功率谱比值参数下对应的复原图像中对应的模糊像素点集合和非模糊像素点集合；

确定在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，根据所述复原评价指标，确定最优功率谱比值参数，并将在最优功率谱比值参数在对应的复原图像作为预处理后的图像。

进一步的，确定模糊图像中每个像素点的方向模糊度，包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点的邻域相关系数；

根据模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的梯度分布指标值；

计算模糊图像中每个像素点的梯度分布指标值和邻域相关系数的比值，并将所述比值确定为模糊图像中每个像素点的方向模糊度。

进一步的，确定模糊图像中每个像素点的邻域相关系数，包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，计算模糊图像中每个像素点与其每个邻域像素点的同一种颜色分量值总序列的相关系数，根据模糊图像中每个像素点对应的所有相关系数的累加和，确定模糊图像中每个像素点的邻域相关系数。

进一步的，确定模糊图像中每个像素点的梯度分布指标值，包括：

根据模糊图像中每个像素点的窗口区域中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，计算模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的同一种颜色分量值子序列的相关系数；

将模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的不同种颜色分量值子序列的相关系数的累加和，确定为模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的梯度指标值；

将模糊图像中每个像素点的窗口区域中每个像素点对应的所有梯度指标值中的最小值，确定为模糊图像中每个像素点的窗口区域中每个像素点的目标梯度指标值；

将模糊图像中每个像素点的窗口区域中所有像素点的目标梯度指标值的方差，确定为模糊图像中每个像素点的梯度分布指标值。

进一步的，确定模糊图像中每个像素点的模糊因子，包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点对应的各个颜色分量值总序列的序列熵、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列的序列熵；

计算模糊图像中每个像素点与其邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值，计算模糊图像中每个像素点与其所有邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值的累加和，从而得到模糊图像中每个像素点的各个子序列稳定指标差异值；

将模糊图像中每个像素点的各个子序列稳定指标差异值的累加值，确定为模糊图像中每个像素点的总序列稳定指标差异值，并将模糊图像中每个像素点的总序列稳定指标差异值和方向模糊度的乘积，确定为模糊图像中每个像素点的模糊因子。

进一步的，确定模糊图像的退化函数，包括：

根据模糊图像中每个像素点的方向模糊度，确定模糊图像中每一行和每一列对应的方向模糊度序列；

计算模糊图像中任意相邻两行之间的方向模糊度序列的相关系数，并计算模糊图像中任意相邻两列之间的方向模糊度序列的相关系数；

将模糊图像中所有相邻两行和相邻两列的方向模糊度序列的相关系数中的最小值的负相关映射结果，确定为模糊图像的退化尺度，并将所述退化尺度的倒数，确定为模糊图像的退化函数的函数取值。

进一步的，确定模糊图像中的模糊像素点集合和非模糊像素点集合，包括：

根据模糊图像中每个像素点的模糊因子，利用最大类间方差法确定模糊因子阈值；

将模糊图像中每个像素点的模糊因子与模糊因子阈值进行比较，若模糊因子大于模糊因子阈值，则将对应的像素点确定为模糊像素点，否则将对应的像素点确定为非模糊像素点，从而得到模糊像素点集合和非模糊像素点集合。

进一步的，确定最优功率谱比值参数，包括：

根据在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，确定满足复原条件的复原图像，所述复原条件为：复原图像中模糊像素点集合对应的复原评价指标大于复原指标阈值，且复原图像中非模糊像素点集合对应的复原评价指标大于复原指标阈值；

确定满足复原条件的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标的相加值，将最大的相加值所对应的功率谱比值参数，确定为最优功率谱比值参数。

进一步的，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，包括：

根据模糊图像中每个像素点的窗口区域中每个像素点的各个颜色分量值，将窗口区域中所有像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为同一种颜色分量值对应的颜色分量值总序列，从而得到模糊图像中每个像素点对应的各个颜色分量值总序列；

确定模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点，根据模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点的各个颜色分量值，将窗口区域中在每个设定方向上的像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为在每个设定方向上的同一种颜色分量值对应的颜色分量值子序列，从而得到模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列。

进一步的，确定模糊图像中每个像素点的窗口区域，包括：

以模糊图像中每个像素点为中心，构造设定尺寸的窗口，并将构造的设定尺寸的窗口所对应的区域作为模糊图像中每个像素点的窗口区域。

本发明具有如下有益效果：本发明通过对待复原处理的模糊图像进行图像处理，从而自适应确定功率谱比值参数，最终确定最优的复原图像，有效保证了模糊图像的复原质量。具体的，构建模糊图像中每个像素点的窗口区域，根据窗口区域内每个像素点的各个颜色分量值，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，通过构造颜色分量值序列，可以避免单个像素点的颜色分量对分析结果造成的误差，从而保证后续方向模糊度和模糊因子的计算准确性。通过对每个像素点对应的颜色分量值总序列和在每个设定方向上的各个颜色分量值子序列进行分析，构建模糊图像中每个像素点的方向模糊度，以对图像中每个像素点发生模糊的可能性做出较为准确的评估。利用像素点周围图像信息的稳定程度，并结合像素点的方向模糊度，构造模糊图像中每个像素点的模糊因子，以对图像中每个像素点位于模糊区域的可能性情况进行评估，进而基于该模糊因子，对图像中的像素点进行准确地分类，得到模糊像素点集合和非模糊像素点集合，以便于后续对复原图像的复原效果进行准确评估。为了自适应获取最优功率谱比值参数，根据模糊图像的退化函数和不同功率谱比值参数，对模糊图像进行滤波复原操作，获取在不同功率谱比值参数下对应的复原图像，为了对复原图像的复原效果进行评估，获取复原图像中对应模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，由于该复原评价指标可以准确地评估出复原图像中模糊像素点和非模糊像素点的复原效果，因此根据该复原评价指标，可以获取最优复原效果下的最优功率谱比值参数，从而得到在最优功率谱比值参数在对应的复原图像。由于本发明可以自适应确定最优的功率谱比值参数，有效提高了图像复原的质量，可以实现对多种模糊图像的高质量复原。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例的用于媒体流图像传输的图像预处理方法的流程图；

图2为本发明实施例的八个设定方向的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。另外，本文所涉及公式中的所有参数或者指标均为归一化之后的消除了量纲影响的数值。

针对媒体流图像传输过程中，传统维纳滤波对模糊图像进行复原存在复原效果差的问题，本实施例提供了一种用于媒体流图像传输的图像预处理方法，该方法利用像素点与周围像素点在最大梯度方向上的梯度变化情况和不同颜色分量序列之间的差异，构建模糊图像中每个像素点的方向模糊度，以对图像中每个像素点发生模糊的可能性做出较为准确的评估，从而确定合适的退化函数。同时，利用像素点周围图像信息的稳定程度，并结合像素点的方向模糊度，构造模糊图像中每个像素点的模糊因子，以对图像中每个像素点位于模糊区域的可能性情况进行评估，从而自适应确定功率谱比值参数，最终确定最优的复原图像，有效保证了模糊图像的复原质量。

具体的，如图1所示，该用于媒体流图像传输的图像预处理方法包括以下步骤：

步骤S1：获取待复原处理的模糊图像，确定模糊图像中每个像素点的窗口区域，并根据窗口区域中每个像素点的各个颜色分量值，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列。

媒体流是指将一连串的媒体数据压缩后，经过网上分段发送数据，在网上即时传输影音以供观赏的一种技术。媒体流图像传输分为实时流式传输和顺序流式传输两种，也是目前人们使用媒体流方式查看图像或视频的主流方法。当计算机通过网络接收到传输图像的压缩包后，计算机对压缩包进行解压，最终得到模糊图像，该模糊图像为RGB图像。在本实施例中，用户为节目录制动物图像，录制完成后将动物图像转换成压缩包在网络上传输，有需求的用户利用计算机在网络上获取压缩包，并对压缩包进行解压，从而得到初始的模糊图像。在得到初始的模糊图像之后，为了消除图像传输过程中噪声干扰的影响，利用双边滤波技术对获取的初始的模糊图像进行去噪预处理，并将去噪预处理后所得到的模糊图像作为最终的模糊图像，该最终的模糊图像即为待复原处理的模糊图像F。由于利用双边滤波技术对图像进行去噪的过程为公知技术，具体过程不再赘述。

考虑到用户获取媒体流图像也就是动物图像的过程中，由于动物可能正处于运动状态，例如动物在向猎物移动，此时获取的媒体流图像中极有可能存在模糊的情况，压缩解压后会导致模糊情况更加严重。通常情况下，节目所需要的媒体流图像具有一定量的图像信息，纹理较为丰富，含有不同的边缘，包含不同的梯度方向，随着模糊程度的增加，边缘像素点的梯度逐渐减小，梯度曲线逐渐平缓，梯度函数的分布也会由尖翘变得平粗。如果媒体流图像发生模糊，边缘梯度将会发生变化，如果在解压过程中又造成了失真，又会对图像造成一次模糊，梯度会再次变化。在媒体流图像中，如果存在梯度方向一直不变的像素点，那么说明这个像素点不在模糊区域内，这种像素点一般位于图像中的梯度平缓的区域，例如某一个背景像素点，如果存在梯度方向变化明显的像素点，那么说明这个像素点极有可能在模糊区域内，这种像素点一般位于图像中的梯度较大的区域，例如动物肢体上的一个像素点。也就是说，在媒体流图像中，越是梯度值大方向上的区域越有可能受到模糊的影响发生变化。因此，可以认为对媒体流图像模糊退化方向产生影响的因素包含运动方向和图像中像素点的梯度方向。

基于上述分析，在获得待复原处理的模糊图像F之后，为了便于后续对该模糊图像F进行复原，构建模糊图像F中每个像素点的方向模糊度，利用该方向模糊度用来表征像素点的运动方向和梯度方向对发生模糊的影响程度。为了便于后续确定模糊图像F中每个像素点的方向模糊度，首先确定模糊图像F中每个像素点的窗口区域，即以模糊图像中每个像素点为中心，构造设定尺寸的窗口，并将构造的设定尺寸的窗口所对应的区域作为模糊图像中每个像素点的窗口区域。在本实施例中，所构造的设定尺寸的窗口为13*13的窗口，以模糊图像F中的第i个像素点为例，将该第i个像素点的窗口区域记为。

在确定模糊图像F中每个像素点的窗口区域之后，根据窗口区域中每个像素点的各个颜色分量值，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，实现步骤包括：

根据模糊图像中每个像素点的窗口区域中每个像素点的各个颜色分量值，将窗口区域中所有像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为同一种颜色分量值对应的颜色分量值总序列，从而得到模糊图像中每个像素点对应的各个颜色分量值总序列；

确定模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点，根据模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点的各个颜色分量值，将窗口区域中在每个设定方向上的像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为在每个设定方向上的同一种颜色分量值对应的颜色分量值子序列，从而得到模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列。

具体的，对于模糊图像F中的任意一个像素点，由于模糊图像为RGB图像，该像素点均包括R、G、B三个颜色分量值。对于模糊图像F中任意一个像素点的窗口区域，根据该窗口区域中每个像素点的R、G、B三个颜色分量值，将所有像素点的R颜色分量值组成一个序列、将所有像素点的G颜色分量值组成一个序列，将所有像素点的B颜色分量值组成一个序列，从而可以得到三个序列，这三个序列即为模糊图像F中任意一个像素点对应的各个颜色分量值总序列。

同时，对于模糊图像F中任意一个像素点的窗口区域，如图2所示，以该任意一个像素点为中心，以竖直向上作为设定方向1，并顺时针旋转，每旋转45°确定一个设定方向，共确定八个设定方向，分别为设定方向1~设定方向8，设定方向1和5位于同一直线上、设定方向2和6位于同一直线上、设定方向3和7位于同一直线上、设定方向4和8位于同一直线上。确定该窗口区域内在每个设定方向上的像素点，根据该窗口区域内在每个设定方向上的每个像素点的R、G、B三个颜色分量值，将在每个设定方向上的所有像素点的R颜色分量值组成一个序列、将在每个设定方向上的所有像素点的G颜色分量值组成一个序列、将在每个设定方向上的所有像素点的B颜色分量值组成一个序列，从而可以得到三个序列，这三个序列即为模糊图像F中该任意一个像素点对应的各个颜色分量值子序列。

通过上述方式，可以确定模糊图像F中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，后续通过对这些序列进行分析，可以确定模糊图像F中每个像素点对应的方向模糊度，进而最终实现模糊图像F的复原。

步骤S2：根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的方向模糊度。

在上述的步骤S1的基础上，根据模糊图像中每个像素点及其邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的方向模糊度，实现步骤包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点的邻域相关系数；

根据模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的梯度分布指标值；

计算模糊图像中每个像素点的梯度分布指标值和邻域相关系数的比值，并将所述比值确定为模糊图像中每个像素点的方向模糊度。

其中，确定模糊图像中每个像素点的邻域相关系数，实现步骤包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，计算模糊图像中每个像素点与其每个邻域像素点的同一种颜色分量值总序列的相关系数，根据模糊图像中每个像素点对应的所有相关系数的累加和，确定模糊图像中每个像素点的邻域相关系数。

确定模糊图像中每个像素点的梯度分布指标值，实现步骤包括：

根据模糊图像中每个像素点的窗口区域中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，计算模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的同一种颜色分量值子序列的相关系数；

将模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的不同种颜色分量值子序列的相关系数的累加和，确定为模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的梯度指标值；

将模糊图像中每个像素点的窗口区域中每个像素点对应的所有梯度指标值中的最小值，确定为模糊图像中每个像素点的窗口区域中每个像素点的目标梯度指标值；

将模糊图像中每个像素点的窗口区域中所有像素点的目标梯度指标值的方差，确定为模糊图像中每个像素点的梯度分布指标值。

具体的，对于模糊图像中的任意一个像素点，以模糊图像F中的第i个像素点为例，该第i个像素点的三个颜色分量值总序列记为、、，该第i个像素点的八邻域内第j个邻域像素点的三个颜色分量值总序列记为、、，分别计算和、与、与的相关系数，这三个相关系数分别记为、、。在本实施例中，该相关系数是指皮尔逊相关系数，由于计算两个序列的皮尔逊相关系数的过程属于为公知技术，具体过程不再赘述。根据模糊图像F中的第i个像素点与八邻域内每个邻域像素点的各个相关系数，从而确定第i个像素点的邻域相关系数，对应的计算公式为：

其中，为模糊图像中的第i个像素点的邻域相关系数，为模糊图像中的第i个像素点的颜色分量值总序列与该第i个像素点的八邻域内第j个邻域像素点的颜色分量值总序列的相关系数，为模糊图像中的第i个像素点的颜色分量值总序列与该第i个像素点的八邻域内第j个邻域像素点的颜色分量值总序列的相关系数，为模糊图像中的第i个像素点的颜色分量值总序列与该第i个像素点的八邻域内第j个邻域像素点的颜色分量值总序列的相关系数，m为模糊图像中的第i个像素点的八邻域内邻域像素点的总数目。

上述的模糊图像中的第i个像素点的邻域相关系数的大小，反映了第i个像素点与周围相邻像素点受模糊影响的差异，当第i个像素点与相邻像素点的图像信息较为相似，运动方向也一致时，第i个像素点与相邻像素点的颜色分量值应当在一个较小范围内波动，第i个像素点与相邻像素点对应的颜色分量值总序列之间的互相关系数大小较为接近且靠近1，此时说明第i个像素点与相邻像素点受模糊的影响程度是一致的，第i个像素点受模糊影响的可能性越小。

同时，对于模糊图像中的任意一个像素点，该像素点在多个方向上存在梯度变化，如图2所示该像素点对应的八个设定方向，将设定方向1~8分别记为~。以模糊图像F中的第i个像素点为例，根据该第i个像素点的颜色分量值总序列、、内在各个设定方向上所有像素点颜色分量值，也就是该第i个像素点对应的在每个设定方向上的各个颜色分量值子序列，计算该第i个像素点在位于同一直线上的任意两个设定方向上的同一种颜色分量值子序列的相关系数。以位于同一直线上的设定方向、为例，将该第i个像素点在设定方向上的三个颜色分量值子序列记为、、，该第i个像素点在设定方向上的三个颜色分量值子序列记为、、，分别计算和、与、与的相关系数，这三个相关系数分别记为、、，在本实施例中，该相关系数是指皮尔逊相关系数。计算三个相关系数、、的累加和，并将该累加和作为第i个像素点在位于同一直线上的设定方向和上的梯度指标值，即有第i个像素点在位于同一直线上的设定方向和上的梯度指标值。按照同样的方式，可以确定第i个像素点在位于同一直线上的设定方向和上的梯度指标值、设定方向和上的梯度指标值、设定方向和上的梯度指标值。此时对于第i个像素点，可以确定四个梯度指标值，取这四个梯度指标值中的最小值作为第i个像素点的目标梯度指标值，即第i个像素点的目标梯度指标值，此时该目标梯度指标值对应的两个设定方向所在的直线为该第i个像素点的最大梯度方向，该最大梯度方向可能是动物运动方向，也可能是像素点本身的梯度方向，这是因为：一方面，当由于动物运动发生图像模糊时，那么在动物运动方向上像素点周围的颜色分量值变化程度较大；另一方面，对于位于边缘位置的像素点，在像素点本身的最大梯度方向上其周围的颜色分量值变化程度较大。利用该目标梯度指标值可以用来评估在模糊图像F中第i个像素点位于边缘的可能性，越靠近边缘，第i个像素点的目标梯度指标值与相邻像素点的目标梯度指标值差异越小，越有可能发生模糊。

按照上述确定模糊图像F中的第i个像素点对应的目标梯度指标值的方式，根据该第i个像素点的窗口区域中的其他各个像素点对应的在每个设定方向上的各个颜色分量值子序列，可以确定第i个像素点的窗口区域中的其他各个像素点对应的目标梯度指标值。然后计算第i个像素点的窗口区域中所有像素点的目标梯度指标值的方差，并将该方差作为第i个像素点的梯度分布指标值。梯度分布指标值反映了在模糊图像中第i个像素点的目标梯度指标值与相邻像素点的目标梯度指标值的差异，差异越大，表示第i个像素点越靠近边缘，第i个像素点处越有可能发生模糊，对应的第i个像素点的梯度分布指标值就越大。

在确定模糊图像F中的第i个像素点的梯度分布指标值和邻域相关系数之后，根据梯度分布指标值和邻域相关系数的比值，确定第i个像素点的方向模糊度，对应的计算公式为：

其中，为模糊图像F中的第i个像素点的方向模糊度，为模糊图像F中的第i个像素点的梯度分布指标值，为模糊图像F中的第i个像素点的邻域相关系数。

上述的模糊图像F中的第i个像素点的方向模糊度，表征了模糊图像F中的第i个像素点在最大梯度方向上发生模糊的可能性，当第i个像素点对应图像中的边缘高频信息时，第i个像素点与相邻像素点的颜色分量值相差较大，第i个像素点与周围像素点的图像信息就不一致，对应的第i个像素点的邻域相关系数就越小，方向模糊度越大，第i个像素点越有可能发生模糊。另一方面，第i个像素点越是靠近媒体流图像中的边缘，在最大梯度方向上越可能发生模糊，像素点与其周围像素点的目标梯度指标值差异越大，相应梯度分布指标越大，方向模糊度越大，第i个像素点越有可能发生模糊。

步骤S3：根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的方向模糊度，确定模糊图像中每个像素点的模糊因子。

对于模糊图像F而言，图像中模糊区域的特点是图像信息不明确，也就是说无法准确快速的判断出区域内的物体是什么，模糊区域的图像信息是无法准确估计的，而没有发生模糊的区域，图像信息是可知的。由于模糊图像F是RGB图像，当图像中出现模糊区域时，模糊区域内的像素点在RGB三通道内的颜色分量值会受到不同程度的影响，因此模糊区域内相同颜色像素点的颜色分量值很可能是不同的。如果像素点位于非模糊区域，那么非模糊区域内颜色相同的像素点，颜色分量值的大小是非常接近的。同时，当像素点在最大梯度方向上发生模糊的可能性越大时，也说明该像素点可能位于模糊区域。

基于上述分析，确定模糊图像中每个像素点的模糊因子，该模糊因子用于表征像素点位于模糊区域的可能性，实现步骤包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点对应的各个颜色分量值总序列的序列熵、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列的序列熵；

计算模糊图像中每个像素点与其邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值，计算模糊图像中每个像素点与其所有邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值的累加和，从而得到模糊图像中每个像素点的各个子序列稳定指标差异值；

将模糊图像中每个像素点的各个子序列稳定指标差异值的累加值，确定为模糊图像中每个像素点的总序列稳定指标差异值，并将模糊图像中每个像素点的总序列稳定指标差异值和方向模糊度的乘积，确定为模糊图像中每个像素点的模糊因子。

具体的，对于模糊图像中的任意一个像素点，以模糊图像F中的第i个像素点为例，该第i个像素点的三个颜色分量值总序列记为、、，确定第i个像素点的三个颜色分量值总序列、、各自对应的序列熵，由于确定序列熵的过程属于为公知技术，具体过程不再赘述。同时，确定第i个像素点的八邻域内每个邻域像素点的三个颜色分量值总序列，以该第i个像素点的八邻域内第j个邻域像素点为例，该第j个邻域像素点的三个颜色分量值总序列记为、、，确定第j个邻域像素点的三个颜色分量值总序列记为、、各自对应的序列熵。根据该第i个像素点以及第i个像素点的八邻域内每个邻域像素点的三个颜色分量值总序列的序列熵，确定该第i个像素点的模糊因子，对应的计算公式为：

其中，为模糊图像中第i个像素点的模糊因子，、、分别为模糊图像中第i个像素点对应的三个颜色分量值总序列、、的序列熵，、、分别为模糊图像中第i个像素点的第j个邻域像素点的三个颜色分量值总序列、、的序列熵，m为模糊图像中第i个像素点的邻域像素点的总数目，为模糊图像中第i个像素点的方向模糊度，、、为模糊图像中第i个像素点的子序列稳定指标差异值，为模糊图像中第i个像素点的总序列稳定指标差异值。

上述的模糊图像中第i个像素点的模糊因子，表征了第i个像素点位于模糊区域的可能性，总序列稳定指标差异值反映了第i个像素点与其周围邻域像素点的在颜色分量值总序列上的分布差异，当在颜色分量值总序列上的分布差异越大时，说明序列中颜色分量值的大小可能越不稳定，第i个像素点的图像信息越不稳定，此时总序列稳定指标差异值就越大，当第i个像素点在最大梯度方向发生模糊的可能性越大时，第i个像素点的方向模糊度就越大，说明此时第i个像素点越有可能位于模糊区域，对应的模糊因子越大。

步骤S4：根据模糊图像中每个像素点的模糊因子，确定模糊图像中的模糊像素点集合和非模糊像素点集合。

通过上述步骤S4得到模糊图像中每个像素点的模糊因子之后，该模糊因子准确表征了像素点位于模糊区域的可能性，基于该模糊因子对模糊图像中的像素点进行筛选，从而得到模糊图像中的模糊像素点集合和非模糊像素点集合，实现步骤包括：

根据模糊图像中每个像素点的模糊因子，利用最大类间方差法确定模糊因子阈值；

将模糊图像中每个像素点的模糊因子与模糊因子阈值进行比较，若模糊因子大于模糊因子阈值，则将对应的像素点确定为模糊像素点，否则将对应的像素点确定为非模糊像素点，从而得到模糊像素点集合和非模糊像素点集合。

具体的，模糊图像中每个像素点的模糊因子表征了该像素点位于模糊区域的可能性，当模糊因子越大时，说明该像素点越可能位于模糊区域，越可能是发生模糊的像素点，当模糊因子越小时，说明该像素点越可能位于非模糊区域，越可能是没有发生模糊的像素点。因此根据模糊图像中各个像素点的模糊因子，利用最大类间方差法确定模糊因子阈值，由于利用最大类间方差法确定阈值的过程属于为公知技术，具体过程不再赘述。然后根据模糊因子阈值将模糊图像中各个像素点分为两大类，将模糊因子大于模糊因子阈值的一类像素点放在集合A中，并将该集合A记为模糊像素点集合，将模糊因子不大于模糊因子阈值的一类像素点放在集合B中，并将该集合B记为非模糊像素点集合。

步骤S5：确定模糊图像的退化函数，根据模糊图像的退化函数和不同功率谱比值参数，对模糊图像进行滤波复原操作，获取在不同功率谱比值参数下对应的复原图像，并根据模糊图像中的模糊像素点集合和非模糊像素点集合，确定在不同功率谱比值参数下对应的复原图像中对应的模糊像素点集合和非模糊像素点集合。

在上述步骤S2的基础上，为了实现图像退化尺度的准确评估，从而确定模糊图像合适的退化函数，根据模糊图像中每个像素点的方向模糊度，确定模糊图像的退化尺度，进而确定模糊图像的退化函数，实现步骤包括：

根据模糊图像中每个像素点的方向模糊度，确定模糊图像中每一行和每一列对应的方向模糊度序列；

计算模糊图像中任意相邻两行之间的方向模糊度序列的相关系数，并计算模糊图像中任意相邻两列之间的方向模糊度序列的相关系数；

将模糊图像中所有相邻两行和相邻两列的方向模糊度序列的相关系数中的最小值的负相关映射结果，确定为模糊图像的退化尺度，并将所述退化尺度的倒数，确定为模糊图像的退化函数的函数取值。

具体的，根据模糊图像中每个像素点的方向模糊度，确定模糊图像中每一行和每一列对应的方向模糊度序列，然后计算每相邻两行和每相邻两列的方向模糊度的相关系数，在本实施例中，该相关系数是指皮尔逊相关系数，并将此时所获取的所有相关系数中的最小值的负相关映射结果作为模糊图像F的退化尺度d，其中e为自然常数。退化尺度的含义可以理解为模糊程度的大小，退化尺度越大，退化越严重，图像越模糊。这里选择将所有相关系数中的最小值负相关映射结果作为模糊图像F的退化尺度d的原因在于，相关系数越小，方向模糊度的差异就越大，相邻像素点的差异越大，模糊程度越高，因此取最小值的负相关映射结果对应最大模糊程度。此处以每一行和每一列作为确定退化尺度d的目的在于，媒体流图像无论是传输过程中的失真模糊还是动物运动造成的运动模糊都不会仅发生在一个像素点上，通过对每一行和每一列的方向模糊度进行分析，可以更好的利用局部信息而不是单个像素点的信息衡量模糊程度，从而提高了最终所确定的退化尺度d的准确性。

在得到模糊图像F的退化尺度d之后，将该退化尺度d的倒数确定为模糊图像F的退化函数。由于取退化尺度d的倒数作为退化函数属于现有技术，此处不再赘述。在确定退化函数时，通过考虑像素点在最大梯度方向的目标梯度指标值进行模糊可能性的评估，避免了传统退化函数直接选择水平方向作为退化方向进行卷积变换对模糊区域的影响，对运动模糊、散焦模糊或者交叉模糊等多种图像模糊，都能得到较为准确的退化方向的评估结果。

同时，为了获取最优的功率谱比值参数下对应的复原图像，设置一个经验区间，该经验区间规定了功率谱比值参数K的取值范围，设置经验区间的作用是在不影响复原效果的前提下，减少计算量。本实施例设置的经验区间为[0.7,0.99]，取初始的功率谱比值参数=0.7，然后从初始的功率谱比值参数开始，每次增长步长为0.01，直至达到0.99，从而可以得到多个不同的功率谱比值参数K。将退化函数h和每个功率谱比值参数K代入维纳滤波算法，利用维纳滤波算法对模糊图像进行复原操作，该复原操作包括滤波过程和傅里叶逆变换过程，从而可以得到每个功率谱比值参数对应的复原图像。由于在确定退化函数h和每个功率谱比值参数K的情况下，利用维纳滤波算法对模糊图像进行复原操作的具体过程属于公知技术，具体过程不再赘述。

另外，为了实现后续对在不同功率谱比值参数下对应的复原图像的复原效果进行评价，根据模糊图像中的模糊像素点集合中各个模糊像素点的位置，在每张复原图像中找到相同位置的各个像素点，并将这些像素点作为复原图像中对应的模糊像素点集合；根据非模糊像素点集合中各个非模糊像素点的位置，在每张复原图像中找到相同位置的各个像素点，并将这些像素点作为复原图像中对应的非模糊像素点集合。

步骤S6：确定在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，根据所述复原评价指标，确定最优功率谱比值参数，并将在最优功率谱比值参数在对应的复原图像作为预处理后的图像。

为了筛选出最优的功率谱比值参数下对应的复原图像，对在不同功率谱比值参数下对应的复原图像进行复原效果的评估，并基于该评估结果，确定最优功率谱比值参数，实现步骤包括：

根据在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，确定满足复原条件的复原图像，所述复原条件为：复原图像中模糊像素点集合各自对应的复原评价指标大于复原指标阈值，且复原图像中非模糊像素点集合各自对应的复原评价指标大于复原指标阈值；

确定满足复原条件的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标的相加值，根据最大的相加值所对应的功率谱比值参数，确定最优功率谱比值参数。

具体的，复原图像和模糊图像之间存在多方面图像信息的差异，基于图像信息的差异可以构建一个复原评价指标，以确定最优的功率谱比值参数，并可以最终得到对应的复原图像。因此，对于任意一个功率谱比值参数下对应的复原图像，结合模糊图像，计算该复原图像中模糊像素点集合和非模糊像素点集合分别对应的峰值信噪比，分别记为、，并将峰值信噪比作为复原评价指标。由于峰值信噪比的计算过程为公知技术，具体过程不再赘述。当峰值信噪比、满足复原条件时，也就是满足且这一条件时，则认为当前功率谱比值参数下对应的复原图像的复原质量较好，能够满足用户的观看需求，从而保留当前功率谱比值参数下对应的复原图像。需要说明的是，本实施例是将复原图像中模糊像素点集合和非模糊像素点集合分别对应的峰值信噪比作为复原评价指标，作为其他的实施方式，也可以采用现有技术中其他合适的图像质量指标作为复原评价指标，如均方差误差等。在保留的所有复原图像中，对于任意一个复原图像，计算该复原图像对应的峰值信噪比和的和，即。然后将保留的所有复原图像中的最大值所对应的功率谱比值参数K作为最优功率谱比值参数。

在确定最优功率谱比值参数之后，该最优功率谱比值参数所对应的复原图像即为最优的复原图像，并将该最优的复原图像作为预处理后的图像，从而实现媒体流图像传输过程中模糊图像的预处理过程。获取压缩压解压出来的每一张模糊图像所对应的预处理后的图像，并将这些预处理后的图像通过网络传输给有需求的用户，用户通过相关软件播放视频或者浏览图像。

本发明通过获取媒体流图像传输过程中每张模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，并对这些颜色分量值序列进行分析，构建模糊图像中每个像素点的方向模糊度和模糊因子，最终可以自适应获取模糊图像对应的最优功率谱比值参数，并获取该最优功率谱比值参数对应的复原图像，有效提高了图像复原的质量，可以实现对多种模糊图像的高质量复原的目的，促进了媒体流图像传输的发展应用。

需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于媒体流图像传输的图像预处理方法，其特征在于，包括以下步骤：

获取待复原处理的模糊图像，确定模糊图像中每个像素点的窗口区域，并根据窗口区域中每个像素点的各个颜色分量值，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列；

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的方向模糊度；

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的方向模糊度，确定模糊图像中每个像素点的模糊因子；

根据模糊图像中每个像素点的模糊因子，确定模糊图像中的模糊像素点集合和非模糊像素点集合；

确定模糊图像的退化函数，根据模糊图像的退化函数和不同功率谱比值参数，对模糊图像进行滤波复原操作，获取在不同功率谱比值参数下对应的复原图像，并根据模糊图像中的模糊像素点集合和非模糊像素点集合，确定在不同功率谱比值参数下对应的复原图像中对应的模糊像素点集合和非模糊像素点集合；

确定在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，根据所述复原评价指标，确定最优功率谱比值参数，并将在最优功率谱比值参数在对应的复原图像作为预处理后的图像。

2.根据权利要求1所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像中每个像素点的方向模糊度，包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点的邻域相关系数；

根据模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的梯度分布指标值；

计算模糊图像中每个像素点的梯度分布指标值和邻域相关系数的比值，并将所述比值确定为模糊图像中每个像素点的方向模糊度。

3.根据权利要求2所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像中每个像素点的邻域相关系数，包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，计算模糊图像中每个像素点与其每个邻域像素点的同一种颜色分量值总序列的相关系数，根据模糊图像中每个像素点对应的所有相关系数的累加和，确定模糊图像中每个像素点的邻域相关系数。

4.根据权利要求2所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像中每个像素点的梯度分布指标值，包括：

根据模糊图像中每个像素点的窗口区域中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，计算模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的同一种颜色分量值子序列的相关系数；

将模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的不同种颜色分量值子序列的相关系数的累加和，确定为模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的梯度指标值；

将模糊图像中每个像素点的窗口区域中每个像素点对应的所有梯度指标值中的最小值，确定为模糊图像中每个像素点的窗口区域中每个像素点的目标梯度指标值；

将模糊图像中每个像素点的窗口区域中所有像素点的目标梯度指标值的方差，确定为模糊图像中每个像素点的梯度分布指标值。

5.根据权利要求1所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像中每个像素点的模糊因子，包括：

根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点对应的各个颜色分量值总序列的序列熵、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列的序列熵；

计算模糊图像中每个像素点与其邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值，计算模糊图像中每个像素点与其所有邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值的累加和，从而得到模糊图像中每个像素点的各个子序列稳定指标差异值；

将模糊图像中每个像素点的各个子序列稳定指标差异值的累加值，确定为模糊图像中每个像素点的总序列稳定指标差异值，并将模糊图像中每个像素点的总序列稳定指标差异值和方向模糊度的乘积，确定为模糊图像中每个像素点的模糊因子。

6.根据权利要求1所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像的退化函数，包括：

根据模糊图像中每个像素点的方向模糊度，确定模糊图像中每一行和每一列对应的方向模糊度序列；

计算模糊图像中任意相邻两行之间的方向模糊度序列的相关系数，并计算模糊图像中任意相邻两列之间的方向模糊度序列的相关系数；

将模糊图像中所有相邻两行和相邻两列的方向模糊度序列的相关系数中的最小值的负相关映射结果，确定为模糊图像的退化尺度，并将所述退化尺度的倒数，确定为模糊图像的退化函数的函数取值。

7.根据权利要求1所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像中的模糊像素点集合和非模糊像素点集合，包括：

根据模糊图像中每个像素点的模糊因子，利用最大类间方差法确定模糊因子阈值；

将模糊图像中每个像素点的模糊因子与模糊因子阈值进行比较，若模糊因子大于模糊因子阈值，则将对应的像素点确定为模糊像素点，否则将对应的像素点确定为非模糊像素点，从而得到模糊像素点集合和非模糊像素点集合。

8.根据权利要求1所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定最优功率谱比值参数，包括：

根据在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，确定满足复原条件的复原图像，所述复原条件为：复原图像中模糊像素点集合对应的复原评价指标大于复原指标阈值，且复原图像中非模糊像素点集合对应的复原评价指标大于复原指标阈值；

确定满足复原条件的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标的相加值，将最大的相加值所对应的功率谱比值参数，确定为最优功率谱比值参数。

9.根据权利要求1所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，包括：

根据模糊图像中每个像素点的窗口区域中每个像素点的各个颜色分量值，将窗口区域中所有像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为同一种颜色分量值对应的颜色分量值总序列，从而得到模糊图像中每个像素点对应的各个颜色分量值总序列；

确定模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点，根据模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点的各个颜色分量值，将窗口区域中在每个设定方向上的像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为在每个设定方向上的同一种颜色分量值对应的颜色分量值子序列，从而得到模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列。

10.根据权利要求1所述的一种用于媒体流图像传输的图像预处理方法，其特征在于，确定模糊图像中每个像素点的窗口区域，包括：

以模糊图像中每个像素点为中心，构造设定尺寸的窗口，并将构造的设定尺寸的窗口所对应的区域作为模糊图像中每个像素点的窗口区域。

Images