CN117132510B - 一种基于图像处理的监控图像增强方法及系统 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，提出了一种基于图像处理的监控图像增强方法及系统，包括：采集若干帧夜间待增强的监控图像；根据相邻帧监控图像的小波系数序列的DTW匹配结果，获取每帧监控图像每个尺度的尺度影响程度；根据小波系数与尺度影响程度，获取每帧监控图像每个尺度的尺度逸散程度；根据相邻帧监控图像作差获取到的目标变化区域，结合不同尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值；根据融合权值对每帧监控图像通过小波逆变换进行增强。本发明旨在解决对监控图像通过小波变换增强时无法结合人员目标特征进行自适应增强而影响增强效果的问题。

Description

一种基于图像处理的监控图像增强方法及系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的监控图像增强方法及系统。

背景技术

夜间监控图像增强场景中，获得的监控图像往往是低照度图像，对于图像中的人员、物体等的识别较为困难，而在利用小波变换进行图像融合可以实现监控图像的图像增强，但其只考虑了图像在小波域的分布特征，无法实现针对监控图像的人员目标的特异性增强，实现资源相对节约的快速准确的针对性人员目标增强，最终达成夜间安保区域智能化预警。

而在小波变换对图像进行增强的现有技术中，不同尺度的融合权值是影响图像增强效果的重要参数，由于人员目标在连续帧的监控图像中会发生尺度变化，同时小波变换后存在图像整体低照度的低频信息及人物目标的高频信息，因此若不同尺度均为固定的融合权值，则无法实现针对性目标人员的增强，进而影响图像增强效果。

发明内容

本发明提供一种基于图像处理的监控图像增强方法及系统，以解决现有的对监控图像通过小波变换增强时无法结合人员目标特征进行自适应增强而影响增强效果的问题，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于图像处理的监控图像增强方法，该方法包括以下步骤：

采集若干帧夜间待增强的监控图像；

根据相邻帧监控图像的小波系数序列的DTW匹配结果，获取每帧监控图像每个尺度的尺度影响程度；根据小波系数与尺度影响程度，获取每帧监控图像每个尺度的尺度逸散程度；

根据相邻帧监控图像作差获取到的目标变化区域，结合不同尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值；

根据融合权值对每帧监控图像通过小波逆变换进行增强。

进一步的，所述每帧监控图像每个尺度的尺度影响程度，具体的获取方法为：

对每帧监控图像通过小波变换得到小波系数序列及能量变化折线；将最新一帧监控图像作为当前帧监控图像，当前帧监控图像相邻前一帧监控图像作为前一帧监控图像；

对于当前帧监控图像与前一帧监控图像，对两帧监控图像的能量变化折线进行DTW匹配，得到当前帧监控图像的能量变化折线中每个坐标点对应的若干匹配点对；将当前帧监控图像记为第帧监控图像，前一帧监控图像为第/>帧监控图像，当前帧监控图像的能量变化折线中第/>个坐标点的尺度影响系数/>的计算方法为：

其中，表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的匹配点对的数量，/>表示第/>帧监控图像的能量变化折线中第/>个坐标点的横坐标，/>表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的第/>个匹配点对中前一帧的坐标点的横坐标，/>表示求绝对值；

获取每帧监控图像每个尺度的尺度影响程度。

进一步的，所述对每帧监控图像通过小波变化得到小波系数序列及能量变化折线，包括的具体方法为：

对当前帧监控图像进行离散小波变换分解，仅进行高频分量的多尺度分解，得到若干近似系数以及一个细节系数，每个近似系数或细节系数对应一个尺度，按照尺度的顺序对小波系数进行排序，得到当前帧监控图像各自的小波系数序列，获取每帧监控图像的小波系数序列；

根据每帧监控图像的小波系数序列得到每帧监控图像的能量变化折线。

进一步的，所述根据每帧监控图像的小波系数序列得到每帧监控图像的能量变化折线，包括的具体方法为：

对于当前帧监控图像，以当前帧监控图像的小波系数序列中每个小波系数的模作为纵坐标，小波系数在序列中的次序值作为纵坐标，构建坐标系并连接坐标点得到一条折线，记为当前帧监控图像的能量变化折线；获取每帧监控图像的能量变化折线。

进一步的，所述每帧监控图像每个尺度的尺度逸散程度，具体的获取方法为：

获取每个尺度的邻域，第帧监控图像第/>个尺度的尺度逸散程度/>的计算方法为：

其中，表示第/>帧监控图像第/>个尺度的尺度影响程度，/>表示第/>帧监控图像第/>个尺度的邻域内尺度的数量，/>表示第/>帧监控图像第/>个尺度的近似系数的模，/>表示第/>帧监控图像第/>个尺度的邻域内第/>个尺度的近似系数的模，/>表示第/>帧监控图像第/>个尺度对应坐标点的横坐标，/>表示第/>帧监控图像第/>个尺度的邻域内第/>个尺度对应坐标点的横坐标，/>表示对两个横坐标计算一维高斯函数距离，/>表示以自然常数为底的指数函数；

获取每帧监控图像每个尺度的尺度逸散程度。

进一步的，所述获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值，包括的具体方法为：

根据每帧监控图像的目标变化区域及每个尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度；

对于当前帧监控图像任意一个尺度，若该尺度在当前帧的区域模糊程度小于模糊阈值，获取该尺度在前一帧监控图像的近似系数的模与该尺度在当前帧监控图像的近似系数的模的比值，将比值与该尺度在当前帧的区域模糊程度的乘积，记为该尺度在当前帧的融合权值；

若该尺度在当前帧的区域模糊程度大于或等于模糊阈值，获取该尺度在当前帧监控图像的近似系数的模与该尺度在前一帧监控图像的近似系数的模的比值，将比值与该尺度在当前帧的区域模糊程度的乘积，记为该尺度在当前帧的融合权值；获取每帧监控图像中每个尺度的融合权值。

进一步的，所述每帧监控图像每个尺度的变化区域及区域模糊程度，具体的获取方法为：

通过对相邻帧监控图像作差获取每帧监控图像的目标变化区域；对于任意一个尺度，获取该尺度在当前帧的目标变化区域中对应的区域，记为该尺度在当前帧的变化区域；

对该尺度在当前帧的变化区域获取质心，获取变化区域的若干边缘像素点，从质心出发到每个边缘像素点作射线，对于任意一条射线，将该射线上所有变化区域内像素点的帧差值，按照从质心到边缘像素点的顺序进行排列，得到该条射线对应边缘像素点的帧差变化序列，获取每个边缘像素点的帧差变化序列，得到该尺度在当前帧的若干帧差变化序列；

对任意两个帧差变化序列获取DTW距离，将与其他所有帧差变化序列的DTW距离的均值最小的帧差变化序列，记为目标规整序列，其他帧差变化序列记为非目标变化序列；

对于目标规整序列与任意一个非目标变化序列，获取两序列的DTW匹配结果，得到目标规整序列中每个元素在该非目标变化序列的匹配点对；对于目标规整序列中任意一个元素，若该元素对应一个匹配点对，将匹配点对中两个元素的元素值均值，作为该元素与该非目标变化序列的更新元素值；若该元素对应多个匹配点对，将该元素及匹配对应的多个元素的元素值均值，作为该元素与该非目标变化序列的更新元素值；若该元素及相邻若干元素共同匹配非目标变化序列中一个元素，将目标规整序列中多个元素及共同匹配元素的元素值均值，作为目标规整序列中该多个元素包括的每个元素与该非目标变化序列的更新元素值；

获取目标规整序列中每个元素与每个非目标变化序列的更新元素值，对任意一个元素的所有更新元素值求均值，记为该元素的规整元素值，将所有元素的规整元素值按照元素在目标规整序列中的排列顺序排列，得到的序列记为该尺度在当前帧的等长规整均值序列；

获取等长规整均值序列中元素值的偏度，将偏度与该尺度在当前帧的尺度逸散程度的乘积，作为该尺度在当前帧的区域模糊系数；获取当前帧监控图像中每个尺度的变化区域及区域模糊系数，对所有区域模糊系数进行线性归一化，得到的结果作为当前帧监控图像中每个尺度的区域模糊程度；获取每帧监控图像中每个尺度的变化区域及区域模糊程度。

进一步的，所述通过对相邻帧监控图像作差获取每帧监控图像的目标变化区域，包括的具体方法为：

对当前帧监控图像与前一帧监控图像作差，相同位置的像素点的灰度值相减得到差值，对差值取绝对值，记为当前帧每个像素点的帧差值，像素点的帧差值组成的图像记为当前帧的帧差图像；对帧差图像进行大津阈值分割，得到分割阈值，得到若干帧差值大于分割阈值的像素点组成的区域，将得到的所有区域中面积最大的区域，作为当前帧的目标变化区域；获取每帧监控图像的目标变化区域。

进一步的，所述根据融合权值对每帧监控图像通过小波逆变换进行增强，包括的具体方法为：

对于任意一帧监控图像，将该帧监控图像每个尺度的融合权值，作为每个尺度对应小波系数的融合权重，根据融合权重对小波系数通过小波逆变换进行融合重构得到图像，记为增强后的监控图像；对每帧监控图像根据融合权值通过小波逆变换进行增强，得到每帧增强后的监控图像。

第二方面，本发明另一个实施例提供了一种基于图像处理的监控图像增强系统，该系统包括：

监控图像采集模块，用于采集若干帧夜间待增强的监控图像；

尺度特征分析模块：用于根据相邻帧监控图像的小波系数序列的DTW匹配结果，获取每帧监控图像每个尺度的尺度影响程度；根据小波系数与尺度影响程度，获取每帧监控图像每个尺度的尺度逸散程度；

根据相邻帧监控图像作差获取到的目标变化区域，结合不同尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值；

监控图像增强模块，用于根据融合权值对每帧监控图像通过小波逆变换进行增强。

本发明的有益效果是：本发明能够根据图像中不同成分的多尺度特征信息，结合单一尺度的特异信息与多尺度的更为全面的特征信息，进一步增强对人员识别的检测准确度，进一步获得不同尺度的权值，实现多尺度图像融合，完成监控图像的人员目标针对性识别；通过小波变换中连续两帧监控图像中相同频带的差异及不同频带的变化关系，获取尺度影响程度及尺度逸散程度，进而量化不同尺度在监控图像上的运动模糊特征及变化特征，并结合帧差图像获取每个尺度的变化区域，从而量化区域模糊程度，进而得到每个尺度自适应的融合权值，通过小波逆变换来实现夜间的监控图像中对于人员的目标变化区域的针对性增强，提高监控图像的增强效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种基于图像处理的监控图像增强方法流程示意图；

图2为本发明另一个实施例所提供的一种基于图像处理的监控图像增强系统结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的一种基于图像处理的监控图像增强方法流程图，该方法包括以下步骤：

步骤S001、采集若干帧夜间待增强的监控图像。

本实施例的目的是对夜间低照度的监控图像进行增强，因此首先需要获取夜间的监控图像，通过视频监控设备获取监控视频，而从监控视频中则可以获取到每一帧的监控图像，由于后续基于相邻帧的监控图像进行增强，即基于前一帧监控图像对最新一帧监控图像进行增强，则视频监控设备开始工作后采集到的第一帧监控图像不进行后续增强处理；同时监控图像为灰度图像，并对采集到的监控图像进行去噪，去噪处理为预处理，通过现有方法进行去噪，本实施例不再赘述，将预处理后的监控图像作为后续的监控图像进行分析。

至此，获取到了夜间待测的监控图像。

步骤S002、根据相邻帧监控图像的小波系数序列的DTW匹配结果，获取每帧监控图像每个尺度的尺度影响程度；根据小波系数与尺度影响程度，获取每帧监控图像每个尺度的尺度逸散程度。

需要说明的是，对于多尺度小波分解的连续帧监控图像，其小波系数的变化程度表示的是人员目标移动过程对小波系数的尺度与能量变化特征的影响，人员目标区域的面积变化会引起其在不同尺度间的分布变化，表现为各尺度间的响应程度不同，而能量分布上则会使得高频分量上有不同的的能量偏移，同时人员目标的运动模糊会使得高频分量的能量发生逸散；因此，通过分析多帧监控图像间的高频分量变化特征，根据其尺度与能量集中分布的程度，分辨其帧差获取的人员目标运动区域的区域模糊程度，并由此构建出融合权值，最终达到以相对较清晰的图像进行模糊区域调整的目的，实现人员区域的针对性增强。

进一步需要说明的是，根据获得的监控图像，利用小波分解获得不同尺度的尺度影响程度；由于人员目标的运动对于监控图像中的背景区域的影响不大，因此其运动造成的影响主要在小波分解的高频分量中，由此对于监控待测灰度图像的小波分解仅进行高频分量的多尺度分解，低频分量不进行分解，由此对多尺度的高频分量的变化程度，获得人员目标运动带来的小波分解变化上对不同尺度的尺度影响程度；而人员目标运动通过相邻帧监控图像中区域的面积变化里进行表征，当人员目标区域面积增大时，表明此时前一帧监控图像与当前帧监控图像的变化过程中，人员是向摄像头靠近的，其细节信息会更加清晰，在小波分解的各层级小波系数上其表现为能量集中频段的偏移，即高尺度层级高频信息的增加；而当人员目标区域面积减小时，表明此时前一帧监控图像与当前帧监控图像的变化过程中，人员是向摄像头远离的，其细节信息会更加模糊，在小波分解的各层级小波系数上其也表现为能量集中频段的偏移，即低尺度层级高频信息的增加。

具体的，将最新一帧监控图像作为当前帧监控图像，当前帧监控图像相邻前一帧监控图像作为前一帧监控图像，本步骤及后续监控图像均为步骤S001中预处理后的监控图像；以当前帧监控图像及前一帧监控图像为例，对当前帧监控图像进行离散小波变换分解，采用Haar小波函数，本实施例层级数设置为5，同时仅进行高频分量的多尺度分解，低频分量不进行分解，则可以得到若干近似系数以及一个细节系数，每个近似系数或细节系数对应一个尺度，按照尺度的顺序对小波系数进行排序，则可以得到当前帧监控图像各自的小波系数序列，按照上述方法获取每帧监控图像的小波系数序列（第一帧监控图像不参与计算），需要说明的是，对高频分量进行小波分解为公知技术，本实施例不再赘述。

进一步需要说明的是，小波系数在频率范围上的分布是从左到右是按频带大小顺序分布的，因此，一个小波系数对应一个频带，也对应一个尺度，而不同帧监控图像所包含的频带及数量是相同的，然而不同帧各频带的系数存在差异，则小波系数的能量变化折线存在差异，因此需要通过DTW匹配来获取相邻帧中变化趋势相近的尺度来进行尺度影响程度的分析。

具体的，对于当前帧监控图像，以当前帧监控图像的小波系数序列中每个小波系数的模作为纵坐标，即小波系数对应频带的能量，小波系数在序列中的次序值作为纵坐标，构建坐标系并连接坐标点得到一条折线，记为当前帧监控图像的能量变化折线；按照上述方法获取每帧监控图像的能量变化折线；对于当前帧监控图像与前一帧监控图像，对两帧监控图像的能量变化折线进行DTW匹配，根据获得的距离矩阵，则可以得到当前帧监控图像的能量变化折线中每个坐标点对应的若干匹配点对，一个坐标点可能对应一个或多个匹配点对，同时多个坐标点可能与前一帧监控图像的能量变化折线中一个坐标点形成匹配点对，将当前帧监控图像记为第帧监控图像，前一帧监控图像则为第/>帧监控图像，则当前帧监控图像的能量变化折线中第/>个坐标点的尺度影响系数/>的计算方法为：

其中，表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的匹配点对的数量，/>表示第/>帧监控图像的能量变化折线中第/>个坐标点的横坐标，/>表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的第/>个匹配点对中前一帧的坐标点的横坐标，即第/>帧中第/>个坐标点与第/>帧中若干坐标点形成匹配点对，获取其中第/>个匹配点对中第/>帧的坐标点的横坐标，/>表示求绝对值；通过匹配点对之间横坐标的变化，即对应频带上能量的变化，来量化坐标点及对应尺度的尺度影响程度，差异越大且匹配点对越多，则尺度影响系数越大；按照上述方法获取当前帧监控图像的能量变化折线中每个坐标点的尺度影响系数，对所有尺度影响系数进行线性归一化，得到的结果作为每个坐标点对应尺度的尺度影响程度，则得到了当前帧监控图像中每个尺度的尺度影响尺度；按照上述方法获取每帧监控图像每个尺度的尺度影响程度（第一帧监控图像不参与计算）。

进一步需要说明的是，根据获得的尺度影响程度，其表明在对应频带内的图像细节纹理变化的程度，但人员目标在连续两帧监控图像上的区域变化在影响对应频带的能量占比之外，更会存在运动模糊状况引起频带能量的逸散情况，其是由人员目标的运动模糊导致区域细节信息的减少，从而引起的某些频带内的能量减小，而其相邻的频带内能量增大，导致频带能量差异减小，导致频带上能量整体出现逸散的情况。

具体的，以当前帧监控图像即第帧监控图像，以及前一帧监控图像即第/>帧监控图像为例，预设一个邻域大小，本实施例邻域大小采用3进行叙述，将每个尺度相邻前三个及后三个尺度作为每个尺度的邻域，需要说明的是，若由于尺度对应的小波系数在小波系数序列靠近边界的位置，即无法获取邻域内尺度的小波系数，则以能够获取到的小波系数的尺度来组成邻域，无需进行补全，当前帧监控图像第/>个尺度的尺度逸散程度/>的计算方法为：

其中，表示第/>帧监控图像第/>个尺度的尺度影响程度，/>表示第/>帧监控图像第/>个尺度的邻域内尺度的数量，/>表示第/>帧监控图像第/>个尺度的近似系数的模，/>表示第/>帧监控图像第/>个尺度的邻域内第/>个尺度的近似系数的模，特别说明的是，若第/>个尺度或邻域内第/>个尺度为最后一个尺度，则将近似系数替换为细节系数；/>表示第/>帧监控图像第/>个尺度对应坐标点的横坐标，/>表示第/>帧监控图像第/>个尺度的邻域内第/>个尺度对应坐标点的横坐标，/>表示对两个横坐标计算一维高斯函数距离，/>表示求绝对值，/>表示以自然常数为底的指数函数，本实施例采用/>模型来呈现反比例关系及归一化处理，其中/>表示模型的输入，实施者可根据实际情况设置反比例函数及归一化函数；尺度影响程度越大，尺度发生变化的程度越大，相应逸散程度越大，同时通过一维高斯函数距离作为对应模差值的权重，模差值越大，发生逸散的可能性越大，尺度逸散程度越大；按照上述方法获取每帧监控图像每个尺度的尺度逸散程度（第一帧监控图像不参与计算）。

至此，得到了每帧监控图像每个尺度的尺度影响程度及尺度逸散程度，尺度逸散程度越大，则表明连续两帧监控图像相同频带内的细节纹理发生了运动模糊的程度越大，反映到人员区域则是发生运动模糊的面积越大，模糊效果越明显，其越需要在后续的小波图像重构融合过程中获得更大的融合权值。

步骤S003、根据相邻帧监控图像作差获取到的目标变化区域，结合不同尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值。

需要说明的是，获取到尺度逸散程度后，分析每个频带与其相邻频带的能量差距变化情况，再结合连续两帧监控图像对应尺度小波系数的运动模糊影响结构上的变化，获得对应尺度的区域模糊程度，表征连续帧图像多尺度对应的图像中的细节纹理结构的清晰程度，便于后续通过帧间对比进行融合权值的确定，实现利用小波图像融合重构的人员区域针对性增强。

具体的，对当前帧监控图像与前一帧监控图像作差，即相同位置的像素点的灰度值相减得到差值，对差值取绝对值，记为当前帧每个像素点的帧差值，像素点的帧差值组成的图像记为当前帧的帧差图像，则帧差图像中灰度值不为0的像素点即为连续两帧监控图像中灰度值发生变化的像素点；对帧差图像进行大津阈值分割，得到分割阈值，得到若干帧差值大于分割阈值的像素点组成的区域，将得到的所有区域中面积最大的区域，作为当前帧的目标变化区域；按照上述方法获取每帧监控图像的目标变化区域（第一帧监控图像不参与计算）。

进一步的，对于任意一个尺度，获取该尺度在当前帧的目标变化区域中对应的区域，即每个尺度在小波分解中对应的区域不同，获取该尺度在目标变化区域中对应的区域，同时可能获取到不止一个区域，即对应了若干小区域，统一记为该尺度在当前帧的变化区域；对该尺度在当前帧的变化区域获取质心，变化区域为一个大区域或多个小区域都能得到一个质心，因此对多个小区域不再进行说明；获取变化区域的若干边缘像素点，从质心出发到每个边缘像素点作射线，对于任意一条射线，将该射线上所有变化区域内像素点的帧差值，按照从质心到边缘像素点的顺序进行排列，得到该条射线对应边缘像素点的帧差变化序列，获取每个边缘像素点的帧差变化序列；需要说明的是，质心可能不在变化区域内，以射线上在变化区域内的像素点的帧差值进行排列，同时若一条射线上包括两个边缘像素点，即此时该条射线一部分与另一条射线重叠，则舍弃另一条射线，仅保留该条射线，并获取到该条射线对应像素点的帧差变化序列，另一条射线则不再获取帧差变化序列，即可能由于质心在变化区域外，则射线先经过第一个边缘像素点进入变化区域，到第二个边缘像素点离开变化区域，则以第二个边缘像素点来获取帧差变化序列；则可以得到该尺度在当前帧的若干帧差变化序列。

进一步的，获取到若干帧差变化序列后，对任意两个帧差变化序列获取DTW距离，将与其他所有帧差变化序列的DTW距离的均值最小的帧差变化序列，记为目标规整序列，其他帧差变化序列记为非目标变化序列；对于目标规整序列与任意一个非目标变化序列，获取两序列的DTW匹配结果，则得到了目标规整序列中每个元素在该非目标变化序列的匹配点对；对于目标规整序列中任意一个元素，若该元素对应一个匹配点对，则将匹配点对中两个元素的元素值均值，作为该元素与该非目标变化序列的更新元素值；若该元素对应多个匹配点对，即该元素与非目标变化序列中多个元素匹配，将该元素及匹配对应的多个元素的元素值均值，作为该元素与该非目标变化序列的更新元素值；若该元素及相邻若干元素共同匹配非目标变化序列中一个元素，则将目标规整序列中多个元素及共同匹配元素的元素值均值，作为目标规整序列中该多个元素包括的每个元素与该非目标变化序列的更新元素值；按照上述方法获取目标规整序列中每个元素与每个非目标变化序列的更新元素值，对任意一个元素的所有更新元素值求均值，记为该元素的规整元素值，将所有元素的规整元素值按照元素在目标规整序列中的排列顺序排列，得到的序列记为该尺度在当前帧的等长规整均值序列；获取等长规整均值序列中元素值的偏度，偏度计算为公知技术，本实施例不再赘述；将偏度与该尺度在当前帧的尺度逸散程度的乘积，作为该尺度在当前帧的区域模糊系数；按照上述方法获取当前帧监控图像中每个尺度的变化区域及区域模糊系数，对所有区域模糊系数进行线性归一化，得到的结果作为当前帧监控图像中每个尺度的区域模糊程度；按照上述方法获取每帧监控图像中每个尺度的变化区域及区域模糊程度（第一帧监控图像不参与计算）。

进一步的，对于当前帧监控图像任意一个尺度，预设一个模糊阈值，本实施例模糊阈值采用0.78进行叙述，若该尺度在当前帧的区域模糊程度小于模糊阈值，则获取该尺度在前一帧监控图像的近似系数（细节系数）的模与该尺度在当前帧监控图像的近似系数（细节系数）的模的比值，将比值与该尺度在当前帧的区域模糊程度的乘积，记为该尺度在当前帧的融合权值；若该尺度在当前帧的区域模糊程度大于或等于模糊阈值，则获取该尺度在当前帧监控图像的近似系数（细节系数）的模与该尺度在前一帧监控图像的近似系数（细节系数）的模的比值，将比值与该尺度在当前帧的区域模糊程度的乘积，记为该尺度在当前帧的融合权值；按照上述方法获取每帧监控图像中每个尺度的融合权值（第一帧监控图像不参与计算）。

至此，获取到了除第一帧监控图像外，每帧监控图像中每个尺度的融合权值。

步骤S004、根据融合权值对每帧监控图像通过小波逆变换进行增强。

获取到每帧监控图像每个尺度的融合权值后，对于任意一帧监控图像，将该帧监控图像每个尺度的融合权值，作为每个尺度对应小波系数的融合权重，根据融合权重对小波系数通过小波逆变换进行融合重构得到图像，记为增强后的监控图像，则对该帧监控图像完成了增强，按照上述方法对每帧监控图像根据融合权值通过小波逆变换进行增强，得到每帧增强后的监控图像，则完成了对监控图像的增强（第一帧监控图像不参与计算）。

至此，通过小波分解及小波逆变换，结合监控图像相邻帧不同尺度的变化，完成了每帧监控图像的增强。

请参阅图2，其示出了本发明另一个实施例所提供的一种基于图像处理的监控图像增强系统结构框图，该系统包括：

监控图像采集模块101，用于采集若干帧夜间待增强的监控图像。

尺度特征分析模块102：

（1）根据相邻帧监控图像的小波系数序列的DTW匹配结果，获取每帧监控图像每个尺度的尺度影响程度；根据小波系数与尺度影响程度，获取每帧监控图像每个尺度的尺度逸散程度；

（2）根据相邻帧监控图像作差获取到的目标变化区域，结合不同尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值。

监控图像增强模块103，用于根据融合权值对每帧监控图像通过小波逆变换进行增强。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像处理的监控图像增强方法，其特征在于，该方法包括以下步骤：

采集若干帧夜间待增强的监控图像；

根据相邻帧监控图像的小波系数序列的DTW匹配结果，获取每帧监控图像每个尺度的尺度影响程度；根据小波系数与尺度影响程度，获取每帧监控图像每个尺度的尺度逸散程度；

根据相邻帧监控图像作差获取到的目标变化区域，结合不同尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值；

根据融合权值对每帧监控图像通过小波逆变换进行增强；

其中，所述每帧监控图像每个尺度的尺度影响程度，具体的获取方法为：

对每帧监控图像通过小波变换得到小波系数序列及能量变化折线；将最新一帧监控图像作为当前帧监控图像，当前帧监控图像相邻前一帧监控图像作为前一帧监控图像；

对于当前帧监控图像与前一帧监控图像，对两帧监控图像的能量变化折线进行DTW匹配，得到当前帧监控图像的能量变化折线中每个坐标点对应的若干匹配点对；将当前帧监控图像记为第帧监控图像，前一帧监控图像为第/>帧监控图像，当前帧监控图像的能量变化折线中第/>个坐标点的尺度影响系数/>的计算方法为：

其中，表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的匹配点对的数量，表示第/>帧监控图像的能量变化折线中第/>个坐标点的横坐标，/>表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的第/>个匹配点对中前一帧的坐标点的横坐标，/>表示求绝对值；

获取每帧监控图像每个尺度的尺度影响程度；

其中，所述对每帧监控图像通过小波变化得到小波系数序列及能量变化折线，包括的具体方法为：

对当前帧监控图像进行离散小波变换分解，仅进行高频分量的多尺度分解，得到若干近似系数以及一个细节系数，每个近似系数或细节系数对应一个尺度，按照尺度的顺序对小波系数进行排序，得到当前帧监控图像各自的小波系数序列，获取每帧监控图像的小波系数序列；

根据每帧监控图像的小波系数序列得到每帧监控图像的能量变化折线；

其中，所述根据每帧监控图像的小波系数序列得到每帧监控图像的能量变化折线，包括的具体方法为：

对于当前帧监控图像，以当前帧监控图像的小波系数序列中每个小波系数的模作为纵坐标，小波系数在序列中的次序值作为纵坐标，构建坐标系并连接坐标点得到一条折线，记为当前帧监控图像的能量变化折线；获取每帧监控图像的能量变化折线；

其中，所述每帧监控图像每个尺度的尺度逸散程度，具体的获取方法为：

获取每个尺度的邻域，第帧监控图像第/>个尺度的尺度逸散程度/>的计算方法为：

其中，表示第/>帧监控图像第/>个尺度的尺度影响程度，/>表示第/>帧监控图像第/>个尺度的邻域内尺度的数量，/>表示第/>帧监控图像第/>个尺度的近似系数的模，/>表示第帧监控图像第/>个尺度的邻域内第/>个尺度的近似系数的模，/>表示第/>帧监控图像第/>个尺度对应坐标点的横坐标，/>表示第/>帧监控图像第/>个尺度的邻域内第/>个尺度对应坐标点的横坐标，/>表示对两个横坐标计算一维高斯函数距离，/>表示以自然常数为底的指数函数；

获取每帧监控图像每个尺度的尺度逸散程度。

2.根据权利要求1所述的一种基于图像处理的监控图像增强方法，其特征在于，所述获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值，包括的具体方法为：

根据每帧监控图像的目标变化区域及每个尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度；

对于当前帧监控图像任意一个尺度，若该尺度在当前帧的区域模糊程度小于模糊阈值，获取该尺度在前一帧监控图像的近似系数的模与该尺度在当前帧监控图像的近似系数的模的比值，将比值与该尺度在当前帧的区域模糊程度的乘积，记为该尺度在当前帧的融合权值；

若该尺度在当前帧的区域模糊程度大于或等于模糊阈值，获取该尺度在当前帧监控图像的近似系数的模与该尺度在前一帧监控图像的近似系数的模的比值，将比值与该尺度在当前帧的区域模糊程度的乘积，记为该尺度在当前帧的融合权值；获取每帧监控图像中每个尺度的融合权值。

3.根据权利要求2所述的一种基于图像处理的监控图像增强方法，其特征在于，所述每帧监控图像每个尺度的变化区域及区域模糊程度，具体的获取方法为：

通过对相邻帧监控图像作差获取每帧监控图像的目标变化区域；对于任意一个尺度，获取该尺度在当前帧的目标变化区域中对应的区域，记为该尺度在当前帧的变化区域；

对该尺度在当前帧的变化区域获取质心，获取变化区域的若干边缘像素点，从质心出发到每个边缘像素点作射线，对于任意一条射线，将该射线上所有变化区域内像素点的帧差值，按照从质心到边缘像素点的顺序进行排列，得到该条射线对应边缘像素点的帧差变化序列，获取每个边缘像素点的帧差变化序列，得到该尺度在当前帧的若干帧差变化序列；

对任意两个帧差变化序列获取DTW距离，将与其他所有帧差变化序列的DTW距离的均值最小的帧差变化序列，记为目标规整序列，其他帧差变化序列记为非目标变化序列；

对于目标规整序列与任意一个非目标变化序列，获取两序列的DTW匹配结果，得到目标规整序列中每个元素在该非目标变化序列的匹配点对；对于目标规整序列中任意一个元素，若该元素对应一个匹配点对，将匹配点对中两个元素的元素值均值，作为该元素与该非目标变化序列的更新元素值；若该元素对应多个匹配点对，将该元素及匹配对应的多个元素的元素值均值，作为该元素与该非目标变化序列的更新元素值；若该元素及相邻若干元素共同匹配非目标变化序列中一个元素，将目标规整序列中多个元素及共同匹配元素的元素值均值，作为目标规整序列中该多个元素包括的每个元素与该非目标变化序列的更新元素值；

获取目标规整序列中每个元素与每个非目标变化序列的更新元素值，对任意一个元素的所有更新元素值求均值，记为该元素的规整元素值，将所有元素的规整元素值按照元素在目标规整序列中的排列顺序排列，得到的序列记为该尺度在当前帧的等长规整均值序列；

获取等长规整均值序列中元素值的偏度，将偏度与该尺度在当前帧的尺度逸散程度的乘积，作为该尺度在当前帧的区域模糊系数；获取当前帧监控图像中每个尺度的变化区域及区域模糊系数，对所有区域模糊系数进行线性归一化，得到的结果作为当前帧监控图像中每个尺度的区域模糊程度；获取每帧监控图像中每个尺度的变化区域及区域模糊程度。

4.根据权利要求3所述的一种基于图像处理的监控图像增强方法，其特征在于，所述通过对相邻帧监控图像作差获取每帧监控图像的目标变化区域，包括的具体方法为：

对当前帧监控图像与前一帧监控图像作差，相同位置的像素点的灰度值相减得到差值，对差值取绝对值，记为当前帧每个像素点的帧差值，像素点的帧差值组成的图像记为当前帧的帧差图像；对帧差图像进行大津阈值分割，得到分割阈值，得到若干帧差值大于分割阈值的像素点组成的区域，将得到的所有区域中面积最大的区域，作为当前帧的目标变化区域；获取每帧监控图像的目标变化区域。

5.根据权利要求1所述的一种基于图像处理的监控图像增强方法，其特征在于，所述根据融合权值对每帧监控图像通过小波逆变换进行增强，包括的具体方法为：

对于任意一帧监控图像，将该帧监控图像每个尺度的融合权值，作为每个尺度对应小波系数的融合权重，根据融合权重对小波系数通过小波逆变换进行融合重构得到图像，记为增强后的监控图像；对每帧监控图像根据融合权值通过小波逆变换进行增强，得到每帧增强后的监控图像。

6.一种基于图像处理的监控图像增强系统，其特征在于，该系统包括：

监控图像采集模块，用于采集若干帧夜间待增强的监控图像；

尺度特征分析模块：用于根据相邻帧监控图像的小波系数序列的DTW匹配结果，获取每帧监控图像每个尺度的尺度影响程度；根据小波系数与尺度影响程度，获取每帧监控图像每个尺度的尺度逸散程度；

其中，所述每帧监控图像每个尺度的尺度影响程度，具体的获取方法为：

对每帧监控图像通过小波变换得到小波系数序列及能量变化折线；将最新一帧监控图像作为当前帧监控图像，当前帧监控图像相邻前一帧监控图像作为前一帧监控图像；

对于当前帧监控图像与前一帧监控图像，对两帧监控图像的能量变化折线进行DTW匹配，得到当前帧监控图像的能量变化折线中每个坐标点对应的若干匹配点对；将当前帧监控图像记为第帧监控图像，前一帧监控图像为第/>帧监控图像，当前帧监控图像的能量变化折线中第/>个坐标点的尺度影响系数/>的计算方法为：

其中，表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的匹配点对的数量，表示第/>帧监控图像的能量变化折线中第/>个坐标点的横坐标，/>表示第/>帧监控图像的能量变化折线中第/>个坐标点对应的第/>个匹配点对中前一帧的坐标点的横坐标，/>表示求绝对值；

获取每帧监控图像每个尺度的尺度影响程度；

其中，所述对每帧监控图像通过小波变化得到小波系数序列及能量变化折线，包括的具体方法为：对当前帧监控图像进行离散小波变换分解，仅进行高频分量的多尺度分解，得到若干近似系数以及一个细节系数，每个近似系数或细节系数对应一个尺度，按照尺度的顺序对小波系数进行排序，得到当前帧监控图像各自的小波系数序列，获取每帧监控图像的小波系数序列；

根据每帧监控图像的小波系数序列得到每帧监控图像的能量变化折线；

其中，所述根据每帧监控图像的小波系数序列得到每帧监控图像的能量变化折线，包括的具体方法为：对于当前帧监控图像，以当前帧监控图像的小波系数序列中每个小波系数的模作为纵坐标，小波系数在序列中的次序值作为纵坐标，构建坐标系并连接坐标点得到一条折线，记为当前帧监控图像的能量变化折线；获取每帧监控图像的能量变化折线；

根据相邻帧监控图像作差获取到的目标变化区域，结合不同尺度的尺度逸散程度，获取每帧监控图像每个尺度的变化区域及区域模糊程度并得到融合权值；

其中，所述每帧监控图像每个尺度的尺度逸散程度，具体的获取方法为：

获取每个尺度的邻域，第帧监控图像第/>个尺度的尺度逸散程度/>的计算方法为：

其中，表示第/>帧监控图像第/>个尺度的尺度影响程度，/>表示第/>帧监控图像第/>个尺度的邻域内尺度的数量，/>表示第/>帧监控图像第/>个尺度的近似系数的模，/>表示第帧监控图像第/>个尺度的邻域内第/>个尺度的近似系数的模，/>表示第/>帧监控图像第/>个尺度对应坐标点的横坐标，/>表示第/>帧监控图像第/>个尺度的邻域内第/>个尺度对应坐标点的横坐标，/>表示对两个横坐标计算一维高斯函数距离，/>表示以自然常数为底的指数函数；

获取每帧监控图像每个尺度的尺度逸散程度；

监控图像增强模块，用于根据融合权值对每帧监控图像通过小波逆变换进行增强。