CN107122762A - 一种针对复杂运动图像的处理方法 - Google Patents

Abstract

本发明公开了一种针对复杂运动图像的处理方法，该针对复杂运动图像的处理方法包括：对复杂运动图像的矢量算法进行处理；对复杂运动图像的视频动态叠加进行处理；对复杂运动图像的综合静态和动态模糊图像进行处理。本发明通过动态捕捉视频信息与自动预警机制建立关联，提示目标物的出现以便公安刑侦人员及时采取措施，同时自动提取有关联信息的视频，便于侦查人员进行串并案分析及视频比对分析处理，找到有价值的线索等。

Description

一种针对复杂运动图像的处理方法

技术领域

本发明属于图像数据处理技术领域，尤其涉及一种针对复杂运动图像的处理方法。

背景技术

目标物比如人脸识别的研究，起源于19世纪末法国人SirFranis Galton。以Allen和Parke为代表主要研究面部特征；人机交互式识别及用几何特征参数来研究的以Harmon和Lesk为代表，以Kaya和Kobayashi为代表采用了统计识别方法；Eyematic公司和我国清华大学研发了“人脸识别系统”，但对视频监控模糊图像的识别率不高，并且对目标物进行动态捕捉预警技术研究处于初始阶段。随着视频监控技术的不断发展，我国目前视频监控在智慧城市、数字城市、平安园区等各类项目得以广泛应用。监控视频已经成为公安部门进行案件侦查的重要依据和线索，视频侦查已逐步成为继刑侦，技侦，网侦之后的第四大侦查手段。在公安视频监控中，模糊图像的目标物检测识别及动态捕捉预警技术具有直接、方便、快捷以及非侵犯性的特点，在刑事侦查、维护国家安全和人民生命财产安全以及在反恐、防恐中具有重要意义，极具研究价值和潜力。视频监控于20世纪80年代正式在我国开始启用，110指挥中心最早使用了视频监控，用于监控城市的治安情况。随着社会的发展，视频监控已经广泛应用于公安机关的治安、刑侦、交通管理、禁毒等多个职能部门具体业务工作中。但由于目前视频监控模糊图像的识别率不高，缺乏有效的信息技术支撑，在公安视频侦查过程中仍然面临图像调取及格式不统一、视频信息管理及协同难、效率不高等问题，针对公安视频监控模糊图像，对嫌疑人人脸或车辆进行检测识别以及动态捕捉、预警等必要的视频图像处理技术，显得尤为重要。神经网络在工程中的应用是从20世纪90年代才开始的，一般为多层前馈的BP神经网络，但BP神经网络存在局部最优问题，并且训练速度慢、效率低，而模糊神经网络在一定程度上克服了这些问题，它在逼近能力、分类能力和学习速度等方面均优于BP神经网络。而Rough Sets理论(简称RS理论)在操作时无须提供除问题所需处理的数据集合之外的任何先验信息，可以直接对多维数据实施基于属性和元组两个方向上的一致数据浓缩或不一致数据浓缩，从中发现隐含的知识，揭示潜在的规律。

发明内容

本发明的目的在于提供一种针对复杂运动图像的处理方法，利用检测过程中产生的模式信息和已检测帧的运动矢量信息，用复杂度较低的运算提高了对运动目标的提取和识别，减少了误判概率；针对视频中复杂运动图像目标彼此间的动态关系需要，将视频序列分割为若干个子序列同时进行处理，提取动态目标数据，进行叠加帧处理，以获取背景对运动目标的叠加作用效应，精准确定运动目标运动行为；以静态单帧特征和基于图像序列中的动态特征相结合的方式，进行静态单帧特征提取及图像序列的非线性动态特征调整匹配，精简特征描述及分类处理计算量，提高对运动目标的分类识别能力。

本发明是这样实现的，一种针对复杂运动图像的处理方法，所述针对复杂运动图像的处理方法包括：利用检测过程中产生的模式信息和已检测帧的运动矢量信息；将视频序列分割为若干个子序列同时进行处理，提取动态目标数据，进行叠加帧处理，以获取背景对运动目标的叠加作用效应，精准确定运动目标运动行为；以静态单帧特征和基于图像序列中的动态特征相结合的方式，进行静态单帧特征提取及图像序列的非线性动态特征调整匹配，精简特征描述及分类处理计算量；

所述针对复杂运动图像的处理方法具体包括：

对复杂运动图像的矢量算法进行处理；

对复杂运动图像的视频动态叠加进行处理；

对复杂运动图像的综合静态和动态模糊图像进行处理。

进一步，对复杂运动图像的矢量算法进行处理方法为：

针对视频监控过程中复杂运动图像，首先进行运动模式分类，产生相应运动矢量信息，接着进一步提取帧间预测时产生的运动矢量，完成视频运动对象的粗提取，最后进行运动矢量的累计，从而提取出可靠的视频运动目标；在实际提取和使用帧间运动矢量时，必须先经过平滑和矫正，以去除噪声运动矢量。

进一步，对复杂运动图像的视频动态叠加进行处理方法为：

针对视频中复杂运动图像目标彼此间的动态关系需要，将视频序列分割为若干个子序列同时进行处理，提取动态目标数据，进行叠加帧处理，以获取背景对运动目标的叠加作用效应，精准确定运动目标运动行为。

进一步，对复杂运动图像的综合静态和动态模糊图像进行处理方法为：

针对视频监控中复杂运动图像进行静态单帧特征和基于图像序列中的动态特征相结合的方式，进行静态单帧特征提取及图像序列的非线性动态特征调整匹配，精简特征描述及分类处理计算量，提高对运动目标的分类识别能力。

进一步，复杂运动图像包括运动多目标识别和跟踪图像，采用卡尔曼滤波法与矩形跟踪法结合，分离目标位置、面积的特征，通过构建特征识别矩阵分析目标运动状态，再对不同状态实施相应的多视角的监控跟踪。

进一步，构建特征辨识矩阵为：

利用目标的特征与目前目标所处的区域特点构建新矩阵，利用矩形跟踪法判别目标是否产生、是否消失，分析目标特征，预判目标状态空间，判断目标的所处运动状态。

进一步，判断目标所处运动状态具体为：将目标分为新目标、目标的融合与目标的消失，当新目标出现时，立刻构建新目标的信息；当目标出现分裂时，分析产生分裂的原因，跟踪分裂；当不同目标出现相互融合时，对融合后的目标进行融合处理；当跟踪的目标消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。

本发明中，通过图像处理和计算机视觉技术，在监控系统中增加智能分析功能模块，借助计算机的数据处理能力进而过滤掉视频图像中无用的信息或干扰信息、自动识别不同物体，分析抽取视频中关键有用信息，快速、准确得定位事故现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行事前预警、事中处理以及事后取证的全自动实时监控的智能系统；

对公安视频监控模糊图像，采用模糊神经网络和RS理论等，对目标物进行检测识别，改进并提出新的算法，提高模糊图像辨识率；融合处理有效信息并动态提取目标物特征进行动态捕捉及预警，达到国家先进水平；视频监控于20世纪80年代正式在我国开始启用，110指挥中心最早使用了视频监控，用于监控城市的治安情况。

支持与前端视频监控的对接，自动将有价值的视频联网采集到搜索视频中，减少视频采集的工作量；

快速定位目标物出现区域，以便公安刑侦人员有针对性的加强警力部署或就近增加监控摄像头等；

通过动态捕捉视频信息与自动预警机制建立关联，提示目标物的出现以便公安刑侦人员及时采取措施，同时自动提取有关联信息的视频，便于侦查人员进行串并案分析及视频比对分析处理，找到有价值的线索等；

对不同的监控视频格式自动识别其格式封装和码流，并以在线流媒体方式供侦查人员调阅，支持主流DVR，NVR厂家的视频格式直接播放，也支持主流DV、手机所拍摄的视频格式，实现多种视频格式的在线播放、视频快速查阅等。

本发明解决了目前视频监控图像模糊、散焦模糊低的问题。

附图说明

图1是本发明实施例提供的针对复杂运动图像的处理方法流程图。

图2是本发明实施例提供的稀疏冗余字典算法增强图像流程图。

图3是本发明实施例提供的SIFT算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作进一步描述。

如图1所示：一种针对复杂运动图像的处理方法，该针对复杂运动图像的处理方法包括：

S101：对复杂运动图像的矢量算法进行处理；

S102：对复杂运动图像的视频动态叠加进行处理；

S103：对复杂运动图像的综合静态和动态模糊图像进行处理。

对复杂运动图像的矢量算法进行处理；

对复杂运动图像的视频动态叠加进行处理；

对复杂运动图像的综合静态和动态模糊图像进行处理；

复杂运动图像包括运动多目标识别和跟踪图像；

采用卡尔曼滤波法与矩形跟踪法结合，分离目标位置、面积的特征，通过构建特征识别矩阵分析目标运动状态，再对不同状态实施相应的多视角的监控跟踪。

构建特征辨识矩阵为：

利用目标的特征与目前目标所处的区域特点构建新矩阵，利用矩形跟踪法判别目标是否产生、是否消失，分析目标特征，预判目标状态空间，判断目标的所处运动状态。

判断目标所处运动状态具体为：将目标分为新目标、目标的融合与目标的消失，当新目标出现时，立刻构建新目标的信息；当目标出现分裂时，分析产生分裂的原因，跟踪分裂；当不同目标出现相互融合时，对融合后的目标进行融合处理；当跟踪的目标消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。

多视角的监控跟踪方法为：

针对运动目标的阴影检测、多目标跟踪、克服遮挡目标的方法以及多视角下监控目标的相互传递，首先，对运动目标的阴影光照和颜色特征进行分析，改进原有的检测方法；其次，先利用目标的特点，辨别运动状态，再处理不同跟踪里的不同状态达到跟踪多目标；再次，构建符合目标颜色的模型，运用颜色的特点克服对目标的遮挡；最后，分析多视角的监控系统应用需求，设计智能监控框架，实现不同视角的信息传递。

下面结合实施例对本发明的应用原理作进一步描述。

1、多目标跟踪技术:

多目标跟踪技术是智能视频监控系统的核心技术，其研宄涉及到传计算机图像处理、模式识别、人工智能及自动控制等诸多相关领域的知识，而智能视频监控能够现实复杂场景中对运动目标的识别和跟踪，检测场景事件和判断危险事件的发生，因此，应加大对多目标跟踪技术的研究工作，提高视频监控系统的智能化水平，改善监控系统的精准度，为社会的经济发展和社会治安贡献一份力量。

在现实复杂场景中，针对视频监控图像中的运动目标，本发明应用光流法和帧差法这两种运动目标检测技术对运动目标进行识别和跟踪。

2、多目标跟踪的实现:

(1)针对不同状态采用不同的跟踪方法：

具体实践中，要分析多目标的运动状态，对不同状态实行不同的跟踪方法，才能有效提高跟踪的性能。卡尔曼滤波与矩形跟踪法是常见的跟踪方法。卡尔曼滤波通过建立目标的运动模型和运动轨迹，判断目标的下一位置，根据位置特征进行跟踪，这种方法的准确度随着模型的准确度而变化。矩形跟踪运用运动时获得的矩形特征完成对目标的跟踪。它适用于简单的情况下判断目标的产生和消失，但无法进行深入的分析，也就不能进行稳定跟踪。

(2)卡尔曼滤波法与矩形跟踪法结合：

因为多目标图像在空间领域和时间领域都变化的特性不同，以往用于单视角的卡尔曼滤波法和矩形跟踪法都不能满足多目标同时处于运动场景时的跟踪，如果充分利用两种方法的优点，将它们有效结合，分离目标位置、面积等特征，通过构建特征识别矩阵分析目标运动状态，再对不同状态实施相应的跟踪办法。

(3)构建新的特征辨识矩阵：

多目标跟踪一直是智能监控的难点，首先，因为在多个目标都存在运动时，目标之间相互产生干扰，严重影响区域检测的精度；其次，在时间上它们相互关联，多目标间有可能有对应的因果关系，大大增加复杂度；再次，多个目标在同一时刻运动时，必须采用和运动状态相对应的提取处理办法。所以，多目标跟踪不仅和运动分离精度有关系，也和目标特征选择、状态分析紧密相连。

要实现对目标各种运动状态的实时监测，包括新目标出现时、目标保留在场景内但没有与其他目标相互干扰、目标出现分裂现象、目标出现融合现象以及目标突然消失等情况，构建特征辨识矩阵，充分利用目标的特征与目前目标所处的区域特点构建新矩阵，利用矩形跟踪法判别目标是否产生、是否消失，注意分析目标特征，预判目标状态空间，判断目标的运动状态。

判断目标所处状态，将目标分为新目标、目标的融合与目标的消失，当新目标出现时，立刻构建新目标的信息；当目标出现分裂时，分析产生分裂的原因，跟踪分裂；当不同目标出现相互融合时，对融合后的目标进行融合处理；当跟踪的目标消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息等。

3、提出一种新型的多视角的监控跟踪方法：

针对运动目标的阴影检测、多目标跟踪、克服遮挡目标的方法以及多视角下监控目标的相互传递。首先，对运动目标的阴影光照和颜色特征进行分析探讨，改进原有的检测办法；其次，探讨研究先利用目标的特点，辨别运动状态，再处理不同跟踪里的不同状态达到跟踪多目标；再次，构建符合目标颜色的模型，运用颜色的特点克服对目标的遮挡。最后，分析多视角的监控系统应用需求，设计智能监控框架，研究一种新型的多视角的监控跟踪办法，实现不同视角的信息传递。

4、图像增强与匹配技术:

(1)采用稀疏冗余模型算法进行图像增强:

由于自然图像会在小波基下呈现出一种“近零元素系数很多，而非零元素系数很少”的特点，这种特点为变换系数向量的“稀疏性”。正是由于这种特性的存在，可以对其进行系数冗余模型的建立。

首先，假定原图像收到了加性高斯噪声的污染，则污染后的图像可称之为退化图像，而图像恢复的过程其实就是退化图像的逆过程。假定图像的退化模型(加性高斯噪声)为：

g＝Hu+v

其中g表示要恢复的图像，H_u表示退化图像，v表示随机噪声

则图像的恢复模型可表示为：

其中表示恢复图像，g表示含噪图像，Hu表示原图像，arg是对图像的补偿；由于噪声的干扰，并不能得到合适且唯一的解，对图像的恢复模型施加一个正则性约束；则图像的恢复模型变为变分模型：

其中表示恢复图像，g表示含噪图像，Hu表示原图像，R(u)即为正则项，该项是与图像的本身性质有关，利用稀疏冗余字典模型来描述R(u)，λ表示约束参数。

整个恢复增强算法可以总结为如图2流程图：

(2)利用SIFT算法进行特征提取匹配

通过上述的流程，得到了一个较好的恢复图像，下面针对该恢复图像进行匹配，由于在视频拍摄过程中，往往会由于方向、角度等问题产生一定量的形变，针对这个问题，采用微分不变量，即基于局部考虑的特征提取算法(SIFT匹配算法)，该算法注重局部细节，能够很好的对抗位置移动，朝向改变甚至是噪声。

SIFT算法简易流程图3。

5、图像在不同尺度空间中的特性：

尺度空间的建立需要靠高斯模糊来实现，通过尺度参数不同的变化，观察图像在不同尺度空间中的特性。尺度空间内核的确立就成了关键问题，而实验证明，高斯卷积核是尺度空间内核唯一合理的线性核。

在一个图像的尺度空间

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中，G(x，y，σ)表示一个变化尺度的高斯函数，I(x，y)表示原图像，σ为尺度参数，m，n表示高斯模板的维度，(x，y)表示图像的像素位置；通过尺度参数不同的变化，表达图像在不同尺度空间中的特性。

6、图像关键点的确立

利用高斯差分函数：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)

其中D(x,y,σ)为高斯差分函数，I(x，y)表示原图像，G(x,y,kσ)为kσ变化尺度的高斯函数，G(x，y，σ)表示一个变化尺度的高斯函数，σ为尺度参数。通过对两个相邻高斯函数进行相减，得到高斯差分函数，并取得该函数的极值点，从而初步探查关键点。

7、验证了图像特征点的提取及匹配

SIFT算法的关键问题在于尺度空间的建立，关键点位置方向的确立和关键点描述子的确立。当这些问题得到解决后，就可以通过实验来验证图像特征点的提取及匹配情况，

8、结论

本发明建立了视频模糊图像中多目标跟踪算法相关的技术方法，提出了模糊图像中目标物的特征点的提取及匹配算法并进行了一定的实验探究。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对复杂运动图像的处理方法，其特征在于，所述针对复杂运动图像的处理方法包括：利用检测过程中产生的模式信息和已检测帧的运动矢量信息；将视频序列分割为若干个子序列同时进行处理，提取动态目标数据，进行叠加帧处理，以获取背景对运动目标的叠加作用效应，精准确定运动目标运动行为；以静态单帧特征和基于图像序列中的动态特征相结合的方式，进行静态单帧特征提取及图像序列的非线性动态特征调整匹配，精简特征描述及分类处理计算量；

所述针对复杂运动图像的处理方法具体包括：

对复杂运动图像的矢量算法进行处理；

对复杂运动图像的视频动态叠加进行处理；

对复杂运动图像的综合静态和动态模糊图像进行处理。

2.如权利要求1所述的针对复杂运动图像的处理方法，其特征在于，对复杂运动图像的矢量算法进行处理方法为：

针对视频监控过程中复杂运动图像，首先进行运动模式分类，产生相应运动矢量信息，接着进一步提取帧间预测时产生的运动矢量，完成视频运动对象的粗提取，最后进行运动矢量的累计，从而提取出可靠的视频运动目标；在实际提取和使用帧间运动矢量时，必须先经过平滑和矫正，以去除噪声运动矢量。

3.如权利要求1所述的针对复杂运动图像的处理方法，其特征在于，对复杂运动图像的视频动态叠加进行处理方法为：

针对视频中复杂运动图像目标彼此间的动态关系需要，将视频序列分割为若干个子序列同时进行处理，提取动态目标数据，进行叠加帧处理，以获取背景对运动目标的叠加作用效应，精准确定运动目标运动行为。

4.如权利要求1所述的针对复杂运动图像的处理方法，其特征在于，对复杂运动图像的综合静态和动态模糊图像进行处理方法为：

针对视频监控中复杂运动图像进行静态单帧特征和基于图像序列中的动态特征相结合的方式，进行静态单帧特征提取及图像序列的非线性动态特征调整匹配，精简特征描述及分类处理计算量，提高对运动目标的分类识别能力。

5.如权利要求1所述的针对复杂运动图像的处理方法，其特征在于，复杂运动图像包括运动多目标识别和跟踪图像，采用卡尔曼滤波法与矩形跟踪法结合，分离目标位置、面积的特征，通过构建特征识别矩阵分析目标运动状态，再对不同状态实施相应的多视角的监控跟踪。

6.如权利要求5所述的针对复杂运动图像的处理方法，其特征在于，构建特征辨识矩阵为：

利用目标的特征与目前目标所处的区域特点构建新矩阵，利用矩形跟踪法判别目标是否产生、是否消失，分析目标特征，预判目标状态空间，判断目标的所处运动状态。

7.如权利要求6所述的针对复杂运动图像的处理方法，其特征在于，判断目标所处运动状态具体为：将目标分为新目标、目标的融合与目标的消失，当新目标出现时，立刻构建新目标的信息；当目标出现分裂时，分析产生分裂的原因，跟踪分裂；当不同目标出现相互融合时，对融合后的目标进行融合处理；当跟踪的目标消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。