CN118096815B - 一种基于机器视觉的道路非常态事件检测系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，更进一步地，涉及一种基于机器视觉的道路非常态事件检测系统。所述系统包括：视频图像获取及预处理单元、运动目标检测与分割单元、运动轨迹跟踪单元和事件检测与判定单元；所述视频图像获取及预处理单元，用于获取目标道路连续的视频帧图像；所述运动目标检测与分割单元，用于对得到运动目标在每一帧预处理图像中的位移，得到分割运动对象；运动轨迹跟踪单元，用于基于每个分割运动对象在每一帧中的位移，得到每个运动目标的运动轨迹；所述事件检测与判定单元，用于定位出运动目标在进行异常运动时的时间。本发明具有准确率高和效率高的优点。

Description

一种基于机器视觉的道路非常态事件检测系统

技术领域

本发明属于图像处理技术领域，具体涉及一种基于机器视觉的道路非常态事件检测系统。

背景技术

随着城市交通的不断发展和智能化程度的提高，道路交通安全问题备受关注。在日常交通管理和安全监控中，对于道路上的异常事件（如车祸、交通事故、交通堵塞等）的及时检测和处理变得越来越重要。传统的交通监控系统往往依赖于人工巡逻或简单的视频监控设备，存在着监控范围有限、实时性不高、准确度不够等问题。为了解决这些问题，基于机器视觉技术的道路非常态事件检测系统应运而生。

传统的视频监控系统主要依靠摄像头采集视频图像，并通过人工巡逻或简单的图像处理算法进行事件检测。然而，这种系统存在着以下局限性：有限的监控范围：传统的摄像头布设和固定位置限制了监控范围，无法全面覆盖道路网络。人工巡逻成本高昂：人工巡逻需要大量人力物力，成本高昂，且监控效率低下。准确度不高：简单的图像处理算法往往无法准确识别复杂的非常态事件，容易产生误报或漏报。

发明内容

本发明的主要目的在于提供一种基于机器视觉的道路非常态事件检测系统，具有准确率高和效率高的优点。

为了解决上述问题，本发明的技术方案是这样实现的：

一种基于机器视觉的道路非常态事件检测系统，所述系统包括：视频图像获取及预处理单元、运动目标检测与分割单元、运动轨迹跟踪单元和事件检测与判定单元；所述视频图像获取及预处理单元，用于获取目标道路连续的视频帧图像，并对获取到的视频帧图像进行去噪预处理，得到预处理图像；所述运动目标检测与分割单元，用于对预处理图像使用差分光流法进行运动目标检测，得到运动目标在每一帧预处理图像中的位移，同时将每一帧预处理图像中检测出的运动目标分割出来，得到分割运动对象；运动轨迹跟踪单元，用于基于每个分割运动对象在每一帧中的位移，得到每个运动目标的运动轨迹；所述事件检测与判定单元，用于根据每个运动目标的运动轨迹，判断出是否有运动目标出现异常运动，同时，定位出运动目标在进行异常运动时的时间。

进一步的，视频图像获取及预处理单元包括：视频图像获取装置和预处理装置；所述视频图像获取装置为固定枪型摄像机；所述预处理装置在对获取到的视频帧图像进行去噪预处理的过程具体包括：对于视频帧图像中的每一帧图像，进行多次高斯模糊操作，生成不同尺度上的图像金字塔；图像金字塔是由每一帧逐级降采样得到的，每一级都比前一级小，并且分辨率降低；从图像金字塔的最高级开始，将每一级的图像放大至每一帧图像的原本大小，然后与上一级的高斯金字塔图像进行差分处理，得到残差图像；对生成的残差图像应用一个高斯模糊核，以模糊残差图像中的高频噪声，从而达到去噪后的残差图像；将去噪后的残差图像与图像金字塔的对应级别图像相加，得到每一帧图像对应的去噪图像；当完成对视频帧图像中的每一帧图像的去噪预处理后，得到视频特帧图像对应的预处理图像。

进一步的，运动目标检测与分割单元，对预处理图像使用差分光流法进行运动目标检测，得到运动目标在每一帧预处理图像中的位移的方法具体包括：对每一帧预处理图像，计算其空间梯度，得到其在水平方向和垂直方向上的梯度分量；接着，计算相邻两帧的预处理图像之间的时间梯度，表示像素在时间上的变化；通过求解差分光流方程组得到每个像素点的光流场；根据每个像素点的光流场，筛选出现了运动的像素点，将这些像素点对应的图像区域，作为运动目标，将这些像素点对应的光流场进行归一化均值处理，得到运动目标对应的归一化均值光流场，根据归一化均值光流场，得到运动目标在每一帧预处理图像中的位移。

进一步的，设在像素处的光流为，则差分光流方程组表示为：

；

其中，是一个的光流约束矩阵，用于约束光流的计算；是每一帧预处理图像的梯度的矩阵；、和分别表示像素在水平方向、垂直方向和时间上的梯度。

光流约束矩阵使用如下公式进行表示：

；

通过求解差分光流方程组，得到每个像素点的光流向量；表示像素在水平方向上的位移量，即像素在轴上的移动距离；表示像素在垂直方向上的位移量，即像素在轴上的移动距离。

进一步的，归一化均值光流场包括归一化均值水平方向的位移量和归一化均值垂直方向的位移量；所述归一化均值水平方向的位移量等于运动目标包括的所有像素在水平方向上的位移量的算术平均值；所述归一化均值垂直方向的位移量等于运动目标包括的所有像素在垂直方向上的位移量的算术平均值。

进一步的，将每一帧预处理图像中检测出的运动目标分割出来，得到分割运动对象的方法包括：对运动目标进行轮廓检测，找到运动目标的边界；根据轮廓的面积和宽高比，对轮廓进行过滤和筛选，筛选出面积大于设定面积阈值和预期宽高比在设定宽高比范围阈值的轮廓；根据筛选的轮廓，确定初始目标候选区域，将轮廓的边界矩形或最小包围圆作为初始目标候选区域的估计；从初始目标候选区域中选择具有其质心位置对应的像素作为种子像素；迭代执行以下步骤，直到达到设定的迭代次数：将种子像素标记为运动目标的一部分，并将其从初始目标候选区域中移除；从种子像素开始，搜索相邻像素，计算它们与初始目标候选区域的相似性；如果相似性高于阈值，则将该像素添加到初始目标候选区域，并将其从图像中移除；当达到设定的迭代次数后，最终得到的目标候选区域作为分割运动对象。

进一步的，运动轨迹跟踪单元，基于每个分割运动对象在每一帧中的位移，计算出每个分割运动对象在每一帧中的速度和加速度，以及在每一帧中的位置；按照时间顺序，连接分割运动向量在每一帧中的位置，得到每个运动目标的运动轨迹。

进一步的，将每个分割运动对象在每一帧中的速度和加速度，以及在每一帧中的位置，构建每个分割运动对象的轨迹向量；轨迹向量中的每个元素为一个三维向量，包括了每个分割运动对象在对应时刻的帧中的速度、加速度和位置；首先根据每个运动目标的运动轨迹，判断是否出现运动异常，得到判断结果；若判断结果为出现异常，则根据轨迹向量，计算最有可能出现异常的帧，从而定位出运动目标在进行异常运动时的时间。

进一步的，将每个运动目标的运动轨迹表示为一个或多个二元函数的组合，得到运动轨迹的函数表达，将函数表达作为输入，输入到预先建立的二分函数支持向量机中，得到判断结果；所述二分函数支持向量机通过预先输入的多个训练样本训练得到；每个训练样本均包括一个样本和标签；所述样本为一个或多个二元函数的组合；标签为异常或非异常；所诉二分函数支持向量机的目标函数使用如下公式进行表示：

；

其中，是超平面的法向量，是偏置项，是松弛变量；是惩罚参数，取值范围为1到2；是第一平滑参数，取值范围为0.5到1；为二元函数的数量；为二元函数的最大阶数；为二元函数的极大值点或极小值点对应的斜率的最小值；是第二平滑参数，取值范围为0.5到1。

进一步的，根据轨迹向量，计算最有可能出现异常的帧的方法包括：将轨迹向量中每个元素视为三维空间中的一个点，对这些点进行聚类分析，得到聚类中心，将距离聚类中心最远的点对应的元素视为异常元素，对应的时间为运动目标进行异常运动时的时间。

本发明的一种基于机器视觉的道路非常态事件检测系统，具有以下有益效果：基于机器视觉的道路非常态事件检测系统利用了运动目标检测与分割、运动轨迹跟踪等关键技术，能够实现对道路异常事件的实时监测和响应。在运动目标检测与分割单元中，系统利用差分光流法对预处理图像进行运动目标检测，实时地提取出运动目标，从而快速捕捉异常事件。同时，在运动轨迹跟踪单元中，系统基于每个分割运动对象在每一帧中的位移，计算出每个分割运动对象在每一帧中的速度和加速度，并按照时间顺序连接分割运动向量在每一帧中的位置，从而实现对异常事件的实时跟踪和定位。与传统的基于图像处理算法的系统相比，本发明采用了差分光流法等先进的机器学习算法，能够更准确地识别和跟踪运动目标。在差分光流法中，通过求解光流方程组，可以得到每个像素点的光流向量，从而实现对运动目标的准确检测和定位。此外，系统还利用轨迹向量的聚类分析方法，能够快速识别出异常元素，进一步提高了检测的准确性和稳定性。

附图说明

图1为本发明实施例提供的一种基于机器视觉的道路非常态事件检测系统的系统结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例1：参考图1，一种基于机器视觉的道路非常态事件检测系统，所述系统包括：视频图像获取及预处理单元、运动目标检测与分割单元、运动轨迹跟踪单元和事件检测与判定单元；所述视频图像获取及预处理单元，用于获取目标道路连续的视频帧图像，并对获取到的视频帧图像进行去噪预处理，得到预处理图像；所述运动目标检测与分割单元，用于对预处理图像使用差分光流法进行运动目标检测，得到运动目标在每一帧预处理图像中的位移，同时将每一帧预处理图像中检测出的运动目标分割出来，得到分割运动对象；运动轨迹跟踪单元，用于基于每个分割运动对象在每一帧中的位移，得到每个运动目标的运动轨迹；所述事件检测与判定单元，用于根据每个运动目标的运动轨迹，判断出是否有运动目标出现异常运动，同时，定位出运动目标在进行异常运动时的时间。

在道路监控系统中，视频图像的获取是首要任务。通常，这一任务由安装在道路周边的摄像头或者监控设备来完成。这些设备能够持续地拍摄道路上的场景，并将图像传输到系统中进行处理。视频图像获取单元负责接收并存储这些视频帧图像，确保后续处理步骤有足够的数据来源。但是，由于实际道路环境中存在各种噪声和干扰，直接使用原始图像进行处理容易导致误判或者不稳定的结果。因此，在传递给后续处理单元之前，需要对图像进行预处理。预处理的目标是消除噪声、增强图像特征，以及提高图像的质量。预处理的具体步骤包括去噪和图像增强。去噪是通过滤波器或者其他信号处理技术，去除图像中的噪声点，从而使图像更清晰、更易于分析。常用的去噪方法包括中值滤波、高斯滤波等。图像增强则是通过调整图像的亮度、对比度等参数，增强图像的特征，使目标更容易被检测和识别。图像增强技术可以包括直方图均衡化、锐化、色彩增强等。视频图像获取及预处理单元有效地结合了图像获取和预处理两个环节，确保了系统对道路场景的准确感知和有效分析。通过采用高质量的视频图像和精心设计的预处理方法，该单元为后续的运动目标检测、轨迹跟踪和异常事件检测提供了可靠的数据基础。因此，视频图像获取及预处理单元在整个道路非常态事件检测系统中起着至关重要的作用，为提高道路安全性和交通管理效率提供了可靠的技术支持。

运动目标检测与分割单元是基于机器视觉道路非常态事件检测系统中的核心模块之一。它的主要任务是在预处理后的视频图像中检测运动目标并将其分割出来，为后续的轨迹跟踪和异常事件检测提供基础。在道路监控系统中，运动目标检测是实时监测道路场景中运动目标的关键步骤。这些运动目标可以是车辆、行人或者其他移动物体。运动目标检测的原理基于对连续帧图像之间的变化进行分析。一般来说，静止的物体在连续帧图像中的位置是稳定的，而运动目标则会引起图像中像素值的变化。通过比较相邻帧图像之间的差异，可以检测到运动目标的存在。运动目标检测与分割单元通常采用光流法来实现目标检测。光流是描述图像中像素运动方向和速度的方法，其基本原理是利用图像序列中相邻帧之间的像素强度变化来计算像素点的位移。在道路监控系统中，运动目标通常表现为局部像素强度的变化，通过计算这些变化的光流场，可以得到运动目标的运动方向和速度。运动目标检测与分割单元首先对预处理后的视频图像进行光流场计算，得到图像中各个像素点的位移信息。然后，通过设定阈值或者其他筛选条件，将光流场中的运动目标提取出来，并进行分割。分割的过程通常包括边界检测、区域生长等技术，旨在将运动目标与背景进行有效分离，得到准确的运动目标区域。与传统的静态目标检测方法相比，基于光流的运动目标检测具有更高的实时性和准确性。它能够在复杂的道路环境中准确地检测到各种类型的运动目标，并将其分割出来，为后续的轨迹跟踪和异常事件检测提供可靠的数据支持。

传统的光流法是基于像素级的亮度一致性假设，即认为相邻帧之间的像素在运动过程中亮度保持不变。该方法通过在图像序列中寻找像素强度的变化来计算光流场，进而得到图像中每个像素点的位移。传统光流法在计算光流时考虑了整个图像序列，从而能够捕捉到较为准确的像素位移信息。差分光流法与传统光流法不同，差分光流法是一种更加局部化的方法。它将图像序列分成了多个时间段，并在每个时间段内计算光流场。然后，通过对比不同时间段的光流场，检测图像中的运动目标。差分光流法主要关注图像中局部像素的运动变化，因此更适用于场景中存在大量动态变化的情况，比如车辆行驶、行人移动等。由于传统光流法需要考虑整个图像序列，因此其计算复杂度相对较高。特别是在处理大尺寸、高分辨率的图像时，传统光流法需要消耗大量的计算资源和时间。相比之下，差分光流法由于将图像序列分成了多个时间段，并且只在局部区域内计算光流，因此其计算复杂度较低。这使得差分光流法更适用于实时性要求较高的应用场景，如道路监控系统中的运动目标检测。

在道路监控系统中，运动目标的轨迹跟踪是通过分析目标在连续帧图像中的位置信息来实现的。通常情况下，目标的轨迹可以用一系列二维坐标点来表示，每个坐标点代表目标在图像中的位置。运动轨迹跟踪单元的主要任务就是根据这些位置信息，预测目标未来的移动方向和位置，并实时更新目标的轨迹。运动轨迹跟踪单元通常采用的是基于卡尔曼滤波器或者其他滤波器的跟踪算法。这些滤波器通过对目标运动进行建模，结合当前观测到的位置信息，来估计目标的下一时刻位置，并更新目标的状态。其中，卡尔曼滤波器是一种常用的状态估计方法，它能够有效地处理目标运动过程中的不确定性和噪声，实现对目标轨迹的准确跟踪。在实际应用中，运动轨迹跟踪单元还会考虑到目标的运动特性和环境条件。例如，针对不同类型的运动目标（如车辆、行人等），可能采用不同的运动模型和跟踪策略。同时，对于复杂的场景和遮挡情况，需要采用更加鲁棒的跟踪算法，以确保目标轨迹的连续性和稳定性。运动轨迹跟踪单元能够实现对运动目标轨迹的高效、准确跟踪，并且能够适应不同场景和目标的特点。通过结合数学模型和图像处理算法，该单元能够在复杂的道路环境中实现对运动目标轨迹的实时监测和分析，为后续的异常事件检测提供可靠的数据支持。

首先，视频事件检测与判定单元会根据运动目标的轨迹和运动特征，对道路场景中的运动目标进行行为分析。这包括对目标的速度、加速度、运动方向等参数进行提取和分析，以及对目标的轨迹形态和运动模式进行建模和识别。通过对运动目标行为的分析，可以得到目标的正常行为模式和异常行为模式。其次，视频事件检测与判定单元会根据预先定义的异常事件规则，对目标的行为特征进行匹配和判断，以检测是否发生了异常事件。这些异常事件规则可以包括车辆突然加速、急刹车、行人突然穿越等常见的交通安全问题。当检测到目标的行为符合异常事件规则时，视频事件检测与判定单元会发出相应的警报信号，并将异常事件的发生时间和位置信息进行记录和定位。在实际应用中，视频事件检测与判定单元还会考虑到道路环境的特点和交通规则的约束，以提高异常事件检测的准确性和可靠性。例如，对于不同类型的道路和交通场景，可能需要针对性地调整异常事件规则和检测算法，以适应不同的监控需求和应用场景。视频事件检测与判定单元能够实现对道路场景中的异常事件的自动检测和判定，通过结合运动目标的轨迹和行为特征，以及预先定义的异常事件规则，实现对交通安全隐患的及时发现和预警。这不仅提高了道路交通管理的效率和安全性，也为道路监控系统的智能化和自动化提供了可靠的技术支持。

实施例2：视频图像获取及预处理单元包括：视频图像获取装置和预处理装置；所述视频图像获取装置为固定枪型摄像机；所述预处理装置在对获取到的视频帧图像进行去噪预处理的过程具体包括：对于视频帧图像中的每一帧图像，进行多次高斯模糊操作，生成不同尺度上的图像金字塔；图像金字塔是由每一帧逐级降采样得到的，每一级都比前一级小，并且分辨率降低；从图像金字塔的最高级开始，将每一级的图像放大至每一帧图像的原本大小，然后与上一级的高斯金字塔图像进行差分处理，得到残差图像；对生成的残差图像应用一个高斯模糊核，以模糊残差图像中的高频噪声，从而达到去噪后的残差图像；将去噪后的残差图像与图像金字塔的对应级别图像相加，得到每一帧图像对应的去噪图像；当完成对视频帧图像中的每一帧图像的去噪预处理后，得到视频特帧图像对应的预处理图像。

具体的，首先，视频图像获取装置采用固定枪型摄像机，用于稳定地拍摄道路场景，并将图像传输给预处理装置。预处理装置在对获取到的视频帧图像进行去噪预处理时，采用了倒金字塔技术。倒金字塔技术是一种图像处理方法，它通过逐步降低图像的分辨率来生成图像金字塔。在这个实施例中，预处理装置首先对每一帧视频图像进行多次高斯模糊操作，生成不同尺度上的图像金字塔。这些图像金字塔是由每一帧图像逐级降采样得到的，每一级都比前一级小，并且分辨率降低。这样做的目的是为了在不同尺度上提取图像的特征，以便更好地应对不同大小的目标和噪声。接着，预处理装置利用生成的图像金字塔进行残差图像的生成。它从图像金字塔的最高级开始，将每一级的图像放大至原始尺寸，并与上一级的高斯金字塔图像进行差分处理，得到残差图像。这一步骤旨在突出图像中的高频噪声和细节信息，以便后续的去噪处理。随后，预处理装置对生成的残差图像应用一个高斯模糊核，以模糊残差图像中的高频噪声，从而达到去噪的效果。高斯模糊操作可以平滑图像并减少噪声，提高图像的质量和清晰度。最后，预处理装置将去噪后的残差图像与图像金字塔的对应级别图像相加，得到每一帧图像对应的去噪图像。这样得到的去噪图像具有更好的清晰度和稳定性，适用于后续的运动目标检测、轨迹跟踪和异常事件检测。

实施例3：运动目标检测与分割单元，对预处理图像使用差分光流法进行运动目标检测，得到运动目标在每一帧预处理图像中的位移的方法具体包括：对每一帧预处理图像，计算其空间梯度，得到其在水平方向和垂直方向上的梯度分量；接着，计算相邻两帧的预处理图像之间的时间梯度，表示像素在时间上的变化；通过求解差分光流方程组得到每个像素点的光流场；根据每个像素点的光流场，筛选出现了运动的像素点，将这些像素点对应的图像区域，作为运动目标，将这些像素点对应的光流场进行归一化均值处理，得到运动目标对应的归一化均值光流场，根据归一化均值光流场，得到运动目标在每一帧预处理图像中的位移。

具体的，对每一帧预处理图像进行空间梯度计算。这一步骤通过计算图像的水平方向和垂直方向上的梯度分量来获取图像中各个像素点的梯度信息。梯度表示了图像中像素值的变化速度和方向，是检测运动目标的重要特征之一。接着，计算相邻两帧预处理图像之间的时间梯度。这一步骤通过比较两帧图像之间像素值的变化，来获取像素在时间上的变化信息。时间梯度反映了图像中像素随时间的运动情况，是光流法的关键参数之一。然后，通过求解差分光流方程组来计算每个像素点的光流场。差分光流方程组描述了图像中像素点在连续帧之间的运动关系，通过求解这个方程组可以得到图像中每个像素点的运动速度和方向。接下来，根据计算得到的光流场，筛选出现了运动的像素点，将这些像素点对应的图像区域作为运动目标。这一步骤通过对光流场进行分析和筛选，识别出图像中发生了运动的目标区域。最后，对筛选出的运动目标对应的光流场进行归一化均值处理，得到运动目标对应的归一化均值光流场。这一步骤可以进一步提取运动目标的运动特征，并计算其在每一帧预处理图像中的位移，为后续的轨迹跟踪和事件检测提供数据支持。

实施例4：设在像素处的光流为，则差分光流方程组表示为：

；

其中，是一个的光流约束矩阵，用于约束光流的计算；是每一帧预处理图像的梯度的矩阵；、和分别表示像素在水平方向、垂直方向和时间上的梯度。

光流约束矩阵使用如下公式进行表示：

；

通过求解差分光流方程组，得到每个像素点的光流向量；表示像素在水平方向上的位移量，即像素在轴上的移动距离；表示像素在垂直方向上的位移量，即像素在轴上的移动距离。

具体的，首先，需要了解差分光流方程组中涉及的各个参数。是在像素处的光流向量，表示像素在水平和垂直方向上的位移量。、和分别表示像素在水平方向、垂直方向和时间上的梯度。则是整个图像的梯度矩阵，包含了每个像素点的梯度信息。接着，光流约束矩阵起到了约束光流计算的作用。是一个的矩阵，其元素由和的梯度分量构成。这个矩阵在方程组中的作用类似于权重，用于调整光流计算的精度和稳定性。差分光流方程组的右侧项描述了图像中像素灰度值的变化对光流的影响。它通过计算图像在空间和时间上的梯度，得到了像素的运动情况，并将其与光流约束矩阵相乘，以求解出光流向量。整个方程组的求解过程是通过求解一个线性方程组来实现的，其中方程组的未知数即为光流向量。通过将梯度信息和光流约束矩阵带入方程组，可以得到每个像素点的光流向量，从而获得了图像中像素的运动情况。

图像梯度是指图像中像素灰度值的变化率，它可以反映出图像中的边缘和纹理等特征。在差分光流法中，梯度信息是计算光流的关键参数，因为它包含了图像中像素在空间上的变化情况。接着，来看光流约束矩阵的计算过程。该矩阵的元素由和的梯度分量构成，其中和分别表示像素在水平和垂直方向上的梯度。这些梯度分量可以通过对图像进行梯度计算得到，常见的方法包括Sobel算子和Prewitt算子等。在计算矩阵时，首先需要计算每个像素点的梯度分量和。这些分量可以通过对图像进行空间梯度计算得到，即对图像在水平和垂直方向上进行卷积操作，从而得到每个像素点的梯度信息。然后，利用计算得到的梯度分量和，可以构建光流约束矩阵。该矩阵的元素是由和的乘积构成的，分别填充在矩阵的对角线和非对角线位置上。这样做的目的是为了约束光流的计算，使其更加稳定和可靠。通过计算光流约束矩阵，可以得到一个与图像梯度相关的矩阵，用于约束光流的计算过程。这个矩阵可以提高光流计算的准确性和稳定性，从而得到更加可靠的光流向量，用于图像中运动目标的检测和跟踪。光流约束矩阵的计算原理基于对图像梯度信息的统计和分析，是差分光流法中的关键步骤之一。

实施例5：归一化均值光流场包括归一化均值水平方向的位移量和归一化均值垂直方向的位移量；所述归一化均值水平方向的位移量等于运动目标包括的所有像素在水平方向上的位移量的算术平均值；所述归一化均值垂直方向的位移量等于运动目标包括的所有像素在垂直方向上的位移量的算术平均值。

具体的，归一化均值光流场是指在图像中检测到的所有运动目标的平均位移量。对于每个运动目标，其包括的像素在水平和垂直方向上的位移量将被计算，并求取其算术平均值，以得到运动目标在水平和垂直方向上的平均位移量。具体地，归一化均值水平方向的位移量等于所有像素在水平方向上的位移量的算术平均值。这包括了运动目标在水平方向上的整体位移情况，通过对所有像素的位移量求取平均值，可以得到一个代表整体运动方向和距离的指标。同样地，归一化均值垂直方向的位移量等于所有像素在垂直方向上的位移量的算术平均值。这表示了运动目标在垂直方向上的整体位移情况，通过对所有像素的位移量求取平均值，可以得到一个代表整体运动方向和距离的指标。

实施例6：将每一帧预处理图像中检测出的运动目标分割出来，得到分割运动对象的方法包括：对运动目标进行轮廓检测，找到运动目标的边界；根据轮廓的面积和宽高比，对轮廓进行过滤和筛选，筛选出面积大于设定面积阈值和预期宽高比在设定宽高比范围阈值的轮廓；根据筛选的轮廓，确定初始目标候选区域，将轮廓的边界矩形或最小包围圆作为初始目标候选区域的估计；从初始目标候选区域中选择具有其质心位置对应的像素作为种子像素；迭代执行以下步骤，直到达到设定的迭代次数：将种子像素标记为运动目标的一部分，并将其从初始目标候选区域中移除；从种子像素开始，搜索相邻像素，计算它们与初始目标候选区域的相似性；如果相似性高于阈值，则将该像素添加到初始目标候选区域，并将其从图像中移除；当达到设定的迭代次数后，最终得到的目标候选区域作为分割运动对象。

具体的，实施例6描述了一种将每一帧预处理图像中检测出的运动目标分割出来的方法，该方法通过一系列步骤实现对运动目标的精确分割。首先，进行轮廓检测，以找到运动目标的边界。通过对预处理后的图像进行二值化处理，并使用轮廓检测算法，如边缘检测或连通区域分析，识别出图像中连通的像素集合，从而确定了运动目标的边界。接下来，根据事先设定的面积和宽高比阈值，对检测到的轮廓进行过滤和筛选。这个步骤旨在排除面积过小或形状不符合预期的轮廓，从而保留下更准确的运动目标轮廓。只有通过这一筛选的轮廓才会被用于后续的处理步骤。然后，根据筛选后的轮廓，确定了初始目标候选区域。这可以通过计算轮廓的边界矩形或最小包围圆来估计目标的大致位置和大小。这个初始目标候选区域提供了一个起始点，用于后续的目标分割过程。接着，从初始目标候选区域中选择具有质心位置对应的像素作为种子像素。种子像素是用于扩展目标区域的起始点，它们的选择通常基于目标的几何特征，例如质心位置或边界中心。随后，通过迭代扩展种子像素，逐步扩大目标区域的范围。在每一次迭代中，将种子像素标记为运动目标的一部分，并从初始目标候选区域中移除。然后，搜索相邻像素，并计算它们与初始目标候选区域的相似性。如果相似性高于预先设定的阈值，则将该像素添加到目标区域中，并将其从图像中移除。通过多次迭代，可以逐步扩展目标区域，直到达到设定的迭代次数。最终，得到的目标候选区域即为分割出的运动对象。这个区域包含了图像中检测到的运动目标的完整轮廓，可以用于后续的目标跟踪和事件检测。

实施例7：运动轨迹跟踪单元，基于每个分割运动对象在每一帧中的位移，计算出每个分割运动对象在每一帧中的速度和加速度，以及在每一帧中的位置；按照时间顺序，连接分割运动向量在每一帧中的位置，得到每个运动目标的运动轨迹。

具体的，首先，针对每个分割运动对象，在相邻帧之间计算位移量。位移量可以通过分析目标在两帧之间的位置变化得到，通常使用欧氏距离或其他距离度量来表示目标的位移。接着，根据位移量，计算每个分割运动对象在每一帧中的速度和加速度。速度是指目标在单位时间内移动的距离，可以通过将位移量除以时间间隔来得到。加速度则表示速度的变化率，可通过计算速度变化量除以时间间隔得到。然后，将每一帧中的位置信息按照时间顺序连接起来，形成每个运动目标的运动轨迹。这一过程可以通过记录每一帧中目标的位置信息，并根据时间顺序进行连接，形成连续的轨迹路径。

实施例8：将每个分割运动对象在每一帧中的速度和加速度，以及在每一帧中的位置，构建每个分割运动对象的轨迹向量；轨迹向量中的每个元素为一个三维向量，包括了每个分割运动对象在对应时刻的帧中的速度、加速度和位置；首先根据每个运动目标的运动轨迹，判断是否出现运动异常，得到判断结果；若判断结果为出现异常，则根据轨迹向量，计算最有可能出现异常的帧，从而定位出运动目标在进行异常运动时的时间。

具体的，首先，根据每个分割运动对象在每一帧中的速度、加速度和位置信息，构建轨迹向量。每个轨迹向量是一个三维向量，包含了运动对象在对应时刻的帧中的速度、加速度和位置信息。这些向量提供了对运动对象运动状态的全面描述，为后续的异常检测和定位提供了基础数据。接着，利用构建好的轨迹向量，对每个运动目标的运动轨迹进行异常检测。这一步骤可以通过分析速度、加速度和位置的变化趋势来进行，常用的方法包括设置阈值或使用机器学习算法进行分类。如果某个运动对象的运动状态与正常情况有明显偏差，就可以判断为出现了异常运动。一旦判断出现了异常运动，接下来就是根据轨迹向量，计算最有可能出现异常的帧，从而定位异常发生的时间。这可以通过分析异常发生时的轨迹向量来实现，比如检测速度或加速度突然变化的帧。根据异常的性质和轨迹向量的特征，可以确定异常发生的具体时间点。首先通过运动轨迹判断是否出现异常，则可以降低计算量，在出现异常的情况下，再根据轨迹向量来计算，这样可以避免在没有出现异常的情况下，继续后续的轨迹向量的判定过程。

实施例9：将每个运动目标的运动轨迹表示为一个或多个二元函数的组合，得到运动轨迹的函数表达，将函数表达作为输入，输入到预先建立的二分函数支持向量机中，得到判断结果；所述二分函数支持向量机通过预先输入的多个训练样本训练得到；每个训练样本均包括一个样本和标签；所述样本为一个或多个二元函数的组合；标签为异常或非异常；所诉二分函数支持向量机的目标函数使用如下公式进行表示：

；

其中，是超平面的法向量，是偏置项，是松弛变量；是惩罚参数，取值范围为1到2；是第一平滑参数，取值范围为0.5到1；为二元函数的数量；为二元函数的最大阶数；为二元函数的极大值点或极小值点对应的斜率的最小值；是第二平滑参数，取值范围为0.5到1。

具体的，首先，将每个运动目标的运动轨迹表示为一个或多个二元函数的组合。这些函数可以是多项式函数、三角函数或其他适合描述轨迹的数学函数。通过将轨迹数据拟合到这些函数中，可以得到对轨迹运动的紧凑描述。然后，将得到的函数表达作为输入，输入到预先建立的二分函数支持向量机中。支持向量机是一种监督学习算法，通过学习样本数据集来构建一个用于分类的模型。在这里，二分函数支持向量机用于对运动轨迹进行异常检测，其训练样本包括了轨迹函数表达和对应的标签（异常或非异常）。接下来，利用训练样本来训练二分函数支持向量机。训练过程旨在调整模型参数，使其能够在给定的轨迹数据集上学习到合适的分类边界，以最大化分类的准确性。训练过程涉及到目标函数的优化，其中包括了惩罚参数、平滑参数等超参数的调节，以及对函数表达的适当处理。最后，得到训练完成的二分函数支持向量机模型，可以将新的轨迹函数表达输入到模型中，以得到判断结果。通过对轨迹函数的分类，可以判断出该运动轨迹是否异常。如果判断结果为异常，则说明该运动目标的运动轨迹与正常情况有明显偏差，可能存在异常行为。

实施例9介绍了一种利用二元函数组合表示运动轨迹，并通过二分函数支持向量机进行异常检测的方法。这个方法的核心在于将运动轨迹视为一个或多个二元函数的组合，然后利用支持向量机对这些函数进行分类，从而判断运动轨迹是否异常。下面将详细解释实施例9中涉及的公式原理及其背后的数学原理。

首先，要理解二元函数的概念。二元函数指的是一种函数，它的自变量和因变量都是一维的。在这个实施例中，每个运动目标的运动轨迹被表示为一个或多个二元函数的组合。这些二元函数可以是多项式函数、三角函数或其他适合描述轨迹的数学函数。接着，来解释支持向量机（SVM）的概念。支持向量机是一种监督学习算法，主要用于分类和回归分析。在这里，使用的是二分函数支持向量机，也称为二分类支持向量机。其基本思想是找到一个超平面，将数据集划分成两个部分，使得两个类别的数据点尽可能地分开，并且与超平面的距离最大化。这个超平面可以通过学习训练数据集得到，其中支持向量是距离超平面最近的一些数据点。接下来，解释实施例9中的目标函数。目标函数是支持向量机在优化过程中需要最小化的函数，它包括了惩罚项、平滑项和正则化项。这个目标函数的设计是为了在保持分类准确性的同时，尽可能地使分类超平面和训练样本之间的间隔最大化。在目标函数中，惩罚参数C是用来平衡间隔最大化和错误分类的惩罚。惩罚参数越大，对错误分类的惩罚越严重，模型对训练数据的拟合度越高，但泛化能力可能会降低。平滑参数λ和γ用于平滑分类超平面，使其更加光滑和连续。λ控制了函数的整体平滑性，而γ则控制了函数的局部平滑性。这些参数的设定需要根据具体的数据集和问题进行调整，以达到最佳的分类效果。最后，来理解如何利用训练好的支持向量机模型进行异常检测。在训练阶段，使用多个训练样本来训练支持向量机模型，其中每个样本都包括了一个或多个二元函数的组合以及对应的标签（异常或非异常）。通过这些样本，模型学习到了正常和异常运动轨迹的特征，并构建了一个用于分类的模型。在预测阶段，将待检测的运动轨迹表示为二元函数的组合，并输入到训练好的支持向量机模型中。模型将根据输入的函数表达，输出该轨迹是否异常的判断结果。如果判断结果为异常，说明该运动轨迹与正常情况有明显偏差，可能存在异常行为；如果判断结果为非异常，则说明该运动轨迹符合正常运动模式。通过这种方式，可以实现对运动轨迹的快速异常检测，为实时监测系统提供可靠的支持。

实施例10：根据轨迹向量，计算最有可能出现异常的帧的方法包括：将轨迹向量中每个元素视为三维空间中的一个点，对这些点进行聚类分析，得到聚类中心，将距离聚类中心最远的点对应的元素视为异常元素，对应的时间为运动目标进行异常运动时的时间。

具体的，轨迹向量是用来描述运动目标在每一帧中的速度、加速度和位置信息的向量，每个元素都是一个三维向量。这些向量组成了运动目标的完整轨迹信息，其中每个元素代表了运动目标在某一帧的状态。接着，将轨迹向量中的每个元素视为三维空间中的一个点。这样，轨迹向量中的所有元素就可以看作是一个点集合，位于三维空间中的某个位置。通过对这些点进行聚类分析，可以将轨迹向量中的点分成若干个簇，每个簇代表了轨迹向量中相似的点的集合。然后，从聚类中心中找出距离最远的点对应的元素，将其视为异常元素。异常元素对应的时间即为运动目标进行异常运动时的时间。这是因为异常运动往往会导致轨迹向量中某些元素与正常情况下的轨迹有明显偏差，这些偏差会被聚类分析所识别出来。最后，根据异常元素对应的时间，确定异常运动发生的帧数。通过将异常元素的时间映射回原始视频序列中的帧数，就可以确定异常运动发生的具体时间点。这个时间点可以用来标记异常运动发生的帧，从而对异常情况进行定位和分析。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于机器视觉的道路非常态事件检测系统，其特征在于，所述系统包括：视频图像获取及预处理单元、运动目标检测与分割单元、运动轨迹跟踪单元和事件检测与判定单元；所述视频图像获取及预处理单元，用于获取目标道路连续的视频帧图像，并对获取到的视频帧图像进行去噪预处理，得到预处理图像；所述运动目标检测与分割单元，用于对预处理图像使用差分光流法进行运动目标检测，得到运动目标在每一帧预处理图像中的位移，同时将每一帧预处理图像中检测出的运动目标分割出来，得到分割运动对象；运动轨迹跟踪单元，用于基于每个分割运动对象在每一帧中的位移，得到每个运动目标的运动轨迹；所述事件检测与判定单元，用于根据每个运动目标的运动轨迹，判断出是否有运动目标出现异常运动，同时，定位出运动目标在进行异常运动时的时间；

运动目标检测与分割单元，对预处理图像使用差分光流法进行运动目标检测，得到运动目标在每一帧预处理图像中的位移的方法具体包括：对每一帧预处理图像，计算其空间梯度，得到其在水平方向和垂直方向上的梯度分量；接着，计算相邻两帧的预处理图像之间的时间梯度，表示像素在时间上的变化；通过求解差分光流方程组得到每个像素点的光流场；根据每个像素点的光流场，筛选出现了运动的像素点，将这些像素点对应的图像区域，作为运动目标，将这些像素点对应的光流场进行归一化均值处理，得到运动目标对应的归一化均值光流场，根据归一化均值光流场，得到运动目标在每一帧预处理图像中的位移；

设在像素处的光流为，则差分光流方程组表示为：

；

其中，是一个的光流约束矩阵，用于约束光流的计算；是每一帧预处理图像的梯度的矩阵；、和分别表示像素在水平方向、垂直方向和时间上的梯度；

光流约束矩阵使用如下公式进行表示：

；

通过求解差分光流方程组，得到每个像素点的光流向量；表示像素在水平方向上的位移量，即像素在轴上的移动距离；表示像素在垂直方向上的位移量，即像素在轴上的移动距离；

将每个运动目标的运动轨迹表示为一个或多个二元函数的组合，得到运动轨迹的函数表达，将函数表达作为输入，输入到预先建立的二分函数支持向量机中，得到判断结果；所述二分函数支持向量机通过预先输入的多个训练样本训练得到；每个训练样本均包括一个样本和标签；所述样本为一个或多个二元函数的组合；标签为异常或非异常；所述二分函数支持向量机的目标函数使用如下公式进行表示：

；

其中，是超平面的法向量，是偏置项，是松弛变量；是惩罚参数，取值范围为1到2；是第一平滑参数，取值范围为0.5到1；为二元函数的数量；为二元函数的最大阶数；为二元函数的极大值点或极小值点对应的斜率的最小值；是第二平滑参数，取值范围为0.5到1；

根据轨迹向量，计算最有可能出现异常的帧的方法包括：将轨迹向量中每个元素视为三维空间中的一个点，对这些点进行聚类分析，得到聚类中心，将距离聚类中心最远的点对应的元素视为异常元素，对应的时间为运动目标进行异常运动时的时间。

2.如权利要求1所述的基于机器视觉的道路非常态事件检测系统，其特征在于，视频图像获取及预处理单元包括：视频图像获取装置和预处理装置；所述视频图像获取装置为固定枪型摄像机；所述预处理装置在对获取到的视频帧图像进行去噪预处理的过程具体包括：对于视频帧图像中的每一帧图像，进行多次高斯模糊操作，生成不同尺度上的图像金字塔；图像金字塔是由每一帧逐级降采样得到的，每一级都比前一级小，并且分辨率降低；从图像金字塔的最高级开始，将每一级的图像放大至每一帧图像的原本大小，然后与上一级的高斯金字塔图像进行差分处理，得到残差图像；对生成的残差图像应用一个高斯模糊核，以模糊残差图像中的高频噪声，从而达到去噪后的残差图像；将去噪后的残差图像与图像金字塔的对应级别图像相加，得到每一帧图像对应的去噪图像；当完成对视频帧图像中的每一帧图像的去噪预处理后，得到视频特帧图像对应的预处理图像。

3.如权利要求1所述的基于机器视觉的道路非常态事件检测系统，其特征在于，归一化均值光流场包括归一化均值水平方向的位移量和归一化均值垂直方向的位移量；所述归一化均值水平方向的位移量等于运动目标包括的所有像素在水平方向上的位移量的算术平均值；所述归一化均值垂直方向的位移量等于运动目标包括的所有像素在垂直方向上的位移量的算术平均值。

4.如权利要求3所述的基于机器视觉的道路非常态事件检测系统，其特征在于，将每一帧预处理图像中检测出的运动目标分割出来，得到分割运动对象的方法包括：对运动目标进行轮廓检测，找到运动目标的边界；根据轮廓的面积和宽高比，对轮廓进行过滤和筛选，筛选出面积大于设定面积阈值和预期宽高比在设定宽高比范围阈值的轮廓；根据筛选的轮廓，确定初始目标候选区域，将轮廓的边界矩形或最小包围圆作为初始目标候选区域的估计；从初始目标候选区域中选择具有其质心位置对应的像素作为种子像素；迭代执行以下步骤，直到达到设定的迭代次数：将种子像素标记为运动目标的一部分，并将其从初始目标候选区域中移除；从种子像素开始，搜索相邻像素，计算它们与初始目标候选区域的相似性；如果相似性高于阈值，则将该像素添加到初始目标候选区域，并将其从图像中移除；当达到设定的迭代次数后，最终得到的目标候选区域作为分割运动对象。

5.如权利要求4所述的基于机器视觉的道路非常态事件检测系统，其特征在于，运动轨迹跟踪单元，基于每个分割运动对象在每一帧中的位移，计算出每个分割运动对象在每一帧中的速度和加速度，以及在每一帧中的位置；按照时间顺序，连接分割运动向量在每一帧中的位置，得到每个运动目标的运动轨迹。

6.如权利要求5所述的基于机器视觉的道路非常态事件检测系统，其特征在于，将每个分割运动对象在每一帧中的速度和加速度，以及在每一帧中的位置，构建每个分割运动对象的轨迹向量；轨迹向量中的每个元素为一个三维向量，包括了每个分割运动对象在对应时刻的帧中的速度、加速度和位置；首先根据每个运动目标的运动轨迹，判断是否出现运动异常，得到判断结果；若判断结果为出现异常，则根据轨迹向量，计算最有可能出现异常的帧，从而定位出运动目标在进行异常运动时的时间。