CN210666820U - 一种基于dsp边缘计算的行人异常行为检测系统 - Google Patents

Abstract

本实用新型公开了一种基于DSP边缘计算的行人异常行为检测系统，本实用新型以DSP模块为核心，通过数字图像处理技术自动实现行人异常行为的检测和异常行为种类的识别，缓解了传统监控视频系统在终控端处理数据的压力，提高了整个系统数据处理的速度；同时，整个过程不需要人工干预，从而实现全自动化的智能监控的目的，大大提高了监控人员的工作效率，减少了操作人员的工作量和行人异常行为漏报概率。当识别出行人有异常行为，系统会将异常信息显示在终控端，并转发给指定的服务器，马上通知到监管人员，监管人员会根据信息及时做下一步的处理，在很大程度上可以降低行人事故发生率，提高出行安全。

Description

一种基于DSP边缘计算的行人异常行为检测系统

技术领域

本实用新型涉及边缘计算和图像处理技术领域，特别是涉及一种基于DSP边缘计算的行人异常行为检测系统。

背景技术

近年来，行人出行的安全问题越来越受到社会的关注，视频中的异常行为检测也越来越重要。通过对监控视频进行分析，进而对一些造成安全问题的异常行为进行判定，可以将监控视频中大量的对安防无用的信息过滤掉，节约大量的人力。然而传统的视频监控系统存在以下缺陷：1.只具备一些简单的监控、视频存储、视频回放等功能，监控的过程中往往需要工作人员在旁边进行全天实时连续看守。由于人的注意力集中时间具有间断性，并且会因为长时间大脑的高度集中而造成疲劳，这样就不可避免的会出现漏检、误检的情况；2.由于现在监控系统的普及和广泛覆盖，其监控点的规模成倍增长；3.由于监控室的监控屏幕越来越多，需要更多的工作人员进行实时的看守，导致人力资源成本的骤增；4.由于视频采集端传回到终控端的视频数据量极大，在终控端进行视频数据分析，数据量大对终控端的计算机造成巨大的运算压力，降低了分析速度，不能够达到实时检测的目的。

实用新型内容

鉴于此，本实用新型的目的在于，提供一种基于DSP边缘计算的行人异常行为检测系统，结合运动目标识别和跟踪技术，以DSP高性能芯片为核心的硬件系统对行人异常行为进行检测并分类，提高了行人出行的安全性和监控人员的工作效率，将检测处理过程移到时频监控前端的DSP进行处理，提高了处理速率，无需人工干预，达到了智能监控的目的。

为了达到上述实用新型目的，进而采取的技术方案如下：

一种基于DSP边缘计算的行人异常行为检测系统，包括电源模块、视频采集前端模块、DSP模块、数据存储模块以及终控端模块，所述电源模块分别与视频采集前端模块、DSP模块、数据存储模块以及终控端模块连接，并为各个模块供电；

所述视频采集前端模块分别与DSP模块、数据存储模块连接，所述视频采集前端模块包括视频编码/解码器和安装在检测区域的摄像头，所述视频编码/解码器用于将摄像头采集的视频信息进行格式转换，将采集的视频信息转换为数字图像信号，同时数字图像信号分别发送至数据存储模块和DSP模块；

所述DSP模块分别与数据存储模块和终控端模块连接，所述DSP模块包括视频处理前端和后端，以及并行处理单元，所述视频处理前端负责输入数字图像，为多种标准视频提供接口，并对输入的原始图像进行预处理；所述并行处理单元采用DSP芯片，用于边缘计算算法的处理；所述视频处理后端用于驱动显示器进行图像的显示；所述DSP模块从数据存储模块取得数字图像信号进行边缘计算和行人异常行为分析，将分析结果传输给数据存储模块，同时传送到终控端模块进行数字图像信号和行人异常行为检测结果的显示；

所述数据存储模块用于存储数据视频采集前端模块、DSP模块的数据以及行人异常行为检测所用到的算法；

所述终控端模块主要用于系统运行管理，包括系统的启动、将据存储模块中原始视频数据上传终控端、将人异常行为分析结果上报终控端、原始视频数据显示以及行人异常行为分析结果显示；

所述终控端用于将接收的异常信息转发给指定的服务器。

DSP模块对高度复杂的图像、视频和算法处理有很大的优势，是整个系统的核心部分；通过DSP模块处理后，可获取行人的速度信息、轨迹信息，以达到识别行人异常行为种类的目的；首先检测行人，然后跟踪行人步行的轨迹，可以将运动目标识别和跟踪算法存储在数据存储模块，传给DSP模块进行处理，最后达到检测行人异常行为的目的。

视频流经过DSP模块处理，当系统检测到行人的异常行为后，会与系统设定的正常行走速度和轨迹的标准数据进行比对，因此，基于DSP边缘计算的行人异常行为检测系统可以识别行人异常行为的种类，根据回传给终控端的异常行为的种类信息预测行人可能会发生的危险，从而及时制止或者报警，降低事故发生率，提高行人出行的安全性；同时，整个过程从采集视频到检测出行人的异常行为完全不需要人工干预，降低了工作人员的工作量。

本实用新型的有益效果是：本实用新型相比较于传统的检测系统，能自动识别路上步行的行人，自动识别路上行人的异常行为的种类，系统将数据处理的过程放在DSP模块进行处理，提高了处理数据的速度和效率，一旦检测到行人有异常行为就会将信息传给终控端，及时提醒监控人员，减少了工作者的工作强度，更重要的，也降低了行人的事故发生率，提高行人出行安全。

附图说明

构成本申请的一部分的附图用来提供对本实用新型的进一步理解，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：

图1是本实用新型一种基于DSP边缘计算的行人异常行为检测系统的硬件结构组成示意图；

图2是本实用新型一种基于DSP边缘计算的行人异常行为检测系统的总体组成示意图；

图3是本实用新型一种基于DSP边缘计算的行人异常行为检测系统的使用流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本实用新型。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

实施例1

如图1、图2所示，一种基于DSP边缘计算的行人异常行为检测系统，包括电源模块1、视频采集前端模块2、DSP模块3、数据存储模块4以及终控端模块5，所述电源模块1分别与视频采集前端模块2、DSP模块3、数据存储模块4以及终控端模块5连接，并为各个模块供电；

所述视频采集前端模块2分别与DSP模块3、数据存储模块4连接，所述视频采集前端模块2包括视频编码/解码器21和安装在检测区域的摄像头22，所述视频编码/解码器21用于将摄像头22采集的视频信息进行格式转换，将采集的视频信息转换为数字图像信号，同时数字图像信号分别发送至数据存储模块4和DSP模块3；

所述DSP模块3分别与数据存储模块4和终控端模块5连接，所述DSP模块3包括视频处理前端和后端，以及并行处理单元，所述视频处理前端负责输入数字图像，为多种标准视频提供接口，并对输入的原始图像进行预处理；所述并行处理单元采用DSP芯片，用于边缘计算算法的处理；所述视频处理后端用于驱动显示器进行图像的显示；所述DSP模块3从数据存储模块4取得数字图像信号进行边缘计算和行人异常行为分析，将分析结果传输给数据存储模块4，同时传送到终控端模块5进行数字图像信号和行人异常行为检测结果的显示；

所述数据存储模块4用于存储数据视频采集前端模块2、DSP模块3的数据以及行人异常行为检测所用到的算法；

所述终控端模块5主要用于系统运行管理，包括系统的启动、将据存储模块中原始视频数据上传终控端、将人异常行为分析结果上报终控端、原始视频数据显示以及行人异常行为分析结果显示；

所述终控端用于将接收的异常信息转发给指定的服务器。

实施例2

本实用新型实施例基于DSP的行人异常行为检测系统的总体组成示意图，如图2所示：

系统由3部分组成，包括视频采集部分、DSP算法处理部分、人机交互部分。

所述视频采集部分：也就是硬件中的视频采集前端模块。作为系统处理的数据源，视频获取主要通过安装在街道现场的摄像头22组件完成，然后通过视频编码/解码器21进行转换，转换出所需要的视频格式、分辨率等。

所述DSP算法处理部分：包括运动目标检测模块、运动目标跟踪模块、异常行为判断模块。

所述运动目标检测模块：是行人异常行为检测的第一步，用于检测行走的行人，采用投影法和背景差法融合的方法可将行人目标识别出来。

所述运动目标跟踪模块：将行人识别出来以后需要继续跟踪监控的行人目标。先提取出该行人团块区域内的特征并将特征保存起来，根据上一帧该团块的位置信息利用预测算法进行预测，确定大致的搜索范围，找出相似度最高的模板就是同一个团块，然后将跟踪的信息进行保存。

所述异常行为判断模块：通过获取行人的行走速度和轨迹，在系统中设定一个阈值，速度超过这个阈值的几倍或者行走轨迹相反即可判定为异常行为。

所述人机交互部分：当系统检测到行人有异常行为，将信息传回终控端模块5，然后终控端模块5转发给指定服务器，实时提醒监管人员街道现场的状况。

下面对基于DSP的行人异常行为检测系统的DSP处理流程做进一步说明：

DSP处理的过程为：首先对视频中每一帧过滤掉相对固定的背景，把运动目标从图像中分割提取出来，构成前景图像，将行人目标检测出来。其次，对同一运动目标，也就是行人的行为进行分析。系统从连续的视频帧中自动找出并搜索匹配记录，对每一个运动目标在连续帧的轨迹进行记录，提取行人的轨迹数据和速度数据，设定一个行人正常行走的速度值和大多人行走的方向，判断行人有无异常行为，如果有异常行为就继续判断是哪种异常行为。判断过程为：如果某个行人的轨迹与大多数人相反，那就属于异常行为中的逆行；如果在连续帧中某个行人的行走速度值为0，属于异常行为中的倒地；如果在连续帧中某个行人的行走速度值为正常值的3倍及以上，属于异常行为中的超速。如果符合这三类中的一类系统就判定为存在异常行为，就会将判断结果保存在数据存储模块4并传给终控端；如果不存在异常行为，这个过程就结束，系统将重新获取新的视频帧进行新的处理。

具体的，参照图3，对本实用新型的使用流程做如下说明。

基于DSP边缘计算的行人异常行为检测系统对视频数据的分析实质是对连续视频帧图像的分析，系统首先加载视频流，然后从视频流中一帧帧的提取视频中的图像帧，每读取一帧就对单个图像进行处理分析，处理的过程为：首先对获得的图像帧进行预处理，去掉由于采集设备跟传输设备产生的噪声；然后对去噪后的图像采用投影法和背景差法融合的方法进行运动物体的检测得到运动物体的前景图像。得到前景图像后先判断当前跟踪团块列表中是否已经存在运动团块，如果有那就对运动团块进行跟踪，然后对当前帧进行新团块的检测处理，如果没有则直接对当前的帧进行新团的检测处理，并将检测到的新团块添加到跟踪团块列表中。最后记录下团块列表中的每个团块的轨迹信息，然后结合前后帧的轨迹信息进行轨迹特征分析，判断运动团块是否出现异常，如果出现异常就对异常运动团块进行特殊标记，并及时回传给终控端模块5，终控端模块5可以将异常信息发送给指定的服务器。

实施例3

如图3所示，本实用新型一种基于DSP的行人异常行为检测系统的使用流程图，包括以下步骤：

1)视频采集前端模块2进行视频采集，通过在检测区域的摄像头22采集视频信息，然后通过视频编码/解码器21进行格式转换，并将转换后的视频信息发送至DSP模块3进行分析检测；

2)DSP模块3进行分析检测，包括以下步骤|：

预处理：对获得的图像帧进行预处理，去掉由于采集设备跟传输设备产生的噪声；

运动目标检测：对去噪后的图像进行运动物体的检测，对图像中每一帧过滤固定的背景，把运动目标从图像中分割提取出来，然后再采用投影法和背景差法融合的方法获得视频图像中的行人目标；

运动目标跟踪：检测出运动目标之后，将一个运动目标标记为一个运动团块，按照时间顺序生成一个团块列表，然后判断当前跟踪团块列表中是否已经存在运动目标，如果有那就对同一运动目标进行跟踪，对每一个运动目标在连续帧的轨迹进行记录，提取行人的轨迹数据和速度数据。如果没有则直接对当前的帧进行新团的检测处理，并将检测到的新团块添加到跟踪团块列表中，最后记录下团块列表中的每个团块的轨迹信息；

异常行为判断：结合前后帧的轨迹信息提取运动目标的轨迹数据和速度数据，进行轨迹特征分析，通过与设定的数据进行对比判断运动目标是否出现异常行为。设定一个行人正常行走的速度值和大多人行走的方向，先判断行人有无异常行为，只要不符合系统设定的标准速度值和方向就判定为存在异常行为。如果不存在异常行为，这个过程就结束，系统将重新获取新的序列图像进行重复分析。如果有异常行为就继续判断是定义中的哪种异常行为。判断过程为：在序列图像中某个行人的轨迹与大多数人相反，属于异常行为中的逆行状态；在序列图像中某个行人的行走速度值为0，属于异常行为中的停止状态；在序列图像中某个行人的行走速度值为正常值的3倍及以上，属于异常行为中的超速状态。如果出现异常行为，会对异常运动目标进行特殊标记，并及时传给终控端模块5进行显示；

异常行为判断过程结束后，系统将重新获取新的序列图像进行重复分析；

3)终控端模块5将异常行为信息进行显示并发送至终控端；

4)终控端将异常行为信息转发给指定服务器，实时提醒监管人员检测区域的状况。

以上所述仅为本实用新型的优选实施例而已，并不用于限制本实用新型，对于本领域的技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进或组合等，均应包含在本实用新型的保护范围之内。

Claims (3)

1.一种基于DSP边缘计算的行人异常行为检测系统，包括电源模块、视频采集前端模块、DSP模块、数据存储模块以及终控端模块，所述电源模块分别与视频采集前端模块、DSP模块、数据存储模块以及终控端模块连接，所述电源模块用于为系统的各个模块提供稳定的电源，保证系统可以正常的工作；其特征在于：所述视频采集前端模块分别与DSP模块、数据存储模块连接，所述视频采集前端模块包括视频编码/解码器和安装在检测区域的摄像头，所述视频采集前端模块主要是采集现场的视频，通过安装在街道现场的摄像头将视频采集回来，然后对采集的视频进行格式转换，将采集的视频信息转换为数字图像信号，同时数字图像信号分别发送至数据存储模块和DSP模块；所述DSP模块分别与数据存储模块和终控端模块连接，所述DSP模块主要工作是行人异常行为检测算法的实现和算法处理后的数据存储，所述DSP模块从数据存储模块获得数字图像信号进行边缘计算和行人异常行为分析，将分析结果传输给数据存储模块，同时传送到终控端模块；所述数据存储模块主要用于存储数据，包括行人异常行为检测所用到的算法以及系统在工作过程中产生的临时数据，这些信息都保存在该模块中；所述终控端模块用于显示从DSP模块获取的数字图像信号和行人异常行为检测结果，将行人异常行为检测结果传输到终控端，同时，终控端会将异常信息转发给指定的服务器。

2.根据权利要求1所述的一种基于DSP边缘计算的行人异常行为检测系统，其特征在于：DSP模块对高度复杂的图像、视频和算法处理有很大的优势，是整个系统的核心部分；通过DSP模块处理后，可获取行人的速度信息、轨迹信息，以达到识别行人异常行为种类的目的；首先检测行人，然后跟踪行人步行的轨迹，可以将运动目标识别和跟踪算法存储在数据存储模块，传给DSP模块进行处理，最后达到检测行人异常行为的目的。

3.根据权利要求1或2所述的一种基于DSP边缘计算的行人异常行为检测系统，其特征在于：视频流经过DSP模块处理，当系统检测到行人的异常行为后，会与系统设定的正常行走速度和轨迹的标准数据进行比对，因此，基于DSP边缘计算的行人异常行为检测系统可以识别行人异常行为的种类，根据回传给终控端的异常行为的种类信息预测行人可能会发生的危险，从而及时制止或者报警，降低事故发生率，提高行人出行的安全性；同时，整个过程从采集视频到检测出行人的异常行为完全不需要人工干预，降低了工作人员的工作量。

Images