CN112017445A - 一种行人违规行为预测和运动轨迹跟踪系统和方法 - Google Patents

一种行人违规行为预测和运动轨迹跟踪系统和方法 Download PDF

Info

Publication number
CN112017445A
CN112017445A CN202010922727.0A CN202010922727A CN112017445A CN 112017445 A CN112017445 A CN 112017445A CN 202010922727 A CN202010922727 A CN 202010922727A CN 112017445 A CN112017445 A CN 112017445A
Authority
CN
China
Prior art keywords
violation
target
pedestrian
color
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010922727.0A
Other languages
English (en)
Other versions
CN112017445B (zh
Inventor
卞建鹏
曹剑飞
汤全义
袁远
吕自腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010922727.0A priority Critical patent/CN112017445B/zh
Publication of CN112017445A publication Critical patent/CN112017445A/zh
Application granted granted Critical
Publication of CN112017445B publication Critical patent/CN112017445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明提供了一种行人违规行为预测和运动轨迹跟踪系统和方法，属于安防监控领域，包括高速相机、后端服务器、客户端和语音系统；该方法包括：系统开启并开始运行；高速相机采集现场实时信息，并上传至后端服务器；步骤3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标，目标包括行人与斑马线的位置和交通灯颜色；服务器首先将判定为违规的场景实时反馈至语音系统提醒行人返回至安全位置，此外，服务器将违规场景数据发送至客户端；客户端根据路口位置统计违规次数；设定阈值，统计违规次数超过该值时，客户端进行报警通知交警到现场进行实时管制。本发明通有针对性地降低因行人违规而造成的损失，起到防患于未然的功能作用。

Description

一种行人违规行为预测和运动轨迹跟踪系统和方法
技术领域
本发明属于安防监控领域，具体涉及一种行人违规行为预测和运动轨迹跟踪系统和方法。
背景技术
随着中国城市化程度不断加深，公共交通在不断变得复杂的同时，也面临着巨大的安全压力，城市交通设备供给与人们出行需求之间的矛盾愈发严重。目前，电子监控和人工管制是我国公共交通常见的两种交通管理方式。现有的电子监控措施的缺点显而易见——对于违章行为不能做到实时地管制，后期的处罚措施也是在违规行为已经造成损失了之后，无法做到防患于未然，在错误发生之前就能提前发出警示；而人工管制方法同样具有非常明显的缺陷，如果对各个路口都安排交警，无疑是对于人力物力的极大浪费。如果能够让电子系统既能够做到监控又能够完成实时管制预测行人的违规行为，无疑是对当下城市交通问题的完美解决措施。
针对上述问题，已有学者提出采用基于摄像机的警示控制器对十字路口的违规行人进行警告，该种方法在一定程度上遏制了违规行为的发生并保证了行人的安全，但是这一警示往往是发生在行人正在进行着违规行为的阶段，有的甚至已经造成了损失，不能够把警示工作做到更加的超前，同时这一控制器只能应用于交通路口，不具有普遍性。
目前市场上较多的产品是在行人正在进行着违规行为的阶段进行警示，往往无法对违规行人的下一步动作做出预判，不能够把警示工作做到更加的超前，不能准确及时予以提示，不能防患于未然，导致因行人违规行为带来的损失逐年增加。
因此，本实施例提出一种行人违规行为预测和运动轨迹跟踪系统和方法。
发明内容
为了克服上述现有技术存在的不足，本发明提供了一种行人违规行为预测和运动轨迹跟踪系统和方法。
为了实现上述目的，本发明提供如下技术方案：
一种行人违规行为预测和运动轨迹跟踪系统，包括高速相机、后端服务器、客户端和语音系统；
所述高速相机、语音系统均与所述后端服务器有线或者无线连接；
后端服务器与客户端通过网络连接；
所述高速相机，用于拍摄斑马线实时路况和交通灯实时颜色，并将照片实时上传至所述后端服务器；
所述后端服务器，用于处理相机拍摄的图片信息，并通过显示屏图片信息，识别其中的违规行为并进行实时反馈操作；反馈操作包括：反馈违规行为到语音系统进行语音警告行人，上传违规数据至客户端进行违规次数统计，反馈客户端统计违规次数较多的路口至交通部门以进行驻派交警进行及时管制；
所述客户端，用于存储统计行人的违规数据并按照路口位置对于违规次数进行统计，从而可以按需分配交警至违规行为频发的路口进行交通管制；
所述语音系统，对行人违规行为进行警告。
优选地，所述高速相机和语音系统均为两组，两组所述高速相机和语音系统分别装置于十字路口对角以覆盖十字路口4条斑马线路况的位置。
优选地，所述高速相机采用CMOS数字摄像头，所述后端服务器采用FPGA开发板。
本发明的另一目的在于提供一种行人违规行为预测和运动轨迹跟踪方法，包括以下步骤：
步骤1、系统开启并开始运行；
步骤2、高速相机采集现场实时信息，并上传至后端服务器；
步骤3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标，目标包括行人与斑马线的位置和交通灯颜色；
步骤4、服务器首先将判定存在违规的场景实时反馈至语音系统提醒行人返回至安全位置，此外，服务器将违规场景数据发送至客户端；
步骤5、客户端根据路口位置统计违规次数；
步骤6、客户端设定阈值，判断统计的违规次数超过该值时，客户端进行报警通知交警到现场进行实时管制。
7、优选地，所述步骤3具体包括以下操作：
步骤3.1、运动目标检测
采用背景差法进行运动目标检测，通过运动目标的检测处理来获取背景差值二分图，得到运动区域，为行人违规检测提供基础，包括：
步骤3.1.1、通过中值滤波法对图像进行预处理，中值滤波的表达式为：
Figure BDA0002667280700000031
式中，I(i,j)表示坐标为i和j的像素值；Ifliar为滤波输出后的像素值；
步骤3.1.2、通过背景相减法来获取背景；
步骤3.1.3、背景差分，通过视频当前帧减去背景参考帧，然后对所的图像选择合适的阈值二值化后，即得到完整的运动目标，设当前帧图Ii背景图像为B，背景差分二值图为：
Figure BDA0002667280700000032
在差分二值图像的灰度值为255的像素点即可视为前景的运动目标点；
步骤3.1.4、形态学处理，包括膨胀、腐蚀和开运算；
步骤3.2、行人检测
采用了RGB颜色匹配模型和模板匹配模型来完成行人检测，包括：
步骤3.2.1、建立RGB颜色匹配模型；
首先选出目标具有颜色特征的区域作为颜色的采样区域，将采样区域内的若干点选定为采样点，并按照目标的结构比例记录其位置:
Pk,j＝(cx(j)-αk,jr(j),cy(j)-βk,jr(j)) (3)
其中Pk,j、(cx(j),cy(j))、r(j)分别为目标j的第k个采样点的位置坐标、质心坐标、目标半径；αk,j,βk,j表示该采样点相对质心移动的距离系数；在第一帧中，将各目标的采样点对应的RGB三个维度的颜色值，依次存入颜色模型矩阵ColorMode(K,J,V)，K,J,V分别表示采样点总数、目标总数及维度；因此，第j个目标的第k个采样点对应的原RGB图像中的第v维的颜色值为:
ColorMode(K,J,V)＝F(Pk,j,v) (4)
其中，k∈(1,K),j∈(1,J),v∈(1,V)
F为输入图像，在此后的各帧中，如第i(i>1)帧，按同样的选取采样点的规则对目标进行颜色采样，再与已有的ColorMode对比；
|Fi(Pk,j,v)-ColorMode(k,j,v)|<T
v＝1,2,3 (5)
Fi(Pk,j,v)分别表示k目标j的第个采样点在R、G、B维度的颜色值，T为各维度匹配时允许的色差阈值；若满足式(5)，则认为该采样点与颜色模型匹配，即实现了简化的颜色匹配；并用第i帧中目标j的各采样点的颜色值Fi(Pk,j,v)替换ColorMode中相应位置的原值，实现颜色模型的更新；若未实现目标匹配，则不更新颜色模型；若检测到新生目标，按照同样方法建立颜色模型，并采用简化的颜色匹配方法在后续帧中进行目标匹配；各帧中每个目标都在相同的特殊点处采样，并将前后帧相同采样处的颜色值进行比对，选取K>>1个采样点，根据具体跟踪情况设定一个匹配数的阈值，若实现匹配的采样点数超过该阈值，则认为该目标实现了匹配；
步骤3.2.2、模版匹配模型
检测匹配区域：图像块从左往右或从上往下一次移动一个像素，在每一个位置，都进行一次度量计算来表明块图像和原图像的特定区域的相似性；
步骤3.2.3、目标轮廓标记
目标提取之后，需要对目标进行轮廓的标记，在FPGA中，具体的的流程包括：
Step1：统计出目标区域的每一个像素点的坐标；
Step2：将坐标的前后左右坐标的最大值和最小值计算出来；
Step3：根据这些最大值和最小值，得到跟踪标记；
步骤3.2.4、对违规行为进行预测和跟踪
在后端服务器内提前设置一条警戒线，系统检测的区域包括行人、斑马线的位置和交通灯颜色，警示线会根据斑马线的位置自动调整到适当地预测位置，出现的情况分为两种，包括：
灯为绿，警戒线将不起作用，行人可以自由通过路口；
灯为红，警戒线将起到警示作用，警戒线自动调整到距离斑马线50CM的地方，一旦有行人越过警戒线，判定为违规行为，系统做出警示；具体包括：
Step1：通过卷积层对视频中所要提取的信息点进行减少，提取信息之后进行整体判断；
Step2：经过DeeplabV3+模型对视频中的目标进行处理；
Step3：利用KCF算法进行目标跟踪。
优选地，所述步骤3的判断原则包括：
灯为绿，斑马线上无行人，判定为正常行为；
灯为绿，斑马线上有行人，判定为正常行为；
灯为红，斑马线上有行人，判定为违规行为；
灯为红，斑马线上无行人，判定为正常行为。
本发明提供的行人违规行为预测和运动轨迹跟踪系统和方法具有以下有益效果：
本发明通过在对行人进行检测追踪的已有技术上增添了对违规行人行为的预测功能，有针对性地降低因行人违规而造成的损失，起到防患于未然的功能作用；利用颜色匹配和模板匹配的方法来分离识别行人，精确度高；
本发明采用视频监控对行人行为进行预测，对于违规的行为本发明能够在错误尚未发生之前及时的做出警示，能够有效地减少因行人违规行为带来的损失
本发明采用FPGA开发板，对实时图像的处理能力更强，更好的保证了能够及时制止行人的违规行为；
本发明的应用范围广，不只局限应用于传统的交通路口管制，还可以应用于需要监管行人违规行为的多种地点；如行人不允许靠近的重要文物保护场所、行人禁止进入的草坪、花圃等场所，相当于一双电子眼在时刻监督着行人。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1的行人违规行为预测和运动轨迹跟踪方法的流程图；
图2为背景建模法示意图；
图3为目标跟踪算法流程图；
图4为检测行人轨迹流程图；
图5为现场检测流程图；
图6为现场设备实施示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种行人违规行为预测和运动轨迹跟踪系统，包括高速相机、后端服务器、客户端和语音系统；
高速相机、语音系统均与后端服务器有线或者无线连接；
后端服务器与客户端通过网络连接；
高速相机用于拍摄斑马线实时路况和交通灯实时颜色，并将照片实时上传至后端服务器；本实施例中高速相机采用CMOS数字摄像头，又称为电脑相机、电脑眼、电子眼等，是一种视频输入设备，被广泛的运用于视频会议，远程医疗及实时监控等方面。该摄像头主要由镜头、图像传感器、板载电路及下方的信号引脚组成。镜头部件包含一个镜头座和一个可旋转调节距离的凸透镜，通过旋转可以调节焦距，正常使用时，镜头座覆盖在电路板上遮光，光线只能经过镜头传输到正中央的图像传感器，它采集光线信号，然后把采集得的数据通过下方的信号引脚输出数据到外部器件。
后端服务器，用于处理相机拍摄的图片信息，并通过显示屏图片信息，识别其中的违规行为并进行实时反馈操作；反馈操作包括：反馈违规行为到语音系统进行语音警告行人，上传违规数据至客户端进行违规次数统计，反馈客户端统计违规次数较多的路口至交通部门以进行驻派交警进行及时管制；本实施例中，后端服务器采用FPGA系列ax545开发板，其内部主要包含了大量的基础逻辑门、触发器和存储器，可以通过硬件语言直接修改器件间的连接方式进而来实现用户所需的特定功能，所以可以通过烧入配置文件的方式来自己定制电路。它在逻辑层面还有一个特点就是，它的计算结果不用临时保存在主存储器中，可以直接送到下一个单元中进行计算。因此存储器带宽要求很低，还可以流水线式处理数据并且响应很快。FPGA芯片集成度高、对于数据并行处理、容量大等特点，在信号处理领域、数据传输领域、视频图像处理领域得到了越来越多的应用。尤其是在实时性要求特别高的动态视频图像处理领域，如公共交通、安全监控等，FPGA可以很快的处理图像数据，满足实时性的要求。本实施例是利用FPGA处理移动目标的图像检测与追踪。因此，本实施例的后端服务器选择ax545开发板。显示屏装置使用的是电脑液晶屏，可以清晰方便的接收画面。
客户端，用于存储统计行人的违规数据并按照路口位置对于违规次数进行统计，从而可以按需分配交警至违规行为频发的路口进行交通管制；
语音系统的作用为代替交警对行人违规行为进行警告。本实施例中，语音系统采用的是市面上的普通语音提示器，包括中央控制器、电源、功率放大器、扬声器，所述中央控制器与功率放大器电性连接，所述功率放大器与扬声器电性连接，所述电源与中央控制器、功率放大器电性连接。
具体的，如图6所示，本实施例中，高速相机和语音系统均为两组，共有四个高速相机和两个语音系统，两组高速相机和语音系统分别装置于十字路口对角以覆盖十字路口4条斑马线路况的位置。本具体实施例选择将相邻斑马线的相机和语音系统集成安装方便装置。
本实施例中的另一目的在于提供一种行人违规行为预测和运动轨迹的跟踪方法，具体如图1所示，包括以下步骤：
S1、系统开启并开始运行；
S2、高速相机采集现场实时信息，并上传至后端服务器；
S3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标，目标包括行人与斑马线的位置和交通灯颜色；判断原则包括：
灯为绿，斑马线上无行人，判定为正常行为；
灯为绿，斑马线上有行人，判定为正常行为；
灯为红，斑马线上有行人，判定为违规行为；
灯为红，斑马线上无行人，判定为正常行为；
具体的，后端服务器对接收的图片进行实时处理、分析包括一下步骤：
步骤3.1、运动目标检测
通过运动目标的检测处理来获取背景差值二分图，主要是为行人违规检测提供基础。运动目标检测是将运动的像素点和静止的像素点分离出来，从而实现将运动目标从背景中提取出来。因为该方法对实时性要求很高，所以本实施例采用的是背景差法。背景差法检测运动目标的几个关键步骤是：预处理、背景建模、背景差分、后处理。
步骤3.1.1、预处理：中值滤波法
在实验过程中，采用OV5640摄像头模块，是一款自动聚焦的摄像头电路，因此采集得到的图像基本直接是高清晰的，因此对于滤波模块，只需要简单的做下平滑处理。
中值滤波法是一种非线性平滑技术，它对脉冲噪声有良好的滤除作用，特别是在滤除噪声的同时，能够保护信号的边缘，使之不被模糊。这些优良特性是线性滤波方法所不具有的。此外，中值滤波的算法比较简单，也易于用硬件实现。所以，中值滤波方法一经提出后，便在数字信号处理领得到重要的应用。
中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。其表达式为：
Figure BDA0002667280700000091
通过这个处理方式，可以抑制部分像素点的像素突变情况。I(i,j)表示坐标为i和j的像素值。Ifliar为滤波输出后的像素值。
步骤3.1.2、背景建模
本实施例中要建立真实稳定的背景模型主要受天气、摄像头偏移(主要是日就被风吹偏)、长时间停靠在路边的车辆或其他物体等影响，其中受天气影响最为严重。在这些因素的影响下，背景会不定的发生改变，所以需要不定时的更新背景，以确保运动目标检测的准确性。
常见的背景提取算法有：基于单高斯模型的方法；基于统计的背景相减方法；基于图像序列初始化的方法；基于混合高斯模型的的方法；基于码本的建模方法。基于实际情况的考虑，该模块选择基于统计的背景相减法来获取背景，同时还运用了大津法以最大程度的减小了目标被错认为是背景的概率。
如图2是背景模型法检测运动物体的原理。在当前帧图像中用蓝色箭头表示运动物体，将当前帧图像中每个位置的像素与背景模型进行对比匹配。若是图像中某个像素点与背景模型匹配，则将该像素点分类到背景点，它的像素值设为0，表示黑色。否则该像素点为运动点，将它的像素值设为255，表示白色。在图2中，圆圈区域中的像素经过与背景模型对比之后，其像素值与背景模型不匹配。因此将其分类为前景运动点，将其像素值设为255，表示白色点，为运动物体区域。在检测结果中可以看到，圆圈区域内的检测结果为白色的运动像素点。
步骤3.1.3、背景差分
获取真实有效的背景为运动目标的检测提供了有力的保证。在获取背景的过程中采用背景差法，完全可以解决在路面上运动物体的检测。
背景差分是通过视频当前帧减去背景参考帧，然后对所的图像选择合适的阈值二值化后，即得到完整的运动目标。设当前帧图Ii背景图像为B，背景差分二值图为：
Figure BDA0002667280700000101
这样，在差分二值图像的灰度值为255的像素点即可视为前景的运动目标点。
步骤3.1.4、形态学处理
(1)膨胀
具体的实现方式就是：如果当前图像像素中的结构元素，能够和前景图像中的像素点进行相接，那么就可以将前者也当成前景点，于是，相应的图像就实现了膨胀。在此处理之下，就可以将分割之后的对象所留下的空区加以缩减。
(2)腐蚀
腐蚀实际上就是膨胀的对偶运算，膨胀可以减小相应的隙缝以及空区，并能将相应的物体进行放大，而腐蚀则正好是缩减物体，并能将图像中的某些小像素块加以去除。将上述两种技术进行综合运用，使得原先对象体量不会产生变化，但是能够去除很多噪声数据，从而更好的辨识相应的目标。
(3)开运算
如果对图像先后进行了膨胀和腐蚀运算，那么得到的结果并非是原图，也就是说，这两种算法并不是互逆关系。而开运算，可以将那些细微像素点进行去除，并能将物体的边界加以平滑处理，对象的面积不会产生明显的变化。
步骤3.2、行人检测
通过对运动物体检测后，得到运动区域。但这个物体有可能是车辆或其他，因此需要对检测的运动物体进行进一步的分类。在本实施例中，采用了RGB颜色匹配模型和模板匹配模型来完成行人检测。与基于HOG特征的SVM分类器相比，模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，该算法无效。
步骤3.2.1、建立RGB颜色匹配模型
颜色模型指的是某个三维颜色空间中的一个可见光子集，它包含某个色彩域的所有色彩。一般而言，任何一个色彩域都只是可见光的子集，任何一个颜色模型都无法包含所有的可见光。
RGB(Red，Green，Blue)颜色模型通常使用于彩色阴极射线管等彩色光栅图形显示设备中，彩色光栅图形的显示器都使用R、G、B数值来驱动R、G、B电子枪发射电子，并分别激发荧光屏上的R、G、B三种颜色的荧光粉发出不同亮度的光线，并通过相加混合产生各种颜色；扫描仪也是通过吸收原稿经反射或透射而发送来的光线中的R、G、B成分，并用它来表示原稿的颜色。
RGB颜色模型称为与设备相关的颜色模型，RGB颜色模型所覆盖的颜色域取决于显示设备荧光点的颜色特性，是与硬件相关的。它是使用最多，最熟悉的颜色模型。它采用三维直角坐标系，红、绿、蓝原色是加性原色，各个原色混合在一起可以产生复合色。
RGB颜色模型通常采用单位立方体来表示。在正方体的主对角线上，各原色的强度相等，产生由暗到明的白色，也就是不同的灰度值。(0，0，0)为黑色，(1，1，1)为白色。正方体的其他六个角点分别为红、黄、绿、青、蓝和品红。
颜色匹配模型的主要思想为：首先选出目标具有颜色特征的区域作为颜色的采样区域，将采样区域内的若干点选定为采样点，并按照目标的结构比例记录其位置:
Pk,j＝(cx(j)-αk,jr(j),cy(j)-βk,jr(j)) (3)
其中Pk,j、(cx(j),cy(j))、r(j)分别为目标j的第k个采样点的位置坐标、质心坐标、目标半径。αk,j,βk,j表示该采样点相对质心移动的距离系数。在第一帧中，将各目标的采样点对应的RGB三个维度的颜色值，依次存入颜色模型矩阵ColorMode(K,J,V)，K,J,V分别表示采样点总数、目标总数及维度。因此，第j个目标的第k个采样点对应的原RGB图像中的第v维的颜色值为:
ColorMode(K,J,V)＝F(Pk,j,v) (4)
其中，k∈(1,K),j∈(1,J),v∈(1,V)
F为输入图像，在此后的各帧中，如第i(i>1)帧，按同样的选取采样点的规则对目标进行颜色采样，再与已有的ColorMode对比。
|Fi(Pk,j,v)-ColorMode(k,j,v)|<T
v＝1,2,3 (5)
Fi(Pk,j,v)分别表示k目标j的第个采样点在R、G、B维度的颜色值，T为各维度匹配时允许的色差阈值。若满足式(5)，则认为该采样点与颜色模型匹配，即实现了简化的颜色匹配。并用第i帧中目标j的各采样点的颜色值Fi(Pk,j,v)替换ColorMode中相应位置的原值，实现颜色模型的更新。若未实现目标匹配，则不更新颜色模型。若检测到新生目标，按照同样方法建立颜色模型，并采用简化的颜色匹配方法在后续帧中进行目标匹配。各帧中每个目标都在相同的特殊点处采样，并将前后帧相同采样处的颜色值进行比对，这样可避免目标不同的位置客观存在的颜色误差，但该方法仍可能会因为光线、浪花等产生的白点影响到某个采样点的颜色值而失配，解决方法是选取K>>1个采样点，根据具体跟踪情况设定一个匹配数的阈值，若实现匹配的采样点数超过该阈值，则认为该目标实现了匹配。
步骤3.2.2、模版匹配模型
通过颜色模型计算之后，即有可能出现目标中部分区域的像素值较大，提取的目标中出现丢失的问题。根据这个问题，加入模板匹配的方法。模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配部分的技术.它通过两幅图像:原图像和模板来实现。
本实施例的目标是检测最匹配的区域：图像块一次移动一个像素(从左往右，从上往下)，在每一个位置，都进行一次度量计算来表明块图像和原图像的特定区域有多么相似。即对于图像，选择一个10*10的窗口，将该窗口中的所有像素值的均值作为判决依据。如果该区域的像素均值满足阈值条件，那么认为也是目标区域，通过这个方法，可以进一步弥补颜色模型所存在的缺陷。
步骤3.2.3、目标轮廓标记
目标提取之后，需要对目标进行轮廓的标记，在FPGA中，具体的的流程大概如下：
Step1：统计出目标区域的每一个像素点的坐标；
Step2：将坐标的前后左右坐标的最大值和最小值计算出来；
Step3：根据这些最大值和最小值，得到跟踪标记。
步骤3.2.4、对违规行为进行预测和跟踪
(1)在对行人进行跟踪锁定之后，在后端服务器中增设了对特定区域进行检测的功能，摄像头收集到实时录像信息之后，及时传输给FPGA开发板进行实时分析，利用以上原理，系统将自动识别出行人并对其进行追踪。系统预测违规行为的依据是在系统内提前设置了一条警戒线，交通路口情况较为复杂，以交通路口为例来说明，系统检测的区域包括行人、斑马线的位置和交通灯颜色，警示线会根据斑马线的位置自动调整到适当地预测位置，出现的情况分为两种，包括：
灯为绿，警戒线将不起作用，行人可以自由通过路口；
灯为红，警戒线将起到警示作用，警戒线自动调整到距离斑马线50CM的地方，一旦有行人越过警戒线，判定为违规行为，系统做出警示；
(2)实施过程：
1.通过卷积层对视频中所要提取的信息点进行减少，提取信息之后进行整体判断。
2.经过DeeplabV3+模型对视频中的目标进行处理。
DeeplabV3+模型结构是一个编码器-解码器结构。编码器旨在获得锐利的物体边界，其结构是由xception模型加空间金字塔池化模块(ASPP)构成。利用Xception模型以少量参数提取丰富的特征。而空间金字塔池化模块(ASPP)，通过池化不同分辨率的特征，以捕获丰富的上下文信息。解码器结构：先将编码器特征进行4倍的双线性插值上采样，在低级特征上作用1×1卷积以减少通道数，然后将上采样结果与具有相同空间分辨率的相应低级特征合并，再经过一些3×3的卷积以精炼特征，最后再进行4倍的双线性插值上采样，将分辨率恢复到原图的大小，对视频中的目标进行优化处理。
3.利用KCF算法进行目标跟踪：KCF(Kernel Correlation Filter)全称为核相关滤波算法，属于判别类方法中的相关滤波算法，实现过程如图3所示。在实际应用中，需要处理的数据并非线性的，大多情况下为非线性数据，因此算法利用核函数技巧来处理非线性数据。核函数主要的目的就是把一个线性问题映射到一个非线性核空间，在低维空间线性不可分的数据，应用核函数技巧之后，映射到核空间之后则线性可分。
4.利用全卷积语义分割对视频中的目标进行标框。将物体与真值物体框相切的那些物体边界称为物体边界关键点。边界关键点与物体的种类无关，可以看成是最外侧的物体边缘，能够确定真值物体框的物体边缘的一部分。考虑到语义分割图上不同种类间的物体的边缘已经很明显，再结合包含同种类不同个体间边界信息的底层卷积特征图，对边界关键点的提取效果较好。因此将语义分割图和底层卷积特征图相结合，在此基础上再利用全卷积网络确定边界关键点。用一个全卷积语义分割网络同时进行语义分割和定位关键点预测两个任务，在语义分割图的基础上实现物体边界关键点预测从而实现物体检测。
S4、服务器首先将判定为违规的场景实时反馈至语音系统提醒行人返回至安全位置，此外，服务器将违规场景数据发送至客户端；
S5、客户端根据路口位置统计违规次数；
S6、客户端设定阈值，统计违规次数超过该值时，客户端进行报警通知交警到现场进行实时管制。
具体应用时，首先打开总开关，用OV5640摄像头开始拍摄行人运动，如图4(a)和图4(b)所示，再次按下第一开关时，可对行人运动轨迹进行定位跟踪，并在视频中标记出的行人运动轮廓，如图4(c)所示。最后按下第二开关可以实现对行人下一帧的行人行动轮廓微预测，如图4(d)所示。现场检测流程图如图5所示，现场设备实施示意图如图6所示。
本实施例通过在对行人进行检测追踪的已有技术上增添了对违规行人行为的预测功能，有针对性地降低因行人违规而造成的损失，起到防患于未然的功能作用；利用颜色匹配和模板匹配的方法来分离识别行人，精确度高；本发明的应用范围广，不只局限应用于传统的交通路口管制，还可以应用于需要监管行人违规行为的多种地点；如行人不允许靠近的重要文物保护场所、行人禁止进入的草坪、花圃等场所；本发明采用视频监控对行人行为进行预测，一旦发现游客存在违规行为倾向时，及时做出提醒，就会避免各种损失；能够灵活地应用于各种需要监管的场所，相当于一双电子眼在时刻监督着行人。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

Claims (6)

1.一种行人违规行为预测和运动轨迹跟踪系统，其特征在于，包括高速相机、后端服务器、客户端和语音系统；
所述高速相机、语音系统均与所述后端服务器有线或者无线连接；
所述后端服务器与客户端通过网络连接；
所述高速相机，用于拍摄斑马线实时路况和交通灯实时颜色，并将照片实时上传至所述后端服务器；
所述后端服务器，用于处理相机拍摄的图片信息，并通过显示屏图片信息，识别其中的违规行为并进行实时反馈操作；反馈操作包括：反馈违规行为到语音系统进行语音警告行人，上传违规数据至客户端进行违规次数统计，反馈客户端统计违规次数较多的路口至交通部门以进行驻派交警进行及时管制；
所述客户端，用于存储统计行人的违规数据并按照路口位置对于违规次数进行统计，从而可以按需分配交警至违规行为频发的路口进行交通管制；
所述语音系统，对行人违规行为进行警告。
2.根据权利要求1所述的行人违规行为预测和运动轨迹跟踪系统，其特征在于，所述高速相机和语音系统均为两组，两组所述高速相机和语音系统分别装置于十字路口对角以覆盖十字路口4条斑马线路况的位置。
3.根据权利要求1所述的行人违规行为预测和运动轨迹跟踪系统，其特征在于，所述高速相机采用CMOS数字摄像头，所述后端服务器采用FPGA开发板。
4.一种根据权利要求1至3任一项所述的行人违规行为预测和运动轨迹跟踪系统的跟踪方法，其特征在于，包括以下步骤：
步骤1、系统开启并开始运行；
步骤2、高速相机采集现场实时信息，并上传至后端服务器；
步骤3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标，目标包括行人与斑马线的位置和交通灯颜色；
步骤4、服务器首先将判定存在违规的场景实时反馈至语音系统提醒行人返回至安全位置，此外，服务器将违规场景数据发送至客户端；
步骤5、客户端根据路口位置统计违规次数；
步骤6、客户端设定阈值，判断统计的违规次数超过该值时，客户端进行报警通知交警到现场进行实时管制。
5.根据权利要求4所述的行人违规行为预测和运动轨迹跟踪方法，其特征在于，所述步骤3具体包括以下操作：
步骤3.1、运动目标检测
采用背景差法进行运动目标检测，通过运动目标的检测处理来获取背景差值二分图，得到运动区域，为行人违规检测提供基础，包括：
步骤3.1.1、通过中值滤波法对图像进行预处理，中值滤波的表达式为：
Figure FDA0002667280690000022
式中，I(i,j)表示坐标为i和j的像素值；Ifliar为滤波输出后的像素值；
步骤3.1.2、通过背景相减法来获取背景；
步骤3.1.3、背景差分，通过视频当前帧减去背景参考帧，然后对所的图像选择合适的阈值二值化后，即得到完整的运动目标，设当前帧图Ii背景图像为B，背景差分二值图为：
Figure FDA0002667280690000021
在差分二值图像的灰度值为255的像素点即可视为前景的运动目标点；
步骤3.1.4、形态学处理，包括膨胀、腐蚀和开运算；
步骤3.2、行人检测
采用了RGB颜色匹配模型和模板匹配模型来完成行人检测，包括：
步骤3.2.1、建立RGB颜色匹配模型；
首先选出目标具有颜色特征的区域作为颜色的采样区域，将采样区域内的若干点选定为采样点，并按照目标的结构比例记录其位置:
Pk,j＝(cx(j)-αk,jr(j),cy(j)-βk,jr(j)) (3)
其中Pk,j、(cx(j),cy(j))、r(j)分别为目标j的第k个采样点的位置坐标、质心坐标、目标半径；αk,j,βk,j表示该采样点相对质心移动的距离系数；在第一帧中，将各目标的采样点对应的RGB三个维度的颜色值，依次存入颜色模型矩阵ColorMode(K,J,V)，K,J,V分别表示采样点总数、目标总数及维度；因此，第j个目标的第k个采样点对应的原RGB图像中的第v维的颜色值为:
ColorMode(K,J,V)＝F(Pk,j,v) (4)
其中，k∈(1,K),j∈(1,J),v∈(1,V)
F为输入图像，在此后的各帧中，如第i帧，按同样的选取采样点的规则对目标进行颜色采样，再与已有的ColorMode对比；
|Fi(Pk,j,v)-ColorMode(k,j,v)|<T
v＝1,2,3 (5)
Fi(Pk,j,v)分别表示k目标j的第个采样点在R、G、B维度的颜色值，T为各维度匹配时允许的色差阈值；若满足式(5)，则认为该采样点与颜色模型匹配，即实现了简化的颜色匹配；并用第i帧中目标j的各采样点的颜色值Fi(Pk,j,v)替换ColorMode中相应位置的原值，实现颜色模型的更新；若未实现目标匹配，则不更新颜色模型；若检测到新生目标，按照同样方法建立颜色模型，并采用简化的颜色匹配方法在后续帧中进行目标匹配；各帧中每个目标都在相同的特殊点处采样，并将前后帧相同采样处的颜色值进行比对，选取K>>1个采样点，根据具体跟踪情况设定一个匹配数的阈值，若实现匹配的采样点数超过该阈值，则认为该目标实现了匹配；
步骤3.2.2、模版匹配模型
检测匹配区域：图像块从左往右或从上往下一次移动一个像素，在每一个位置，都进行一次度量计算来表明块图像和原图像的特定区域的相似性；
步骤3.2.3、目标轮廓标记
目标提取之后，需要对目标进行轮廓的标记，在FPGA中，具体的的流程包括：
Step1：统计出目标区域的每一个像素点的坐标；
Step2：将坐标的前后左右坐标的最大值和最小值计算出来；
Step3：根据这些最大值和最小值，得到跟踪标记；
步骤3.2.4、对违规行为进行预测和跟踪
在后端服务器内提前设置一条警戒线，系统检测的区域包括行人、斑马线的位置和交通灯颜色，警示线会根据斑马线的位置自动调整到适当地预测位置，出现的情况分为两种，包括：
灯为绿，警戒线将不起作用，行人可以自由通过路口；
灯为红，警戒线将起到警示作用，警戒线自动调整到距离斑马线50CM的地方，一旦有行人越过警戒线，判定为违规行为，系统做出警示；具体包括：
Step1：通过卷积层对视频中所要提取的信息点进行减少，提取信息之后进行整体判断；
Step2：经过DeeplabV3+模型对视频中的目标进行处理；
Step3：利用KCF算法进行目标跟踪。
6.根据权利要求4所述的行人违规行为预测和运动轨迹跟踪方法，其特征在于，所述步骤3的判断原则包括：
灯为绿，斑马线上无行人，判定为正常行为；
灯为绿，斑马线上有行人，判定为正常行为；
灯为红，斑马线上有行人，判定为违规行为；
灯为红，斑马线上无行人，判定为正常行为。
CN202010922727.0A 2020-09-04 2020-09-04 一种行人违规行为预测和运动轨迹跟踪系统和方法 Active CN112017445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010922727.0A CN112017445B (zh) 2020-09-04 2020-09-04 一种行人违规行为预测和运动轨迹跟踪系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010922727.0A CN112017445B (zh) 2020-09-04 2020-09-04 一种行人违规行为预测和运动轨迹跟踪系统和方法

Publications (2)

Publication Number Publication Date
CN112017445A true CN112017445A (zh) 2020-12-01
CN112017445B CN112017445B (zh) 2021-10-15

Family

ID=73515857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010922727.0A Active CN112017445B (zh) 2020-09-04 2020-09-04 一种行人违规行为预测和运动轨迹跟踪系统和方法

Country Status (1)

Country Link
CN (1) CN112017445B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884806A (zh) * 2021-01-12 2021-06-01 昆明理工大学 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置
CN115100871A (zh) * 2022-06-20 2022-09-23 钟孟玲 一种行人交通违规识别方法及系统
CN117115783A (zh) * 2023-09-06 2023-11-24 江苏泰坦智慧科技有限公司 基于机器视觉的流水线工作行为识别方法
CN117689881A (zh) * 2024-02-02 2024-03-12 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211370A (zh) * 2019-06-10 2019-09-06 吉林大学 一种基于lk光流法人行道智能警示装置
CN110223506A (zh) * 2019-07-11 2019-09-10 杨子恩 一种新型的交通路口行人违规警告系统及方法
KR20200059876A (ko) * 2018-11-22 2020-05-29 (주)엘앤케이랩 보행자 가이드 모듈, 이의 운영 방법 및 이를 포함하는 안내 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200059876A (ko) * 2018-11-22 2020-05-29 (주)엘앤케이랩 보행자 가이드 모듈, 이의 운영 방법 및 이를 포함하는 안내 시스템
CN110211370A (zh) * 2019-06-10 2019-09-06 吉林大学 一种基于lk光流法人行道智能警示装置
CN110223506A (zh) * 2019-07-11 2019-09-10 杨子恩 一种新型的交通路口行人违规警告系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹燕等: "基于颜色匹配的密集多目标快速跟踪算法", 《计算机仿真》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884806A (zh) * 2021-01-12 2021-06-01 昆明理工大学 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置
CN115100871A (zh) * 2022-06-20 2022-09-23 钟孟玲 一种行人交通违规识别方法及系统
CN117115783A (zh) * 2023-09-06 2023-11-24 江苏泰坦智慧科技有限公司 基于机器视觉的流水线工作行为识别方法
CN117115783B (zh) * 2023-09-06 2024-03-26 江苏泰坦智慧科技有限公司 基于机器视觉的流水线工作行为识别方法
CN117689881A (zh) * 2024-02-02 2024-03-12 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法

Also Published As

Publication number Publication date
CN112017445B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN112017445B (zh) 一种行人违规行为预测和运动轨迹跟踪系统和方法
CN111582216B (zh) 一种无人驾驶车载交通信号灯识别系统及方法
TWI409718B (zh) 移動中車輛之車牌定位方法
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
CN102708378B (zh) 一种基于图像异常特征的智能交通抓拍设备故障诊断的方法
CN105160297B (zh) 基于肤色特征的蒙面人事件自动检测方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN104978567B (zh) 基于场景分类的车辆检测方法
CN104050450A (zh) 一种基于视频的车牌识别方法
CN105718870A (zh) 自动驾驶中基于前向摄像头的道路标线提取方法
CN106934374B (zh) 一种雾霾场景中交通标识牌的识别方法及系统
Huerta et al. Exploiting multiple cues in motion segmentation based on background subtraction
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
Zhang et al. Application research of YOLO v2 combined with color identification
Damavandi et al. Speed limit traffic sign detection and recognition
Chen et al. Robust license plate detection in nighttime scenes using multiple intensity IR-illuminator
Sheng et al. Real-time anti-interference location of vehicle license plates using high-definition video
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
CN117294818A (zh) 一种用于机场施工的工地全景监控方法
CN111695374B (zh) 监控视角中斑马线区域的分割方法、系统、介质及设备
Lafuente-Arroyo et al. Traffic sign classification invariant to rotations using support vector machines
CN113221603A (zh) 一种检测监控设备被异物遮挡的方法及装置
He et al. Combining global and local features for detection of license plates in video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant