CN106128105B - 一种交通路口行人行为监测系统 - Google Patents

一种交通路口行人行为监测系统 Download PDF

Info

Publication number
CN106128105B
CN106128105B CN201610613568.XA CN201610613568A CN106128105B CN 106128105 B CN106128105 B CN 106128105B CN 201610613568 A CN201610613568 A CN 201610613568A CN 106128105 B CN106128105 B CN 106128105B
Authority
CN
China
Prior art keywords
pedestrian
particle
module
particles
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610613568.XA
Other languages
English (en)
Other versions
CN106128105A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hanrui Information Technology Co ltd
Original Assignee
Shenzhen Han Rui Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Han Rui Information Technology Ltd By Share Ltd filed Critical Shenzhen Han Rui Information Technology Ltd By Share Ltd
Priority to CN201610613568.XA priority Critical patent/CN106128105B/zh
Publication of CN106128105A publication Critical patent/CN106128105A/zh
Application granted granted Critical
Publication of CN106128105B publication Critical patent/CN106128105B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种交通路口行人行为监测系统，包括信号灯图像采集模块、视频分析模块、行人行为分析模块和路口图像采集处理模块；所述信号灯图像采集模块，用于实时采集信号灯图像；所述视频分析模块，用于根据信号灯图像采集模块采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块和路口图像采集处理模块；所述路口图像采集处理模块，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块；所述行人行为分析模块，用于在接收到禁行信号后获取路口图像采集处理模块的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规。本发明大大降低了交通路口的人工监控维护的人力成本。

Description

一种交通路口行人行为监测系统
技术领域
本发明涉及交通领域，具体涉及一种交通路口行人行为监测系统。
背景技术
为了降低交通事故，一些地区出台了行人违反交通而采取对应措施的法律法规，这对降低行人违反交通而产生的事故发生率取得了一定成效，但是该方法浪费了大量的人力，设置斑马线的路口需要有交警来协助实施该法律法规。因此，需要一种交通路口行人行为监测系统和方法，能够降低事故发生率的情况下，有效减少人力成本。
发明内容
为解决上述问题，本发明旨在提供一种交通路口行人行为监测系统。
本发明的目的采用以下技术方案来实现：
一种交通路口行人行为监测系统，包括信号灯图像采集模块、视频分析模块、行人行为分析模块和路口图像采集处理模块；所述信号灯图像采集模块，用于实时采集信号灯图像；所述视频分析模块，用于根据信号灯图像采集模块采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块和路口图像采集处理模块；所述路口图像采集处理模块，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块；所述行人行为分析模块，用于在接收到禁行信号后获取路口图像采集处理模块的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规。
本发明的有益效果为：通过对信号灯的颜色识别以及对交通路口行人行为的识别，不仅可以通过视频图像获得交通路口的现状，还能获知违规过马路的行人，监控人员可以通过远程协助，来实现对该路口的控制，这将大大降低了交通路口的人工监控维护的人力成本，从而解决了上述的技术问题。
附图说明
利用附图对本发明作进一步说明，但附图中的应用场景不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
图2是本发明行人跟踪单元的结构示意图。
附图标记：
信号灯图像采集模块1、视频分析模块2、路口图像采集处理模块3、行人行为分析模块4、报警模块5、行人跟踪单元41、违规分析单元42、计数单元43、初始化子模块411、状态转移模型建立子模块412、观测模型建立子模块413、行人目标区域计算子模块414、位置修正子模块415、重采样子模块416。
具体实施方式
结合以下应用场景对本发明作进一步描述。
应用场景1
参见图1、图2，本应用场景的一个实施例的一种交通路口行人行为监测系统，包括信号灯图像采集模块1、视频分析模块2、行人行为分析模块4和路口图像采集处理模块3；所述信号灯图像采集模块1，用于实时采集信号灯图像；所述视频分析模块2，用于根据信号灯图像采集模块1采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块4和路口图像采集处理模块3；所述路口图像采集处理模块3，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块4；所述行人行为分析模块4，用于在接收到禁行信号后获取路口图像采集处理模块3的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规。
本发明上述实施例通过对信号灯的颜色识别以及对交通路口行人行为的识别，不仅可以通过视频图像获得交通路口的现状，还能获知违规过马路的行人，监控人员可以通过远程协助，来实现对该路口的控制，这将大大降低了交通路口的人工监控维护的人力成本，从而解决了上述的技术问题。
优选的，所述系统还包括报警模块5，用于在行人行为分析模块4判断有违规行人时发出报警声音。
本优选实施例增加了报警功能，使系统更加智能化。
优选的，所述行人行为分析模块4包括行人跟踪单元41、违规分析单元42和计数单元43；所述行人跟踪单元41，用于对行人进行跟踪，确定行人位置；所述违规分析单元42，用于根据行人的位置判断行人是否违规；所述计数单元43用于对违规行人进行计数。
本优选实施例对行人行为分析模块4进行设计，增加了系统违规分析和违规人数计算的功能。
优选的，所述行人跟踪单元41包括运动区域检测子单元、目标跟踪子单元和目标定位子单元；所述运动区域检测子单元用于在视频图像的一帧图像中检测行人的运动区域D1并以此作为目标模板；所述目标跟踪子单元用于建立粒子状态转移和观测模型并基于上述模型，采用粒子滤波预测行人目标区域；所述目标定位子单元用于对所述行人目标区域和所述目标模板进行特征相似度量，获得所述行人的检测跟踪结果，实现行人定位。
本优选实施例构建了行人跟踪单元41的模块架构。
优选的，所述目标跟踪子单元包括：
(1)初始化子模块411：用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理，初始化处理后粒子的初始状态为x0 i，初始权值为{Qo i＝1/n,i＝1,...n}；
(2)状态转移模型建立子模块412：用于建立粒子状态转移模型，所述粒子状态转移模型采用下式：
式中，表示m时刻的新粒子，m≥2，为均值为0的高斯白噪声，A为4阶单位阵；m-1时刻的粒子通过状态转移模型传播；
(3)观测模型建立子模块413，用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型；
(4)行人目标区域计算子模块414：其利用最小方差估计来计算行人目标区域：
式中，xnow表示计算的当前帧图像的行人目标区域，表示m时刻第j个粒子的对应状态值；
(5)位置修正子模块415：用于修正异常数据：
式中，xpre表示计算的当前帧图像的行人目标区域，表示m-1时刻第j个粒子的对应状态值；
设置数据异常评价函数P＝|xnow-xpre|，若P的值大于设定的经验值T,则xnow＝xpre；
(6)重采样子模块416：用于通过重采样操作删除权值过小的粒子，重采样时，利用系统当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，采样过程中粒子数量和信息残差之间的关系定义为：
其中，Nm表示采样过程中m时刻的粒子数量，Nmax和Nmin分别表示最小和最大粒子数，Nmin+1表示仅大于Nmin的粒子数，Nmax-1表示仅小于Nmax的粒子数，表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新，有效增强了跟踪系统的鲁棒性；设置位置修正子模块415，能够避免异常数据对整个系统带来的影响；在重采样子模块416中，利用当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，并定义了采样过程中粒子数量和信息残差之间的关系，较好地保证了粒子采样的高效性和算法的实时性。
优选地，所述粒子观测模型的粒子权值更新公式为：
式中
其中，表示m时刻第j个粒子的最终更新权值，和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值，表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值，表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值，Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离，Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差，λ1为基于颜色直方图的特征权值归一化的自适应调整因子，λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子；
所述自适应调整因子的计算公式为：
其中，s＝1时，表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值；s＝2时，表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子，为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值；s＝3时，表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值；ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式，对粒子的特征权值进行融合处理，有效克服了加性融合和乘性融合存在的缺陷，进一步增强了跟踪系统的鲁棒性。
在此应用场景中，选取粒子数n＝50，跟踪速度相对提高了8％，跟踪精度相对提高了7％。
应用场景2
参见图1、图2，本应用场景的一个实施例的一种交通路口行人行为监测系统，包括信号灯图像采集模块1、视频分析模块2、行人行为分析模块4和路口图像采集处理模块3；所述信号灯图像采集模块1，用于实时采集信号灯图像；所述视频分析模块2，用于根据信号灯图像采集模块1采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块4和路口图像采集处理模块3；所述路口图像采集处理模块3，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块4；所述行人行为分析模块4，用于在接收到禁行信号后获取路口图像采集处理模块3的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规。
本发明上述实施例通过对信号灯的颜色识别以及对交通路口行人行为的识别，不仅可以通过视频图像获得交通路口的现状，还能获知违规过马路的行人，监控人员可以通过远程协助，来实现对该路口的控制，这将大大降低了交通路口的人工监控维护的人力成本，从而解决了上述的技术问题。
优选的，所述系统还包括报警模块5，用于在行人行为分析模块4判断有违规行人时发出报警声音。
本优选实施例增加了报警功能，使系统更加智能化。
优选的，所述行人行为分析模块4包括行人跟踪单元41、违规分析单元42和计数单元43；所述行人跟踪单元41，用于对行人进行跟踪，确定行人位置；所述违规分析单元42，用于根据行人的位置判断行人是否违规；所述计数单元43用于对违规行人进行计数。
本优选实施例对行人行为分析模块4进行设计，增加了系统违规分析和违规人数计算的功能。
优选的，所述行人跟踪单元41包括运动区域检测子单元、目标跟踪子单元和目标定位子单元；所述运动区域检测子单元用于在视频图像的一帧图像中检测行人的运动区域D1并以此作为目标模板；所述目标跟踪子单元用于建立粒子状态转移和观测模型并基于上述模型，采用粒子滤波预测行人目标区域；所述目标定位子单元用于对所述行人目标区域和所述目标模板进行特征相似度量，获得所述行人的检测跟踪结果，实现行人定位。
本优选实施例构建了行人跟踪单元41的模块架构。
优选的，所述目标跟踪子单元包括：
(1)初始化子模块411：用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理，初始化处理后粒子的初始状态为x0 i，初始权值为{Qo i＝1/n,i＝1,...n}；
(2)状态转移模型建立子模块412：用于建立粒子状态转移模型，所述粒子状态转移模型采用下式：
式中，表示m时刻的新粒子，m≥2，为均值为0的高斯白噪声，A为4阶单位阵；m-1时刻的粒子通过状态转移模型传播；
(3)观测模型建立子模块413，用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型；
(4)行人目标区域计算子模块414：其利用最小方差估计来计算行人目标区域：
式中，xnow表示计算的当前帧图像的行人目标区域，表示m时刻第j个粒子的对应状态值；
(5)位置修正子模块415：用于修正异常数据：
式中，xpre表示计算的当前帧图像的行人目标区域，表示m-1时刻第j个粒子的对应状态值；
设置数据异常评价函数P＝|xnow-xpre|，若P的值大于设定的经验值T,则xnow＝xpre；
(6)重采样子模块416：用于通过重采样操作删除权值过小的粒子，重采样时，利用系统当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，采样过程中粒子数量和信息残差之间的关系定义为：
其中，Nm表示采样过程中m时刻的粒子数量，Nmax和Nmin分别表示最小和最大粒子数，Nmin+1表示仅大于Nmin的粒子数，Nmax-1表示仅小于Nmax的粒子数，表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新，有效增强了跟踪系统的鲁棒性；设置位置修正子模块415，能够避免异常数据对整个系统带来的影响；在重采样子模块416中，利用当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，并定义了采样过程中粒子数量和信息残差之间的关系，较好地保证了粒子采样的高效性和算法的实时性。
优选地，所述粒子观测模型的粒子权值更新公式为：
式中
其中，表示m时刻第j个粒子的最终更新权值，和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值，表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值，表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值，Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离，Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差，λ1为基于颜色直方图的特征权值归一化的自适应调整因子，λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子；
所述自适应调整因子的计算公式为：
其中，s＝1时，表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值；s＝2时，表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子，为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值；s＝3时，表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值；ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式，对粒子的特征权值进行融合处理，有效克服了加性融合和乘性融合存在的缺陷，进一步增强了跟踪系统的鲁棒性。
在此应用场景中，选取粒子数n＝55，跟踪速度相对提高了7％，跟踪精度相对提高了8％。
应用场景3
参见图1、图2，本应用场景的一个实施例的一种交通路口行人行为监测系统，包括信号灯图像采集模块1、视频分析模块2、行人行为分析模块4和路口图像采集处理模块3；所述信号灯图像采集模块1，用于实时采集信号灯图像；所述视频分析模块2，用于根据信号灯图像采集模块1采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块4和路口图像采集处理模块3；所述路口图像采集处理模块3，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块4；所述行人行为分析模块4，用于在接收到禁行信号后获取路口图像采集处理模块3的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规。
本发明上述实施例通过对信号灯的颜色识别以及对交通路口行人行为的识别，不仅可以通过视频图像获得交通路口的现状，还能获知违规过马路的行人，监控人员可以通过远程协助，来实现对该路口的控制，这将大大降低了交通路口的人工监控维护的人力成本，从而解决了上述的技术问题。
优选的，所述系统还包括报警模块5，用于在行人行为分析模块4判断有违规行人时发出报警声音。
本优选实施例增加了报警功能，使系统更加智能化。
优选的，所述行人行为分析模块4包括行人跟踪单元41、违规分析单元42和计数单元43；所述行人跟踪单元41，用于对行人进行跟踪，确定行人位置；所述违规分析单元42，用于根据行人的位置判断行人是否违规；所述计数单元43用于对违规行人进行计数。
本优选实施例对行人行为分析模块4进行设计，增加了系统违规分析和违规人数计算的功能。
优选的，所述行人跟踪单元41包括运动区域检测子单元、目标跟踪子单元和目标定位子单元；所述运动区域检测子单元用于在视频图像的一帧图像中检测行人的运动区域D1并以此作为目标模板；所述目标跟踪子单元用于建立粒子状态转移和观测模型并基于上述模型，采用粒子滤波预测行人目标区域；所述目标定位子单元用于对所述行人目标区域和所述目标模板进行特征相似度量，获得所述行人的检测跟踪结果，实现行人定位。
本优选实施例构建了行人跟踪单元41的模块架构。
优选的，所述目标跟踪子单元包括：
(1)初始化子模块411：用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理，初始化处理后粒子的初始状态为x0 i，初始权值为{Qo i＝1/n,i＝1,...n}；
(2)状态转移模型建立子模块412：用于建立粒子状态转移模型，所述粒子状态转移模型采用下式：
式中，表示m时刻的新粒子，m≥2，为均值为0的高斯白噪声，A为4阶单位阵；m-1时刻的粒子通过状态转移模型传播；
(3)观测模型建立子模块413，用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型；
(4)行人目标区域计算子模块414：其利用最小方差估计来计算行人目标区域：
式中，xnow表示计算的当前帧图像的行人目标区域，表示m时刻第j个粒子的对应状态值；
(5)位置修正子模块415：用于修正异常数据：
式中，xpre表示计算的当前帧图像的行人目标区域，表示m-1时刻第j个粒子的对应状态值；
设置数据异常评价函数P＝|xnow-xpre|，若P的值大于设定的经验值T,则xnow＝xpre；
(6)重采样子模块416：用于通过重采样操作删除权值过小的粒子，重采样时，利用系统当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，采样过程中粒子数量和信息残差之间的关系定义为：
其中，Nm表示采样过程中m时刻的粒子数量，Nmax和Nmin分别表示最小和最大粒子数，Nmin+1表示仅大于Nmin的粒子数，Nmax-1表示仅小于Nmax的粒子数，表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新，有效增强了跟踪系统的鲁棒性；设置位置修正子模块415，能够避免异常数据对整个系统带来的影响；在重采样子模块416中，利用当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，并定义了采样过程中粒子数量和信息残差之间的关系，较好地保证了粒子采样的高效性和算法的实时性。
优选地，所述粒子观测模型的粒子权值更新公式为：
式中
其中，表示m时刻第j个粒子的最终更新权值，和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值，表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值，表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值，Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离，Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差，λ1为基于颜色直方图的特征权值归一化的自适应调整因子，λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子；
所述自适应调整因子的计算公式为：
其中，s＝1时，表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值；s＝2时，表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子，为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值；s＝3时，表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值；ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式，对粒子的特征权值进行融合处理，有效克服了加性融合和乘性融合存在的缺陷，进一步增强了跟踪系统的鲁棒性。
在此应用场景中，选取粒子数n＝60，跟踪速度相对提高了6.5％，跟踪精度相对提高了8.4％。
应用场景4
参见图1、图2，本应用场景的一个实施例的一种交通路口行人行为监测系统，包括信号灯图像采集模块1、视频分析模块2、行人行为分析模块4和路口图像采集处理模块3；所述信号灯图像采集模块1，用于实时采集信号灯图像；所述视频分析模块2，用于根据信号灯图像采集模块1采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块4和路口图像采集处理模块3；所述路口图像采集处理模块3，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块4；所述行人行为分析模块4，用于在接收到禁行信号后获取路口图像采集处理模块3的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规。
本发明上述实施例通过对信号灯的颜色识别以及对交通路口行人行为的识别，不仅可以通过视频图像获得交通路口的现状，还能获知违规过马路的行人，监控人员可以通过远程协助，来实现对该路口的控制，这将大大降低了交通路口的人工监控维护的人力成本，从而解决了上述的技术问题。
优选的，所述系统还包括报警模块5，用于在行人行为分析模块4判断有违规行人时发出报警声音。
本优选实施例增加了报警功能，使系统更加智能化。
优选的，所述行人行为分析模块4包括行人跟踪单元41、违规分析单元42和计数单元43；所述行人跟踪单元41，用于对行人进行跟踪，确定行人位置；所述违规分析单元42，用于根据行人的位置判断行人是否违规；所述计数单元43用于对违规行人进行计数。
本优选实施例对行人行为分析模块4进行设计，增加了系统违规分析和违规人数计算的功能。
优选的，所述行人跟踪单元41包括运动区域检测子单元、目标跟踪子单元和目标定位子单元；所述运动区域检测子单元用于在视频图像的一帧图像中检测行人的运动区域D1并以此作为目标模板；所述目标跟踪子单元用于建立粒子状态转移和观测模型并基于上述模型，采用粒子滤波预测行人目标区域；所述目标定位子单元用于对所述行人目标区域和所述目标模板进行特征相似度量，获得所述行人的检测跟踪结果，实现行人定位。
本优选实施例构建了行人跟踪单元41的模块架构。
优选的，所述目标跟踪子单元包括：
(1)初始化子模块411：用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理，初始化处理后粒子的初始状态为x0 i，初始权值为{Qo i＝1/n,i＝1,...n}；
(2)状态转移模型建立子模块412：用于建立粒子状态转移模型，所述粒子状态转移模型采用下式：
式中，表示m时刻的新粒子，m≥2，为均值为0的高斯白噪声，A为4阶单位阵；m-1时刻的粒子通过状态转移模型传播；
(3)观测模型建立子模块413，用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型；
(4)行人目标区域计算子模块414：其利用最小方差估计来计算行人目标区域：
式中，xnow表示计算的当前帧图像的行人目标区域，表示m时刻第j个粒子的对应状态值；
(5)位置修正子模块415：用于修正异常数据：
式中，xpre表示计算的当前帧图像的行人目标区域，表示m-1时刻第j个粒子的对应状态值；
设置数据异常评价函数P＝|xnow-xpre|，若P的值大于设定的经验值T,则xnow＝xpre；
(6)重采样子模块416：用于通过重采样操作删除权值过小的粒子，重采样时，利用系统当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，采样过程中粒子数量和信息残差之间的关系定义为：
其中，Nm表示采样过程中m时刻的粒子数量，Nmax和Nmin分别表示最小和最大粒子数，Nmin+1表示仅大于Nmin的粒子数，Nmax-1表示仅小于Nmax的粒子数，表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新，有效增强了跟踪系统的鲁棒性；设置位置修正子模块415，能够避免异常数据对整个系统带来的影响；在重采样子模块416中，利用当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，并定义了采样过程中粒子数量和信息残差之间的关系，较好地保证了粒子采样的高效性和算法的实时性。
优选地，所述粒子观测模型的粒子权值更新公式为：
式中
其中，表示m时刻第j个粒子的最终更新权值，和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值，表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值，表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值，Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离，Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差，λ1为基于颜色直方图的特征权值归一化的自适应调整因子，λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子；
所述自适应调整因子的计算公式为：
其中，s＝1时，表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值；s＝2时，表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子，为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值；s＝3时，表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值；ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式，对粒子的特征权值进行融合处理，有效克服了加性融合和乘性融合存在的缺陷，进一步增强了跟踪系统的鲁棒性。
在此应用场景中，选取粒子数n＝65，跟踪速度相对提高了6.5％，跟踪精度相对提高了8.5％。
应用场景5
参见图1、图2，本应用场景的一个实施例的一种交通路口行人行为监测系统，包括信号灯图像采集模块1、视频分析模块2、行人行为分析模块4和路口图像采集处理模块3；所述信号灯图像采集模块1，用于实时采集信号灯图像；所述视频分析模块2，用于根据信号灯图像采集模块1采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块4和路口图像采集处理模块3；所述路口图像采集处理模块3，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块4；所述行人行为分析模块4，用于在接收到禁行信号后获取路口图像采集处理模块3的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规。
本发明上述实施例通过对信号灯的颜色识别以及对交通路口行人行为的识别，不仅可以通过视频图像获得交通路口的现状，还能获知违规过马路的行人，监控人员可以通过远程协助，来实现对该路口的控制，这将大大降低了交通路口的人工监控维护的人力成本，从而解决了上述的技术问题。
优选的，所述系统还包括报警模块5，用于在行人行为分析模块4判断有违规行人时发出报警声音。
本优选实施例增加了报警功能，使系统更加智能化。
优选的，所述行人行为分析模块4包括行人跟踪单元41、违规分析单元42和计数单元43；所述行人跟踪单元41，用于对行人进行跟踪，确定行人位置；所述违规分析单元42，用于根据行人的位置判断行人是否违规；所述计数单元43用于对违规行人进行计数。
本优选实施例对行人行为分析模块4进行设计，增加了系统违规分析和违规人数计算的功能。
优选的，所述行人跟踪单元41包括运动区域检测子单元、目标跟踪子单元和目标定位子单元；所述运动区域检测子单元用于在视频图像的一帧图像中检测行人的运动区域D1并以此作为目标模板；所述目标跟踪子单元用于建立粒子状态转移和观测模型并基于上述模型，采用粒子滤波预测行人目标区域；所述目标定位子单元用于对所述行人目标区域和所述目标模板进行特征相似度量，获得所述行人的检测跟踪结果，实现行人定位。
本优选实施例构建了行人跟踪单元41的模块架构。
优选的，所述目标跟踪子单元包括：
(1)初始化子模块411：用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理，初始化处理后粒子的初始状态为x0 i，初始权值为{Qo i＝1/n,i＝1,...n}；
(2)状态转移模型建立子模块412：用于建立粒子状态转移模型，所述粒子状态转移模型采用下式：
式中，表示m时刻的新粒子，m≥2，为均值为0的高斯白噪声，A为4阶单位阵；m-1时刻的粒子通过状态转移模型传播；
(3)观测模型建立子模块413，用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型；
(4)行人目标区域计算子模块414：其利用最小方差估计来计算行人目标区域：
式中，xnow表示计算的当前帧图像的行人目标区域，表示m时刻第j个粒子的对应状态值；
(5)位置修正子模块415：用于修正异常数据：
式中，xpre表示计算的当前帧图像的行人目标区域，表示m-1时刻第j个粒子的对应状态值；
设置数据异常评价函数P＝|xnow-xpre|，若P的值大于设定的经验值T,则xnow＝xpre；
(6)重采样子模块416：用于通过重采样操作删除权值过小的粒子，重采样时，利用系统当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，采样过程中粒子数量和信息残差之间的关系定义为：
其中，Nm表示采样过程中m时刻的粒子数量，Nmax和Nmin分别表示最小和最大粒子数，Nmin+1表示仅大于Nmin的粒子数，Nmax-1表示仅小于Nmax的粒子数，表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新，有效增强了跟踪系统的鲁棒性；设置位置修正子模块415，能够避免异常数据对整个系统带来的影响；在重采样子模块416中，利用当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，并定义了采样过程中粒子数量和信息残差之间的关系，较好地保证了粒子采样的高效性和算法的实时性。
优选地，所述粒子观测模型的粒子权值更新公式为：
式中
其中，表示m时刻第j个粒子的最终更新权值，和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值，表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值，表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值，Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离，Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差，λ1为基于颜色直方图的特征权值归一化的自适应调整因子，λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子；
所述自适应调整因子的计算公式为：
其中，s＝1时，表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值；s＝2时，表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子，为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值；s＝3时，表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子，为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值；ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式，对粒子的特征权值进行融合处理，有效克服了加性融合和乘性融合存在的缺陷，进一步增强了跟踪系统的鲁棒性。
在此应用场景中，选取粒子数n＝70，跟踪速度相对提高了6％，跟踪精度相对提高了9％
最后应当说明的是，以上应用场景仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳应用场景对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (2)

1.一种交通路口行人行为监测系统，其特征在于，包括信号灯图像采集模块、视频分析模块、行人行为分析模块和路口图像采集处理模块；所述信号灯图像采集模块，用于实时采集信号灯图像；所述视频分析模块，用于根据信号灯图像采集模块采集的图像判断信号灯的状态，并将禁行信号发给行人行为分析模块和路口图像采集处理模块；所述路口图像采集处理模块，用于拍摄交通路口的视频图像并对视频图像进行处理，并将处理图像发给行人行为分析模块；所述行人行为分析模块，用于在接收到禁行信号后获取路口图像采集处理模块的处理图像，并对行人进行捕捉和跟踪处理，判断行人行为是否违规；所述行人行为分析模块包括行人跟踪单元、违规分析单元和计数单元；所述行人跟踪单元，用于对行人进行跟踪，确定行人位置；所述违规分析单元，用于根据行人的位置判断行人是否违规；所述计数单元用于对违规行人进行计数；所述行人跟踪单元包括运动区域检测子单元、目标跟踪子单元和目标定位子单元；所述运动区域检测子单元用于在视频图像的一帧图像中检测行人的运动区域并以此作为目标模板；所述目标跟踪子单元用于建立粒子状态转移和观测模型并基于上述模型，采用粒子滤波预测行人目标区域；所述目标定位子单元用于对所述行人目标区域和所述目标模板进行特征相似度量，获得所述行人的检测跟踪结果，实现行人定位；所述目标跟踪子单元包括：
(1)初始化子模块：用于在运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理，初始化处理后粒子的初始状态为x0 i，初始权值为{Qo i＝1/n,i＝1,...n}；
(2)状态转移模型建立子模块：用于建立粒子状态转移模型，所述粒子状态转移模型采用下式：
式中，表示m时刻的粒子i的状态值，表示m-1时刻的粒子i的状态值，m≥2，为均值为0的高斯白噪声，A为4阶单位阵；m-1时刻的粒子通过状态转移模型传播；
(3)观测模型建立子模块，用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型；
(4)行人目标区域计算子模块：其利用最小方差估计来计算行人目标区域：
式中，xnow表示计算的当前帧图像的行人目标区域，表示m时刻第j个粒子的对应状态值；
(5)位置修正子模块：用于修正异常数据：
式中，xpre表示计算的当前帧图像的行人目标区域，表示m-1时刻第j个粒子的对应状态值，表示m-1时刻第j个粒子的最终更新权值；
设置数据异常评价函数P＝|xnow-xpre|，若P的值大于设定的经验值T,则xnow＝xpre；
(6)重采样子模块：用于通过重采样操作删除权值过小的粒子，重采样时，利用系统当前时刻预测和观测的差值提供新息残差，进而通过量测新息残差对采样的粒子进行在线自适应性调整，采样过程中粒子数量和信息残差之间的关系定义为：
其中，Nm表示采样过程中m时刻的粒子数量，Nmax和Nmin分别表示最小和最大粒子数，Nmin+1表示仅大于Nmin的粒子数，Nmax-1表示仅小于Nmax的粒子数，表示m时刻系统的新息残差。
2.根据权利要求1所述的交通路口行人行为监测系统，其特征在于，所述系统还包括报警模块，用于在行人行为分析模块判断有违规行人时发出报警声音。
CN201610613568.XA 2016-07-27 2016-07-27 一种交通路口行人行为监测系统 Expired - Fee Related CN106128105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610613568.XA CN106128105B (zh) 2016-07-27 2016-07-27 一种交通路口行人行为监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610613568.XA CN106128105B (zh) 2016-07-27 2016-07-27 一种交通路口行人行为监测系统

Publications (2)

Publication Number Publication Date
CN106128105A CN106128105A (zh) 2016-11-16
CN106128105B true CN106128105B (zh) 2019-01-04

Family

ID=57255259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610613568.XA Expired - Fee Related CN106128105B (zh) 2016-07-27 2016-07-27 一种交通路口行人行为监测系统

Country Status (1)

Country Link
CN (1) CN106128105B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652448A (zh) * 2016-12-13 2017-05-10 山姆帮你（天津）信息科技有限公司 基于视频处理技术的公路交通状态监测系统
CN107622658B (zh) * 2017-10-12 2018-10-12 樊陆 行人过马路的监测方法及终端设备
CN108151732A (zh) * 2017-12-22 2018-06-12 浙江西湖高等研究院 一种远程的位置和行为估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023116A (ko) * 2002-09-10 2004-03-18 정용석 보행자 신호등 시스템
CN201307337Y (zh) * 2008-11-04 2009-09-09 上海经达实业发展有限公司 行人闯红灯自动报警监控装置
CN103456168B (zh) * 2013-08-20 2016-01-06 深圳市飞瑞斯科技有限公司 一种交通路口行人行为监测系统和方法
CN104574949A (zh) * 2013-10-25 2015-04-29 陕西金合泰克信息科技发展有限公司 一种行人闯红灯曝光系统
CN105679059A (zh) * 2016-04-20 2016-06-15 李勇 基于人脸识别的行人闯红灯一体化信号灯装置

Also Published As

Publication number Publication date
CN106128105A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
Alpatov et al. Vehicle detection and counting system for real-time traffic surveillance
CN108446630B (zh) 机场跑道智能监控方法、应用服务器及计算机存储介质
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN108701396B (zh) 一种车前积雪与结冰的检测报警方法、存储介质和服务器
CN102073851A (zh) 一种城市交通事故自动识别方法和系统
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN104123544A (zh) 基于视频分析的异常行为检测方法及系统
CN101635835A (zh) 智能视频监控方法及系统
CN111161312B (zh) 一种基于计算机视觉的物体轨迹追踪识别装置及系统
CN111091110B (zh) 一种基于人工智能的反光背心穿戴识别方法
CN106128105B (zh) 一种交通路口行人行为监测系统
CN111814668B (zh) 用于检测道路抛洒物的方法和装置
CN108647575A (zh) 基于光学视觉分析的溺水预警方法
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
CN110349172B (zh) 基于图像处理和双目立体测距的输电线路防外破预警方法
JP7023803B2 (ja) 監視システム
CN112381132A (zh) 一种基于多个摄像头融合的目标物跟踪方法和系统
CN110458144A (zh) 物体区域入侵检测方法、系统、装置及可读存储介质
CN110796580A (zh) 智能交通系统管理方法及相关产品
CN112487877A (zh) 一种厨余垃圾规范操作的监控方法、系统、装置及介质
CN117689881B (zh) 基于事件相机和cmos相机的抛洒物追踪方法
CN110837760B (zh) 目标检测方法、用于目标检测的训练方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181031

Address after: 518054 Liwan mansion 0101, Nanshan District Road, Nanshan District, Shenzhen, A901

Applicant after: SHENZHEN HANRUI INFORMATION TECHNOLOGY CO.,LTD.

Address before: No. 32, Zhenhai District, Zhejiang Province, Zhenhai District, Drum Tower East Road, Ningbo, Zhejiang

Applicant before: Pan Yan

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190104

CF01 Termination of patent right due to non-payment of annual fee