CN104091446B - 行人过斑马线的智能化视频分析方法 - Google Patents

行人过斑马线的智能化视频分析方法 Download PDF

Info

Publication number
CN104091446B
CN104091446B CN201410329918.0A CN201410329918A CN104091446B CN 104091446 B CN104091446 B CN 104091446B CN 201410329918 A CN201410329918 A CN 201410329918A CN 104091446 B CN104091446 B CN 104091446B
Authority
CN
China
Prior art keywords
video
pedestrian
video information
zebra crossing
warning module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410329918.0A
Other languages
English (en)
Other versions
CN104091446A (zh
Inventor
李军
陈杜凝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Pan Union Technology Co., Ltd.
Original Assignee
Xiamen Pan Union Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Pan Union Technology Co Ltd filed Critical Xiamen Pan Union Technology Co Ltd
Priority to CN201410329918.0A priority Critical patent/CN104091446B/zh
Publication of CN104091446A publication Critical patent/CN104091446A/zh
Application granted granted Critical
Publication of CN104091446B publication Critical patent/CN104091446B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开一种行人过斑马线的智能化视频分析方法,其包括如下流程:步骤1:在斑马线附近设置视频分析系统,在预设时间点定时启动该视频分析系统,摄像头实时采集视频信息数据,并将该视频信息数据传输至视频分析器;步骤2:视频分析器分析视频信息数据并判断交通信号灯的状态,如果红灯则启动智能报警模块的入侵报警功能;如果是绿灯或者黄灯,则启动智能报警模块的播放提醒信息功能;步骤3:在预设时间点关闭视频分析系统,关闭视频分析系统之前对该日的视频信息数据进行存储。本发明通过上述方案,实现一个独有的城市斑马线红绿灯、运动行人智能化视频分析方法,实现红灯时对斑马线行人入侵检测,并根据检测结果进行智能音视频报警。

Description

行人过斑马线的智能化视频分析方法
技术领域
本发明涉及视频分析方法技术领域,尤其是指一种对行人过斑马线闯红灯进行智能化分析的视频分析方法。
背景技术
当前,城市人口越来越多,城市中行驶的各种车辆更是以爆发性速度增长,由于城市生活节奏都比较快,斑马线上总是上演着生死时速的场景,并形成了中国式的闯红灯过马路习惯。
为了让行人把走斑马线作为一种固定习俗,不闯红灯过斑马线成为一种美德,那必须对广大群众做好文明交通的宣导和广而告之,如何让群众有一个好的方式得到宣导和现场督促的效果,一般来说,在交通路口斑马线附近安装一台文明交通宣导设备进行现场教育宣传有直接的效果。久而久之,人们就会形成习惯,遵守不闯红灯过马路的规则,使我国道路交通过马路更安全,群众养成良好的交通文明意识。
目前只有极少的部分城市在路口架设了移动式拉杆式音箱作为文明交通宣导设备,这种设备有许多的问题点:1、移动拉杆式音箱,是符合广场舞之类的街边设备,不符合全天候的户外专用设备等级要求; 2、每天要把移动式音箱拉回办公场所充电,第二天方可继续使用; 3、每天来回拉动,设备比较容易损坏; 4、每天的路口需要志愿者或者工作者专人看守,费时费力,在天气恶劣情况下,工作者是个辛苦活,不适合长时间这么运作; 5、功能单一,不能遥控操作,当有人违反交规,不能语音提示; 6、采用人工吹哨子或者手持扩音器在交通路口督导都有很多弊病。
为此,一篇申请号为201310251766.2的发明专利,公开了一种能够实时捕捉行人过马路时的动作并以此来判断该行人在过马路时是否有闯红灯的基于 Kinect 的行人闯红灯检测方法及其系统。它包括用于采集人体图像的 Kinect 体感摄影机、数据输入接口、通过处理采集到的人体图像来分析现场作业的中央处理器、无线信号发射器、语音报警装置、用于协警携带的便携式报警器,Kinect 体感摄影机通过数据输入接口与中央处理器连接,中央处理器连接无线信号发射器和语音报警装置,便携式报警器与无线信号发射器连接。该发明虽然能够实时捕捉行人过马路时的动作并以此来判断该行人在过马路时是否有闯红灯,并对人体动作进行实时分析并进行监控,但是实现该实时分析过程,需要首先建立三维人体模型,通过获取在不同采样时刻的静态人体姿势图像序列对人体运动状态的跟踪和标定,将图像与预先定义的人体模型相匹配,以此得到各个采样时刻的人体运动参数,该过程中,其静态人体姿势图像序列如果数量太少,则有准确度低的问题,而如果为了提高准确率,则需要采集大量的不同时刻的静态人体姿势图像序列,而每天每时每刻过斑马线的行人各不相同,因此即使采集数量足够多,仍然无法达到很高的准确度,也无法根据行人的新的变化进行自适应更新,因此其准确率不能达到一个很高的要求;其次,该过程中,需要对采集到的图像跟已有的人体模型相匹配,其需要对采集到的图像首先进行图像处理以及局部抠图,然后再跟数据库中的大量的模型进行匹配,整个过程计算复杂,对硬件要求高,且计算时间长,不适合斑马线位置处即时的报警处理。
发明内容
因此,针对上述的问题,本发明提出一种算法简单但有效的行人过斑马线的智能化视频分析方法,针对斑马线位置处行人的行为进行分析,并根据行人的不同行为进行不同的操作,其算法简单,易于实现,且能迅速的得出判断结果;另外,本发明的方案在红灯时,对斑马线行人进行入侵分析,如果闯红灯则进行智能音视频报警,同时对驻足斑马线的行人进行商业广告插播服务,不仅起到文明交通的监督作用,还为商家提供良好的广告宣传平台或者为政府提供一个良好的宣导教育平台。
具体的,为了解决上述技术问题,本发明所采用的技术方案是:
一种行人过斑马线的智能化视频分析方法,其包括如下流程:
步骤1:在斑马线附近设置视频分析系统,该视频分析系统包括视频分析器、服务器、摄像头以及智能报警模块,视频分析器与摄像头、服务器以及智能报警模块建立通讯连接,智能报警模块至少包括户外音响输出设备与高清视频输出设备,户外音响输出设备和高清视频输出设备均与视频分析器电性连接,户外音响输出设备用以广播,高清视频输出设备用以播放高清视频;当然,该智能报警模块还可以进行扩展,例如增设智能便携警示终端,该智能便携警示终端可由交警手持,用以及时发现违规违法现象并予以制止;为了节省能源,该视频分析系统被设定为在每一天的第一预设时间开启并在第二预设时间关闭,使用者可自行设置监控时在预设时间点定时启动该视频分析系统,摄像头实时采集视频信息数据(包括交通信号灯(红绿灯)的视频信息、斑马线处行人的视频信息以及斑马线处车辆的视频信息),并将该视频信息数据传输至视频分析器;
步骤2:视频分析器分析视频信息数据中的帧内容,进行信息逻辑判断,并根据信息逻辑判断结果启动智能报警模块;视频分析器还根据视频信息数据进行斑马线行人流量统计;同时,视频分析器还定期向服务器发送视频信息数据以及判断结果;其中,视频分析器分析视频信息数据,进行信息逻辑判断,并根据信息逻辑判断结果启动智能报警模块,具体包括以下过程:视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,也就是对其中的每一帧图像的预定区域进行扫描,所述预定区域是在图像中针对交通信号灯所选定的区域,交通信号灯的信息数据是相对静态图像,其通过颜色灰度值上的差异对比,来判断交通信号灯的状态;如果解析出该交通信号灯的状态是红灯亮,则启动智能报警模块的入侵报警功能;如果解析出该交通信号灯的状态是绿灯亮或者黄灯亮,则启动智能报警模块的播放提醒信息功能;
步骤3:在预设时间点关闭视频分析系统,关闭视频分析系统之前对该预设时间点当天的视频信息数据进行存储。
其中,播放提醒信息功能,是通过户外音响输出设备进行语音广播,以及高清视频输出设备播放高清视频。
入侵报警功能,具体包括如下过程:视频分析器对摄像头发送的视频信息数据进行分析,通过多帧连续图像判断移动物体是否是行人,智能报警模块根据判断结果进行以下操作:
a1、如果其中的移动物体是行人,即行人横穿斑马线,则智能报警模块通过户外音响输出设备或高清视频输出设备进行报警,例如语音报警(例如户外音响输出设备播放“你已经违法,红灯时行人请停留在安全岛”)、视频报警(高清视频输出设备采集并显示经过系统处理的行人实时违法清晰图片);这样该系统对违法行人行为进行智能音视频警告警示,让其大脑留下“该行为已经违法、是可耻的”,对其形成很强的威慑力,消除其从众心理、侥幸心理以及其他主观心理因素,改善纠正其不文明违法行为、从而树立行人文明安全出行理念;同时,还可存储行人违法图片证据,并通过无线通讯方式发送至附近的交警,以供交警执法、教育提供有利证据基础;
a2、如果没有行人过斑马线,智能报警模块不做报警。
其中,判断移动物体是否是行人,包括以下过程:首先划定视频监控区域,也即斑马线的相应区域,然后通过选取静态背景图像做参照物,与监控实时输入图像进行差分运算,判断是否有移动物体在视频监控区域,如果有,则进行抓拍,并将抓拍的图像与人的外形特征图像库进行对比,可预先设定阈值范围,如果其对比结果在该阈值范围内,则判定为是行人,如果不在该阈值范围内,则判定为不是行人。通过对比结果,以判断是否是行人视频监控区域,用以判断行人是否闯红灯,并同时给出语音、视频报警,对行人文明安全出行进行教育宣导。其中,本发明中,人的外形特征图像库是人的不同动作状态下的外形轮廓的线条图像(以人头部、肩部等为主)的集合,而非现有技术中的三维人体模型,因此其分析判断过程短;同时,由于移动物体是移动的,因此通过多帧连续图像中的不同外形轮廓与已建立的人的外形特征图像库进行判断,从而大大提高其判断准确率。
进一步的,该入侵报警功能还包括对机动车、非机动车的入侵报警,具体包括如下过程:视频分析器对摄像头发送的视频信息数据进行分析,通过多帧连续图像判断移动物体的类别是机动车、非机动车或者行人,智能报警模块进行以下操作:
b1、如果其中的移动物体是机动车,也就是机动车正常过斑马线,则智能报警模块不做响应,不予报警;
b2、如果其中的移动物体是非机动车(例如自行车)或者行人,即非机动车或者行人横穿斑马线,则智能报警模块通过户外音响输出设备或高清视频输出设备进行报警,例如语音报警(例如户外音响输出设备播放“你已经违法,红灯时行人请停留在安全岛”)、视频报警(高清视频输出设备采集并显示经过系统处理的行人实时违法清晰图片);这样该系统对违法行人行为进行智能音视频警告警示,让其大脑留下“该行为已经违法、是可耻的”,对其形成很强的威慑力,消除其从众心理、侥幸心理以及其他主观心理因素,改善纠正其不文明违法行为、从而树立行人文明安全出行理念;同时,还可存储行人违法图片证据,并通过无线通讯方式发送至附近的交警,以供交警执法、教育提供有利证据基础;
b3、如果没有行人或者非机动车过斑马线,智能报警模块不做报警。
其中,通过多帧连续图像判断移动物体的类别是机动车、非机动车,同样是建立机动车以及非机动车的外形特征图像库,然后通过抓拍的多帧连续图像与其外形特征图像库进行比对,从而判断是机动车或者非机动车。
上述过程中,当智能报警模块不做报警时,还可通过户外音响输出设备和/或高清视频输出设备播放各种语音或视频信息,例如文明宣导类的语音或视频信息:人性化语音提示信息(例如“你文明、我文明、大家文明,城市才能温馨和谐”)、人性化高清视频信息(例如:天气预报、新闻资讯、附属商业视频广告);这样行人在斑马线红灯驻足的时候,系统可以为等待行人提供资讯、市场广告服务等;该语音或视频信息还可以是企事业主动发布产品及服务类的商业广告语音或视频信息,为其提升销售业绩及品牌价值服务,更重要的是,这种匹配的资讯、广告服务内容,可以缓解行人红灯驻足焦急心理,而与系统进行信息交互,提升了该系统的互动体验感觉。
另外,步骤2中,如果解析出该交通信号灯的状态是绿灯或者黄亮,启动智能报警模块的播放提醒信息功能,视频分析器对摄像头发送的视频信息数据进行分析,并通过户外音响输出设备和/或高清视频输出设备播放语音或视频信息,进行人性化语音提示信息(例如“请行人加快通行、缓解交通拥堵、是您、我一起的功劳”)、人性化高清视频提示信息(例如:“请行人加快通行、就差您一个”);在斑马线绿灯时候,本系统可以辅助斑马线行人加快步伐,为缓解斑马线交通拥堵做出贡献。当然,也可播放商业广告类的语音或视频信息。
另外,视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,如果解析到交通信号灯被大型障碍物遮挡,无法判断交通信号灯状态时,执行以下过程:步骤a:首先通过视频分析器对摄像头采集的斑马线处车辆的视频信息进行解析,如果解析出来斑马线处无其他车辆,只有该遮挡到交通信号灯的大型障碍物,则智能报警模块不做响应,不予报警,系统返回步骤1继续执行监控,视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,如果解析出该交通信号灯的状态是红灯亮,则执行入侵报警;如果解析出该交通信号灯的状态是绿灯亮或者黄灯亮,则播放提醒信息;步骤b:视频分析器对摄像头采集的斑马线处车辆的视频信息进行解析,如果解析出来斑马线处同时还有其他车辆(除了该遮挡到交通信号灯的大型障碍物之外的其他车辆),则从视频信息数据中的每一帧图像中针对该斑马线处的车道的区域处进行扫描,判断其他车辆是否处于不间断的行驶状态,如果是,则系统返回步骤1;如果不是,则返回步骤a。
另外,本发明的上述设备还可用于采集各个路口的数据信息,例如针对经过该斑马线的行人人数累积、该斑马线行人闯红灯人数累积,每天周而复始累积,系统可以获取以周、月、季度、年的统计数据,可以为政府交警提供辅助数据服务,帮助其更好地规划交通斑马线设施、交通信号灯的时间设置等。
本发明通过上述方案,实现一个独有的城市斑马线红绿灯、运动行人智能化视频分析方法,创新应用到城市智慧交通行业领域,实现红灯时对斑马线行人入侵检测,并根据检测结果进行智能音视频报警;同时,提出了一种创新、独特斑马线行人红灯驻足广告服务,也即是在红灯时,对斑马线处驻足的行人进行商业广告插播服务,或者进行文明的宣导教育服务。另外,本发明的系统还可以对各个路口进行数据采集,可以为政府交警提供辅助数据服务,帮助其更好地规划交通斑马线设施、交通信号灯的时间设置等。
附图说明
图1为本发明的系统框图;
图2为本发明的系统判断流程图。
具体实施方式
现结合附图和具体实施方式对本发明进一步说明。
作为一个具体的实施方式,参见图1,本发明的一种行人过斑马线的智能化视频分析系统,其硬件包括视频分析器、服务器、多个摄像头、存储模块、遥控模块、音响、以及显示模块(显示屏幕)。多个摄像头、存储模块、遥控模块、音响、以及显示模块与视频分析器建立通讯连接(可通过有线或者无线的方式),视频分析器和服务器建立通讯连接(可通过有线或者无线的方式)。音响、以及显示模块(显示屏幕)作为智能报警模块,执行视频分析器的相应操作。
其中,音响和显示模块是采用专业防水防尘大功率音箱、显示屏幕,播放语音、视频、图片、文字等内容;遥控模块用以控制音响语音警示内容、人性化调整音量、系统开关机;摄像头采集红灯斑马线行人违法图片、视频数据,以提供给视频分析器上的后台软件系统分析;存储模块包括SD card,存储视频采集数据、管理平台传递的文字、图片、视频等数据信息;Wifi模块,3G/4G模块: 为管理平台与本地售后服务的信息交互与控制,提供无线通讯通道。
其中的视频分析器包含系统核心主板、内嵌视频分析软件与系统控制软件,控制着系统警报、广告服务内容、通过wifi模块,3G/4G无线通讯模块与远端管理平台进行数据信息交互。
本发明的行人过斑马线的智能化视频分析方法,首先在斑马线附近设置视频分析系统的硬件设备,并将设备间建立通讯连接,其具有如下流程:
步骤1:为了节省能源,该视频分析系统被设定为在每一天的第一预设时间开启并在第二预设时间关闭,使用者可自行设置监控时在预设时间点定时启动该视频分析系统。在每天的某个具体时间点,例如早上6:00整(依据不同城市斑马线行人出行情况而定),系统自动启动,并启动视频分析器,并对视频监控进行初始化;实时采集并输入监控视频,视频分析器对监控视频进行分析处理并获取视频信息数据,其中视频信息数据包含交通信号灯视频信息、斑马线处行人视频信息以及斑马线处车辆视频信息,分析视频中的帧内容、根据视频信息数据执行:1)进行信息逻辑判断、启动智能报警模块、2)进行斑马线行人流量统计等。每天另外具体时间点,例如19:30(依据不同城市斑马线行人出行情况而定);系统自动关闭,视频分析器处于休眠状态;第二天重复以上过程,以上过程周而复始,每天循环着这个过程。摄像头实时采集视频信息数据(包括交通信号灯(红绿灯)的视频信息、斑马线处行人的视频信息以及斑马线处车辆的视频信息),并将该视频信息数据传输至视频分析器;
步骤2:视频分析器分析视频信息数据中的帧内容,进行信息逻辑判断,并根据信息逻辑判断结果启动智能报警模块;视频分析器还根据视频信息数据进行斑马线行人流量统计;同时,视频分析器还定期向服务器发送视频信息数据以及判断结果;其中,视频分析器分析视频信息数据,进行信息逻辑判断,并根据信息逻辑判断结果启动智能报警模块,具体包括以下过程:视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,也就是对其中的每一帧图像的预定区域进行扫描,所述预定区域是在图像中针对交通信号灯所选定的区域,交通信号灯的信息数据是相对静态图像,其通过颜色灰度值上的差异对比,来判断交通信号灯的状态;1)如果解析出该交通信号灯的状态是红灯亮,则启动智能报警模块的入侵报警功能,并作相关警报准备; 2)如果解析出该交通信号灯的状态是绿灯亮或者黄灯亮,则启动智能报警模块的播放提醒信息功能,并作相关提醒信息准备;
其中,播放提醒信息功能,是通过户外音响输出设备进行语音广播,以及高清视频输出设备播放高清视频。
入侵报警功能,具体包括如下过程:视频分析器对摄像头发送的视频信息数据进行分析,通过多帧连续图像判断移动物体的类别是机动车、非机动车或者行人,智能报警模块进行以下操作:
1、如果其中的移动物体是机动车,也就是机动车正常过斑马线,则智能报警模块不做响应,不予报警;
2、如果其中的移动物体是非机动车(例如自行车)或者行人,即非机动车或者行人横穿斑马线,则智能报警模块通过户外音响输出设备或高清视频输出设备进行报警,例如语音报警(例如户外音响输出设备播放“你已经违法,红灯时行人请停留在安全岛”)、视频报警(高清视频输出设备采集并显示经过系统处理的行人实时违法清晰图片);这样该系统对违法行人行为进行智能音视频警告警示,让其大脑留下“该行为已经违法、是可耻的”,对其形成很强的威慑力,消除其从众心理、侥幸心理以及其他主观心理因素,改善纠正其不文明违法行为、从而树立行人文明安全出行理念;同时,还可存储行人违法图片证据,并通过无线通讯方式发送至附近的交警,以供交警执法、教育提供有利证据基础;
3、如果没有行人或者非机动车过斑马线,智能报警模块不做报警。
其中,判断移动物体的类别是机动车、非机动车或者行人,包括以下过程:首先划定视频监控区域,也即斑马线的相应区域,然后通过选取静态背景图像做参照物,与监控实时输入图像进行差分运算,判断是否有移动物体在视频监控区域,如果有,则进行抓拍,并将抓拍的图像与人的外形特征图像库进行对比,用以判断是否是行人视频监控区域,用以判断行人是否闯红灯,并同时给出语音、视频报警,对行人文明安全出行进行教育宣导;如果是行人,则退出继续判断,如果不是行人,则继续判定是机动车还是非机动车。
步骤3:在预设时间点关闭视频分析系统,关闭视频分析系统之前对该预设时间点当天的视频信息数据进行存储。
上述过程中,当智能报警模块不做报警时,还可通过户外音响输出设备和/或高清视频输出设备播放各种语音或视频信息,例如文明宣导类的语音或视频信息:人性化语音提示信息(例如“你文明、我文明、大家文明,城市才能温馨和谐”)、人性化高清视频信息(例如:天气预报、新闻资讯、附属商业视频广告);这样行人在斑马线红灯驻足的时候,系统可以为等待行人提供资讯、市场广告服务等;该语音或视频信息还可以是企事业主动发布产品及服务类的商业广告语音或视频信息,为其提升销售业绩及品牌价值服务,更重要的是,这种匹配的资讯、广告服务内容,可以缓解行人红灯驻足焦急心理,而与系统进行信息交互,提升了该系统的互动体验感觉。
另外,步骤2中,如果解析出该交通信号灯的状态是绿灯或者黄亮,启动智能报警模块的播放提醒信息功能,视频分析器对摄像头发送的视频信息数据进行分析,并通过户外音响输出设备和/或高清视频输出设备播放语音或视频信息,进行人性化语音提示信息(例如“请行人加快通行、缓解交通拥堵、是您、我一起的功劳”)、人性化高清视频提示信息(例如:“请行人加快通行、就差您一个”);在斑马线绿灯时候,本系统可以辅助斑马线行人加快步伐,为缓解斑马线交通拥堵做出贡献。当然,也可播放商业广告类的语音或视频信息。另外,智能报警模块可设置其工作时间段,也可进行延时启动(例如系统在100ms后智能报警模块),从而防止智能报警模块突然开启导致内部线路紊乱,
另外,视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,如果解析到交通信号灯被大型障碍物遮挡,无法判断交通信号灯状态时,执行以下过程:步骤a:首先通过视频分析器对摄像头采集的斑马线处车辆的视频信息进行解析,如果解析出来斑马线处无其他车辆,只有该遮挡到交通信号灯的大型障碍物,则智能报警模块不做响应,不予报警,系统返回步骤1继续执行监控,视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,如果解析出该交通信号灯的状态是红灯亮,则执行入侵报警;如果解析出该交通信号灯的状态是绿灯亮或者黄灯亮,则播放提醒信息;步骤b:视频分析器对摄像头采集的斑马线处车辆的视频信息进行解析,如果解析出来斑马线处同时还有其他车辆(除了该遮挡到交通信号灯的大型障碍物之外的其他车辆),则从视频信息数据中的每一帧图像中针对该斑马线处的车道的区域处进行扫描,判断其他车辆是否处于不间断的行驶状态,如果是,则系统返回步骤1;如果不是,则返回步骤a。
除了上述功能外,本发明还可在此基础上进行软硬件方面的扩展。本发明采用个性化设置,系统自动启动,并启动视频分析器,并对视频监控进行初始化;实时采集并输入监控视频,视频分析器对监控视频进行分析处理并获取视频信息数据:在系统工作时候,可以针对经过该斑马线的行人人数累积、该斑马线行人闯红灯人数累积,每天周而复始累积,系统可以获取以周、月、季度、年的统计数据,可以为政府交警提供辅助数据服务,帮助其更好地规划交通斑马线设施、交通信号灯的时间设置等;
另外,本发明的系统自动启动后,并启动视频分析器,并对视频监控进行初始化;实时采集并输入监控视频,视频分析器对监控视频进行分析处理并获取视频信息数据:在斑马线红灯智能化视频分析的时候,如果有行人闯红灯,系统除了做出智能音视频报警响应以外,还可以为正行来的(距离斑马线约100米以内)公共汽车、汽车(有汽车导航系统)的司机,系统在200ms内提供增值信息数据服务(例如:语音警示:“前面是斑马线、绿灯斑马线上有行人,注意驾驶安全”),多了一丛斑马线实时安全状态信息,可以进一步减少斑马线安全事故隐患。
本发明的系统自动启动后,并启动视频分析器,并对视频监控进行初始化;实时采集并输入监控视频,视频分析器对监控视频进行分析处理并获取视频信息数据:在斑马线红灯智能化视频分析的时候,如果有行人闯红灯,系统除了做出智能音视频报警响应以外,还可以在300ms内存储行人违法图片证据,系统自动提示给现场交警,以供交警执法、教育提供有利证据基础。
本发明的以上算法和过程,对红绿灯的信号判断正确率几乎达100%,若因其他客观因素(例如大型车辆等大型障碍物遮挡,没有红绿灯信号出现),则智能报警模块也作相应的判断处理。另外,当“红绿灯或者交通信号灯”本身信号显示不正常,系统仍然会正常工作,这种属于小概率事件,几乎不会影响红绿灯的信号判断正确率。
综上所述,本发明基于城市斑马线智能化视频分析方法及系统,专门研究行人过斑马线行为、心理状态,提供人性化的、政府审核合格的语音、文字、图片、视频内容等,以达到斑马线行人闯红灯现象降低80%,对提升行人文明、安全出行理念;节省城市文明交通管理执法成本、提升文明交通、文明城市形象起到十分重要的作用。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。

Claims (7)

1.一种行人过斑马线的智能化视频分析方法,其特征在于:其包括如下流程:
步骤1:在斑马线附近设置视频分析系统,该视频分析系统包括视频分析器、服务器、摄像头以及智能报警模块,视频分析器与摄像头、服务器以及智能报警模块建立通讯连接,智能报警模块至少包括户外音响输出设备与高清视频输出设备,户外音响输出设备和高清视频输出设备均与视频分析器电性连接,户外音响输出设备用以广播,高清视频输出设备用以播放高清视频;在预设时间点定时启动该视频分析系统,摄像头实时采集视频信息数据,并将该视频信息数据传输至视频分析器;
步骤2:视频分析器分析视频信息数据中的帧内容,进行信息逻辑判断,并根据信息逻辑判断结果启动智能报警模块,具体包括以下过程:视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,也就是对其中的每一帧图像的预定区域进行扫描,所述预定区域是在图像中针对交通信号灯所选定的区域,交通信号灯的信息数据是相对静态图像,其通过颜色灰度值上的差异对比,来判断交通信号灯的状态;如果解析出该交通信号灯的状态是红灯亮,则启动智能报警模块的入侵报警功能;如果解析出该交通信号灯的状态是绿灯亮或者黄灯亮,则启动智能报警模块的播放提醒信息功能;
步骤3:在预设时间点关闭视频分析系统,关闭视频分析系统之前对该预设时间点当天的视频信息数据进行存储。
2.根据权利要求1所述的行人过斑马线的智能化视频分析方法,其特征在于:步骤2中的入侵报警功能,具体包括如下过程:视频分析器对摄像头发送的视频信息数据进行分析,通过多帧连续图像判断移动物体是否是行人,智能报警模块根据判断结果进行以下操作: a1、如果其中的移动物体是行人,即行人横穿斑马线,则智能报警模块通过户外音响输出设备或高清视频输出设备进行报警; a2、如果没有行人过斑马线,智能报警模块不做报警。
3.根据权利要求2所述的行人过斑马线的智能化视频分析方法,其特征在于:判断移动物体是否是行人,包括以下过程:首先划定视频监控区域,也即斑马线的相应区域,然后通过选取静态背景图像做参照物,与监控实时输入图像进行差分运算,判断是否有移动物体在视频监控区域,如果有,则进行抓拍,并将抓拍的图像与人的外形特征图像库进行对比,通过比对结果判断是否是行人;其中,人的外形特征图像库是人的不同动作状态下的外形轮廓的线条图像的集合。
4.根据权利要求1所述的行人过斑马线的智能化视频分析方法,其特征在于:步骤2中的入侵报警功能,具体包括如下过程:视频分析器对摄像头发送的视频信息数据进行分析,通过多帧连续图像判断移动物体的类别是机动车、非机动车或者行人,智能报警模块进行以下操作:
b1、如果其中的移动物体是机动车,也就是机动车正常过斑马线,则智能报警模块不做响应,不予报警;
b2、如果其中的移动物体是非机动车或者行人,即非机动车或者行人横穿斑马线,则智能报警模块通过户外音响输出设备或高清视频输出设备进行报警;
b3、如果没有行人或者非机动车过斑马线,智能报警模块不做报警。
5.根据权利要求2或3或4所述的行人过斑马线的智能化视频分析方法,其特征在于:当智能报警模块不做报警时,还通过户外音响输出设备和/或高清视频输出设备播放语音或视频信息,该语音或视频信息是文明宣导类的语音或视频信息或者商业广告类的语音或视频信息。
6.根据权利要求1所述的行人过斑马线的智能化视频分析方法,其特征在于:视频分析器接收摄像头采集的交通信号灯视频信息,并对该视频信息数据进行解析,如果解析到交通信号灯被大型障碍物遮挡,无法判断交通信号灯状态时,执行以下过程:步骤a:首先通过视频分析器对摄像头采集的斑马线处车辆的视频信息进行解析,如果解析出来斑马线处无其他车辆,只有该遮挡到交通信号灯的大型障碍物,则智能报警模块不做响应,不予报警,系统返回步骤1继续执行监控;步骤b:视频分析器对摄像头采集的斑马线处车辆的视频信息进行解析,如果解析出来斑马线处同时还有其他车辆,则从视频信息数据中的每一帧图像中针对该斑马线处的车道的区域处进行扫描,判断其他车辆是否处于不间断的行驶状态,如果是,则系统返回步骤1;如果不是,则返回步骤a。
7.根据权利要求1所述的行人过斑马线的智能化视频分析方法,其特征在于:所述步骤2中,智能报警模块的播放提醒信息功能,是通过户外音响输出设备和/或高清视频输出设备播放语音或视频信息,该语音或视频信息是文明宣导类的语音或视频信息或者商业广告类的语音或视频信息。
CN201410329918.0A 2014-07-11 2014-07-11 行人过斑马线的智能化视频分析方法 Expired - Fee Related CN104091446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410329918.0A CN104091446B (zh) 2014-07-11 2014-07-11 行人过斑马线的智能化视频分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410329918.0A CN104091446B (zh) 2014-07-11 2014-07-11 行人过斑马线的智能化视频分析方法

Publications (2)

Publication Number Publication Date
CN104091446A CN104091446A (zh) 2014-10-08
CN104091446B true CN104091446B (zh) 2016-08-17

Family

ID=51639159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410329918.0A Expired - Fee Related CN104091446B (zh) 2014-07-11 2014-07-11 行人过斑马线的智能化视频分析方法

Country Status (1)

Country Link
CN (1) CN104091446B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104332052B (zh) * 2014-11-11 2017-02-15 杭州新迪数字工程系统有限公司 一种行人闯红灯自动抓拍的识别方法
CN104680791B (zh) * 2015-03-24 2017-03-22 北方工业大学 一种基于视频检测的行人违章信息与广告联网播放装置
WO2016202012A1 (zh) * 2015-06-17 2016-12-22 苏州大学张家港工业技术研究院 基于交通监控视频的路况检测方法、获取方法及获取装置
CN105006162A (zh) * 2015-07-28 2015-10-28 苏州宏展信息科技有限公司 一种用于行人交通信号灯箱的自动控制系统
CN105139661A (zh) * 2015-07-29 2015-12-09 苏交科集团股份有限公司 一种交通检测预警系统及方法
CN105185122A (zh) * 2015-09-24 2015-12-23 上海车音网络科技有限公司 一种车辆违章信息的处理方法、装置及系统
CN105788258A (zh) * 2016-04-11 2016-07-20 桐城市闲产网络服务有限公司 交通违章警示系统
CN107784830A (zh) * 2016-08-30 2018-03-09 林皓 一种交通监管系统及其监管方法
CN106503699A (zh) * 2016-12-16 2017-03-15 合肥寰景信息技术有限公司 一种基于视频分析的行人过斑马线检测系统
CN107423679A (zh) * 2017-05-31 2017-12-01 深圳市鸿逸达科技有限公司 一种行人意图检测方法和系统
KR101884324B1 (ko) * 2017-09-06 2018-08-02 임철수 횡단보도 음성안내 보조장치
CN107481516A (zh) * 2017-09-21 2017-12-15 临沂市华夏高科信息有限公司 一种行人过街安全警示系统
CN107818651A (zh) * 2017-10-27 2018-03-20 华润电力技术研究院有限公司 一种基于视频监控的非法越界报警方法及装置
CN108171938A (zh) * 2017-12-08 2018-06-15 广州粤华物业有限公司 通道堵塞监控报警系统
CN110580808B (zh) * 2018-06-08 2021-03-23 杭州海康威视数字技术股份有限公司 一种信息处理方法、装置、电子设备及智能交通系统
CN110581979B (zh) * 2018-06-08 2021-04-09 杭州海康威视数字技术股份有限公司 一种图像采集系统、方法及装置
CN110634324A (zh) * 2018-06-22 2019-12-31 上海擎感智能科技有限公司 一种基于车载终端的礼让行人的提醒方法、系统及车载终端
CN109619744B (zh) * 2018-11-08 2021-02-19 厦门科路德科技有限公司 智能识别闯红灯的安全头盔的控制方法
CN109598942A (zh) * 2018-12-24 2019-04-09 天津天地伟业信息系统集成有限公司 一种智能交通摄像机自动检测电动车闯红灯的方法
CN110009913B (zh) * 2019-03-27 2021-06-01 江苏智通交通科技有限公司 一种闯红灯车辆的非现场执法图片智能审核方法和系统
CN110099253A (zh) * 2019-05-20 2019-08-06 浙江大华技术股份有限公司 告警操作的执行方法、显示设备
CN110636258B (zh) * 2019-09-09 2021-03-02 四川东方网力科技有限公司 同行人员分析方法、装置、设备和存储介质
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110991224B (zh) * 2019-10-18 2024-05-28 平安科技(深圳)有限公司 基于图像识别的行人闯红灯检测方法、装置及相关设备
CN110826508B (zh) * 2019-11-12 2022-10-11 浙江工商大学 一种基于视频流的行人非机动车违章检测与跟踪方法
CN111050128A (zh) * 2019-12-04 2020-04-21 广东康云科技有限公司 基于户外场景的视频融合方法、系统、装置和存储介质
CN112102572A (zh) * 2020-09-21 2020-12-18 浙江浩腾电子科技股份有限公司 一种基于人工智能的太阳能物联网隔离护栏控制系统
CN113420563A (zh) * 2021-06-18 2021-09-21 北京易华录信息技术股份有限公司 一种基于人工智能的城市文明监控方法、系统及装置
CN114093172A (zh) * 2021-11-03 2022-02-25 中科智城(广州)信息科技有限公司 一种基于图像识别的行人通行方法、终端和存储介质
CN114679573B (zh) * 2022-05-27 2022-09-09 广州市伟粤通讯设备有限公司 一种基于人脸识别的公共安全视频监控系统
CN114998851A (zh) * 2022-08-03 2022-09-02 江西江投数字经济技术有限公司 基于交通信息的车辆预警方法、系统、存储介质及车辆
CN115798136A (zh) * 2023-01-30 2023-03-14 北京蓝色星际科技股份有限公司 一种安防设备告警信息处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281808B1 (en) * 1998-11-23 2001-08-28 Nestor, Inc. Traffic light collision avoidance system
CN101739809A (zh) * 2008-11-04 2010-06-16 上海经达实业发展有限公司 行人闯红灯自动报警监控系统
CN103021175A (zh) * 2012-11-12 2013-04-03 上海经达实业发展有限公司 基于达芬奇架构的行人闯红灯视频检测方法及装置
CN103366565A (zh) * 2013-06-21 2013-10-23 浙江理工大学 一种基于Kinect的行人闯红灯检测方法及其系统
CN103456168A (zh) * 2013-08-20 2013-12-18 深圳市飞瑞斯科技有限公司 一种交通路口行人行为监测系统和方法
CN103886744A (zh) * 2012-12-20 2014-06-25 新昌县羽林街道昱泉机械厂 擅闯警示的斑马线管理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10247297A (ja) * 1997-03-04 1998-09-14 Nippon Signal Co Ltd:The 歩行者検出装置
JPH11126297A (ja) * 1997-10-23 1999-05-11 Nippon Signal Co Ltd:The 歩行者検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281808B1 (en) * 1998-11-23 2001-08-28 Nestor, Inc. Traffic light collision avoidance system
CN101739809A (zh) * 2008-11-04 2010-06-16 上海经达实业发展有限公司 行人闯红灯自动报警监控系统
CN103021175A (zh) * 2012-11-12 2013-04-03 上海经达实业发展有限公司 基于达芬奇架构的行人闯红灯视频检测方法及装置
CN103886744A (zh) * 2012-12-20 2014-06-25 新昌县羽林街道昱泉机械厂 擅闯警示的斑马线管理系统
CN103366565A (zh) * 2013-06-21 2013-10-23 浙江理工大学 一种基于Kinect的行人闯红灯检测方法及其系统
CN103456168A (zh) * 2013-08-20 2013-12-18 深圳市飞瑞斯科技有限公司 一种交通路口行人行为监测系统和方法

Also Published As

Publication number Publication date
CN104091446A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN104091446B (zh) 行人过斑马线的智能化视频分析方法
WO2020024457A1 (zh) 交通事故的定责方法、装置及计算机可读存储介质
US9704393B2 (en) Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
CA2824330C (en) An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
US8614744B2 (en) Area monitoring using prototypical tracks
CN109996193B (zh) 基于智信平台的短信发送方法、装置、系统和设备
CN109040693B (zh) 智能告警系统及方法
CN110705482A (zh) 一种基于视频ai智能分析的人员行为告警提示系统
CN104332052A (zh) 一种行人闯红灯自动抓拍系统与识别方法
CN103391432A (zh) 一种景区安全预警智能视频监控系统及监控方法
KR101377029B1 (ko) 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법
CN110718067A (zh) 违规行为告警方法及相关装置
CN103425971A (zh) 一种家庭环境下独居老人异常行为的监测方法
CN103118249A (zh) 居家老人智能视频监控系统
CN110288738B (zh) 一种自行车专用车道智能综合管控系统和管控方法
CN112988830A (zh) 人流量统计方法、装置、系统、存储介质和计算机设备
CN202939772U (zh) 基于智能视频的校车监测系统
CN111862656A (zh) 智能运载工具的地图更新方法及装置、存储介质、处理器
CN111757049A (zh) 一种安防联动方法、装置及系统
CN105427519A (zh) 一种隧道智能三合一报警系统
CN110956483A (zh) 广告信息推送方法、系统、服务器及车辆
CN113422938A (zh) 人工智能的道路事件监控方法、装置、系统及存储介质
CN113963316A (zh) 目标事件的确定方法、装置、存储介质及电子装置
CN113112744A (zh) 安防管理方法及装置、电子设备、存储介质
JP4052135B2 (ja) 旅行時間計測システム,コーン,車番認識システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151204

Address after: Huli District, Xiamen city of Fujian province Jinzhong road 361000 No. 11 unit 2503

Applicant after: Xiamen Pan Union Technology Co., Ltd.

Address before: 361000 S106A room, Weiye building, torch hi tech Zone, Huli District, Huli District, Fujian, Xiamen

Applicant before: XIAMEN PANROAD ELECTRONICS CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

Termination date: 20180711

CF01 Termination of patent right due to non-payment of annual fee