CN101873414A - 一种基于分层结构的事件视频检测系统 - Google Patents

一种基于分层结构的事件视频检测系统 Download PDF

Info

Publication number
CN101873414A
CN101873414A CN 201010179184 CN201010179184A CN101873414A CN 101873414 A CN101873414 A CN 101873414A CN 201010179184 CN201010179184 CN 201010179184 CN 201010179184 A CN201010179184 A CN 201010179184A CN 101873414 A CN101873414 A CN 101873414A
Authority
CN
China
Prior art keywords
video
clue
image
event
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010179184
Other languages
English (en)
Other versions
CN101873414B (zh
Inventor
姚丹亚
张盈盈
彭黎辉
张毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2010101791844A priority Critical patent/CN101873414B/zh
Publication of CN101873414A publication Critical patent/CN101873414A/zh
Application granted granted Critical
Publication of CN101873414B publication Critical patent/CN101873414B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于分层结构的事件视频检测系统属于数据数字图像处理与视频分析领域,其特征在于,设计基于把视频事件检测流程进行层次划分的、以包括交通和社会治安应用在内的、以固定视频场景为主要检测场景的系统,含有:视频图像采集、视频处理、数据存储和应用服务部分,视频处理部分是一个视频数据处理服务器,设有视频数据基础处理、对象提取、线索提取和事件检测四个模块,可依次提取视频检测过程中不同阶段的原始记录,并通过数据存储系统中的计算机供外部应用。使用,并通过应用服务部分的计算机输出及报警,本发明具有针对性强、通用性好以及易于扩展的优点。

Description

一种基于分层结构的事件视频检测系统
技术领域
本发明属于数字图像处理和视频分析领域,主要技术融合了数据库设计、机器视觉和视频流处理算法,其核心技术是将事件检测过程拆分成四个顺序相关的层次,并以此设计事件视频检测系统。依托该技术的视频智能分析系统能够同时提供多种事件的高效检测与分析。系统除通过分层检测策略节省多个事件并行检测的时间外,还能够形成视频图像分层信息数据库,为事件检索、倒查与新建事件检测任务提供便利。本发明及基于本发明的视频分析系统,在有视频监控需求的应用场景,如侦查、制导等军事领域,智能交通和安防等民用领域有非常广阔的应用前景。
背景技术
随着计算机技术和半导体工艺的飞速发展,视频采集和处理技术正逐渐广泛的应用于各个领域中。例如在智能交通领域中,摄像头除了可以用来进行单纯的视频采集和交通监控外,还可以配合计算机来识别机动车的违章行为和交通事件等。在安防领域,基于计算机视觉技术的智能化视频检测系统是视频监控系统的发展方向,它能够大大提高视频监控系统的功能和性能,特别是能及时发现和预防危险事件的发生,在事后视频分析中也能够迅速对和指定事件相关的视频资料进行检索和收集。
目前进行视频检测的主流的方法是通过对图像进行完整的分割和识别,获得背景图像与前景信息,并根据待检测事件的图像特征进行事件判定和识别。其主要的方法包括:用于背景生成的灰度均值法、图像序列差减法、序列众数法、基于Kalman滤波器的预测方法等;用于前景目标提取的帧间差分法、背景消减法和光流法等,以及由这些基本方法派生出的一系列改进算法。毋庸置疑,这些检测方法极大的推动了这一领域的发展和进步。但与此同时,各种事件检测多是针对特定目标、特定事件独立展开,缺乏一体化的研究,事件针对性强,通用性和可扩展性差,研究中甚少考虑检测对象与事件、事件与事件之间的逻辑联系,往往造成视频检测工作的大量冗余和事后倒查检索的困难。这些都从某种程度上局限了整个视频监控技术体系的发展。
目前,在交通和安防等领域,需要存储海量的视频数据,供案件侦破过程中的事后倒查使用,但其中大量的数据是没有意义的,但由于缺乏有效的数据筛选机制,只能占用大量的硬盘空间,造成不必要的浪费。目前业界普遍采用的方法是按照时间有效性进行数据压缩,越是靠近当前时间的视频数据存储量越大,图像质量越高,对时间相对久远的数据进行压缩处理,以节省硬盘空间,但会这给时间相对久远但重要性相对较高的事件检测工作带来麻烦。同时,在事件倒查阶段,目前采用的方法仍是以纯人工操作为主,工作量巨大,不但浪费大量的人力物力资源,也拖延了案件侦破工作的速度,增加了破案难度。当前的视频检测技术虽然得到了极大的发展,目标提取与跟踪技术也日趋成熟,但由于缺乏对视频事件检测的整体性考虑,方法通用性差,数据封装不完备、格式多种多样,不利于提取与储存,造成数据存储、扩展与移植的困难,且无法行成统一的事件检测系统。
同时,考虑到对于交通、社会治安等固定场景的视频图像通常具备以下特征:
1、检测对象相对固定(通常只包含机动车、非机动车、行人及遗撒货物,其中机动车为主要检测对象);
2、对象视频特征明显,较易于提取和分割;
3、各种待检测事件均由以上检测对象或对象组合及其行为构成,可通过统一的视频检测平台进行综合检测。
本发明正是基于以上背景给出了实用的解决办法。本发明设计的事件视频检测系统通过分析待检测事件与可检测信息间的逻辑关系,设计四个顺序相关的层次的模块,每个模块均可单独向视频检测数据库提供不同层面的检测数据信息,通过模块间数据互联则可实现以交通、社会治安中以固定视频场景为主要检测区域的事件综合视频检测系统。基于该系统形成的事件检测数据库可用于多种数据检索、统计,案件倒查等工作,同时为历史数据的存储和压缩提供有效准则。本发明亦可用于具备以上特征的其它视频场景。
发明内容
本发明提供一种基于分层结构的事件综合视频检测系统,解决目前各种主流事件检测算法缺乏一体化研究,事件针对性强,通用性和可扩展性差,以及甚少考虑检测对象与事件、事件与事件之间的逻辑联系的问题,降低视频检测工作的冗余,并通过事件信息的分层存储解决事后倒查检索的困难。
本发明的特征在于,是基于把视频事件检测流程进行层次划分,包括交通、社会治安在内的以固定视频场景为检测区的事件综合视频检测系统,其中含有视频图像采集部分、视频处理部分、数据存储部分和应用服务部分,其中:
视频图像采集部分,是数字摄像机、输出附带图像采集卡的模拟摄像机和便携式设备中的任意一种,
视频处理部分是一台视频数据处理服务器,含有事件检测模块、线索提取模块、对象提取模块以及视频数据基础处理模块,其中:
视频数据基础处理模块,先把视频图像转换成以帧为单位的无压缩视频图像序列,然后对该图形序列进行依次包括彩色图像灰度化、去噪以及增强在内的预处理操作,设有:待检视频图像输入端、用于进行目标分割与识别的bmp格式图像序列输出端以及事件“佐证”图像或视频的输出端,
对象提取模块,从所述视频处理服务器输入所述bmp格式图像序列后,按以下处理后,输出图像特征数据和对象特征数据,
步骤(a1),逐帧提取基本图像特征信息,具体包括雨雪天气造成的视频噪声在内的噪声信息以及包括交通事件的标志、标记在内的内部标记信息,
步骤(a2),用背景差减法分离出前景信息与背景信息,
步骤(a3),对于所述前景信息进行图像分割,提取感兴趣的对象及该对象的特征数据,并提取图像特征信息,
单帧图像特征对应于图像的彩色信息,至少包括颜色分布特征、边缘和轮廓特征、几何特征和统计特征,
多帧图像组合特征对应于通过图像的帧间差异获得的图像特征变化,其中至少包括场景变换和对象移动,
所述图像特征数据,包括:所述单帧图像特征和多帧组合特征,每一个图像特征对应一个特征那个编号,
所述对象特征数据,包括:ID、位置、形状、大小、规则度、颜色特征、速度特征和轨迹特征,在交通场合还包括车辆的牌照信息,
线索提取模块,是一个检测线索提取的模块,所述检测线索分为低层线索和组合线索,其中:
低层线索,是指具有明确物理或几何意义的简单线索,包括:速度快慢、速度变化规律,活动区域,形状及是否含有牌照信息,
组合线索,是指具有明确的组合物理意义的高级线索,在交通场景中,包括对象识别结果以及包括目标重叠、目标分离、出现新对象在内的对象组合特征,
所述线索检测模块,从所述对象提取模块输入经封装的所述图像特征数据和对象特征数据,所述线索检测模块输出为线索判定结果,包括:分类ID、内容ID、线索内容及线索定义,其中:
分类ID为0或1,分别代表低层线索和组合线索,
内容ID,用于区分所述分类ID相同的层次内线索,至少包括快速目标,大体积目标和静止目标,
线索定义,给出每个线索的详细判定标准;
事件检测模块,通过对所述线索提取模块的输出端数据与事件定义的匹配完成对事件的判定,在交通场景下,所述事件至少包括:自由流停车、机动车拥堵、货物遗洒、机动车逆行、排队超限、行人闯入及闯红灯和违章调头,社会治安场景至少包括:人群聚集、打架斗殴和抢劫,事件定义的数据结构中包括:事件ID、事件内容以及事件定义,在完成判定后,分别向所述应用部分和数据存储部分输出事件检测结果,同时,向所述视频数据基础处理模块输出已检测到的事件对应的图像\图像序列帧号以及数据存储输出指令,由所述视频数据基础处理模块向所述数据存储部分输出视频或图像;
数据存储部分,是一个数据存储服务器,其中安装有一台数据存储计算机,所述数据存储计算机分别从所述视频数据基础处理模块输入“佐证”视频资料,从对象提取模块输入检测对象基础数据,从所述线索提取模块输入线索层面抽象数据,以及从所述事件检测模块输入事件检测结果,并通过与一个数据处理计算机的直接数据交换,输各项信息以供外部应用程序直接从各个抽象层次访问原始视频,
应用服务部分,是一台应用计算机,直接把从所述视频处理服务器输入的事件检测结果进行输出并报警。
实验表明,本发明可实现对交通、社会治安中的主要事件的综合检测,每个模块均可单独向视频检测数据库提供不同层面的数据信息,应用程序可直接通过数据库的xml接口访问视频特征信息库,进行安防和交通事件信息的检索(如罪犯场景信息、车牌信息等)。同时,本发明亦可通过在事件定义表中新添加规则来实现新增事件检测与存储。
附图说明
图1事件视频检测系统硬件结构
图2事件视频检测的分层结构模块
具体实施方式
本发明的核心在于将视频事件检测流程进行层次划分,规范了层次间的输入输出信息格式,在此基础上实现了分层视频事件检测系统。系统的优势在于,系统内建了多种常用的图像预处理、对象提取等方法,使用者只需要对这些方法进行简单的选用,并定义所要检测的事件,就能够构建出适用于交通、社会治安等场景下大多数应用的事件检测系统,如违章检测、事故检测等,具有很好的通用性。同时,由于规范化的层次结构,系统的扩展也很方便。
分层视频事件检测系统由如下模块组成:
1、视频图像采集模块
2、视频数据基础处理模块
3、对象提取模块
4、线索提取模块
5、事件检测模块
6、数据存储与应用模块
模块的硬件链接关系如图1所示,其中视频图像采集模块包含前端摄像机(分为数字和模拟两种)及用于模拟摄像机信号进行解码处理的图像采集卡,用于存储未经处理的历史视频数据的移动式存储设备。视频数据基础处理模块,对象提取模块,线索提取模块和事件检测模块则由事件检测计算机实现,其模块间的层次衔接关系如图2所示。数据存储与应用模块对应数据存储服务器与应用服务器。视频图像通过采集或存储设备获取并传送至视频处理服务器,服务器通过对数据进行2、3、4、5模块操作获得事件视频检测的各个层面结果数据,通过计算机网络传送至数据存储服务器及应用服务器。
视频检测系统包含以上硬件环境,同时包含对应于以上2、3、4、5模块的算法软件。
视频图像采集模块可由一台或多台数字/模拟摄像机或移动存储设备构成。其中,模拟摄像机需配备图像采集卡用以将模拟信号转换为数字信号供计算机程序识别。其输出结果为未经处理的原始视频数据。
视频数据基础处理模块首先将视频图像转换成以帧为单位的无压缩视频图像序列(含噪声,为bmp格式),然后对图像序列逐帧进行预处理操作,包括彩色图像灰度化、图像去噪、图像增强等。
模块输入为:待检测视频图像
模块输出为:向对象提取模块输出经过预处理操作,可进行目标分割与识别的bmp格式图像序列;同时向数据存储与应用模块输出事件“佐证”图像或视频(输出内容由事件检测模块确定)。此处,“佐证”主要包括用于证明交通违章、违法的场景照片、录像及车辆牌照信息等。
对象提取模块将基础处理模块输出的bmp图像逐帧处理,首先提取基本图像特征信息,包含噪声信息(如雨、雪天气造成的视频噪声)、内部标记信息(如交通中的标志、标记信息)等,然后通过背景差减法分离出前景信息与背景信息。对于前景信息进行图像分割,提取感兴趣的对象及其基本特征,并提取图像特征。其中将感兴趣的对象划分为静态对象和动态对象,静态对象对应于规定时间T1内保持静止或移动缓慢(速度vmax<v1)的对象,动态对象对应于处于运动状态的对象(速度vmax≥v1),其中v1可视不同应用场景略有不同,如交通场景中,可取0<v1≤1m/s。将图像特征划分为单帧图像特征和多帧组合图像特征,单帧图像特征对应于图像的静态信息,如颜色分布特征、边缘和轮廓特征、几何特征和统计特征(如灰度直方图特征、RGB直方图特征等)等,多帧组合特征对应于通过图像的帧间差异获得的图像特征变化,如场景变换,对象移动等。模块输出数据为经程序封装后的图像特征数据与对象特征数据。
模块输入为:经预处理操作的bmp图像序列。
模块输出为:分别向线索提取模块和数据存储应用模块输出图像特征数据和对象特征数据,具体内容如下:
图像特征数据包含:颜色分布特征、边缘和轮廓特征、几何特征和统计特征、场景变换,对象是否移动等。每一图像特征对应一个专有的特征编号。
对象特征数据包含对象ID、位置、形状、大小、规则度(包括圆形度、矩形度等特征,交通、社会治安场景中主要考察矩形度信息,即对象的长宽比)、颜色特征、速度与轨迹特征等。同时,考虑到交通场景中的主要参与者为车辆,其标识信息为车辆的牌照信息,故在对象特征提取的同时提取对象牌照信息,若非车辆者,牌照信息为空(NULL)。以上信息均可根据不同需求适当删减。对象的输出数据分为静态对象数据和动态对象数据,输出结果如表1所示。
表1对象层输出数据结构表
静态对象
Figure GSA00000126960600091
动态对象
Figure GSA00000126960600102
视不同应用场景,待检测的对象特征与图像特征可能略有出入,可适当增加或删减。
线索提取模块主要完成事件检测模块与对象提取模块之间的衔接问题,它将检测线索分为低层线索和组合线索。低层线索主要包括具有明确物理或几何意义的简单线索,如对象速度快慢、速度变化规律,活动区域,形状,是否含有牌照信息等。组合线索则为具有明确的组合物理意义的高级线索,在交通场景中主要包括对象的识别结果(如车辆、非机动车、单个行人/人群、遗撒物体等)以及对象间的组合特征(如目标重叠,目标分离,新对象出现等)。
模块输入为:对象提取模块输出的经封装的图像特征数据与对象特征数据。
模块输出为:分别向事件检测模块和数据存储及应用模块输出线索判定的结果。其中,将线索设计为包含分类ID,内容ID,线索内容及线索定义4项内容的数据。其中分类ID为0或1,分别代表低层线索和复杂线索。内容ID用于区分分类ID相同的线索,如快速目标,大体积目标,静止目标等,线索定义则给出每个线索的详细判定标准,如定义速度大于v2者为快速目标。其详细数据结构如表2所示。
表2线索定义与数据结构表
  线索信息   详细描述   数据格式
  分类ID   用于区分不同层次的线索   INT
  内容ID   区分层次内线索   INT
  线索内容   线索的描述   STRING
  线索定义   判定线索是否成立,输出成立的线索   BOOL表达式/判定函数
线索提取模块的输出数据结构如表3所示,内容ID为0的线索定义为对象速度快,内容ID为1的线索定义为对象面积大,内容ID为2的线索定义为对象速度忽然减小,则通过检测得出的结果为对象0、2、3为快速对象,对象0、2为大面积对象,对象三为小面积对象。同时,通过低层线索的简单组合,和判定组合线索,以交通场景为例,如上文所述组合线索通常包括对象“是什么”和对象间是否有交互等信息。如分类ID为1的组合线索输出表中,内容ID为0的组合线索定义为对象是车辆,则由简单线索0和1组合判断,可知对象0,2面积大且速度快,在交通场景中通常只有车辆兼具这两项特征,故输出结果为对象0,2为车辆。若内容ID为1的组合线索定义为目标重叠,且视频场景中检测到对象0与2,1与3分别重叠,则输出两条线索定义相同的组合线索。
表3线索提取模块输出数据表
低层线索(分类ID为0):
  编号   内容ID   涉及对象表
  0   0   1011…(涉及对象0/2/3)…
  1   1   1010…(涉及对象0/2…)
  2   2   0001…(涉及对象3)
  …   …   …
组合线索(分类ID为1):
  编号   内容ID   涉及对象表
  0   0   1010…(涉及对象0/2)…
  编号   内容ID   涉及对象表
  1   1   1010…(涉及对象0/2…)
  2   1   0101…(涉及对象1/3)
  …   …   …
事件检测模块通过对线索提取模块的输出数据与事件定义的匹配完成事件判定。在交通、社会治安的固定实验场景中,这些事件通常包括交通中的自由流停车、机动车拥堵、货物遗洒、机动车逆行、排队超限及行人闯入、闯红灯、违章调头等交通违法事件及社会治安中的人群聚集、打架斗殴、抢劫等事件。这些事件的参与者通常只包括机动车、非机动车、行人/人群及遗撒物(如货品、洒水车遗留水迹等)。其中,对事件的定义如表4所示。主要包含事件ID,事件内容及事件定义3个部分。每一事件对应一个独立的事件ID,事件内容用于给出对事件的详细介绍,事件定义则为用于判定事件是否发生的的计算机表达方式,即逻辑判定式。如事件ID为0的事件内容为交通场景中发生在路段上的自由流停车事件,则其判定式应为:存在组合线索为车辆的对象时间ΔT时间(或指定帧数)内速度持续小于v1。
表4事件定义与数据结构设计表
  事件信息   存储格式
  事件ID   INT
  事件内容   STRING
  事件定义   事件判定式
模块输入为:
模块输出为:分别向应用服务器和数据存储服务器输出事件检测结果。同时,向视频数据基础处理模块输出已检测到的事件对应的图像/图像序列帧号和数据存储指令,由基础处理模块向数据存储服务器输出相应视频或图像。
基于以上事件定义的事件检测模块输出结果如表5所示。事件判定结果以BOOL值形式给出,0表示事件未发生,1表示事件发生。其中,考虑到交通等场景中常常存在无具体涉及对象的事件(如机动车拥堵、人群聚集),故事件涉及对象项目可空(或全部置0或置1)。
表5事件检测模块输出数据表
  事件ID   涉及对象(可选)   事件判定结果
  0   0001…   0
  1   0010…   1
  2   0011…   0
  …   …   …
同时,对于新增的事件检测需求,系统无需进行重复检测,只需在事件定义表中新添加相应的规则,系统则可自动完成事件检测。这给固定场景下,多个事件的综合检测带来了极大的方便。
数据存储与应用模块通常由一台数据存储计算机和应用计算机组成。数据存储计算机通过与数据处理计算机的直接数据交换存储2、3、4、5四个模块的各项输出信息,以此构成事件视频检测中的一系列特征信息。从而使得外部应用程序能够直接从各个抽象层次访问原始视频,而不必重新对视频图像进行检测。同时,应用计算机可输出事件检测结果,并进行报警等处理。如图2所示,基础数据提取模块向数据库传送事件检测的“佐证”信息,即事件发生时的场景图片或视频,这部分信息可用于事件快速回顾,事件审查、倒查等;对象提取模块向数据库传送各种图像、对象检测结果信息,可供后续编程及高级检索应用;线索提取模块则向数据库提供线索层面的抽象信息,可供场景基本信息的快速统计等应用(如统计平均车流量、道路占有率等);事件检测模块则直接提供事件检测结果,供各种统计及倒查应用。
由此,由数据存储计算机构成的事件综合信息数据库可用于开发各种应用,给系统带来的非常好的可扩展性。基于xml的输出接口可以直接通过数据库的xml接口生成视频特征信息库,从而给安防和交通中的事件倒查(如罪犯信息、车牌信息等倒查)提供很大方便。应用程序也可以通过xml DOM或者xml SAX等接口标准直接解析输出的视频特征,并以此为基础开发相关的功能。
系统部署分为3个部分:
1、算法编制
2、硬件配置
3、软件配置
4、初始化运行
算法编制按照分模块进行,需要实现以上2-5四个模块的相关处理算法。编制的算法需要包括算法本身,及算法的输入输出信息接口。完成的算法以库文件的形式保存在数据处理计算机的算法库中。
硬件配置阶段需要对系统中的各项设备按照图1的形式进行连接组网配置,为确保数据通讯的顺利执行,须将视频处理服务器与数据存储服务器设置在同一局域网内,并设置其IP为固定IP,方便其它系统直接通过网络进行访问。
软件配置阶段主要在视频处理服务器中配置各个模块及其连接关系。首先需要配置各模块的输入输出数据,模块间的通讯函数,根据模块特性及数据接口关系确定模块采用的算法函数。最后需配置数据处理计算机与数据存储计算机的IP地址及通讯。
初始化运行阶段由视频处理服务器完成,服务器确定能够正常接收采集数据并自动进行事件检测,同时检测与数据存储服务器的网络畅通,直接将检测结果输出至数据库。

Claims (1)

1.一种基于分层结构的事件视频检测系统,其特征在于是基于把视频事件检测流程进行层次划分,包括交通、社会治安在内的以固定视频场景为检测区的事件综合视频检测系统,其中含有视频图像采集部分、视频处理部分、数据存储部分和应用服务部分,其中:
视频图像采集部分,是数字摄像机、输出附带图像采集卡的模拟摄像机和便携式设备中的任意一种,
视频处理部分是一台视频数据处理服务器,含有事件检测模块、线索提取模块、对象提取模块以及视频数据基础处理模块,其中:
视频数据基础处理模块,先把视频图像转换成以帧为单位的无压缩视频图像序列,然后对该图形序列进行依次包括彩色图像灰度化、去噪以及增强在内的预处理操作,设有:待检视频图像输入端、用于进行目标分割与识别的bmp格式图像序列输出端以及事件佐证图像或视频的输出端,
对象提取模块,从所述视频处理服务器输入所述bmp格式图像序列后,按以下处理后,输出图像特征数据和对象特征数据,
步骤(a1),逐帧提取基本图像特征信息,具体包括雨雪天气造成的视频噪声在内的噪声信息以及包括交通事件的标志、标记在内的内部标记信息,
步骤(a2),用背景差减法分离出前景信息与背景信息,
步骤(a3),对于所述前景信息进行图像分割,提取感兴趣的对象及该对象的特征数据,并提取图像特征信息,
单帧图像特征对应于图像的彩色信息,至少包括颜色分布特征、边缘和轮廓特征、几何特征和统计特征,
多帧图像组合特征对应于通过图像的帧间差异获得的图像特征变化,其中至少包括场景变换和对象移动,
所述图像特征数据,包括:所述单帧图像特征和多帧组合特征,每一个图像特征对应一个特征那个编号,
所述对象特征数据,包括:ID、位置、形状、大小、规则度、颜色特征、速度特征和轨迹特征,在交通场合还包括车辆的牌照信息,
线索提取模块,是一个检测线索提取的模块,所述检测线索分为低层线索和组合线索,其中:
低层线索,是指具有明确物理或几何意义的简单线索,包括:速度快慢、速度变化规律,活动区域,形状及是否含有牌照信息,
组合线索,是指具有明确的组合物理意义的高级线索,在交通场景中,包括对象识别结果以及包括目标重叠、目标分离、出现新对象在内的对象组合特征,
所述线索检测模块,从所述对象提取模块输入经封装的所述图像特征数据和对象特征数据,所述线索检测模块输出为线索判定结果,包括:分类ID、内容ID、线索内容及线索定义,其中:
分类ID为0或1,分别代表低层线索和组合线索,
内容ID,用于区分所述分类ID相同的层次内线索,至少包括快速目标,大体积目标和静止目标,
线索定义,给出每个线索的详细判定标准;
事件检测模块,通过对所述线索提取模块的输出端数据与事件定义的匹配完成对事件的判定,在交通场景下,所述事件至少包括:自由流停车、机动车拥堵、货物遗洒、机动车逆行、排队超限、行人闯入及闯红灯和违章调头,社会治安场景至少包括:人群聚集、打架斗殴和抢劫,事件定义的数据结构中包括:事件ID、事件内容以及事件定义,在完成判定后,分别向所述应用部分和数据存储部分输出事件检测结果,同时,向所述视频数据基础处理模块输出已检测到的事件对应的图像\图像序列帧号以及数据存储输出指令,由所述视频数据基础处理模块向所述数据存储部分输出视频或图像;
数据存储部分,是一个数据存储服务器,其中安装有一台数据存储计算机,所述数据存储计算机分别从所述视频数据基础处理模块输入“佐证”视频资料,从对象提取模块输入检测对象基础数据,从所述线索提取模块输入线索层面抽象数据,以及从所述事件检测模块输入事件检测结果,并通过与一个数据处理计算机的直接数据交换,输各项信息以供外部应用程序直接从各个抽象层次访问原始视频,
应用服务部分,是一台应用计算机,直接把从所述视频处理服务器输入的事件检测结果进行输出并报警。
CN2010101791844A 2010-05-17 2010-05-17 一种基于分层结构的事件视频检测系统 Expired - Fee Related CN101873414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101791844A CN101873414B (zh) 2010-05-17 2010-05-17 一种基于分层结构的事件视频检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101791844A CN101873414B (zh) 2010-05-17 2010-05-17 一种基于分层结构的事件视频检测系统

Publications (2)

Publication Number Publication Date
CN101873414A true CN101873414A (zh) 2010-10-27
CN101873414B CN101873414B (zh) 2012-02-08

Family

ID=42998054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101791844A Expired - Fee Related CN101873414B (zh) 2010-05-17 2010-05-17 一种基于分层结构的事件视频检测系统

Country Status (1)

Country Link
CN (1) CN101873414B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622884A (zh) * 2012-03-22 2012-08-01 杭州电子科技大学 一种基于跟踪的车辆违章掉头行为检测方法
CN102929879A (zh) * 2011-08-10 2013-02-13 陕西省公安厅 基于一种单模采集与分析型数据库比对系统的研究
CN105208326A (zh) * 2015-08-28 2015-12-30 深圳市融创天下科技有限公司 一种基于视频云的城市区域公共安全威胁预警方法及系统
CN106303566A (zh) * 2016-08-16 2017-01-04 广东中星电子有限公司 基于订阅的视频处理方法和装置
CN106683409A (zh) * 2017-02-08 2017-05-17 南京杰迈视讯科技有限公司 一种重型卡车摄像识别管理方法及其系统
CN106844728A (zh) * 2017-02-08 2017-06-13 深圳市高星文网络科技有限公司 一种基于大数据的非结构化数据压缩处理系统及其方法
CN107077589A (zh) * 2014-11-13 2017-08-18 英特尔公司 基于图像的生物计量中的面部假冒检测
CN108509827A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN108537157A (zh) * 2018-03-30 2018-09-14 特斯联(北京)科技有限公司 一种基于人工智能分类实现的视频场景判断方法与装置
CN110223511A (zh) * 2019-04-29 2019-09-10 合刃科技(武汉)有限公司 一种汽车路边违停智能监测方法及系统
CN112188167A (zh) * 2020-09-30 2021-01-05 成都智视慧语科技有限公司 基于5g边云计算的视频浓缩萃取精炼升华的方法和系统
CN112215870A (zh) * 2020-09-17 2021-01-12 武汉联影医疗科技有限公司 一种液体流动轨迹超限检测方法、装置及系统
CN112883783A (zh) * 2021-01-12 2021-06-01 普联国际有限公司 一种视频浓缩方法、装置、终端设备及存储介质
CN113114982A (zh) * 2021-03-12 2021-07-13 广西东信易联科技有限公司 一种物联网数据传输方法及系统
US20210365689A1 (en) * 2019-06-21 2021-11-25 Gfycat, Inc. Adaptive content classification of a video content item
CN115472014A (zh) * 2022-09-16 2022-12-13 苏州映赛智能科技有限公司 一种交通追溯方法、系统、服务器及计算机存储介质
CN117631597A (zh) * 2024-01-25 2024-03-01 山东科技大学 复杂工业系统下多控制器的柔性编程方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013776A1 (en) * 2001-11-15 2007-01-18 Objectvideo, Inc. Video surveillance system employing video primitives
US20070279214A1 (en) * 2006-06-02 2007-12-06 Buehler Christopher J Systems and methods for distributed monitoring of remote sites
US20080166050A1 (en) * 2007-01-10 2008-07-10 Chia-Hung Yeh Methods and systems for identifying events for a vehicle
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技(中国)有限公司 智能视频监控事件检索方法及系统
CN101436337A (zh) * 2008-12-23 2009-05-20 北京中星微电子有限公司 一种事件监测方法及装置
JP2010055272A (ja) * 2008-08-27 2010-03-11 Yazaki Corp 車両用情報記録システム及び車両用情報記録方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013776A1 (en) * 2001-11-15 2007-01-18 Objectvideo, Inc. Video surveillance system employing video primitives
US20070279214A1 (en) * 2006-06-02 2007-12-06 Buehler Christopher J Systems and methods for distributed monitoring of remote sites
US20080166050A1 (en) * 2007-01-10 2008-07-10 Chia-Hung Yeh Methods and systems for identifying events for a vehicle
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技(中国)有限公司 智能视频监控事件检索方法及系统
JP2010055272A (ja) * 2008-08-27 2010-03-11 Yazaki Corp 車両用情報記録システム及び車両用情報記録方法
CN101436337A (zh) * 2008-12-23 2009-05-20 北京中星微电子有限公司 一种事件监测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《交通信息与安全》 20090420 张盈盈等 基于速度分类算法的交通事件实时视频检测 第27卷, 第02期 2 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929879A (zh) * 2011-08-10 2013-02-13 陕西省公安厅 基于一种单模采集与分析型数据库比对系统的研究
CN102622884B (zh) * 2012-03-22 2015-04-29 杭州电子科技大学 一种基于跟踪的车辆违章掉头行为检测方法
CN102622884A (zh) * 2012-03-22 2012-08-01 杭州电子科技大学 一种基于跟踪的车辆违章掉头行为检测方法
CN107077589A (zh) * 2014-11-13 2017-08-18 英特尔公司 基于图像的生物计量中的面部假冒检测
CN107077589B (zh) * 2014-11-13 2021-02-09 英特尔公司 基于图像的生物计量中的面部假冒检测
CN105208326A (zh) * 2015-08-28 2015-12-30 深圳市融创天下科技有限公司 一种基于视频云的城市区域公共安全威胁预警方法及系统
CN106303566A (zh) * 2016-08-16 2017-01-04 广东中星电子有限公司 基于订阅的视频处理方法和装置
CN106844728A (zh) * 2017-02-08 2017-06-13 深圳市高星文网络科技有限公司 一种基于大数据的非结构化数据压缩处理系统及其方法
CN106683409A (zh) * 2017-02-08 2017-05-17 南京杰迈视讯科技有限公司 一种重型卡车摄像识别管理方法及其系统
CN108509827A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN108509827B (zh) * 2017-02-27 2022-07-08 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN108537157A (zh) * 2018-03-30 2018-09-14 特斯联(北京)科技有限公司 一种基于人工智能分类实现的视频场景判断方法与装置
CN110223511A (zh) * 2019-04-29 2019-09-10 合刃科技(武汉)有限公司 一种汽车路边违停智能监测方法及系统
US11995888B2 (en) * 2019-06-21 2024-05-28 Snap Inc. Adaptive content classification of a video content item
US20210365689A1 (en) * 2019-06-21 2021-11-25 Gfycat, Inc. Adaptive content classification of a video content item
CN112215870A (zh) * 2020-09-17 2021-01-12 武汉联影医疗科技有限公司 一种液体流动轨迹超限检测方法、装置及系统
CN112215870B (zh) * 2020-09-17 2022-07-12 武汉联影医疗科技有限公司 一种液体流动轨迹超限检测方法、装置及系统
CN112188167B (zh) * 2020-09-30 2023-04-18 成都智视慧语科技有限公司 基于5g边云计算的视频浓缩萃取精炼升华的方法和系统
CN112188167A (zh) * 2020-09-30 2021-01-05 成都智视慧语科技有限公司 基于5g边云计算的视频浓缩萃取精炼升华的方法和系统
CN112883783A (zh) * 2021-01-12 2021-06-01 普联国际有限公司 一种视频浓缩方法、装置、终端设备及存储介质
CN112883783B (zh) * 2021-01-12 2024-09-06 普联国际有限公司 一种视频浓缩方法、装置、终端设备及存储介质
CN113114982A (zh) * 2021-03-12 2021-07-13 广西东信易联科技有限公司 一种物联网数据传输方法及系统
CN113114982B (zh) * 2021-03-12 2022-08-30 广西东信易联科技有限公司 一种物联网数据传输方法及系统
CN115472014A (zh) * 2022-09-16 2022-12-13 苏州映赛智能科技有限公司 一种交通追溯方法、系统、服务器及计算机存储介质
CN115472014B (zh) * 2022-09-16 2023-10-10 苏州映赛智能科技有限公司 一种交通追溯方法、系统、服务器及计算机存储介质
CN117631597A (zh) * 2024-01-25 2024-03-01 山东科技大学 复杂工业系统下多控制器的柔性编程方法
CN117631597B (zh) * 2024-01-25 2024-04-19 山东科技大学 复杂工业系统下多控制器的柔性编程方法

Also Published As

Publication number Publication date
CN101873414B (zh) 2012-02-08

Similar Documents

Publication Publication Date Title
CN101873414B (zh) 一种基于分层结构的事件视频检测系统
CN110378824B (zh) 一种公安交管数据大脑及构建方法
Porikli et al. Video surveillance: past, present, and now the future [DSP Forum]
CN107705574A (zh) 一种精准快速的道路违章停车全自动抓拍系统
CN102880692B (zh) 一种面向检索的监控视频语义描述和检测建模方法
CN103294775B (zh) 基于地理时空约束的警务云图像识别车辆管控系统
CN101371275A (zh) 视频信号分析
US20080273088A1 (en) Intelligent surveillance system and method for integrated event based surveillance
CN106127114A (zh) 智能视频分析方法
CN111241343A (zh) 一种道路信息监控与分析检测方法、智慧交通控制系统
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN104616501A (zh) 基于智能视觉的车辆违章停车检测系统及方法
CN101405779A (zh) 采用视频基元的视频监视系统
CN103325259A (zh) 一种基于多核并行的违章停车检测方法
CN101848377A (zh) 一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法
CN103177436A (zh) 物件追踪的方法、系统、计算机程序产品与记录介质
CN111507278A (zh) 一种检测路障的方法、装置及计算机设备
CN114817991A (zh) 一种车联网图像脱敏方法和系统
CN107862264A (zh) 一种服务于数据解析中心的车辆二次识别系统及其方法
Hampapur et al. Searching surveillance video
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
Anwar et al. Mining anomalous events against frequent sequences in surveillance videos from commercial environments
di Bella et al. Smart Security: Integrated systems for security policies in urban environments
CN111639244A (zh) 一种公安多维数据融合方法及融合系统
CN115272924A (zh) 一种基于模块化视频智能分析引擎的治理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120208

CF01 Termination of patent right due to non-payment of annual fee