CN105100718B - 一种基于视频摘要的智能视频分析方法 - Google Patents

一种基于视频摘要的智能视频分析方法 Download PDF

Info

Publication number
CN105100718B
CN105100718B CN201510455053.7A CN201510455053A CN105100718B CN 105100718 B CN105100718 B CN 105100718B CN 201510455053 A CN201510455053 A CN 201510455053A CN 105100718 B CN105100718 B CN 105100718B
Authority
CN
China
Prior art keywords
moving target
video
target
pixel
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510455053.7A
Other languages
English (en)
Other versions
CN105100718A (zh
Inventor
高磊
郭春伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ranke Information Technology Co ltd
Original Assignee
XI'AN RANKE INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XI'AN RANKE INFORMATION TECHNOLOGY Co Ltd filed Critical XI'AN RANKE INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510455053.7A priority Critical patent/CN105100718B/zh
Publication of CN105100718A publication Critical patent/CN105100718A/zh
Application granted granted Critical
Publication of CN105100718B publication Critical patent/CN105100718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频摘要的智能视频分析方法,具体步骤为:视频摘要生成:以自动的方式对视频结构和内容进行分析,从原始视频中提取完整的运动事件,根据时间信息将其进行重新组合,实现原始视频中事件的浓缩,可将1小时的视频在几分钟之内完成快速浏览;关键字检索:通过关键字对视频中运动目标固有的属性进行有效提取,将上述属性列为运动目标的关键字,用户可通过关键字对视频事件中的运动目标进行快速检索,然后定位目标物,并分析目标中异常行为,本发明解决了现有技术中存在的视频监控系统工作效率低下、投入成本大、智能程度低的问题。

Description

一种基于视频摘要的智能视频分析方法
技术领域
本发明属于智能监控及视频图像处理技术领域,具体涉及一种基于视频摘要的智能视频分析方法。
背景技术
视频监控系统作为安全保障的一种先进手段,目前已经得到了极为广泛的应用。从社区的智能化楼宇管理,到银行、火车站、机场等单位的安全监控,视频监控系统为防范各类犯罪事件的发生起到了积极的作用。
然而,随着视频监控的大范围应用,给我们带来安全保障的同时也带来了海量的视频数据,如何在这些海量的数据中快速提炼出有价值的数据成为一个急需解决的问题。另外,如何在监控屏幕不断切换的同时发现突发事件并及时预警也是实践中一个大难题。基于这些因素,智能视频分析的产生和应用就显得尤为重要。
发明内容
本发明的目的是提供一种基于视频摘要的智能视频分析方法,解决了现有技术中存在的视频监控系统工作效率低下、投入成本大、智能程度低的问题。
本发明所采用的技术方案是,一种基于视频摘要的智能视频分析方法,具体按照以下步骤实施:
步骤1、视频摘要生成;
步骤2、关键字检索;
步骤3、定位目标物;
步骤4、分析目标中异常行为。
本发明的特点还在于,
步骤1具体按照以下步骤实施:
步骤(1.1)、将输入的原始视频解析出图像序列,并进行灰度化处理;
步骤(1.2)、采用高斯背景建模的方法对步骤(1.1)中灰度化处理后的图像序列进行背景建模,图像的每一个像素点按不同权值的多个高斯分布的叠加建模,每个高斯分布对应一个产生像素点所呈现颜色的状态,各个高斯分布的权值和分布参数随时间更新,当处理彩色图像时,假定图像像素点R、G、B三色通道相互独立并具有相同的方差,设随机变量X的观测数据集为{x1,x2,…,xN},xt=(Rt,Gt,Bt)为t时刻像素的样本,
具体如下:
步骤a、每个新像素值Xt同当前K个高斯模型按下式进行比较,直到找到匹配新像素的分布模型,即同该模型的均值偏差在2.5σ内:
|Xti,t-1|<2.5μi,t-1
步骤b、如果所匹配的模式符合背景要求,即单个采样点xt服从混合高斯分布概率密度函数:
其中,k为高斯分布模式总数,η(xt,μi,t,τi,t)为t时刻第i个高斯分布,μi,t为{x1,x2,…,xN}的均值,τi,t为协方差矩阵,δi,t为方差,I为三维单位矩阵,Wi,t为t时刻第i个高斯分布的权值,则该像素属于背景,否则属于前景;
步骤c、各模式权值按如下公式进行更新:
Wk,t=(1-α)×Wk,t-1+α×Mk,t
其中,α是学习速率,Wk,t-1是t-1时刻第k个高斯分布的权值,Mk,t是t时刻第k个高斯分布权值系数,对于匹配的模式则Mk,t=1,否则Mk,t=0,然后各模式的权值进行归一化;
步骤d、所述步骤c中未匹配模式的均值μ与标准差σ保持不变,匹配模式的参数按照如下公式更新:
ρ=α×η(Xtk,σk)
μt=(1-ρ)×μt-1+ρ×Xt
式中,ρ为模式系数,μt为t时刻的均值,σ2为未匹配模式的方差,η(Xtk,σk)为t时刻第k个高斯分布模式;
步骤e、如果第a步中没有任何模式匹配,则权值最小的模式被替换,即该模式的均值为当前像素值,标准差为初始较大值,权值为较小值;
步骤f、各模式根据Wk,t2按降序排列,权值大、标准差小的模式排列靠前;
步骤g、选前B个模式作为背景,B满足下式:
从而得到背景模型,其中,T表示背景所占模式比例;
步骤(1.3)、以步骤(1.2)得到的背景模型为依据,判断运动目标是否存在;
步骤(1.4)、采用粒子滤波的跟踪算法对步骤(1.3)中的运动目标进行跟踪和轨迹提取,设每一个运动目标为一个团块,团块包含运动目标唯一标识id号、面积、所在区域、特征描述信息,运动目标的运动轨迹则以先入先出的队列形式保存,每一个团块为一个节点,相同id的团块链接起来便形成了一条运动轨迹;
步骤(1.5)、采用高斯分布融合技术,将步骤(1.4)中的各个运动目标的运动轨迹与对应的背景图像进行融合成帧,再将单独的帧组合成视频。
步骤(1.5)具体按照以下步骤实施:
步骤(1.5.1)、运动目标所在区域ROI按矩形划分:设区域ROI的长宽为m*n,若m>n则由外到内划分出n个矩形圈,否则划分出m个矩形圈;
步骤(1.5.2)、初始化参数,高斯分布融合技术中采用的高斯函数公式如下:
其中,(xu,yu)为高斯函数的质心,σ为方差,
以运动目标中心(xu,yu)作为高斯函数的质心,令方差σ=2,从离质心(xu,yu)最近的矩形圈开始遍历,找出摘要视频帧上每个像素对应背景图上的像素;
步骤(1.5.3)、利用矩形圈上与质心(xu,yu)保持水平的像素It,计算该矩形圈的权重P,权重P的计算公式如下:
步骤(1.5.4)、取得背景图片上位置与像素It对应的像素IB,计算摘要视频帧上相应位置的像素值Is,如果像素It在运动检测时被判定为前景,则令Is=It,否则,Is通过如下加权公式进行计算:
Is=P×It+(1+P)×IB
步骤(1.5.5)、将矩形圈更新为更外一层矩形,转到步骤(1.5.3),直至遍历完所有矩形圈,生成完整的摘要视频帧。
步骤2具体为:
在步骤1生成视频摘要的过程中,将提取到的运动目标轨迹用团块队列表示并保存到数据库中,将团块中运动目标的特征信息定义为关键字,通过图像处理的方法对运动目标进行数学建模,并采用模糊查询技术,对视频摘要中的运动目标进行快速搜索和锁定。
步骤3具体为:
对视频中关注的运动目标进行有效定位,当运动目标出现在摘要视频画面中时,用户在屏幕上直接选定,系统可自动生成运动目标快照,随后基于运动目标的图像信息,在所有视频文件中快速查找相似图像信息,并结合视频监控的坐标信息,根据运动目标的相似性准确定位出运动目标的运动轨迹,通过目标跟踪及图像匹配算法,对多个监控场景中的同一个运动目标进行准确定位,并且,通过监控点的地理坐标信息,在电子地图中生成运动目标的运动轨迹图,具体过程如下:
步骤(3.1)、计算用户选取的运动目标特征点坐标,计算公式为:
其中,(xd,t,yd,t)为摘要视频中t时刻视频帧中运动目标的图像坐标,xa,t和xb,t分别为运动目标外接矩形左上角和右下角坐标的横坐标,yb,t为目标外接矩形右下角的纵坐标;
步骤(3.2)、遍历步骤(1.4)得到的运动目标,计算步骤(3.1)中用户选取的运动目标与步骤(1.4)中得到的运动目标之间的相似度;
步骤(3.3)、如果步骤(3.2)中得到的相似度不大于阈值Th,则用户选取的运动目标与步骤(1.4)中得到的运动目标匹配成功,将与用户选取的运动目标匹配成功的目标赋予与用户选取目标相同的标识,否则,计算步骤(1.4)遍历的运动目标Xid的特征信息点坐标与用户选取的运动目标xd的特征信息点坐标(xd,t,yd,t)之间的对应性是否满足下式:
其中R表示摘要视频帧之间的单应性映射关系,D=10,
如果满足,则目标匹配成功,否则跳至步骤(3.2),继续遍历,直至遍历结束;
步骤(3.4)、根据步骤(3.3)中匹配成功的运动目标所在的拍摄地理位置信息作为运动目标的物理坐标,对运动目标经过的所有物理坐标进行拟合,得到运动目标的定位结果,并在二维平面地图上完成运动目标轨迹的标绘。
步骤(3.3)中阈值Th=0.8。
步骤4具体为:通过对视频中运动目标分析,提取运动目标的异常行为特征,包括:跨越禁区、异常奔跑、长时间滞留、异常移动物品,当系统在监控场景中检测到上述异常行为时,自动生成并保存相应的监控日志,并通过对话框提示的方式,进行事前预警。
本发明的有益效果是,一种基于视频摘要的智能视频分析方法,采用了无损的视频摘要技术,达到视频在浓缩过程中无事件丢失,完整的展现原始视频中出现的各类目标与事件,并且本发明在生成视频摘要的基础上集成了运动目标检索、目标定位以及行为分析等关键技术,是一套全新的智能视频监控、智能视频分析方法,帮助用户实现对关键事件的快速浏览、查找和关注目标的精确定位以及对异常事件做到事前预警。
附图说明
图1是本发明一种基于视频摘要的智能视频分析方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于视频摘要的智能视频分析方法,流程图如图1所示,具体按照以下步骤实施:
步骤1、视频摘要生成:
具体按照以下步骤实施:
步骤(1.1)、将输入的原始视频解析出图像序列,并进行灰度化处理;
步骤(1.2)、采用高斯背景建模的方法对步骤(1.1)中灰度化处理后的图像序列进行背景建模,图像的每一个像素点按不同权值的多个高斯分布的叠加建模,每个高斯分布对应一个产生像素点所呈现颜色的状态,各个高斯分布的权值和分布参数随时间更新,当处理彩色图像时,假定图像像素点R、G、B三色通道相互独立并具有相同的方差,设随机变量X的观测数据集为{x1,x2,…,xN},xt=(Rt,Gt,Bt)为t时刻像素的样本,
具体如下:
步骤a、每个新像素值Xt同当前K个高斯模型按下式进行比较,直到找到匹配新像素的分布模型,即同该模型的均值偏差在2.5σ内:
|Xti,t-1|<2.5μi,t-1
步骤b、如果所匹配的模式符合背景要求,即单个采样点xt服从混合高斯分布概率密度函数:
其中,k为高斯分布模式总数,η(xt,μi,t,τi,t)为t时刻第i个高斯分布,μi,t为{x1,x2,…,xN}的均值,τi,t为协方差矩阵,δi,t为方差,I为三维单位矩阵,wi,t为t时刻第i个高斯分布的权值,则该像素属于背景,否则属于前景;
步骤c、各模式权值按如下公式进行更新:
Wk,t=(1-α)×Wk,t-1+α×Mk,t
其中,α是学习速率,Wk,t-1是t-1时刻第k个高斯分布的权值,Mk,t是t时刻第k个高斯分布权值系数,对于匹配的模式则Mk,t=1,否则Mk,t=0,然后各模式的权值进行归一化;
步骤d、所述步骤c中未匹配模式的均值μ与标准差σ保持不变,匹配模式的参数按照如下公式更新:
ρ=α×η(Xtk,σk)
μt=(1-ρ)×μt-1+ρ×Xt
式中,ρ为模式系数,μt为t时刻的均值,σ2为未匹配模式的方差,η(Xtk,σk)为t时刻第k个高斯分布模式;
步骤e、如果第a步中没有任何模式匹配,则权值最小的模式被替换,即该模式的均值为当前像素值,标准差为初始较大值,权值为较小值;
步骤f、各模式根据Wk,t2按降序排列,权值大、标准差小的模式排列靠前;
步骤g、选前B个模式作为背景,B满足下式:
从而得到背景模型,其中,T表示背景所占模式比例;
步骤(1.3)、以步骤(1.2)得到的背景模型为依据,判断运动目标是否存在;
步骤(1.4)、采用粒子滤波的跟踪算法对步骤(1.3)中的运动目标进行跟踪和轨迹提取,设每一个运动目标为一个团块,团块包含运动目标唯一标识id号、面积、所在区域、特征描述信息,运动目标的运动轨迹则以先入先出的队列形式保存,每一个团块为一个节点,相同id的团块链接起来便形成了一条运动轨迹;
步骤(1.5)、采用高斯分布融合技术,将步骤(1.4)中的各个运动目标的运动轨迹与对应的背景图像进行融合成帧,再将单独的帧组合成视频,具体按照以下步骤实施:
步骤(1.5.1)、运动目标所在区域ROI按矩形划分:设区域ROI的长宽为m*n,若m>n则由外到内划分出n个矩形圈,否则划分出m个矩形圈;
步骤(1.5.2)、初始化参数,高斯分布融合技术中采用的高斯函数公式如下:
其中,(xu,yu)为高斯函数的质心,σ为方差,
以运动目标中心(xu,yu)作为高斯函数的质心,令方差σ=2,从离质心(xu,yu)最近的矩形圈开始遍历,找出摘要视频帧上每个像素对应背景图上的像素;
步骤(1.5.3)、利用矩形圈上与质心(xu,yu)保持水平的像素It,计算该矩形圈的权重P,权重P的计算公式如下:
步骤(1.5.4)、取得背景图片上位置与像素It对应的像素IB,计算摘要视频帧上相应位置的像素值Is,如果像素It在运动检测时被判定为前景,则令Is=It,否则,Is通过如下加权公式进行计算:
Is=P×It+(1+P)×IB
步骤(1.5.5)、将矩形圈更新为更外一层矩形,转到步骤(1.5.3),直至遍历完所有矩形圈,生成完整的摘要视频帧;
步骤2、关键字检索,具体为:
在步骤1生成视频摘要的过程中,将提取到的运动目标轨迹用团块队列表示并保存到数据库中,将团块中运动目标的特征信息定义为关键字,通过图像处理的方法对运动目标进行数学建模,并采用模糊查询技术,对视频摘要中的运动目标进行快速搜索和锁定;
步骤3、定位目标物,具体为:
对视频中关注的运动目标进行有效定位,当运动目标出现在摘要视频画面中时,用户在屏幕上直接选定,系统可自动生成运动目标快照,随后基于运动目标的图像信息,在所有视频文件中快速查找相似图像信息,并结合视频监控的坐标信息,根据运动目标的相似性准确定位出运动目标的运动轨迹,通过目标跟踪及图像匹配算法,对多个监控场景中的同一个运动目标进行准确定位,并且,通过监控点的地理坐标信息,在电子地图中生成运动目标的运动轨迹图,具体过程如下:
步骤(3.1)、计算用户选取的运动目标特征点坐标,计算公式为:
其中,(xd,t,yd,t)为摘要视频中t时刻视频帧中运动目标的图像坐标,xa,t和xb,t分别为运动目标外接矩形左上角和右下角坐标的横坐标,yb,t为目标外接矩形右下角的纵坐标;
步骤(3.2)、遍历步骤(1.4)得到的运动目标,计算步骤(3.1)中用户选取的运动目标与步骤(1.4)中得到的运动目标之间的相似度;
步骤(3.3)、如果步骤(3.2)中得到的相似度不大于阈值Th,阈值Th=0.8,则用户选取的运动目标与步骤(1.4)中得到的运动目标匹配成功,将与用户选取的运动目标匹配成功的目标赋予与用户选取目标相同的标识,否则,计算所述步骤(1.4)遍历的运动目标Xid的特征信息点坐标与用户选取的运动目标xd的特征信息点坐标(xd,t,yd,t)之间的对应性是否满足下式:
其中R表示摘要视频帧之间的单应性映射关系,D=10,
如果满足,则目标匹配成功,否则跳至步骤(3.2),继续遍历,直至遍历结束;
步骤(3.4)、根据步骤(3.3)中匹配成功的运动目标所在的拍摄地理位置信息作为运动目标的物理坐标,对运动目标经过的所有物理坐标进行拟合,得到运动目标的定位结果,并在二维平面地图上完成运动目标轨迹的标绘;
步骤4、分析目标中异常行为,具体为:
通过对视频中运动目标分析,提取运动目标的异常行为特征,包括:跨越禁区、异常奔跑、长时间滞留、异常移动物品,当系统在监控场景中检测到上述异常行为时,自动生成并保存相应的监控日志,并通过对话框提示的方式,进行事前预警。
本发明一种基于视频摘要的智能视频分析方法,其优越性在于:
(1)、视频摘要生成:以自动的方式对视频结构和内容进行分析,从原始视频中提取完整的运动事件,根据时间信息将其进行重新组合,实现原始视频中事件的浓缩,可将1小时的视频在几分钟之内完成快速浏览。
(2)、关键字检索:通过关键字对视频中运动目标固有的属性(即:运动目标精细化的体貌特征)进行有效提取,比如:运动目标的性别、身高、运动方式、出行工具、衣服的颜色、服饰的类型以及特殊饰物等,将上述属性列为运动目标的关键字,用户可通过关键字对视频事件中的运动目标进行快速检索,符合用户的使用习惯,帮助用户快速锁定关注运动目标,对用户而言,通过体貌特征查询事件中关注运动目标,是最为直观的方法,然而运动目标的体貌特征却很难直接被计算机理解,本发明中我们对人体的体貌特征定义为关键字,通过图像处理的方法对体貌特征进行数学建模,并采用模糊查询技术,对视频摘要中的运动目标进行快速搜索和锁定,这将会给用户使用带来极大的便利。
(3)、定位目标物:对视频中关注的目标物进行有效定位,当目标物出现在视频画面中时,用户可以在屏幕上直接选定,系统可自动生成目标物快照,随后基于目标物的图像信息,在所有视频文件中快速查找相似物,并结合视频监控的坐标信息,准确定位出目标物的运动轨迹,该方法是一种根据目标物的相似性进行精准定位的技术,本发明通过目标跟踪及图像匹配算法,对多个监控场景中的同一个目标物进行准确定位,并且,通过监控点的地理坐标信息,在电子地图中生成目标的运动轨迹图,同时,系统可提供目标物的快照显示功能,将视频中检测到的目标物按照概率优先显示,方便人工确认。
(4)、分析目标中异常行为:通过对视频中运动目标行为的分析,自动提取其中的异常行为,例如:跨越禁区、异常奔跑、长时间滞留、异常移动物品等。当系统在监控场景中检测到上述异常行为时,自动生成并保存相应的监控日志,并通过对话框提示的方式,进行事前预警,目前,监控系统中视频多用于事后查阅,而视频信息的实时性、主动性的特点没有得以发挥,基于心理学及人体行为学的理论,在实施重大事件前,人们往往会提前进行模拟演练、现场侦查等,其动作行为被定义为异常行为,本发明通过对视频内容中人体异常行为的分析,有效利用视频信息的实时性的特点,提前进行预警,为政府和安全部门的事前决策提供及时有效的技术支持。
本发明的保护范围应以权利要求记载的技术方案,包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围,即在此范围内的等同替换改进,也在本发明的保护范围之内。
本发明一种基于视频摘要的智能视频分析方法,与传统的监控方法不同,实现对区域智能监控,将海量的视频内容进行浓缩,提取其中的主要事件,同时该方法的查询、分析及定位功能,能够帮助用户对视频中关注的事件和运动目标,实现快速查找、定位和预警。
本发明一种基于视频摘要的智能视频分析方法,大大提高了视频的可访问性、实用性、以及视频的使用效率,实现视频监控的智能化、高效化、系统化。

Claims (4)

1.一种基于视频摘要的智能视频分析方法,其特征在于,具体按照以下步骤实施:
步骤1、视频摘要生成,具体按照以下步骤实施:
步骤(1.1)、将输入的原始视频解析出图像序列,并进行灰度化处理;
步骤(1.2)、采用高斯背景建模的方法对所述步骤(1.1)中灰度化处理后的图像序列进行背景建模,图像的每一个像素点按不同权值的多个高斯分布的叠加建模,每个高斯分布对应一个产生像素点所呈现颜色的状态,各个高斯分布的权值和分布参数随时间更新,当处理彩色图像时,假定图像像素点R、G、B三色通道相互独立并具有相同的方差,设随机变量X的观测数据集为{x1,x2,…,xN},xt=(Rt,Gt,Bt)为t时刻像素的样本,
具体如下:
步骤a、每个新像素值Xt同当前K个高斯模型按下式进行比较,直到找到匹配新像素的分布模型,即同该模型的均值偏差在2.5σ内:
|Xti,t-1|<2.5μi,t-1
步骤b、如果所匹配的模式符合背景要求,即单个采样点xt服从混合高斯分布概率密度函数:
其中,k为高斯分布模式总数,η(xt,μi,t,τi,t)为t时刻第i个高斯分布,μi,t为{x1,x2,...,xN}的均值,τi,t为协方差矩阵,δi,t为方差,I为三维单位矩阵,wi,t为t时刻第i个高斯分布的权值,则该像素属于背景,否则属于前景;
步骤c、各模式权值按如下公式进行更新:
Wk,t=(1-α)×Wk,t-1+α×Mk,t
其中,α是学习速率,Wk,t-1是t-1时刻第k个高斯分布的权值,Mk,t是t时刻第k个高斯分布权值系数,对于匹配的模式则Mk,t=1,否则Mk,t=0,然后各模式的权值进行归一化;
步骤d、所述步骤c中未匹配模式的均值μ与标准差σ保持不变,匹配模式的参数按照如下公式更新:
ρ=α×η(Xtk,σk)
μt=(1-ρ)×μt-1+ρ×Xt
式中,ρ为模式系数,μt为t时刻的均值,σ2为未匹配模式的方差,η(Xtk,σk)为t时刻第k个高斯分布模式;
步骤e、如果第a步中没有任何模式匹配,则权值最小的模式被替换,即该模式的均值为当前像素值,标准差为初始较大值,权值为较小值;
步骤f、各模式根据wk,t2)按降序排列,权值大、标准差小的模式排列靠前;
步骤g、选前B个模式作为背景,B满足下式:
从而得到背景模型,其中,T表示背景所占模式比例;
步骤(1.3)、以步骤(1.2)得到的背景模型为依据,判断运动目标是否存在;
步骤(1.4)、采用粒子滤波的跟踪算法对所述步骤(1.3)中的运动目标进行跟踪和轨迹提取,设每一个运动目标为一个团块,团块包含运动目标唯一标识id号、面积、所在区域、特征描述信息,运动目标的运动轨迹则以先入先出的队列形式保存,每一个团块为一个节点,相同id的团块链接起来便形成了一条运动轨迹;
步骤(1.5)、采用高斯分布融合技术,将所述步骤(1.4)中的各个运动目标的运动轨迹与对应的背景图像进行融合成帧,再将单独的帧组合成视频;
步骤2、关键字检索,具体为:在所述步骤1生成视频摘要的过程中,将提取到的运动目标轨迹用团块队列表示并保存到数据库中,将团块中运动目标的特征信息定义为关键字,通过图像处理的方法对运动目标进行数学建模,并采用模糊查询技术,对视频摘要中的运动目标进行快速搜索和锁定;
步骤3、定位目标物,具体为:
对视频中关注的运动目标进行有效定位,当运动目标出现在摘要视频画面中时,用户在屏幕上直接选定,系统可自动生成运动目标快照,随后基于运动目标的图像信息,在所有视频文件中快速查找相似图像信息,并结合视频监控的坐标信息,根据运动目标的相似性准确定位出运动目标的运动轨迹,通过目标跟踪及图像匹配算法,对多个监控场景中的同一个运动目标进行准确定位,并且,通过监控点的地理坐标信息,在电子地图中生成运动目标的运动轨迹图,具体过程如下:
步骤(3.1)、计算用户选取的运动目标特征点坐标,计算公式为:
其中,(xd,t,yd,t)为摘要视频中t时刻视频帧中运动目标的图像坐标,xa,t和xb,t分别为运动目标外接矩形左上角和右下角坐标的横坐标,yb,t为目标外接矩形右下角的纵坐标;
步骤(3.2)、遍历所述步骤(1.4)得到的运动目标,计算所述步骤(3.1)中用户选取的运动目标与步骤(1.4)中得到的运动目标之间的相似度;
步骤(3.3)、如果所述步骤(3.2)中得到的相似度不大于阈值Th,则用户选取的运动目标与步骤(1.4)中得到的运动目标匹配成功,将与用户选取的运动目标匹配成功的目标赋予与用户选取目标相同的标识,否则,计算所述步骤(1.4)遍历的运动目标Xid的特征信息点坐标与用户选取的运动目标xd的特征信息点坐标(xd,t,yd,t)之间的对应性是否满足下式:
其中R表示摘要视频帧之间的单应性映射关系,D=10,
如果满足,则目标匹配成功,否则跳至步骤(3.2),继续遍历,直至遍历结束;
步骤(3.4)、根据所述步骤(3.3)中匹配成功的运动目标所在的拍摄地理位置信息作为运动目标的物理坐标,对运动目标经过的所有物理坐标进行拟合,得到运动目标的定位结果,并在二维平面地图上完成运动目标轨迹的标绘;
步骤4、分析目标中异常行为。
2.根据权利要求1所述的一种基于视频摘要的智能视频分析方法,其特征在于,所述步骤(1.5)具体按照以下步骤实施:
步骤(1.5.1)、运动目标所在区域ROI按矩形划分:设区域ROI的长宽为m*n,若m>n则由外到内划分出n个矩形圈,否则划分出m个矩形圈;
步骤(1.5.2)、初始化参数,高斯分布融合技术中采用的高斯函数公式如下:
其中,(xu,yu)为高斯函数的质心,σ为方差,
以运动目标中心(xu,yu)作为高斯函数的质心,令方差σ=2,从离质心(xu,yu)最近的矩形圈开始遍历,找出摘要视频帧上每个像素对应背景图上的像素;
步骤(1.5.3)、利用矩形圈上与质心(xu,yu)保持水平的像素It,计算该矩形圈的权重P,权重P的计算公式如下:
步骤(1.5.4)、取得背景图片上位置与像素It对应的像素IB,计算摘要视频帧上相应位置的像素值Is,如果像素It在运动检测时被判定为前景,则令Is=It,否则,Is通过如下加权公式进行计算:
Is=P×It+(1+P)×IB
步骤(1.5.5)、将矩形圈更新为更外一层矩形,转到步骤(1.5.3),直至遍历完所有矩形圈,生成完整的摘要视频帧。
3.根据权利要求1所述的一种基于视频摘要的智能视频分析方法,其特征在于,所述步骤(3.3)中阈值Th=0.8。
4.根据权利要求1所述的一种基于视频摘要的智能视频分析方法,其特征在于,所述步骤4具体为:通过对视频中运动目标分析,提取运动目标的异常行为特征,包括:跨越禁区、异常奔跑、长时间滞留、异常移动物品,当系统在监控场景中检测到上述异常行为时,自动生成并保存相应的监控日志,并通过对话框提示的方式,进行事前预警。
CN201510455053.7A 2015-07-29 2015-07-29 一种基于视频摘要的智能视频分析方法 Active CN105100718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510455053.7A CN105100718B (zh) 2015-07-29 2015-07-29 一种基于视频摘要的智能视频分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510455053.7A CN105100718B (zh) 2015-07-29 2015-07-29 一种基于视频摘要的智能视频分析方法

Publications (2)

Publication Number Publication Date
CN105100718A CN105100718A (zh) 2015-11-25
CN105100718B true CN105100718B (zh) 2018-11-23

Family

ID=54580138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510455053.7A Active CN105100718B (zh) 2015-07-29 2015-07-29 一种基于视频摘要的智能视频分析方法

Country Status (1)

Country Link
CN (1) CN105100718B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106856577B (zh) * 2015-12-07 2020-12-11 北京航天长峰科技工业集团有限公司 可解决多目标碰撞及遮挡问题的视频摘要生成方法
CN105956568A (zh) * 2016-05-11 2016-09-21 东华大学 一种基于监控目标识别的异常行为检测预警方法
CN107391353B (zh) * 2017-07-07 2020-07-28 西安电子科技大学 基于日志的复杂软件系统异常行为检测方法
CN107967298A (zh) * 2017-11-03 2018-04-27 深圳辉锐天眼科技有限公司 基于视频分析的监控管理方法
EP3796189A4 (en) 2018-05-18 2022-03-02 Cambricon Technologies Corporation Limited VIDEO RECOVERY METHOD, AND METHOD AND APPARATUS FOR GENERATING A VIDEO RECOVERY MAPPING RELATION
CN112597341A (zh) * 2018-05-25 2021-04-02 中科寒武纪科技股份有限公司 视频检索方法及视频检索映射关系生成方法、装置
CN109540122B (zh) * 2018-11-14 2022-11-04 中国银联股份有限公司 一种构建地图模型的方法及装置
CN110719438A (zh) * 2019-08-28 2020-01-21 北京大学 一种数字视网膜视频流与特征流的同步传输控制方法
CN112884830B (zh) * 2021-01-21 2024-03-29 浙江大华技术股份有限公司 一种目标边框确定方法及装置
CN116414972B (zh) * 2023-03-08 2024-02-20 浙江方正印务有限公司 一种资讯内容自动播报和生成简讯的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778260A (zh) * 2009-12-29 2010-07-14 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统
CN103927364A (zh) * 2014-04-18 2014-07-16 苏州科达科技股份有限公司 一种视频摘要数据的存储方法、系统及展示系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2119224A1 (en) * 2007-02-01 2009-11-18 Yissum Research Development Company, of The Hebrew University of Jerusalem Method and system for video indexing and video synopsis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778260A (zh) * 2009-12-29 2010-07-14 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统
CN103927364A (zh) * 2014-04-18 2014-07-16 苏州科达科技股份有限公司 一种视频摘要数据的存储方法、系统及展示系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
对象和关键帧相结合的监控视频摘要提取方法;王亚沛 等;《工业控制计算机》;20150331;第28卷(第3期);2、背景、对象的提取和跟踪 *

Also Published As

Publication number Publication date
CN105100718A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN105100718B (zh) 一种基于视频摘要的智能视频分析方法
US9652863B2 (en) Multi-mode video event indexing
EP2596630B1 (en) Tracking apparatus, system and method
Tian et al. Robust and efficient foreground analysis in complex surveillance videos
US20050073585A1 (en) Tracking systems and methods
CN101840422A (zh) 基于目标特征和报警行为的智能视频检索系统和方法
CN107659754B (zh) 一种树叶扰动情况下监控视频的有效浓缩方法
CN101727672A (zh) 一种物体滞留/偷窃事件的检测、跟踪、识别方法
CN110096981A (zh) 一种基于深度学习的视频大数据交通场景分析方法
Carletti et al. Multi-object tracking by flying cameras based on a forward-backward interaction
Fradi et al. Spatio-temporal crowd density model in a human detection and tracking framework
Shi et al. An efficient multi-task network for pedestrian intrusion detection
KR101572366B1 (ko) 지능형 영상 감시 시스템을 위한 납치 상황 인식 방법
KR101826669B1 (ko) 동영상 검색 시스템 및 그 방법
He et al. Motion pattern analysis in crowded scenes by using density based clustering
Cheng et al. Moving Target Detection Technology Based on UAV Vision
Dike et al. Unmanned aerial vehicle (UAV) based running person detection from a real-time moving camera
Feris et al. Case study: IBM smart surveillance system
Pouyan et al. Propounding first artificial intelligence approach for predicting robbery behavior potential in an indoor security camera
Brax et al. Finding behavioural anomalies in public areas using video surveillance data
Hao et al. A detection method of abnormal event in crowds based on image entropy
de-la-Calle-Silos et al. Mid-level feature set for specific event and anomaly detection in crowded scenes
Beibei et al. Crowd analysis: a survey
Li et al. Forest fire recognition based on dynamic feature similarity of multi-view images
Akella et al. Crowd density analysis and suspicious activity detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 210000 Building 1, Juhui garden, 108 Xuanwu Avenue, Xuanwu District, Nanjing, Jiangsu Province

Patentee after: Nanjing Ranke Information Technology Co.,Ltd.

Address before: 710077 gazelle Valley, 69, Jinye Valley, Xi'an High-tech Zone, Shaanxi, 2, building 10704

Patentee before: XI'AN RANKE INFORMATION TECHNOLOGY Co.,Ltd.