CN103150375A - 用于视频侦查的快速视频检索系统和方法 - Google Patents

用于视频侦查的快速视频检索系统和方法 Download PDF

Info

Publication number
CN103150375A
CN103150375A CN2013100760700A CN201310076070A CN103150375A CN 103150375 A CN103150375 A CN 103150375A CN 2013100760700 A CN2013100760700 A CN 2013100760700A CN 201310076070 A CN201310076070 A CN 201310076070A CN 103150375 A CN103150375 A CN 103150375A
Authority
CN
China
Prior art keywords
video
target
feature
unit
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100760700A
Other languages
English (en)
Inventor
尚凌辉
王百超
刘嘉
高勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN2013100760700A priority Critical patent/CN103150375A/zh
Publication of CN103150375A publication Critical patent/CN103150375A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种用于视频侦查的快速视频检索系统和方法。目前的视频检索技术没有充分挖掘智能技术的优势,没有发挥出应有的功能,不适合实际的应用。本发明具体是获取视频,包括视频文件或视频流,并进行解码;对解码后的每帧图像进行分析预处理,提取运动目标和目标特征信息,存入数据库;根据用户的请求查询数据库,根据颜色、纹理、规则或拌线条件进行特征匹配,检索出感兴趣目标,并将结果目标列表进行排序;将检索出的目标以浓缩视频的形式进行展示。本发明采用视频运动目标检测、视频浓缩和特征匹配等智能视频分析技术,完成对指定目标或特征的检索。

Description

用于视频侦查的快速视频检索系统和方法
技术领域
本发明属于图像处理技术领域,涉及一种用于视频侦查的快速视频检索系统和方法。
背景技术
现有的一般视频检索技术,没有考虑到视频侦查应用场景的特殊性和刑侦人员的使用需求,不能体现出刑侦思维,无法直接应用于视频侦查。同时大多没有使用智能分析技术,或者使用了智能分析技术但是因为比较差的展现手段,没有充分挖掘智能技术的优势,没有发挥出应有的功能,不适合实际的应用
用于视频侦查的检索、浓缩和研判技术,一般以单个技术独立零散地存在,或是功能的简单叠加,没有经过深度整合,没有体现出各技术手段在视频侦查业务中的内在联系。这样势必会导致处理速度慢、处理流程臃肿、处理逻辑不清晰等问题,给案件的侦查带来极大不便。
发明内容
本发明针对现有技术的不足,提供了一种用于视频侦查的快速视频检索系统和方法。
用于视频侦查的快速视频检索系统包括视频获取单元、预处理单元、检索单元和浓缩单元。
所述的视频获取单元用于获取视频并进行视频解码;
所述的预处理单元用于视频中目标特征信息的提取,建立目标索引数据库;
所述的检索单元用于根据条件进行目标检索;
所述的浓缩单元用于根据给出的目标列表生成浓缩视频。
用于视频侦查的快速视频检索方法,具体是:获取视频,包括视频文件或视频流,并进行解码;对解码后的每帧图像进行分析预处理,提取运动目标和目标特征信息,存入数据库;根据用户的请求查询数据库,根据颜色、纹理、规则或拌线条件进行特征匹配,检索出感兴趣目标,并将结果目标列表进行排序;将检索出的目标以浓缩视频的形式进行展示。
本发明的有益效果:
采用视频运动目标检测、视频浓缩和特征匹配等智能视频分析技术,完成对指定目标或特征的检索。
采用合理的架构,建立统一的、快速的信息挖掘单元,继而对挖掘出的信息采取浓缩视频和截图列表等多种展现方式。完成了对各种技术手段的深度整合,极大提高了处理速度,且处理逻辑更清晰,更符合刑侦思维;
由于预处理单元的合理性,打破了各项技术之间的壁垒,检索、浓缩可设定统一的规则和检索条件,检索的结果可直接被浓缩使用,增大了应用的灵活性。
附图说明
图1为本发明中的系统结构示意图;
图2为本发明中的方法流程图。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
如图1所示,用于视频侦查的快速视频检索系统包括视频获取单元、预处理单元、检索单元和浓缩单元。
视频获取单元包括视频流或文件的获取器和解码器。
预处理单元包括运动目标检测和跟踪单元、目标特征提取单元、目标数据库存储单元;运动目标检测和跟踪单元完成对运动目标的检测和跟踪,提取出每个目标的运动轨迹和目标持续时间内的轮廓序列,并对目标进行编号;目标特征提取单元包括多种特征提取器:颜色特征提取器,纹理特征提取器、运动方向特征提取器和一种人车分类器,其中纹理特征提取器提取多种图像特征包括LBP、HOG、Haar和Gabor特征;运动方向提取器提取目标在每个时间点的运动方向,运动方向的计算方法为:
Figure 2013100760700100002DEST_PATH_IMAGE002
其中
Figure 2013100760700100002DEST_PATH_IMAGE004
为编号为n的目标在第i帧的运动方向,N(i)为第i帧的相邻帧集合,
Figure 2013100760700100002DEST_PATH_IMAGE006
共有2*T+1帧,d(k,n) = Pos(k,n) – Pos(k-1,n),Pos(k,n)为目标n在第k帧图像中的位置;人车分类器判断提取出的运动目标的类别:人或车;目标数据库单元用于储存每个目标的信息,包括目标的标号、目标的起始结束时间、目标在每一帧的轮廓和位置、目标的多种特征。
检索单元可以指定一种或多种特征、时间段、ROI和拌线作为检索条件,特征的可选种类同特征提取单元所提供的特征种类相同,检索单元包括周界拌线单元和特征匹配单元。
周界拌线单元进行ROI和拌线过滤。ROI是图像中的一个封闭区域,ROI过滤可以筛选出在ROI区域内出现的目标;拌线过滤是指用户可以在图像中画一条线段,从而判断目标是否在某时刻跨过了拌线。
浓缩单元将检索出的所有目标在时间和空间上进行重排,形成新的压缩过的视频,所形成的新视频具有有益于刑侦的良好性质:总时间大幅缩短,同时保持了每个事件内目标基本的时序和空间关系。
如图2所示,一种用于视频侦查的快速视频检索方法:
目标特征提取涉及人车分类器的构建:首先构建人、车图像库,标定出每幅图像的人车属性,然后提取图像的HOG和LBP特征,使用AdaBoost进行分类器的训练。
检索输出符合条件的目标列表,结果可以以截图列表的形式进行展示,并按照匹配分数由高到低进行排序;检索条件的判断按照各种条件时间复杂度由低到高的顺序执行,当检索条件被指定时,数据库中的所有目标首先进行时间段的判断,筛选出符合时间要求的目标进行ROI和拌线过滤,最后进行特征匹配提取出符合条件的目标并按照匹配分数进行排序;ROI和拌线过滤过程:判断目标是否在指定的ROI范围内,如果是则进入拌线过滤,对目标持续时间内的每一帧进行判断,确定该目标是否在这一帧跨过了拌线;纹理特征匹配相似度度量采用余弦距离:如果有两个特征向量x = (x1,x2,x3,…,x_k),y = (y1,y2,y3,…,y_k),k为特征向量的维度,则x,y之间的距离定义为:
Figure 2013100760700100002DEST_PATH_IMAGE008
浓缩可以在检索结果的基础上进行处理,也可以不进行检索直接进行浓缩,即检索条件可以设置为空。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应带理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (10)

1. 用于视频侦查的快速视频检索系统,其特征在于:包括视频获取单元、预处理单元、检索单元和浓缩单元;
所述的视频获取单元用于获取视频并进行视频解码;
所述的预处理单元用于视频中目标特征信息的提取,建立目标索引数据库;
所述的检索单元用于根据条件进行目标检索;
所述的浓缩单元用于根据给出的目标列表生成浓缩视频。
2.根据权利要求1所述的快速视频检索系统,其特征在于:所述的视频获取单元包括视频流的获取器和解码器。
3.根据权利要求1所述的快速视频检索系统,其特征在于:所述的视频获取单元包括视频文件的获取器和解码器。
4.根据权利要求1所述的快速视频检索系统,其特征在于:所述的预处理单元包括运动目标检测和跟踪单元、目标特征提取单元、目标数据库存储单元;
运动目标检测和跟踪单元完成对运动目标的检测和跟踪,提取出每个目标的运动轨迹和目标持续时间内的轮廓序列,并对运动目标进行编号;
目标特征提取单元包括颜色特征提取器,纹理特征提取器、运动方向特征提取器和人车分类器;
目标数据库存储单元用于储存每个目标的信息,包括目标的标号、目标的起始结束时间、目标在每一帧的轮廓和位置、目标的多种特征。
5.根据权利要求4所述的快速视频检索系统,其特征在于:
所述的纹理特征提取器提取多种图像特征,包括LBP特征、HOG特征、Haar特征和Gabor特征;
所述的运动方向特征提取器提取目标在每个时间点的运动方向;
所述的人车分类器判断提取出的运动目标的类别:人或车。
6.根据权利要求1所述的快速视频检索系统,其特征在于:所述的检索单元可以指定一种或多种特征、时间段、ROI和拌线作为检索条件,特征的可选种类同目标特征提取单元所提供的特征种类相同,检索单元包括周界拌线单元和特征匹配单元;
所述的周界拌线单元进行ROI和拌线过滤;ROI是图像中的一个封闭区域,ROI过滤可以筛选出在ROI区域内出现的目标;拌线过滤是指用户在图像中画一条线段,从而判断目标是否在某时刻跨过了拌线。
7.根据权利要求1所述的快速视频检索系统,其特征在于:所述的浓缩单元将检索出的所有目标在时间和空间上进行重排,形成新的压缩过的视频,所形成的新视频具有有益于刑侦的良好性质:总时间大幅缩短,同时保持了每个事件内目标基本的时序和空间关系。
8.用于视频侦查的快速视频检索方法,其特征在于该方法具体是:获取视频,包括视频文件或视频流,并进行解码;对解码后的每帧图像进行分析预处理,提取运动目标和目标特征信息,存入数据库;根据用户的请求查询数据库,根据颜色、纹理、规则或拌线条件进行特征匹配,检索出感兴趣目标,并将结果目标列表进行排序;将检索出的目标以浓缩视频的形式进行展示。
9.根据权利要求8所述的快速视频检索方法,其特征在于:所述的提取目标特征信息具体是:首先构建人、车图像库,标定出每幅图像的人车属性,然后提取图像的HOG特征和LBP特征,使用AdaBoost进行分类器的训练。
10.根据权利要求8所述的快速视频检索方法,其特征在于:所述的检索出感兴趣目标,并将结果目标列表进行排序具体是:检索输出符合条件的目标列表,结果以截图列表的形式进行展示,并按照匹配分数由高到低进行排序;
检索条件的判断按照各种条件时间复杂度由低到高的顺序执行,当检索条件被指定时,数据库中的所有目标首先进行时间段的判断,筛选出符合时间要求的目标进行ROI和拌线过滤,最后进行特征匹配提取出符合条件的目标并按照匹配分数进行排序。
CN2013100760700A 2013-03-11 2013-03-11 用于视频侦查的快速视频检索系统和方法 Pending CN103150375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100760700A CN103150375A (zh) 2013-03-11 2013-03-11 用于视频侦查的快速视频检索系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100760700A CN103150375A (zh) 2013-03-11 2013-03-11 用于视频侦查的快速视频检索系统和方法

Publications (1)

Publication Number Publication Date
CN103150375A true CN103150375A (zh) 2013-06-12

Family

ID=48548452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100760700A Pending CN103150375A (zh) 2013-03-11 2013-03-11 用于视频侦查的快速视频检索系统和方法

Country Status (1)

Country Link
CN (1) CN103150375A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400138A (zh) * 2013-07-29 2013-11-20 沈玉琴 一种人工智能多模式行为识别与描述的视频信号预处理方法
CN103605652A (zh) * 2013-08-30 2014-02-26 北京桓润世嘉科技有限公司 基于对象标志位的视频检索和浏览的方法和装置
CN103617234A (zh) * 2013-11-26 2014-03-05 公安部第三研究所 主动式视频浓缩装置及方法
CN104252539A (zh) * 2014-09-24 2014-12-31 深圳市傲天智能系统有限公司 基于搜索引擎的视频智能分析管理方法及系统
CN104253981A (zh) * 2014-09-28 2014-12-31 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的运动目标按颜色排序的方法
CN104680143A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的快速图像检索方法
CN104699810A (zh) * 2015-03-23 2015-06-10 国家电网公司 一种基于视频浓缩摘要的海量视频检索存储系统及其方法
CN105554456A (zh) * 2015-12-21 2016-05-04 北京旷视科技有限公司 视频处理方法和设备
CN105589974A (zh) * 2016-02-04 2016-05-18 通号通信信息集团有限公司 基于Hadoop平台的监控视频检索方法和系统
CN105681760A (zh) * 2016-03-09 2016-06-15 国网浙江省电力公司湖州供电公司 一种输变电设备状态总线型识别与监测系统
CN105681761A (zh) * 2016-03-09 2016-06-15 国网浙江省电力公司湖州供电公司 一种基于菊花链拓扑的输变电设备状态监测系统
CN105704457A (zh) * 2016-03-09 2016-06-22 国网浙江省电力公司湖州供电公司 特高压输电重要通道场景目标状态识别与在线监测装置
WO2016183770A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang A system and a method for predicting crowd attributes
CN106570096A (zh) * 2016-10-31 2017-04-19 腾讯科技(深圳)有限公司 图片排序方法和装置
CN106933816A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿数据网络技术有限公司 基于全局特征和局部特征的跨镜头目标检索系统及方法
CN107169106A (zh) * 2017-05-18 2017-09-15 珠海习悦信息技术有限公司 视频检索方法、装置、存储介质及处理器
CN108073690A (zh) * 2017-11-30 2018-05-25 江西洪都航空工业集团有限责任公司 一种视频目标检索方法
CN108399261A (zh) * 2018-03-13 2018-08-14 成都蓉兴伟业科技有限公司 一种基于积分法的案件和视频研判方法
CN109558497A (zh) * 2018-12-04 2019-04-02 珠海市新德汇信息技术有限公司 一种数据本体侦查分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655860A (zh) * 2009-09-16 2010-02-24 北京中盾安全技术开发公司 一种刑侦破案视频辅助分析方法及系统
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
CN102156707A (zh) * 2011-02-01 2011-08-17 刘中华 一种视频摘要形成和搜索的方法、系统
US20110282906A1 (en) * 2010-05-14 2011-11-17 Rovi Technologies Corporation Systems and methods for performing a search based on a media content snapshot image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655860A (zh) * 2009-09-16 2010-02-24 北京中盾安全技术开发公司 一种刑侦破案视频辅助分析方法及系统
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
US20110282906A1 (en) * 2010-05-14 2011-11-17 Rovi Technologies Corporation Systems and methods for performing a search based on a media content snapshot image
CN102156707A (zh) * 2011-02-01 2011-08-17 刘中华 一种视频摘要形成和搜索的方法、系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400138A (zh) * 2013-07-29 2013-11-20 沈玉琴 一种人工智能多模式行为识别与描述的视频信号预处理方法
CN103605652A (zh) * 2013-08-30 2014-02-26 北京桓润世嘉科技有限公司 基于对象标志位的视频检索和浏览的方法和装置
CN103605652B (zh) * 2013-08-30 2017-11-07 北京桓润世嘉科技有限公司 基于对象标志位的视频检索和浏览的方法和装置
CN103617234A (zh) * 2013-11-26 2014-03-05 公安部第三研究所 主动式视频浓缩装置及方法
CN104252539A (zh) * 2014-09-24 2014-12-31 深圳市傲天智能系统有限公司 基于搜索引擎的视频智能分析管理方法及系统
CN104253981A (zh) * 2014-09-28 2014-12-31 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的运动目标按颜色排序的方法
CN104253981B (zh) * 2014-09-28 2017-11-28 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的运动目标按颜色排序的方法
CN104680143A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的快速图像检索方法
CN104680143B (zh) * 2015-02-28 2018-02-27 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的快速图像检索方法
CN104699810A (zh) * 2015-03-23 2015-06-10 国家电网公司 一种基于视频浓缩摘要的海量视频检索存储系统及其方法
WO2016183770A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang A system and a method for predicting crowd attributes
CN107615272A (zh) * 2015-05-18 2018-01-19 北京市商汤科技开发有限公司 用于预测人群属性的系统和方法
CN105554456A (zh) * 2015-12-21 2016-05-04 北京旷视科技有限公司 视频处理方法和设备
CN106933816A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿数据网络技术有限公司 基于全局特征和局部特征的跨镜头目标检索系统及方法
CN105589974A (zh) * 2016-02-04 2016-05-18 通号通信信息集团有限公司 基于Hadoop平台的监控视频检索方法和系统
CN105589974B (zh) * 2016-02-04 2019-05-17 通号通信信息集团有限公司 基于Hadoop平台的监控视频检索方法和系统
CN105681760A (zh) * 2016-03-09 2016-06-15 国网浙江省电力公司湖州供电公司 一种输变电设备状态总线型识别与监测系统
CN105704457A (zh) * 2016-03-09 2016-06-22 国网浙江省电力公司湖州供电公司 特高压输电重要通道场景目标状态识别与在线监测装置
CN105681761A (zh) * 2016-03-09 2016-06-15 国网浙江省电力公司湖州供电公司 一种基于菊花链拓扑的输变电设备状态监测系统
CN106570096A (zh) * 2016-10-31 2017-04-19 腾讯科技(深圳)有限公司 图片排序方法和装置
CN106570096B (zh) * 2016-10-31 2019-02-22 腾讯科技(深圳)有限公司 图片排序方法和装置
CN107169106A (zh) * 2017-05-18 2017-09-15 珠海习悦信息技术有限公司 视频检索方法、装置、存储介质及处理器
CN107169106B (zh) * 2017-05-18 2023-08-18 珠海习悦信息技术有限公司 视频检索方法、装置、存储介质及处理器
CN108073690A (zh) * 2017-11-30 2018-05-25 江西洪都航空工业集团有限责任公司 一种视频目标检索方法
CN108399261A (zh) * 2018-03-13 2018-08-14 成都蓉兴伟业科技有限公司 一种基于积分法的案件和视频研判方法
CN109558497A (zh) * 2018-12-04 2019-04-02 珠海市新德汇信息技术有限公司 一种数据本体侦查分析方法

Similar Documents

Publication Publication Date Title
CN103150375A (zh) 用于视频侦查的快速视频检索系统和方法
CN103207898B (zh) 一种基于局部敏感哈希的相似人脸快速检索方法
Lin et al. A stochastic graph grammar for compositional object representation and recognition
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
CN105184238A (zh) 一种人脸识别方法及系统
CN109684913A (zh) 一种基于社区发现聚类的视频人脸标注方法和系统
CN102855317B (zh) 一种基于演示视频的多模式索引方法及系统
CN103714181B (zh) 一种层级化的特定人物检索方法
Xian et al. Evaluation of low-level features for real-world surveillance event detection
Yang et al. An improved Bag-of-Words framework for remote sensing image retrieval in large-scale image databases
CN103618918A (zh) 一种智能电视的显示控制方法及装置
CN105141903A (zh) 一种基于颜色信息的在视频中进行目标检索的方法
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
CN109684511A (zh) 一种视频剪辑方法、视频聚合方法、装置以及系统
Elharrouss et al. FSC-set: counting, localization of football supporters crowd in the stadiums
CN103336835A (zh) 基于权值color-sift特征字典的图像检索方法
CN104820711A (zh) 复杂场景下对人形目标的视频检索方法
Li et al. A multitask joint framework for real-time person search
Mohammad et al. Searching surveillance video contents using convolutional neural network
Chen et al. Headnet: pedestrian head detection utilizing body in context
Ji et al. News videos anchor person detection by shot clustering
CN104199950B (zh) 一种基于图像相似度快速匹配的学术论文搜索方法
Pei-Xia et al. Learning discriminative CNN features and similarity metrics for image retrieval
Xu et al. A novel shot detection algorithm based on clustering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant after: Zhejiang iCare Vision Technology Co., Ltd.

Address before: 310013, Zhejiang, Xihu District, Hangzhou, Tian Shan Road, No. 398, Kun building, four floor, South Block

Applicant before: Zhejiang iCare Vision Technology Co., Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD.

Address before: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant before: Zhejiang iCare Vision Technology Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: HANGZHOU ICARE VISION TECHNOLOGY CO., LTD. TO: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130612