CN104573111B - 一种监控视频中的行人数据结构化存储及预检索方法 - Google Patents

一种监控视频中的行人数据结构化存储及预检索方法 Download PDF

Info

Publication number
CN104573111B
CN104573111B CN201510054538.5A CN201510054538A CN104573111B CN 104573111 B CN104573111 B CN 104573111B CN 201510054538 A CN201510054538 A CN 201510054538A CN 104573111 B CN104573111 B CN 104573111B
Authority
CN
China
Prior art keywords
pedestrian
target
video
data
color histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510054538.5A
Other languages
English (en)
Other versions
CN104573111A (zh
Inventor
熊志辉
高程旭
赖世铭
张政
徐玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201510054538.5A priority Critical patent/CN104573111B/zh
Publication of CN104573111A publication Critical patent/CN104573111A/zh
Application granted granted Critical
Publication of CN104573111B publication Critical patent/CN104573111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种监控视频中的行人数据结构化存储及预检索方法,首先在监控视频采集过程中,运用视频中的行人检测方法,检测出视频中的行人,记录其坐标和出现时间信息,并提取行人的颜色直方图特征,然后以颜色直方图特征作为索引,对行人数据进行结构化存储,并与原视频数据进行关联。当需要检索监控视频中某行人目标时,仅需输入该行人的颜色直方图信息,便能快速的粗略定位其在监控视频中出现的时间和位置。

Description

一种监控视频中的行人数据结构化存储及预检索方法
技术领域
本发明主要涉及到智能监控领域,特指一种监控视频中的行人数据结构化存储及预检索方法。
背景技术
随着网络技术和高清摄像技术的飞速发展,视频监控被广泛应用于银行、广场、路口、小区等场所的安防工作,通过在相应场所全天候录制视频,为事故的责任追究和刑事案件的侦破提供了重要的数据支撑。但与此同时,由于传统的视频监控系统缺乏智能性,需要工作人员不间断的观察监控场景中的动态,或者在事故发生后,依托大量人力去浏览视频数据,搜寻事故发生或者犯罪分子出现的时间片,对工作人员的专注度、反应能力以及细心程度有很大的要求,工作繁重,造成了大量劳动力的浪费。例如骇人听闻的周克华连环枪杀事件,一共四起枪杀案件,每起案件的监控视频大概100TB,如果按每部电影500MB计算的话,公安人员相当于需要观看20万部电影,而且工作人员在如此高强度和及其枯燥的工作下难免会有所失误,而这种失误带来的后果可能是重大的刑事案件,交通事故,甚至威胁国家安全。而且,为了能更清晰的呈现事故场景,监控视频分辨率日益提升,视频数据量相应成指数级增长,然而大多数数据都是无关紧要的背景扰动信息,传统的“大同”式的存储方式面临着巨大挑战。如何从海量的监控视频中提取感兴趣目标,并进行结构化存储,对视频监控领域具有重要意义,为此,一些研究人员提出了智能监控技术的概念。
对于静止摄像头拍摄的监控视频,大量数据是人们所不关心的背景信息或者规则的树叶晃动,而对于大多数场合的监控视频,行人才是人们所关心的目标,而在搜寻视频中某一特定行人目标时,最显著的特征便是行人的衣着特征,我们可以将其转化为能被计算机识别的颜色直方图信息。如何对行人目标高速精确的提取并根据颜色直方图特征进行结构化存储和检索,对于监控视频数据的智能检索和数据压缩具有重要意义。同时,基于颜色直方图对行人目标的初步筛选,对于监控视频的高层处理具有重要的预处理作用。
传统的视频监控系统以视频数据为核心,实时采集场景帧图像数据,并以视频片段为单位,持续保存数天时间。传统的监控系统存在两个明显的弊端:
(1)视频数据一般需要进行压缩保存,当压缩率过高时,影响视频清晰度,降低了视频数据的可靠性;当数据压缩率过低时,视频数据量急剧增加,存储压力大,影响监控视频存储周期。
(2)以简单的视频格式对监控数据保存时,损失了大量先验信息,浪费了采集视频时的计算资源,阻碍了监控数据检索的自动化,导致大量人力资源的浪费。
发明内容
针对上述技术问题,本发明提出一种监控视频中的行人数据结构化存储及预检索方法。其依托视频中的行人检测技术,根据行人检测的结果数据,指导视频数据的压缩,提升对背景信息的压缩倍数,降低对帧图像中行人区域的压缩倍数。在对视频数据进行高被压缩的同时,抽取数帧行人检测结果图像进行高清分类存储,结构化存储监控视频中出现的行人的图像、颜色直方图特征、时间片信息等,以颜色直方图特征作为索引,并以此作为后期基于颜色直方图特征的行人检索的数据基础,最终实现监控视频中行人数据的预检索,以便于行人的精确检索。该方法能加强监控视频数据的结构性,能为视频中行人目标的精确检索与识别提供数据预处理,减少精确检索定位过程中的复杂计算量。
一种监控视频中的行人数据结构化存储及预检索方法,分为三个部分分别为行人检测、行人的结构化存储和行人检索,首先在监控视频采集过程中,运用视频中的行人检测方法,检测出视频中的行人,记录其坐标和出现时间信息,并提取行人的颜色直方图特征,然后以颜色直方图特征作为索引,对行人数据进行结构化存储,并与原视频数据进行关联,当需要检索监控视频中某行人目标时,输入该行人的颜色直方图信息,然后与数据库中特定时间阶段的行人数据进行相似度匹配与检索,将相似度较大的数据与视频数据进行关联,即找出相应行人个体在视频中出现的时间位置信息,并输出最终结果,用于后期的智能或者人工深度检索。本发明缩小了监控查询工作的范围,减小工作量。
上述监控视频中的行人数据结构化存储需要在视频采集过程中同步实现,以充分利用监控设备前端计算资源,其具体实现步骤是:
1)检测视频中的行人:
首先,充分收集固定分辨率的行人图像和非行人背景图像,作为训练样本离线训练一个行人检测分类器,然后,基于ViBe运动检测方法,提取出监控视频中的运动区域,并对运动区域分割待检测目标块,并对目标块提取特征,最后,运用行人检测分类器检测运动区域中的行人,提取出行人目标数据,得到行人在帧图像中的位置块信息;
2)提取行人的颜色直方图特征:
为了最大限度的排除光照变化的影响,本发明采用HSV颜色模型,提升颜色直方图特征对光照变化的鲁棒性,所以,首先需要对行人图像从RGB颜色空间转换到HSV颜色空间(如图2)。人眼对HSV模型的敏感程度排序依次为色调、饱和度、亮度,根据人类敏感程度的不同,我们对三个分量进行不同程度的量化,对色度的量化最密集,量化为15个级别,对饱和度和亮度的量化相对稀疏,均量化为5个级别,则最终的颜色直方图为375维的向量。假设色度为h,饱和度为s,亮度为v,通过赋予h、s、v不同权值,相加组合成为相应颜色的离散量化值L。
L=25h+5s+v(1)
HSV模型可以在一维矢量上实现离散分布,其中L∈[0,374],可以实现对图像375个柱的直方图统计,相当于是一个一维的特征向量:
H ( i ) = m i M , i = 1 , 2 , ... , L - - - ( 2 )
其中,H代表1×L的颜色直方图特征向量,mi代表颜色离散值为i的像素数,M代表总的像素数。
由于行人检测过程中得到的是行人的位置块,包含背景信息,我们需要根据运动区域信息,限定直方图提取范围,只统计行人检测块中运动区域的颜色直方图,减少背景对颜色直方图特征的干扰。
3)根据颜色直方图特征对相邻帧间行人数据关联:
对相邻帧中的行人检测结果进行关联,每个行人从其出现的视频帧中随机抽取数幅图像进行存储。相邻帧中的目标数据关联是目标跟踪领域的一个经典问题,本发明提取帧图像中每个行人目标的颜色直方图特征,然后进行相似度匹配,求行人目标之间的推土机距离(EarthMover’sDistance,EMD)Demd,对上一帧的每个行人目标检测结果,取在一定距离范围内相似度最高的当前帧结果作为重复目标,即求min(Demd),然后对前后帧目标进行选择性剔除。
EMD距离是计算把一个直方图变成另外一个直方图的最小花费,计算公式如下:
D e m d ( q , p ) = Σ i , j d i , j g i , j Σ i , j g i , j - - - ( 3 )
其中:p和q代表两个行人目标;di,j代表颜色分量i到颜色分量j的距离,gi,j>0是i到j需要的花费。另外还需要满足如下约束条件:
Σ i , j g i , j = m i n ( H p ( i ) , H q ( j ) ) , Σ i g i , j ≤ H p ( i ) , Σ j g i , j ≤ H q ( j ) - - - ( 4 )
其中:Hp(i)代表行人目标p的颜色直方图特征向量;Hq(j)表行人目标q的颜色直方图特征向量。
建立行人数据队列其中:Np为行人数据队列中的元素个数,I为目标图像,H为颜色直方图,Tbeg为开始时刻,Tlast为持续时间,当前帧的行人检测结果为Obj={Obj1,Obj2,…,ObjM},对于任意Pi,当min(Demd(Pi,Objk))<τ时,则成Pi与Objk为同一行人目标,剔除其中之一,更新Pi。对于任意的Objk,如果不存在Pi满足min(Demd(Pi,Objk))<τ,则称Objk为新目标,加入队列P中,并更新NP=NP+1;其中τ为阈值。
4)维护行人数据队列:
一般视频拍摄具有一定视场角,场景宽度比较大,同一行人目标会在场景中持续出现至少数秒钟的时间,则每个行人会被检测出数十次。而对于行人检测结果中的误检目标,由于其特殊性,一般只能被检测出1-2次,而且不能与其他行人目标匹配成功。所以,对于任意Pi,如果连续nT帧在目标查重过程中没有匹配成功,则从队列P中删除Pi,一般nT=5,如果则转到步骤5),将Pi保存到数据库中;如果则将此目标判定为误检目标,并将其删除。该方法有效剔除了行人检测模块的部分误检结果,提升了检测精度。
5)行人目标数据的结构化存储
对保留下来的每个行人目标进行结构化存储,保存它的关键帧图像、颜色直方图信息和在视频中出现的时间片等数据,以颜色直方图特征为索引构建行人数据库,基于此数据库实现视频中特定目标的查询或者筛选。假设数据库的存储内容为Ped={Ped1,Ped2,…,PedN},其中Pedi代表一个元组, Ped i = ( I i , H i , T b e g i , T l a s t i ) .
将上述行人数据结构化存储过程整合到前端视频监控系统后,得到的最终监控数据除了包括原监控视频外,还包含与其关联的行人数据库,用于监控视频中的行人预检索过程。预检索过程就是输入待检索行人的颜色直方图特征,在行人数据库中进行搜索匹配,输出相似度距离比较小的结果,具体实施步骤如下:
1)在监控视频中搜寻出可疑目标:
在案件侦查过程中,需要首先在监控视频中搜寻出可疑目标,确定嫌疑人衣着特征和出现时间范围,然后根据所确定的嫌疑人目标数据,用于其他监控视频中检索的输入;
2)提取可疑目标的颜色直方图特征:
首先将输入图像转化为HSV颜色通道图,然后扣取出图像中的行人区域,对行人区域提取颜色直方图特征,并对其进行归一化处理;
3)将可疑目标的颜色直方图作为输入,搜索行人数据库:
输入可疑目标的颜色直方图信息Hinput,并根据Tbeg从小到大,依次与Hi进行相似度匹配,提取出相似度距离小于阈值τd的目标作为最终的检索结果;同时通过控制阈值τd的值来控制行人检索的粗糙度。当τd的值设置较小时,最终的检索结果数目比较少,但容易漏掉正确目标;当τd的值设置较大时,最终检索结果数比较多,容易给后期处理增大压力。所以,我们需要根据实际需求,调整τd值。
与现有技术相比,本发明的有益效果是:
本发明所述的监控视频中的行人数据的结构化存储与预检索方法,具有计算复杂度低,处理速度快的优点,能对视频中的行人数据进行初步筛选,有效减小了案件侦查的工作量,并且为更复杂的行人识别技术提供了数据预处理过程。
附图说明
图1本发明的框架设计;
图2RGB模型和HSV模型示意图;
具体实施方式
本发明总体分为三个部分:行人检测、行人的结构化存储、行人检索。图1为整体框架的设计,首先在监控视频采集过程中,运用视频中的行人检测方法,检测出视频中的行人,记录其坐标和出现时间信息,并提取行人的颜色直方图特征,然后以颜色直方图特征作为索引,对行人数据进行结构化存储,并与原视频数据进行关联。当需要检索监控视频中某行人目标时,仅需输入该行人的颜色直方图信息,然后与数据库中特定时间阶段的行人数据进行相似度匹配与检索,将相似度较大的数据与视频数据进行关联,即找出相应行人个体在视频中出现的时间位置信息,并输出最终结果,用于后期的智能或者人工深度检索。
1)检测视频中的行人:
首先,充分收集固定分辨率的行人图像和非行人背景图像,作为训练样本离线训练一个行人检测分类器,然后,基于运动检测方法,提取出监控视频中的运动区域,并对运动区域分割待检测目标块,并对目标块提取特征,最后,运用行人检测分类器检测运动区域中的行人,提取出行人目标数据,得到行人在每帧图像中的位置块信息。
2)提取行人的颜色直方图特征:
为了最大限度的排除光照变化的影响,本发明采用HSV颜色模型,提升颜色直方图特征对光照变化的鲁棒性,所以,首先需要对行人图像从RGB颜色空间转换到HSV颜色空间,如图2所示。人眼对HSV模型的敏感程度排序依次为色调、饱和度、亮度,根据人类敏感程度的不同,对三个分量进行不同程度的量化,对色度的量化最密集,量化为15个级别,对饱和度和亮度的量化相对稀疏,均量化为5个级别,则最终的颜色直方图为375维的向量。通过赋予h、s、v不同权值,相加组合成为相应颜色的量化值。
L=25h+5s+v(1)
HSV模型可以在一维矢量上实现离散分布,其中L∈[0,374],可以实现对图像375个柱的直方图统计,相当于是一个一维的特征向量:
H ( i ) = m i M , i = 1 , 2 , ... , L - - - ( 2 )
由于行人检测过程中得到的是行人的位置块,包含背景信息,我们需要根据运动区域信息,限定直方图提取范围,只提取行人检测块中运动区域的颜色直方图,减少背景对颜色直方图特征的干扰。
3)根据颜色直方图特征对相邻帧间行人数据关联:
对相邻帧中的行人检测结果进行关联,每个行人从其出现的视频帧中随机抽取数幅图像进行存储。相邻帧中的目标数据关联是目标跟踪领域的一个经典问题,本发明提取帧图像中每个行人目标的颜色直方图特征,然后进行相似度匹配,求行人目标之间的推土机距离(EarthMover’sDistance,EMD)Demd,对上一帧的每个行人目标检测结果,取在一定距离范围内相似度最高的当前帧结果作为重复目标,即求min(Demd),然后对前后帧目标进行选择性剔除。
EMD距离是计算把一个直方图变成另外一个直方图的最小花费,计算公式如下:
D e m d ( q , p ) = Σ i , j d i , j g i , j Σ i , j g i , j - - - ( 3 )
其中:p和q代表两个行人目标,di,j代表颜色分量i到颜色分量j的距离,gi,j>0是i到j需要的花费。另外还需要满足如下约束条件:
Σ i , j g i , j = m i n ( H p ( i ) , H q ( j ) ) , Σ i g i , j ≤ H p ( i ) , Σ j g i , j ≤ H q ( j ) - - - ( 4 )
其中:Hp(i)代表行人目标p的颜色直方图特征向量;Hq(j)表行人目标q的颜色直方图特征向量。
建立行人数据队列其中:Np为行人数据队列中的元素个数,I为目标图像,H为颜色直方图,Tbeg为开始时刻,Tlast为持续时间,当前帧的行人检测结果为Obj={Obj1,Obj2,…,ObjM},对于任意Pi,当min(Demd(Pi,Objk))<τ时,则成Pi与Objk为同一行人目标,剔除其中之一,更新Pi。对于任意的Objk,如果不存在Pi满足min(Demd(Pi,Objk))<τ,则称Objk为新目标,加入队列P中,并更新NP=NP+1;其中τ为阈值。
4)维护行人数据队列:
一般视频拍摄具有一定视场角,场景宽度比较大,同一行人目标会在场景中持续出现至少数秒钟的时间,则每个行人会被检测出数十次。而对于行人检测结果中的误检目标,由于其特殊性,一般只能被检测出1-2次,而且不能与其他行人目标匹配成功。所以,对于任意Pi,如果连续nT帧在目标查重过程中没有匹配成功,则从队列P中删除Pi,设置nT=5,如果则转到步骤5),将Pi保存到数据库中;如果则将此目标判定为误检目标,并将其删除。该方法有效剔除了行人检测模块的部分误检结果,提升了检测精度。
5)行人目标数据的结构化存储
对保留下来的每个行人目标进行结构化存储,保存它的关键帧图像、颜色直方图信息和在视频中出现的时间片等数据,以颜色直方图特征为索引构建行人数据库,基于此数据库实现视频中特定目标的查询或者筛选。假设数据库的存储内容为Ped={Ped1,Ped2,…,PedN},其中Pedi代表一个元组, Ped i = ( I i , H i , T b e g i , T l a s t i ) .
将上述行人数据结构化存储过程整合到前端视频监控系统后,得到的最终监控数据除了包括原监控视频外,还包含与其关联的行人数据库,用于监控视频中的行人预检索过程。预检索过程就是输入待检索行人的颜色直方图特征,在行人数据库中进行搜索匹配,输出相似度距离比较小的结果,具体实施步骤如下:
1)在监控视频中搜寻出可疑目标:
在案件侦查过程中,需要首先在监控视频中搜寻出可疑目标,确定嫌疑人衣着特征和出现时间范围。然后,根据所确定的嫌疑人目标数据,用于其他监控视频中检索的输入。
2)提取可疑目标的颜色直方图特征:
首先将输入图像转化为HSV颜色通道图,然后扣取出图像中的行人区域,对行人区域提取颜色直方图特征,并对其进行归一化处理。
3)将可疑目标的颜色直方图作为输入,搜索行人数据库:
输入可疑目标的颜色直方图信息Hinput,并根据Tbeg从小到大,依次与Hi进行相似度匹配,提取出相似度距离小于阈值τd的目标作为最终的检索结果。同时通过控制阈值τd的值来控制行人检索的粗糙度,当τd的值设置较小时,最终的检索结果数目比较少,但容易漏掉正确目标;当τd的值设置较大时,最终检索结果数比较多,容易给后期处理增大压力。所以,需要根据实际需求调整τd值。

Claims (3)

1.一种监控视频中的行人数据结构化存储及预检索方法,首先在监控视频采集过程中,运用视频中的行人检测方法,检测出视频中的行人,记录其坐标和出现时间信息,并提取行人的颜色直方图特征,然后以颜色直方图特征作为索引,对行人数据进行结构化存储,并与原视频数据进行关联,当需要检索监控视频中某行人目标时,输入该行人的颜色直方图信息,然后与数据库中特定时间阶段的行人数据进行相似度匹配与检索,找出相应行人个体在视频中出现的时间位置信息,并输出最终结果,实现行人数据的预检索,为智能或者人工深度检索提供预处理服务,其特征在于,监控视频中的行人数据结构化存储需要在视频采集过程中同步实现,以充分利用监控设备前端计算资源,其具体实现步骤是:
1)检测视频中的行人:
首先,充分收集固定分辨率的行人图像和非行人背景图像,作为训练样本离线训练一个行人检测分类器,然后基于ViBe运动检测方法,提取出监控视频中的运动区域,并对运动区域分割待检测目标块,并对目标块提取特征,最后,运用行人检测分类器检测运动区域中的行人,提取出行人目标数据,得到行人在帧图像中的位置块信息;
2)提取行人的颜色直方图特征:
首先对行人图像从RGB颜色空间转换到HSV颜色空间;由于人眼对HSV模型的敏感程度排序依次为色调、饱和度、亮度,根据人类敏感程度的不同,因此对三个分量进行不同程度的量化,对色度量化为15个级别,对饱和度和亮度均量化为5个级别,则最终的颜色直方图为375维的向量;假设色度为h,饱和度为s,亮度为v,通过赋予h、s、v不同权值,相加组合成为相应颜色的离散量化值L:
L=25h+5s+v(1)
HSV模型能够在一维矢量上实现离散分布,其中L∈[0,374],实现对图像375个柱的直方图统计,相当于是一个一维的特征向量:
H ( i ) = m i M , i = 1 , 2 , ... , L - - - ( 2 )
其中,H代表1×L的颜色直方图特征向量,mi代表颜色离散值为i的像素数,M代表总的像素数;
由于行人检测过程中得到的是行人的位置块,包含背景信息,因此需根据运动区域信息,限定直方图提取范围,只统计行人检测块中运动区域的颜色直方图,减少背景对颜色直方图特征的干扰;
3)根据颜色直方图特征对相邻帧间行人数据关联:
对相邻帧中的行人检测结果进行关联,每个行人从其出现的视频帧中随机抽取数幅图像进行存储;首先提取帧图像中每个行人目标的颜色直方图特征,然后进行相似度匹配,求行人目标之间的推土机距离Demd,即把一个直方图变成另外一个直方图的最小花费,对上一帧的每个行人目标检测结果,取在一定距离范围内相似度最高的当前帧结果作为重复目标,即求min(Demd),然后对前后帧目标进行选择性剔除;
其中所述推土机距离Demd的计算公式如下:
D e m d ( q , p ) = Σ i , j d i , j g i , j Σ i , j g i , j - - - ( 3 )
式(3)中di,j代表颜色分量i到颜色分量j的距离,gi,j>0是i到j需要的花费,p和q代表两个行人目标;
建立行人数据队列其中:Np为行人数据队列中的元素个数,I为目标图像,H为颜色直方图,Tbeg为开始时刻,Tlast为持续时间,当前帧的行人检测结果为Obj={Obj1,Obj2,…,ObjM},对于任意Pi,当min(Demd(Pi,Objk))<τ时,则成Pi与Objk为同一行人目标,剔除其中之一,更新Pi;对于任意的Objk,如果不存在Pi满足min(Demd(Pi,Objk))<τ,则称Objk为新目标,加入队列P中,并更新NP=NP+1;其中τ为阈值;
4)维护行人数据队列:
对于任意Pi,如果连续nT帧在目标查重过程中没有匹配成功,则从队列P中删除Pi,nT=5,如果则转到步骤5),将Pi保存到数据库中;如果则将此目标判定为误检目标,并将其删除;
5)行人目标数据的结构化存储
对保留下来的每个行人目标进行结构化存储,保存每个行人目标的关键帧图像、颜色直方图信息和在视频中出现的时间片数据,以颜色直方图特征为索引构建行人数据库,基于此数据库实现视频中特定目标的查询或者筛选;设数据库的存储内容为Ped={Ped1,Ped2,…,PedN},其中Pedi代表一个元组, Ped i = ( I i , H i , T b e g i , T l a s t i ) .
2.根据权利要求1所述的监控视频中的行人数据结构化存储及预检索方法,其特征在于,
式(3)满足如下约束条件:
Σ i , j g i , j = m i n ( H p ( i ) , H q ( j ) ) , Σ i g i , j ≤ H p ( i ) , Σ j g i , j ≤ H q ( j ) - - - ( 4 )
其中:Hp(i)代表行人目标p的颜色直方图特征向量;Hq(j)表行人目标q的颜色直方图特征向量。
3.根据权利要求1或2所述的监控视频中的行人数据结构化存储及预检索方法,其特征在于,基于行人数据库实现视频中特定目标的查询或者筛选过程具体实施步骤如下:
1)在监控视频中搜寻出可疑目标:
在案件侦查过程中,需要首先在监控视频中搜寻出可疑目标,确定嫌疑人衣着特征和出现时间范围,然后根据所确定的嫌疑人目标数据,用于其他监控视频中检索的输入;
2)提取可疑目标的颜色直方图特征:
首先将输入图像转化为HSV颜色通道图,然后扣取出图像中的行人区域,对行人区域提取颜色直方图特征,并对其进行归一化处理;
3)将可疑目标的颜色直方图作为输入,搜索行人数据库:
输入可疑目标的颜色直方图信息Hinput,并根据Tbeg从小到大,依次与Hi进行相似度匹配,提取出相似度距离小于阈值τd的目标作为最终的检索结果;同时通过控制阈值τd的值来控制行人检索的粗糙度。
CN201510054538.5A 2015-02-03 2015-02-03 一种监控视频中的行人数据结构化存储及预检索方法 Active CN104573111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510054538.5A CN104573111B (zh) 2015-02-03 2015-02-03 一种监控视频中的行人数据结构化存储及预检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510054538.5A CN104573111B (zh) 2015-02-03 2015-02-03 一种监控视频中的行人数据结构化存储及预检索方法

Publications (2)

Publication Number Publication Date
CN104573111A CN104573111A (zh) 2015-04-29
CN104573111B true CN104573111B (zh) 2016-03-23

Family

ID=53089173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510054538.5A Active CN104573111B (zh) 2015-02-03 2015-02-03 一种监控视频中的行人数据结构化存储及预检索方法

Country Status (1)

Country Link
CN (1) CN104573111B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187785B (zh) * 2015-08-31 2018-05-11 桂林电子科技大学 一种基于动态选取显著特征的跨卡口行人识别系统与方法
CN105138689B (zh) * 2015-09-17 2019-04-19 上海交通大学 一种带有徘徊异常提示的分层视频摘要方法
JP6843557B2 (ja) * 2016-08-30 2021-03-17 キヤノン株式会社 システム、情報処理装置、情報処理方法及びプログラム
CN106326902B (zh) * 2016-08-30 2019-05-14 广西师范大学 基于显著性结构直方图的图像检索方法
US10366122B2 (en) * 2016-09-14 2019-07-30 Ants Technology (Hk) Limited. Methods circuits devices systems and functionally associated machine executable code for generating a searchable real-scene database
CN108062349B (zh) * 2017-10-31 2022-03-08 深圳大学 基于视频结构化数据及深度学习的视频监控方法和系统
CN110309352A (zh) * 2018-02-06 2019-10-08 上海全土豆文化传播有限公司 监控方法及装置
CN109214315A (zh) * 2018-08-21 2019-01-15 北京深瞐科技有限公司 人车跨镜头追踪方法及装置
CN109862396A (zh) * 2019-01-11 2019-06-07 苏州科达科技股份有限公司 一种视频码流的分析方法、电子设备及可读存储介质
CN109934104A (zh) * 2019-01-29 2019-06-25 武汉烽火众智数字技术有限责任公司 基于行人重识别的跨镜头的行人检索方法及系统
CN110502986B (zh) * 2019-07-12 2024-09-17 平安科技(深圳)有限公司 识别图像中人物位置方法、装置、计算机设备和存储介质
CN110825893A (zh) * 2019-09-18 2020-02-21 北京旷视科技有限公司 一种目标查找方法、装置、系统及存储介质
CN111355999B (zh) * 2020-03-16 2022-07-01 北京达佳互联信息技术有限公司 视频播放的方法、装置、终端设备及服务器
CN112040325B (zh) * 2020-11-02 2021-01-29 成都睿沿科技有限公司 一种视频播放方法、装置、电子设备及存储介质
CN113674833B (zh) * 2021-08-23 2024-02-06 成都拟合未来科技有限公司 健身视频生成方法、系统、终端及存储介质
CN114401365B (zh) * 2021-12-31 2024-05-14 广东省教育研究院 目标人物识别方法、视频切换方法及装置
CN118195880B (zh) * 2024-05-17 2024-09-10 沧州市交通运输局 一种营运车辆信息监管系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553327B2 (en) * 1998-09-16 2003-04-22 Yeda Research & Development Co., Ltd. Apparatus for monitoring a system with time in space and method therefor
CN102831166B (zh) * 2012-07-24 2015-05-27 武汉大千信息技术有限公司 一种基于色彩特征检测的刑侦视频预处理方法
CN103714181B (zh) * 2014-01-08 2016-09-28 天津大学 一种层级化的特定人物检索方法

Also Published As

Publication number Publication date
CN104573111A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104573111B (zh) 一种监控视频中的行人数据结构化存储及预检索方法
Chakma et al. Image-based air quality analysis using deep convolutional neural network
Liu et al. Future frame prediction for anomaly detection–a new baseline
EP3445044B1 (en) Video recording method, server, system, and storage medium
CN111291633B (zh) 一种实时行人重识别方法及装置
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
CN109344688A (zh) 一种基于卷积神经网络的监控视频中人的自动识别方法
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN106033548B (zh) 基于改进字典学习的拥挤人群异常检测方法
US9501713B2 (en) Method of producing compact descriptors from interest points of digital images, corresponding system, apparatus and computer program product
CN109117771B (zh) 一种基于锚节点的图像中暴力事件检测系统及方法
Qiang et al. Forest fire smoke detection under complex backgrounds using TRPCA and TSVB
De Oliveira et al. People reidentification in a camera network
CN115223246A (zh) 一种人员违规行为识别方法、装置、设备及存储介质
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
Li et al. Codemaps-segment, classify and search objects locally
CN115393788A (zh) 一种基于增强全局信息注意力的多尺度监控行人重识别方法
CN109359530B (zh) 一种智能视频监控方法及装置
Wang et al. Human detection based on a sequence of thermal images using deep learning
Zhang et al. Research on camouflaged human target detection based on deep learning
Wu et al. TCDNet: Tree crown detection from UAV optical images using uncertainty-aware one-stage network
Pan et al. Fourier domain pruning of mobilenet-v2 with application to video based wildfire detection
Ren et al. Research on Safety Helmet Detection for Construction Site
CN110738129B (zh) 一种基于r-c3d网络的端到端视频时序行为检测方法
Wu et al. Ground-based vision cloud image classification based on extreme learning machine

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant