CN105187785B - 一种基于动态选取显著特征的跨卡口行人识别系统与方法 - Google Patents
一种基于动态选取显著特征的跨卡口行人识别系统与方法 Download PDFInfo
- Publication number
- CN105187785B CN105187785B CN201510548173.1A CN201510548173A CN105187785B CN 105187785 B CN105187785 B CN 105187785B CN 201510548173 A CN201510548173 A CN 201510548173A CN 105187785 B CN105187785 B CN 105187785B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- feature
- information
- picture
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于动态选取显著特征的跨卡口行人识别系统,包括城市卡口视频采集模块、行人检测与跟踪模块、多特征提取模块、特征挖掘模块、显著特征选取模块和行人识别模块;本发明还涉及一种基于动态选取显著特征的跨卡口行人识别方法;本发明的有益效果是:能够动态选取特征信息,不是采用将多种特征直接融合的方式,而是通过对各特征信息进行特征独特程度分析和处理,寻找行人识别分辨力最强的多种特征相融合的方式;解决了单一特征对行人识别不可靠的问题,通过该系统去除行人识别的冗余特征信息,寻找到最大区分行人识别的特征,提高了行人识别的鲁棒性。
Description
技术领域
本发明涉及智能交通监控中的一种行人识别技术领域,尤其涉及一种一种基于动态选取显著特征的跨卡口行人识别系统与方法。
背景技术
随着平安城市战略的启动,大量的网络监控摄像机被安装各个交通要道。当事件发生后,需要工作人员从海量监控视频画面中寻找可疑目标行人。面对海量的监控视频,工作人员难免觉得枯燥无味。如果工作人员过长时间盯着屏幕的监控画面难免就会造成眼睛的视觉疲劳加上每个工作人员的经验或者兴趣不一致导致结果的不一致性,最后给追踪可疑行人目标带来了困难。
跨卡口行人识别是指在非重叠视域多摄像机监控下进行的行人匹配,即如何确认不同城市卡口位置的摄像机在不同时刻发现的目标是否为同一人。然而,目前跨卡口行人识别还处于研究阶段,还没有一套高鲁棒性的基于视频的行人识别系统。交通道路监控采用大多采用的500万像素的高清摄像机,但是让计算机能够从视频中寻找目标行人具有一定的挑战。
由于摄像机的成像受参数、光照条件、角度、背景等因素的影响,导致不同摄像机拍摄的同一目标差异较大。也即不是所有的特征比对方法用于行人识别是放之四海而皆准,为解决单一特征比对行人目标识别率较低,只有将多个特征进行融合才能保证识别效果。将多个特征简单直接拼接识别率反而不高,因为环境或者行人的某些部位发生改变,用于识别的特征失效。一种基于动态选取显著特征的行人再识别方法,根据场景的变化自适应地从多种特征中选取对识别起作用的特征,也即选取显著特征来提高在实际场景中行人识别的鲁棒性。
发明内容
本发明所要解决的技术问题是提供一种基于动态选取显著特征的跨卡口行人识别系统与方法,解决了单一特征对行人识别不可靠的问题,通过该系统去除行人识别的冗余特征信息,寻找到最大区分行人识别的特征,提高了行人识别的鲁棒性。
本发明解决上述技术问题的技术方案如下:一种基于动态选取显著特征的跨卡口行人识别系统,包括城市卡口视频采集模块、行人检测与跟踪模块、多特征提取模块、特征挖掘模块、显著特征选取模块和行人识别模块,
所述城市卡口视频采集模块,用于从各个城市卡口监控设备上采集各路视频画面;
所述行人检测与跟踪模块,用于从采集到的视频画面中获取多张连续的图片,在连续的图片中检测是否有目标行人,如果有则捕获多帧该目标行人的序列行人图片;
所述多特征提取模块,用于从序列行人图片中提取出目标行人的各个特征信息;
所述特征挖掘模块,用于对提取的各个特征信息进行第一量化处理和第二量化处理,再分别将经过第一量化处理和第二量化处理的特征信息的结果进行相加,得到各个特征信息的独特程度等级结果;
所述显著特征选取模块,用于根据各个特征信息的独特程度等级结果建立特征选取模型,所述特征选取模型用于给各个特征信息分配权重值,并根据权重值的大小从所有特征信息中筛选出对识别起作用的显著特征信息;所述权重值为0、1、2,权重值越高该特征信息的显著性越强。
所述行人识别模块,用于根据所述特征选取模型分别对序列行人图片和行人目标图片中进行处理,从而从序列行人图片中找到与行人目标图片最相近的行人图片,并将找到的行人图片发送至监控视频设备中。
本发明的有益效果是:能够动态选取特征信息,不是采用将多种特征直接融合的方式,而是通过对各特征信息进行特征独特程度分析和处理,寻找行人识别分辨力最强的多种特征相融合的方式;解决了单一特征对行人识别不可靠的问题,通过该系统去除行人识别的冗余特征信息,寻找到最大区分行人识别的特征,提高了行人识别的鲁棒性。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述行人检测与跟踪模块包括行人检测单元和行人跟踪单元,
所述行人检测单元,用于从采集到的视频画面中获取多张连续的图片,并在连续的图片中检测ROI区域是否有目标行人;采用二次行人检测的方式,先采用相邻4帧做帧差法粗略定位到运动目标,然后采用HOG和SVM行人检测做二次精确定位方式。
所述行人跟踪单元,用于从ROI区域检测到目标行人后,捕获该ROI区域内多帧该目标行人的序列行人图片。检测到目标行人后,对运动行人建立索引,依赖运动目标的帧间关系跟踪行人的位置变化。当第t帧检测到该运动行人,那么t+1帧该运动行人在原ROI区域的位置变化不大。每隔20帧重复所述二次行人检测方式更新运动行人的位置。
采用上述进一步方案的有益效果是:能够准确识别行人。设置ROI区域,便于提取到行人识别算法最佳的行人图片。采用跟踪,能够捕获到更多的行人可靠行人识别的静态和动态方面的特征。
进一步,所述多特征提取模块包括颜色特征提取单元、纹理特征提取单元、轮廓特征提取单元和姿态提取单元,
所述颜色特征提取单元,用于提取目标行人的头部、上半身和下半身的外观颜色信息,所述外观颜色信息包括HSV颜色空间、RGB颜色空间和LAB颜色空间的信息,所述HSV颜色空间、RGB颜色空间和LAB颜色空间分为RGB、H、S、A和B颜色通道,组成所述上半身和下半身的直方图各需124维数据的颜色通道,所述124维数据包括RGB颜色通道取出24维数据、H颜色通道取出20维数据、S颜色通道取出16维数据、A、B颜色空间各取32维数据;
所述纹理特征提取单元,用于提取目标行人的头部、颈部和肩部位置的外观纹理信息,所述外观纹理信息采用Gabor方法、Schmid滤波器方法以及Gabor和LBP相融合的方法获得;
所述轮廓特征提取单元,用于提取目标行人的外观轮廓信息,所述外观轮廓信息包括整体外观轮廓和局部外观轮廓的信息;
所述姿态提取单元,用于采用动态贝叶斯网络方法来提取目标行人的行走姿态信息,所述行走姿态信息包括步态轮廓信息、运动幅度信息和节奏信息。
采用上述进一步方案的有益效果是:提取多种行人识别的特征信息,解决单一特征对行人识别不可靠的问题。行人识别多特征提取模块虽然提取到了更多的具有分辨力行人识别特征,但是也提取到了大量的冗余信息。如果不能很好地去除这些冗余特征信息可能会导致行人识别率还不如单一特征行人识别可靠。
进一步,所述特征挖掘模块包括特征独特程度鉴定单元、特征受噪声干扰敏感程度鉴定单元和综合得分模块,
所述特征独特程度鉴定单元,用于对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
所述特征受噪声干扰敏感程度鉴定单元,用于对提取的各个特征信息进行第二量化处理:采用Random forests算法获得各个特征信息对噪声灵敏度的得分,得分越高则该特征的独特程度等级越高;
所述综合得分模块,用于分别将经过第一量化处理和第二量化处理的特征信息的比值和得分进行相加,将相加的结果发送给所述显著特征选取模块。
采用上述进一步方案的有益效果是:不是简单地将多种特征机械地拼接,而是挖掘出对行人识别有较强分辨能力、稳定和可靠的特征信息,去除行人识别冗余的特征信息。
进一步,所述比值小于0.1,则该特征信息为“最显著特征”,所述比值在0.1~0.6之间,则该特征信息为“一般显著特征”,所述比值大于0.6,则该特征信息为“不显著特征”;
所述得分在75~100之间,则该特征信息为“最显著特征”;所述得分在40~75之间,则该特征信息为“一般显著特征”;所述得分在0~40之间,则该特征信息为“不显著特征”。
所述权重值为0、1、2,其对应的独特程度等级分别为“最显著特征”、“一般显著特征”和“不显著特征”。
本发明解决上述技术问题的另一技术方案如下:一种基于随机森林支持向量机的行人识别处理方法,包括如下步骤:
步骤S1:从各个城市卡口监控设备上采集各路视频画面;
步骤S2:从采集到的视频画面中获取多张连续的图片,在连续的图片中检测是否有目标行人,如果有则捕获多帧该目标行人的序列行人图片;
步骤S3:从序列行人图片中提取出目标行人的各个特征信息;
步骤S4:对提取的各个特征信息进行第一量化处理和第二量化处理,再分别将经过第一量化处理和第二量化处理的特征信息的结果进行相加,得到各个特征信息的独特程度等级结果;
步骤S5:根据各个特征信息的独特程度等级结果建立特征选取模型,所述特征选取模型用于给各个特征信息分配权重值,并根据权重值的大小从所有特征信息中筛选出对识别起作用的显著特征信息;
步骤S6:根据所述特征选取模型分别对序列行人图片和行人目标图片中进行处理,从而从序列行人图片中找到与行人目标图片最相近的行人图片,并将找到的行人图片发送至监控视频设备中。
能够动态选取特征信息,不是采用将多种特征直接融合的方式,而是通过对各特征信息进行特征独特程度分析和处理,寻找行人识别分辨力最强的多种特征相融合的方式;解决了单一特征对行人识别不可靠的问题,通过该方法去除行人识别的冗余特征信息,寻找到最大区分行人识别的特征,提高了行人识别的鲁棒性。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,实现所述步骤S2的具体步骤为:
步骤S201:从采集到的视频画面中获取多张连续的图片,并在连续的图片中检测ROI区域是否有目标行人;
步骤S202:从ROI区域检测到目标行人后,捕获该ROI区域内多帧该目标行人的序列行人图片。
采用上述进一步方案的有益效果是:能够准确识别行人。设置ROI区域,便于提取到行人识别算法最佳的行人图片。采用跟踪,能够捕获到更多的行人可靠行人识别的静态和动态方面的特征。
进一步,实现所述步骤S3的具体步骤为:
步骤S301:提取目标行人的头部、上半身和下半身的外观颜色信息,所述外观颜色信息包括HSV颜色空间、RGB颜色空间和LAB颜色空间的信息,所述HSV颜色空间、RGB颜色空间和LAB颜色空间分为RGB、H、S、A和B颜色通道,组成所述上半身和下半身的直方图各需124维数据的颜色通道,所述124维数据包括RGB颜色通道取出24维数据、H颜色通道取出20维数据、S颜色通道取出16维数据、A、B颜色空间各取32维数据;
步骤S302:提取目标行人的头部、颈部和肩部位置的外观纹理信息,所述外观纹理信息采用Gabor方法、Schmid滤波器方法以及Gabor和LBP相融合的方法获得;
步骤S303:提取目标行人的外观轮廓信息,所述外观轮廓信息包括整体外观轮廓和局部外观轮廓的信息;
步骤S304:采用动态贝叶斯网络方法来提取目标行人的行走姿态信息,所述行走姿态信息包括步态轮廓信息、运动幅度信息和节奏信息。
采用上述进一步方案的有益效果是:提取多种行人识别的特征信息,解决单一特征对行人识别不可靠的问题。行人识别多特征提取模块虽然提取到了更多的具有分辨力行人识别特征,但是也提取到了大量的冗余信息。如果不能很好地去除这些冗余特征信息可能会导致行人识别率还不如单一特征行人识别可靠。
进一步,实现所述步骤S4的具体步骤为:
步骤S401:对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
步骤S402:对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
步骤S403:对提取的各个特征信息进行第二量化处理:采用Random forests算法获得各个特征信息对噪声灵敏度的得分,得分越高则该特征的独特程度等级越高;
步骤S404:分别将经过第一量化处理和第二量化处理的特征信息的比值和得分进行相加。
采用上述进一步方案的有益效果是:不是简单地将多种特征机械地拼接,而是挖掘出对行人识别有较强分辨能力、稳定和可靠的特征信息,去除行人识别冗余的特征信息。
进一步,所述比值小于0.1,则该特征信息为“最显著特征”,所述比值在0.1~0.6之间,则该特征信息为“一般显著特征”,所述比值大于0.6,则该特征信息为“不显著特征”;
所述得分在75~100之间,则该特征信息为“最显著特征”;所述得分在40~75之间,则该特征信息为“一般显著特征”;所述得分在0~40之间,则该特征信息为“不显著特征”。
附图说明
图1为本发明行人识别系统的模块框图;
图2为本发明行人识别方法的方法流程图;
图3为本发明行人检测与跟踪模块内部的模块框图;
图4为本发明多特征提取模块内部的模块框图;
图5为本发明特征挖掘模块内部的模块框图。
附图中,各标记所代表的部件名称如下:
1、城市卡口视频采集模块,2、行人检测与跟踪模块,3、多特征提取模块,4、特征挖掘模块,5、显著特征选取模块,6、行人识别模块,7、各个城市卡口监控设备,8、监控视频设备,201、行人检测单元,202、行人跟踪单元,301、颜色特征提取单元,302、纹理特征提取单元,303、轮廓特征提取单元,304、姿态提取单元,401、特征独特程度鉴定单元,402、特征受噪声干扰敏感程度鉴定单元,403、综合得分模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,一种基于动态选取显著特征的跨卡口行人识别系统,包括城市卡口视频采集模块1、行人检测与跟踪模块2、多特征提取模块3、特征挖掘模块4、显著特征选取模块5和行人识别模块6,
所述城市卡口视频采集模块1,用于从各个城市卡口监控设备7上采集各路视频画面;
所述行人检测与跟踪模块2,用于从采集到的视频画面中获取多张连续的图片,在连续的图片中检测是否有目标行人,如果有则捕获多帧该目标行人的序列行人图片;
所述多特征提取模块3,用于从序列行人图片中提取出目标行人的各个特征信息;
所述特征挖掘模块4,用于对提取的各个特征信息进行第一量化处理和第二量化处理,再分别将经过第一量化处理和第二量化处理的特征信息的结果进行相加,得到各个特征信息的独特程度等级结果;
所述显著特征选取模块5,用于根据各个特征信息的独特程度等级结果建立特征选取模型,所述特征选取模型用于给各个特征信息分配权重值,并根据权重值的大小从所有特征信息中筛选出对识别起作用的显著特征信息;
所述行人识别模块6,用于根据所述特征选取模型分别对序列行人图片和行人目标图片中进行处理,从而从序列行人图片中找到与行人目标图片最相近的行人图片,并将找到的行人图片发送至监控视频设备8中。
如图3所示,所述行人检测与跟踪模块2包括行人检测单元201和行人跟踪单元202,
所述行人检测单元201,用于从采集到的视频画面中获取多张连续的图片,并在连续的图片中检测ROI区域(region of interest,感兴趣区域)是否有目标行人;采用二次行人检测的方式,先采用相邻4帧做帧差法粗略定位到运动目标,然后采用HOG和SVM行人检测做二次精确定位方式。
所述行人跟踪单元202,用于从ROI区域检测到目标行人后,捕获该ROI区域内多帧该目标行人的序列行人图片。检测到目标行人后,对运动行人建立索引,依赖运动目标的帧间关系跟踪行人的位置变化。当第t帧检测到该运动行人,那么t+1帧该运动行人在原ROI区域的位置变化不大。每隔20帧重复所述二次行人检测方式更新运动行人的位置。
如图4所示,所述多特征提取模块3包括颜色特征提取单元301、纹理特征提取单元302、轮廓特征提取单元303和姿态提取单元304,
所述颜色特征提取单元301,用于提取目标行人的头部、上半身和下半身的外观颜色信息,所述外观颜色信息包括HSV颜色空间、RGB颜色空间和LAB颜色空间的信息,所述HSV颜色空间、RGB颜色空间和LAB颜色空间分为RGB、H、S、A和B颜色通道,组成所述上半身和下半身的直方图各需124维数据的颜色通道,所述124维数据包括RGB颜色通道取出24维数据、H颜色通道取出20维数据、S颜色通道取出16维数据、A、B颜色空间各取32维数据;
所述纹理特征提取单元302,用于提取目标行人的头部、颈部和肩部位置的外观纹理信息,所述外观纹理信息采用Gabor方法、Schmid滤波器方法以及Gabor和LBP相融合的方法获得;
Gabor特征提取方法,采用是水平和垂直2个方向和四个尺度,提取到和原图8个大小一样的图片。
Schmid滤波器特征提取方法,采用13个Schmid卷积核与原图像卷积。
Gabor和LBP相融合的特征方法,首先采用水平和垂直2个方向和四个尺度得到8幅图片,然后采用LBP颜色直方图,最后采用PCA对高维数据降维。
所述轮廓特征提取单元303,用于提取目标行人的外观轮廓信息,所述外观轮廓信息包括整体外观轮廓和局部外观轮廓的信息;
所述姿态提取单元304,用于采用动态贝叶斯网络方法来提取目标行人的行走姿态信息,所述行走姿态信息包括步态轮廓信息、运动幅度信息和节奏信息。
提取行人走路的步态及行为方面的特征信息,用来分析行人行为运动的趋势、幅度等时间上的信息,主要涉及到动静态特征融合的方式来表达行为的时序特征。
目标行人穿着格子衫,从视频中获取到的行人图像仅有少数人穿格子衫,那么纹理特征就为显著特征;目标行人穿着一件鲜艳颜色的衣服,从视频中获取到的行人图像仅有少数人穿该种鲜艳颜色的衣服,那么颜色特征就为显著特征。
如图5所示,所述特征挖掘模块4包括特征独特程度鉴定单元401、特征受噪声干扰敏感程度鉴定单元402和综合得分模块403,
所述特征独特程度鉴定单元401,用于对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
所述特征受噪声干扰敏感程度鉴定单元402,用于对提取的各个特征信息进行第二量化处理:采用Random forests算法获得各个特征信息对噪声灵敏度的得分,得分越高则该特征的独特程度等级越高;
所述综合得分模块403,用于分别将经过第一量化处理和第二量化处理的特征信息的比值和得分进行相加,将相加的结果发送给所述显著特征选取模块5。
所述比值小于0.1,则该特征信息为“最显著特征”,所述比值在0.1~0.6之间,则该特征信息为“一般显著特征”,所述比值大于0.6,则该特征信息为“不显著特征”;
所述得分在75~100之间,则该特征信息为“最显著特征”;所述得分在40~75之间,则该特征信息为“一般显著特征”;所述得分在0~40之间,则该特征信息为“不显著特征”。
如图2所示,一种基于动态选取显著特征的跨卡口行人识别方法,包括如下步骤:
步骤S1:从各个城市卡口监控设备上采集各路视频画面;
步骤S2:从采集到的视频画面中获取多张连续的图片,在连续的图片中检测是否有目标行人,如果有则捕获多帧该目标行人的序列行人图片;
步骤S3:从序列行人图片中提取出目标行人的各个特征信息;
步骤S4:对提取的各个特征信息进行第一量化处理和第二量化处理,再分别将经过第一量化处理和第二量化处理的特征信息的结果进行相加,得到各个特征信息的独特程度等级结果;
步骤S5:根据各个特征信息的独特程度等级结果建立特征选取模型,所述特征选取模型用于给各个特征信息分配权重值,并根据权重值的大小从所有特征信息中筛选出对识别起作用的显著特征信息;
步骤S6:根据所述特征选取模型分别对序列行人图片和行人目标图片中进行处理,从而从序列行人图片中找到与行人目标图片最相近的行人图片,并将找到的行人图片发送至监控视频设备中。
实现所述步骤S2的具体步骤为:
步骤S201:从采集到的视频画面中获取多张连续的图片,并在连续的图片中检测ROI区域是否有目标行人;
采用二次行人检测的方式,先采用相邻4帧做帧差法粗略定位到运动目标,然后采用HOG和SVM行人检测做二次精确定位方式。
步骤S202:从ROI区域检测到目标行人后,捕获该ROI区域内多帧该目标行人的序列行人图片;
检测到目标行人后,对运动行人建立索引,依赖运动目标的帧间关系跟踪行人的位置变化。当第t帧检测到该运动行人,那么t+1帧该运动行人在原ROI区域的位置变化不大。每隔20帧重复所述二次行人检测方式更新运动行人的位置。
实现所述步骤S3的具体步骤为:
步骤S301:提取目标行人的头部、上半身和下半身的外观颜色信息,所述外观颜色信息包括HSV颜色空间、RGB颜色空间和LAB颜色空间的信息,所述HSV颜色空间、RGB颜色空间和LAB颜色空间分为RGB、H、S、A和B颜色通道,组成所述上半身和下半身的直方图各需124维数据的颜色通道,所述124维数据包括RGB颜色通道取出24维数据、H颜色通道取出20维数据、S颜色通道取出16维数据、A、B颜色空间各取32维数据;
步骤S302:提取目标行人的头部、颈部和肩部位置的外观纹理信息,所述外观纹理信息采用Gabor方法、Schmid滤波器方法以及Gabor和LBP相融合的方法获得;
步骤S303:提取目标行人的外观轮廓信息,所述外观轮廓信息包括整体外观轮廓和局部外观轮廓的信息;
步骤S304:采用动态贝叶斯网络方法来提取目标行人的行走姿态信息,所述行走姿态信息包括步态轮廓信息、运动幅度信息和节奏信息。
实现所述步骤S4的具体步骤为:
步骤S401:对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
步骤S402:对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
步骤S403:对提取的各个特征信息进行第二量化处理:采用Random forests算法获得各个特征信息对噪声灵敏度的得分,得分越高则该特征的独特程度等级越高;
步骤S404:分别将经过第一量化处理和第二量化处理的特征信息的比值和得分进行相加。
所述比值小于0.1,则该特征信息为“最显著特征”,所述比值在0.1~0.6之间,则该特征信息为“一般显著特征”,所述比值大于0.6,则该特征信息为“不显著特征”;
所述得分在75~100之间,则该特征信息为“最显著特征”;所述得分在40~75之间,则该特征信息为“一般显著特征”;所述得分在0~40之间,则该特征信息为“不显著特征”。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于动态选取显著特征的跨卡口行人识别系统,其特征在于,包括城市卡口视频采集模块(1)、行人检测与跟踪模块(2)、多特征提取模块(3)、特征挖掘模块(4)、显著特征选取模块(5)和行人识别模块(6),
所述城市卡口视频采集模块(1),用于从各个城市卡口监控设备(7)上采集各路视频画面;
所述行人检测与跟踪模块(2),用于从采集到的视频画面中获取多张连续的图片,在连续的图片中检测是否有目标行人,如果有则捕获多帧该目标行人的序列行人图片;
所述多特征提取模块(3),用于从序列行人图片中提取出目标行人的各个特征信息;
所述特征挖掘模块(4),用于对提取的各个特征信息进行第一量化处理和第二量化处理,再分别将经过第一量化处理和第二量化处理的特征信息的结果进行相加,得到各个特征信息的独特程度等级结果;所述特征挖掘模块(4)包括特征独特程度鉴定单元(401)、特征受噪声干扰敏感程度鉴定单元(402)和综合得分模块(403),
所述特征独特程度鉴定单元(401),用于对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
所述特征受噪声干扰敏感程度鉴定单元(402),用于对提取的各个特征信息进行第二量化处理:采用Random forests算法获得各个特征信息对噪声灵敏度的得分,得分越高则该特征的独特程度等级越高;
所述综合得分模块(403),用于分别将经过第一量化处理和第二量化处理的特征信息的比值和得分进行相加,将相加的结果发送给所述显著特征选取模块(5);
所述显著特征选取模块(5),用于根据各个特征信息的独特程度等级结果建立特征选取模型,所述特征选取模型用于给各个特征信息分配权重值,并根据权重值的大小从所有特征信息中筛选出对识别起作用的显著特征信息;
所述行人识别模块(6),用于根据所述特征选取模型分别对序列行人图片和行人目标图片中进行处理,从而从序列行人图片中找到与行人目标图片最相近的行人图片,并将找到的行人图片发送至监控视频设备(8)中。
2.根据权利要求1所述的一种基于动态选取显著特征的跨卡口行人识别系统,其特征在于,所述行人检测与跟踪模块(2)包括行人检测单元(201)和行人跟踪单元(202),
所述行人检测单元(201),用于从采集到的视频画面中获取多张连续的图片,并在连续的图片中检测ROI区域是否有目标行人;
所述行人跟踪单元(202),用于从ROI区域检测到目标行人后,捕获该ROI区域内多帧该目标行人的序列行人图片。
3.根据权利要求1所述的一种基于动态选取显著特征的跨卡口行人识别系统,其特征在于,所述多特征提取模块(3)包括颜色特征提取单元(301)、纹理特征提取单元(302)、轮廓特征提取单元(303)和姿态提取单元(304),
所述颜色特征提取单元(301),用于提取目标行人的头部、上半身和下半身的外观颜色信息,所述外观颜色信息包括HSV颜色空间、RGB颜色空间和LAB颜色空间的信息,所述HSV颜色空间、RGB颜色空间和LAB颜色空间分为RGB、H、S、A和B颜色通道,组成所述上半身和下半身的直方图各需124维数据的颜色通道,所述124维数据包括RGB颜色通道取出24维数据、H颜色通道取出20维数据、S颜色通道取出16维数据、A、B颜色空间各取32维数据;
所述纹理特征提取单元(302),用于提取目标行人的头部、颈部和肩部位置的外观纹理信息,所述外观纹理信息采用Gabor方法、Schmi d滤波器方法以及Gabor和LBP相融合的方法获得;
所述轮廓特征提取单元(303),用于提取目标行人的外观轮廓信息,所述外观轮廓信息包括整体外观轮廓和局部外观轮廓的信息;
所述姿态提取单元(304),用于采用动态贝叶斯网络方法来提取目标行人的行走姿态信息,所述行走姿态信息包括步态轮廓信息、运动幅度信息和节奏信息。
4.根据权利要求3所述的一种基于动态选取显著特征的跨卡口行人识别系统,其特征在于,比值小于0.1,则该特征信息为“最显著特征”,所述比值在0.1~0.6之间,则该特征信息为“一般显著特征”,所述比值大于0.6,则该特征信息为“不显著特征”;
得分在75~100之间,则该特征信息为“最显著特征”;所述得分在40~75之间,则该特征信息为“一般显著特征”;所述得分在0~40之间,则该特征信息为“不显著特征”。
5.一种基于动态选取显著特征的跨卡口行人识别方法,其特征在于,包括如下步骤:
步骤S1:从各个城市卡口监控设备上采集各路视频画面;
步骤S2:从采集到的视频画面中获取多张连续的图片,在连续的图片中检测是否有目标行人,如果有则捕获多帧该目标行人的序列行人图片;
步骤S3:从序列行人图片中提取出目标行人的各个特征信息;
步骤S4:对提取的各个特征信息进行第一量化处理和第二量化处理,再分别将经过第一量化处理和第二量化处理的特征信息的结果进行相加,得到各个特征信息的独特程度等级结果;步骤S401:对提取的各个特征信息进行第一量化处理:采用k-means算法对提取的各个特征逐一进行聚类,计算出与目标行人相近的特征行人数量N/行人数量总和M,利用N/M的比值进行特征独特程度分级,比值越小则该特征的独特程度等级越高;
步骤402:对提取的各个特征信息进行第二量化处理:采用Random forests算法获得各个特征信息对噪声灵敏度的得分,得分越高则该特征的独特程度等级越高;
步骤403:分别将经过第一量化处理和第二量化处理的特征信息的比值和得分进行相加;
步骤S5:根据各个特征信息的独特程度等级结果建立特征选取模型,所述特征选取模型用于给各个特征信息分配权重值,并根据权重值的大小从所有特征信息中筛选出对识别起作用的显著特征信息;
步骤S6:根据所述特征选取模型分别对序列行人图片和行人目标图片中进行处理,从而从序列行人图片中找到与行人目标图片最相近的行人图片,并将找到的行人图片发送至监控视频设备中。
6.根据权利要求5所述的一种基于动态选取显著特征的跨卡口行人识别方法,其特征在于,实现所述步骤S2的具体步骤为:
步骤S201:从采集到的视频画面中获取多张连续的图片,并在连续的图片中检测ROI区域是否有目标行人;
步骤S202:从ROI区域检测到目标行人后,捕获该ROI区域内多帧该目标行人的序列行人图片。
7.根据权利要求5所述的一种基于动态选取显著特征的跨卡口行人识别方法,其特征在于,实现所述步骤S3的具体步骤为:
步骤S301:提取目标行人的头部、上半身和下半身的外观颜色信息,所述外观颜色信息包括HSV颜色空间、RGB颜色空间和LAB颜色空间的信息,所述HSV颜色空间、RGB颜色空间和LAB颜色空间分为RGB、H、S、A和B颜色通道,组成所述上半身和下半身的直方图各需124维数据的颜色通道,所述124维数据包括RGB颜色通道取出24维数据、H颜色通道取出20维数据、S颜色通道取出16维数据、A、B颜色空间各取32维数据;
步骤S302:提取目标行人的头部、颈部和肩部位置的外观纹理信息,所述外观纹理信息采用Gabor方法、Schmi d滤波器方法以及Gabor和LBP相融合的方法获得;
步骤S303:提取目标行人的外观轮廓信息,所述外观轮廓信息包括整体外观轮廓和局部外观轮廓的信息;
步骤S304:采用动态贝叶斯网络方法来提取目标行人的行走姿态信息,所述行走姿态信息包括步态轮廓信息、运动幅度信息和节奏信息。
8.根据权利要求6所述的一种基于动态选取显著特征的跨卡口行人识别方法,其特征在于,比值小于0.1,则该特征信息为“最显著特征”,所述比值在0.1~0.6之间,则该特征信息为“一般显著特征”,所述比值大于0.6,则该特征信息为“不显著特征”;
得分在75~100之间,则该特征信息为“最显著特征”;所述得分在40~75之间,则该特征信息为“一般显著特征”;所述得分在0~40之间,则该特征信息为“不显著特征”。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510548173.1A CN105187785B (zh) | 2015-08-31 | 2015-08-31 | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510548173.1A CN105187785B (zh) | 2015-08-31 | 2015-08-31 | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105187785A CN105187785A (zh) | 2015-12-23 |
CN105187785B true CN105187785B (zh) | 2018-05-11 |
Family
ID=54909608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510548173.1A Active CN105187785B (zh) | 2015-08-31 | 2015-08-31 | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105187785B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548139B (zh) * | 2016-10-21 | 2019-04-12 | 华中科技大学 | 一种行人重识别方法 |
CN106709440A (zh) * | 2016-12-16 | 2017-05-24 | 电子科技大学 | 一种银行atm机用户识别方法 |
CN108509458B (zh) * | 2017-02-28 | 2022-12-16 | 阿里巴巴集团控股有限公司 | 一种业务对象识别方法及装置 |
CN107341446A (zh) * | 2017-06-07 | 2017-11-10 | 武汉大千信息技术有限公司 | 基于查询自适应部件特征组合的特定行人追踪方法及系统 |
CN107506738A (zh) * | 2017-08-30 | 2017-12-22 | 深圳云天励飞技术有限公司 | 特征提取方法、图像识别方法、装置及电子设备 |
CN108875498B (zh) * | 2017-11-03 | 2022-01-28 | 北京旷视科技有限公司 | 用于行人重识别的方法、装置及计算机存储介质 |
CN108174154A (zh) * | 2017-12-29 | 2018-06-15 | 佛山市幻云科技有限公司 | 远程视频方法、装置及服务器 |
CN108564616B (zh) * | 2018-03-15 | 2020-09-01 | 中国科学院自动化研究所 | 快速鲁棒的rgb-d室内三维场景重建方法 |
CN108520203B (zh) * | 2018-03-15 | 2021-08-20 | 上海交通大学 | 基于融合自适应多外围框与十字池化特征的多目标特征提取方法 |
CN108805203A (zh) * | 2018-06-11 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 图像处理及对象再识别方法、装置、设备和存储介质 |
CN109919137B (zh) * | 2019-03-28 | 2021-06-25 | 广东省智能制造研究所 | 一种行人结构化特征表达方法 |
CN110232703B (zh) * | 2019-06-12 | 2023-07-25 | 中国矿业大学 | 一种基于颜色和纹理信息的运动目标识别装置及方法 |
CN111612011B (zh) * | 2020-05-21 | 2023-09-05 | 郑泽宇 | 一种基于人体语义分割的服饰色彩提取方法 |
CN112507953B (zh) * | 2020-12-21 | 2022-10-14 | 重庆紫光华山智安科技有限公司 | 一种目标搜索及追踪方法和装置及设备 |
CN113312953B (zh) * | 2021-01-05 | 2022-10-04 | 武汉大学 | 基于步态识别的类人机器人身份鉴别方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101965576A (zh) * | 2008-03-03 | 2011-02-02 | 视频监控公司 | 用于追踪、索引及搜寻的物件匹配 |
CN102663366A (zh) * | 2012-04-13 | 2012-09-12 | 中国科学院深圳先进技术研究院 | 行人目标识别方法及系统 |
CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
CN104239907A (zh) * | 2014-07-16 | 2014-12-24 | 华南理工大学 | 面向变化场景的远红外行人检测方法 |
CN104573111A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种监控视频中的行人数据结构化存储及预检索方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8760519B2 (en) * | 2007-02-16 | 2014-06-24 | Panasonic Corporation | Threat-detection in a distributed multi-camera surveillance system |
CN102831385B (zh) * | 2011-06-13 | 2017-03-01 | 索尼公司 | 多相机监控网络中的目标识别设备和方法 |
-
2015
- 2015-08-31 CN CN201510548173.1A patent/CN105187785B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101965576A (zh) * | 2008-03-03 | 2011-02-02 | 视频监控公司 | 用于追踪、索引及搜寻的物件匹配 |
CN102663366A (zh) * | 2012-04-13 | 2012-09-12 | 中国科学院深圳先进技术研究院 | 行人目标识别方法及系统 |
CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
CN104239907A (zh) * | 2014-07-16 | 2014-12-24 | 华南理工大学 | 面向变化场景的远红外行人检测方法 |
CN104573111A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种监控视频中的行人数据结构化存储及预检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105187785A (zh) | 2015-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105187785B (zh) | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 | |
CN103366156B (zh) | 道路结构检测和跟踪 | |
Kong et al. | Detecting abandoned objects with a moving camera | |
KR101355974B1 (ko) | 복수의 객체를 추적하는 객체 추적 방법 및 장치 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
JP6549797B2 (ja) | 通行人の頭部識別方法及びシステム | |
Benedek et al. | Lidar-based gait analysis and activity recognition in a 4d surveillance system | |
CN104361327B (zh) | 一种行人检测方法和系统 | |
US9495754B2 (en) | Person clothing feature extraction device, person search device, and processing method thereof | |
Qin et al. | A hierarchical building detection method for very high resolution remotely sensed images combined with DSM using graph cut optimization | |
CN103020606B (zh) | 一种基于时空上下文信息的行人检测方法 | |
CN107346409A (zh) | 行人再识别方法和装置 | |
CN104517102A (zh) | 学生课堂注意力检测方法及系统 | |
CN106339657B (zh) | 基于监控视频的秸秆焚烧监测方法、装置 | |
CN108986158A (zh) | 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台 | |
AU2008210192A1 (en) | Method of moving target tracking and number accounting | |
CN112200841B (zh) | 一种基于行人体态的跨域多摄像头跟踪方法和装置 | |
CN103093274B (zh) | 基于视频的行人计数的方法 | |
Wang et al. | When pedestrian detection meets nighttime surveillance: A new benchmark | |
CN110163109B (zh) | 一种车道线标注方法及装置 | |
CN103996046A (zh) | 基于多视觉特征融合的人员识别方法 | |
CN102915433A (zh) | 基于字符组合的车牌定位和识别方法 | |
Ke et al. | Active contour and hill climbing for tree crown detection and delineation | |
CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
CN110443179A (zh) | 离岗检测方法、装置以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |