CN103996046A - 基于多视觉特征融合的人员识别方法 - Google Patents

基于多视觉特征融合的人员识别方法 Download PDF

Info

Publication number
CN103996046A
CN103996046A CN201410259069.6A CN201410259069A CN103996046A CN 103996046 A CN103996046 A CN 103996046A CN 201410259069 A CN201410259069 A CN 201410259069A CN 103996046 A CN103996046 A CN 103996046A
Authority
CN
China
Prior art keywords
personnel
image
agglomerate
human body
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410259069.6A
Other languages
English (en)
Other versions
CN103996046B (zh
Inventor
马华东
张海涛
魏汪洋
赵彦
高一鸿
黄灏
傅慧源
赵晓萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201410259069.6A priority Critical patent/CN103996046B/zh
Publication of CN103996046A publication Critical patent/CN103996046A/zh
Application granted granted Critical
Publication of CN103996046B publication Critical patent/CN103996046B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于多视觉特征融合的人员识别方法,先对监控视频进行分析,提取相关人员信息,并进行特征描述,最后根据输入视频图像执行寻找,得到相关人员的识别结果;包括视频跟踪处理、人体团块处理和人员识别三个操作阶段或步骤。本发明方法能够很好地从视频中自动提取合适的人员图像,并进行预处理;还针对描述特征存在的问题作了相应改进,选取比较通用的特征,且对特征进行重组,以融合成新的特征。本发明方法在去除背景部分,对人体图像进行分块和提取语义颜色特征方面都实现了创新。本发明的多次仿真实施例对监控视频的测试结果表明:操作简单、便利、有效、具有良好的识别效果,因此,本发明方法具有很好的推广应用前景。

Description

基于多视觉特征融合的人员识别方法
技术领域
本发明涉及一种基于多视觉特征融合的人员识别方法,属于计算机视觉、数字图像处理、多媒体信息处理和视频监控的技术领域。
背景技术
人员识别是计算机视觉领域中的一个研究热点,它是利用基于生物特征的技术来解决识别人的问题,因而催生了基于人脸、虹膜、指纹和步态等多个特征进行人员识别的分支领域。然而,在大多数视频监控场景中,常常无法得到准确的生物特征,而且,视频的分辨率和帧率都比较低,背景环境复杂,从而导致了基于生物特征的人员识别效果大大降低,甚至无法进行。在此背景条件下,诞生人员识别的新分支:基于外观的识别研究。
人员识别是基于人体外观不变的前提下进行的,即在不同视频或者图像中的同一个人,其衣服和形象没有经过物理上的改变(如换穿衣服等)。且随着摄像机的广泛使用,人员识别研究已经变得越来越重要。小到家庭防盗监控,大到大规模零售企业,体育场馆和室外露天的各种场景监控等,人员识别的应用越来越广泛。
人员识别的流程一般可以分为两大步骤:第一步是对要识别的人员所在的视频或图像进行处理,此时主要获取人员图像,并进行预处理(如去除噪声等)。第二步是对获取到的人员图像进行数据和语义分析,以确定人员之间的相关性和相似性,该步骤要提取人员图像的相应特征数据,然后进行组合和距离比较,最后根据比较结果得出相似程度的结论。
目前,利用上述方法进行的人员识别存在较多问题。在进行第一步处理时,往往只是针对已有的人员图像,或者需要手动从视频中截取图像。而且,若为非手动方式获取到的人员图像,往往含有比较多的背景部分。这时候,即使经过预处理,背景部分仍然会对后续的特征提取和特征比较造成不良影响,并最终影响识别结果。在进行第二步处理时,选取的特征往往没有普遍性,仅适合在某些特定环境下使用,且对人员的信息描述不够全面,不同人员的区别不够明显,识别的结果比较差。
另外,现有的针对监控视频的人员识别工作的范围非常有限,绝大部分只是针对单张图像。然而,随着摄像机网络的发展和延伸,监控网络越来越完善,对监控视频中的人员进行人员识别也是非常重要的。通过对监控视频进行人员识别,能够在视频中自动寻找与定位想要查找的人员。该应用在包括安防、寻人、定位等许多领域都将带来极大帮助,有助于构建安全、稳定的生活环境。因此人员识别具有非常重要的科学研究价值和国家战略意义。
发明内容
有鉴于此,本发明的目的是针对目前在人员识别研究中存在的上述多项问题,提供一种基于多视觉特征融合的人员识别方法。该方法能够很好地从视频中自动提取合适的人员图像,并进行比较良好的预处理。本发明还针对描述特征存在的问题作了相应改进,选取比较通用的特征,且对特征的描述进行重新融合。实践证明此套技术方案能够获得良好的识别效果。
为了达到上述目的,本发明提供了一种基于多视觉特征融合的人员识别方法,其特征在于:先对监控视频进行分析,提取相关人员信息,并进行特征描述,最后根据输入视频图像执行寻找,得到相关人员的识别结果;包括下述三个操作步骤:
步骤1,视频跟踪处理阶段:先检测视频中的前景,从前景中提取运动团块,并对团块进行跟踪,检测判断新团块是否为人体团块;若是,则将人体团块所对应的人体矩形图像抠出,并保存等待后续处理;若否,则丢弃该新团块;
步骤2,人体团块处理阶段:从得到的相关人员的多个团块中选择第一个团块进行处理:从视频原始图像中提取每个人员对应的矩形图像后,对该矩形图像进行处理:寻找该矩形图像中的人员前景,再用滑动窗口剔除该人体矩形图像中的背景后,对该矩形图像进行分块,分别提取表示图像中色调、饱和度和亮度三通道值的六角锥体色彩模型HSV颜色直方图、全局最大三维颜色图中的三维颜色、分块语义颜色和纹理方向向量共四种特征向量,并存储于人体视频特征数据库中,以供利用这些特征的融合描述每个人员和进行人员识别;
步骤3,人员识别阶段:输入待检测人员视频图像,并从该待检测人员视频图像提取步骤2中的四种特征向量后,以该四种特征向量与人体视频特征数据库中存储的每个人员特征向量逐一进行对比,寻求各个特征向量之间的距离最小的人员,作为所识别的人员及其相应的视频信息。
本发明方法的关键技术或优点是对现有技术的四类问题做了很好的改进:
(1)如何从视频中获取相应的人员信息,即如何从视频中获取比较理想的人员图像信息。
(2)如何对获取到的人员图像信息进行预处理,减少背景干扰。当前,除了某些特殊设计的摄像机以外,拍摄到的视频总是带有背景,该背景会对人员图像信息造成影响,增加后续处理的难度。
(3)如何选取合适的特征,并对其所代表的人员进行恰宜的描述,针对现有的特征,进行相应的描述融合定义,改进描述方式。
(4)采用多种特征融合来描述一个特定人员,使得相同人员之间差异最小化,而不同人员之间的差异最大化。
本发明是从监控视频中基于外观进行人员识别的方法,这个技术方案与现有方法相比较,能够完整、且相对准确地实现人员识别,而不用增加其他的步骤,相比其他的不完整的技术方案,本发明方法的独创性在去除背景部分,对人体图像进行分块和提取语义颜色特征方面都实现了创新。其中,去除背景部分和对人体图像进行分块的方法,操作简便、容易执行,效率较高,而且具有较高的准确率。提取语义颜色的操作步骤,将工业化的颜色表示翻译为人能识别的语义颜色,能够更好地描述一个具体人员。本发明的多次仿真实施例对监控视频的测试结果表明:本发明方法操作简单、便利、有效、具有实用价值。
附图说明
图1是本发明基于多视觉特征融合对监控视频进行人员识别的方法操作步骤主要步骤流程图。
图2是本发明基于多视觉特征融合对监控视频进行人员识别的方法具体操作步骤流程图。
图3是本发明步骤1中高斯背景模型的背景差分方法操作步骤流程图。
图4是本发明步骤1中的前景点的示意图。
图5是本发明步骤1中的人体团块处理阶段的具体操作步骤流程图。
图6是本发明步骤1中从团块中得到的矩形图像示意图。
图7是本发明步骤2中的从人体图像生成特征库的步骤流程图。
图8是本发明步骤2中的人体分块示意图。
图9是本发明步骤3中人员识别阶段的具体操作步骤流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
参见图1,介绍本发明基于多视觉特征融合的人员识别方法:先对监控视频进行分析,提取相关人员信息,并进行特征描述,最后根据输入视频图像执行寻找,得到相关人员的识别结果。本发明方法包括下述三大操作步骤:
步骤1,视频跟踪处理阶段:先检测视频中的前景,从前景中提取运动团块,并对团块进行跟踪,检测判断新团块是否为人体团块;若是,则将人体团块所对应的人体矩形图像抠出,并保存等待后续处理;若否,则丢弃该新团块。
步骤2,人体团块处理阶段:从得到的相关人员的多个团块中选择第一个团块进行处理:从视频原始图像中提取每个人员对应的矩形图像后,对该矩形图像进行处理:寻找该矩形图像中的人员前景,再用滑动窗口剔除该人体矩形图像中的背景后,对该矩形图像进行分块,分别提取表示图像中色调、饱和度和亮度三通道值的六角锥体色彩模型HSV颜色直方图、全局最大三维颜色图中的三维颜色、分块语义颜色和纹理方向向量共四种特征向量,并存储于人体视频特征数据库中,以供利用这些特征的融合描述每个人员和进行人员识别。
步骤3,人员识别阶段:输入待检测人员视频图像,并从该待检测人员视频图像提取步骤2中的四种特征向量后,以该四种特征向量与人体视频特征数据库中存储的每个人员特征向量逐一进行对比,寻求各个特征向量之间的距离最小的人员,作为所识别的人员及其相应的视频信息。
参见图2,对上述三大步骤所用的技术及其具体操作内容进行详细描述。
步骤1,视频跟踪处理阶段:在视频中,基本不变的图像被称为背景,视频中出现的人物或其他物体被称为前景,即要处理的目标。为了后续进行人员识别,需要将人员对应的前景图像提取出来。同时,由于一个人的前景图像会在视频中多次出现,为了将这些图像都对应到同一人上,还需要跟踪处理。本阶段包括以下3个操作步骤:
(11)前景检测(参见图3、图4):其目的是从视频图像中基本不变的背景中检测出其中属于前景的像素,再把前景中的人员从图像中抠出来,以供后续处理。因某人的前景图像会多次出现于视频图像中,为将这些视频图像都对应到同一人,还要跟踪处理相应图像。前景检测方法是建立高斯背景模型后,对新帧图像中的所有像素进行检测与判断,如果是不符合高斯背景模型的像素,则认为是前景。
(12)判别人体团块(参见图5、图6):将前景检测操作得到的所有前景像素中的相邻前景像素聚合在一起,汇集成块,每一块构成一个团块。再将完成前景检测后的团块位置图中的前景像素设置为高亮,其余像素设置为暗点。搜索聚集在一起的亮点,并将其合并形成团块;删除其中面积小的团块后,根据设定的团块中心点、即质心和设定的宽高,得到每个团块或原始图像中对应的矩形图像。然后,计算每个团块矩形图像的梯度方向直方图HOG(Histogramof oriented gradients)特征,再利用由HOG特征训练的人体分类器判定每个矩形图像中是否有人,若其中有人,则对其执行后续处理;否则,直接剔除该团块矩形图像。
(13)对团块矩形图像进行检测及跟踪,包括下述两个具体操作内容:
检测团块,以剔除不符合要求的团块:用团块质心在图像中的位置记录每个团块后,对其进行检测:若该团块的宽高比很小,则判断其是由噪声引起的,直接剔除之;若两个团块的质心位置及其宽高比相近,则该两个团块表示同一目标,此时应将该两个团块融合成一体,构成一个团块。
跟踪团块,形成跟踪列表:检测到新团块后,若此时的跟踪列表为空,直接将其加入跟踪列表;否则,即跟踪列表不为空,则判断该新团块是否与跟踪列表中的现有团块相匹配;若匹配,表明跟踪成功;若不匹配,则将该团块为新团块,并将该加入团块跟踪列表。
步骤2,人体团块处理阶段:因步骤1得到人员对应的多个团块,为了简化,本发明只处理每个人员团块系列中的第一个团块。根据团块质心,可从视频原始图像中提取每个人员对应的矩形图像。该阶段对这些矩形人员图像进行处理的操作包括下述两个操作内容:
(21)利用滑动窗口去除视频图像的背景,并对前景中的人体图像分块。该步骤又分为下列操作内容(参见图7和图8):
(21A)设定搜索框、即滑动窗口后,准备利用搜索框去除背景和对人体图像分块:根据设置的.人体所在矩形图像的宽为W和高为H,选定搜索框的滑动窗口宽为W、高为h,且h<H;其中,图像的宽和高分别为水平方向和垂直方向的像素总数;分别计算搜索框内上半部和下半部所框住的人体矩形图像的像素颜色空间像素之和,并求解该两个和之差的绝对值。
(21B)初始时,将搜索框的上边缘和左侧边缘分别与矩形图像的上边缘和左侧边缘相重合。再移动搜索框,即将搜索框沿着矩形图像的高垂直地由上到下移动,每次向下移动一个像素后,计算新的搜索框内上半部和下半部所框住的人体矩形图像的像素的颜色空间像素之和,再求这两个和之差的绝对值。
(21C)判断该差的绝对值是否不小于设定阈值:若是,则得到该矩形图像第一个分界点;重复执行上述步骤,找到另外两个分界点。因人体矩形图像中的背景基本相同,滑动窗口上下两部分之间像素差的绝对值取决于人体不同部位的团块变化:当滑动窗口的高度中线刚好处于人体图像边缘时,其差为最大值;故滑动窗口从上往下搜索时,高度中线第一次达到阈值时的位置是头和躯干的分界线,当滑动窗口第二次达到阈值时的位置是躯干和下肢的分界线;由此把人体矩形图像分为头、躯干和下肢三个小的矩形图像,以减少背景影响。
(21D)采用与步骤(21C)类似的滑动窗口方法:先设定搜索框,分别使用头部、躯干和下肢所在的三个小的矩形图像从左向右滑动,分别删除人体的头部、躯干和下肢矩形图像中的左右两侧背景。从而得到删除全部背景、仅包含纯粹的头部、躯干和下肢三部位的人体图像。
(22)提取和存储分块人体图像的全局颜色直方图、全局最大三维颜色、分块语义颜色和纹理方向向量共4种特征向量。该步骤包括下列操作内容:
(22A)提取全局颜色直方图特征:因人在识别视频图像时,颜色特征最强烈和准确,故以全局HSV颜色直方图作为描述人员的第一区别特征;HSV颜色直方图是分别对人体头部、躯干和下肢三部分图像求HSV颜色空间下的概率密度函数。
(22B)提取全局最大三维颜色特征:排除亮度和饱和度的影响,将只考虑色度的直方图从大到小顺序排列,选取前三维作为全局最大三维颜色,用于表示人员的全局最大三维特征向量。
(22C)提取分块语义颜色特征:因上述两个区别特征都是针对整幅人体图像,容易忽略局部特征的差异而降低识别效果,故要将颜色语义化:分别对头部、躯干和下肢的三个矩形图像提取相应语义颜色,即将图像的每个像素所代表的颜色与16种基本颜色分别求解其欧氏距离,选取距离最小的基本颜色作为语义颜色,再分别统计头部、躯干和下肢三部位所在矩形图像中所有像素代表的基本颜色数量,分别选取其数量最大的颜色作为头部、躯干和下肢所在矩形图像的语义颜色,用于描述其局部区别特征。
(22D)提取纹理方向的区别特征:因图像处理领域中用于边缘检测的Gabor线性滤波器的频率和方向非常接近人类视觉系统对频率和方向的感觉,故采用8个方向Gabor滤波器检测人体图像的纹理特征的标准方差,作为纹理方向的区别特征;
(22E)将提取的上述四个区别特征参数存储到人体视频特征数据库中。
步骤3,人员识别阶段(参见图9):提取了人员特征后,就可以利用特征的融合来描述每个人员,并利用这些特征的差异来识别不同的人员。例如:设{H1,H2,...,HN}为步骤2检测到的人员图像集合,其中的每个Hi表示一个人员的图像,Hi的头部、躯干、下肢部分的四种特征向量根据步骤2计算出来,并存在特征数据库中。人员识别的任务就是给定一个特定人员H,从H1,H2,...,HN中找出与待检测人员H最相似的那些人。
该步骤包括下列实现人员识别的操作内容:
(31)按照步骤2的操作方法,提取待检测人员M的四种区别特征向量;此时,已经检测的人员视频图像集合A={H1,H2,...,Hi,...,HN},其中,第i个人员图像Hi的头部、躯干和下肢三部位的四种区别特征向量都已存储于人体视频特征数据库。
(32)分别计算待检测人员M与人体视频特征数据库中每个人员Hi对应的四种区别特征向量的归一化的欧式距离。
(33)按照公式Di=αDi1+βDi2+γDi3+δDi4计算待检测人员M与该特征数据库中每个人员Hi的距离Di;其中,α、β、γ和δ分别是上述四种特征的权重系数,且α+β+γ+δ=1;该步骤的操作内容是对步骤(32)的计算结果的加权,用于计算待检测人员与特征数据库中每个人员之间的相似度。
(34)将步骤(33)计算得到的距离Di(i=1,2,....N)按照从小到大升序排列,其中排列越靠前的人员,最有可能是与待检测人员相似或相同的人员;这样就完成了对监控视频基于多视觉特征融合的人员识别的功能。
本发明已经进行了多次仿真实施试验,试验段结果是成功的,实现了发明目的。

Claims (6)

1.一种基于多视觉特征融合的人员识别方法,其特征在于:先对监控视频进行分析,提取相关人员信息,并进行特征描述,最后根据输入视频图像执行寻找,得到相关人员的识别结果;包括下述三个操作步骤:
步骤1,视频跟踪处理阶段:先检测视频中的前景,从前景中提取运动团块,并对团块进行跟踪,检测判断新团块是否为人体团块;若是,则将人体团块所对应的人体矩形图像抠出,并保存等待后续处理;若否,则丢弃该新团块;
步骤2,人体团块处理阶段:从得到的相关人员的多个团块中选择第一个团块进行处理:从视频原始图像中提取每个人员对应的矩形图像后,对该矩形图像进行处理:寻找该矩形图像中的人员前景,再用滑动窗口剔除该人体矩形图像中的背景后,对该矩形图像进行分块,分别提取表示图像中色调、饱和度和亮度三通道值的六角锥体色彩模型HSV颜色直方图、全局最大三维颜色图中的三维颜色、分块语义颜色和纹理方向向量共四种特征向量,并存储于人体视频特征数据库中,以供利用这些特征的融合描述每个人员和进行人员识别;
步骤3,人员识别阶段:输入待检测人员视频图像,并从该待检测人员视频图像提取步骤2中的四种特征向量后,以该四种特征向量与人体视频特征数据库中存储的每个人员特征向量逐一进行对比,寻求各个特征向量之间的距离最小的人员,作为所识别的人员及其相应的视频信息。
2.根据权利要求1所述的方法,其特征在于:所述步骤1包括下列操作内容:
(11)前景检测:从视频图像中基本不变的背景中检测出其中属于前景的像素,再把前景中的人员从图像中抠出来,以供后续处理;因某人的前景图像会多次出现于视频图像中,为将这些视频图像都对应到同一人,还要跟踪处理相应图像;所述前景是视频图像中出现的处理目标:人物或其他物体;前景检测方法是建立高斯背景模型后,对新帧图像中的所有像素进行检测与判断,如果是不符合高斯背景模型的像素,则认为是前景;
(12)判别人体团块:将前景检测操作得到的所有前景像素中的相邻前景像素聚合在一起,汇集成块,每块构成一个团块;再将完成前景检测后的团块位置图中的前景像素设置为高亮,其余像素设置为暗点;搜索聚集在一起的亮点,并将其合并形成团块;删除其中面积小的团块后,根据设定的团块中心点、即质心和设定的宽高,得到每个团块或原始图像中对应的矩形图像;然后,计算每个团块矩形图像的梯度方向直方图HOG(Histogram of oriented gradients)特征,再利用由HOG特征训练的分类器判定每个矩形图像中是否有人,若其中有人,则对其执行后续处理;否则,直接剔除该团块矩形图像;
(13)对团块矩形图像进行检测及跟踪:具体操作内容如下:
检测团块,以剔除不符合要求的团块:用团块质心在图像中的位置记录每个团块后,对其进行检测:若该团块的宽高比很小,则其是由噪声引起的,直接剔除之;若两个团块的质心位置及其宽高比相近,则该两个团块表示同一目标,此时应将该两个团块融合成一体;
跟踪团块,形成跟踪列表:检测到新团块后,若此时的跟踪列表为空,直接将其加入跟踪列表;否则,判断该新团块是否与跟踪列表中的现有团块相匹配;若匹配,表明跟踪成功;若不匹配,则将该团新块加入跟踪列表。
3.根据权利要求1所述的方法,其特征在于:所述步骤2包括下述两个操作内容:
(21)利用滑动窗口去除视频图像的背景,并对前景中的人体图像分块;
(22)提取和存储分块人体图像的全局颜色直方图、全局最大三维颜色、分块语义颜色和纹理方向向量共4种特征向量。
4.根据权利要求3所述的方法,其特征在于:所述步骤(21)包括下列操作内容:
(21A)设定搜索框、即滑动窗口后,准备利用搜索框去除背景和对人体图像分块:根据设置的.人体所在矩形图像的宽为W和高为H,选定搜索框的滑动窗口宽为W、高为h,且h<H;其中,图像的宽和高分别为水平方向和垂直方向的像素总数;分别计算搜索框内上半部和下半部所框住的人体矩形图像的像素颜色空间像素之和,并求解该两个和之差的绝对值;
(21B)初始时,将搜索框的上边缘和左侧边缘分别与矩形图像的上边缘和左侧边缘相重合;再移动搜索框,即将搜索框沿着矩形图像的高垂直地由上到下移动,每次向下移动一个像素后,计算新的搜索框内上半部和下半部所框住的人体矩形图像的像素的颜色空间像素之和,再求这两个和之差的绝对值;
(21C)判断该差的绝对值是否不小于设定阈值:若是,则得到该矩形图像第一个分界点;重复执行上述步骤,找到另外两个分界点;因人体矩形图像中的背景基本相同,滑动窗口上下两部分之间像素差的绝对值取决于人体不同部位的团块变化:当滑动窗口的高度中线刚好处于人体图像边缘时,其差为最大值;故滑动窗口从上往下搜索时,高度中线第一次达到阈值时的位置是头和躯干的分界线,当滑动窗口第二次达到阈值时的位置是躯干和下肢的分界线;由此把人体矩形图像分为头、躯干和下肢三个小的矩形图像;
(21D)采用与步骤(21C)类似的滑动窗口方法:先设定搜索框,分别使用头部、躯干和下肢所在的三个小的矩形图像从左向右滑动,分别删除人体的头部、躯干和下肢矩形图像中的左右两侧背景;从而得到删除全部背景、仅包含纯粹的头部、躯干和下肢三部位的人体图像。
5.根据权利要求3所述的方法,其特征在于:所述步骤(22)包括下列操作内容:
(22A)提取全局颜色直方图特征:因人在识别视频图像时,颜色特征最强烈和准确,故以全局HSV颜色直方图作为描述人员的第一区别特征;HSV颜色直方图是分别对人体头部、躯干和下肢三部分图像求HSV颜色空间下的概率密度函数;
(22B)提取全局最大三维颜色特征:排除亮度和饱和度的影响,将只考虑色度的直方图从大到小顺序排列,选取前三维作为全局最大三维颜色,用于表示人员的全局最大三维特征向量;
(22C)提取分块语义颜色特征:因上述两个区别特征都是针对整幅人体图像,容易忽略局部特征的差异而降低识别效果,故要将颜色语义化:分别对头部、躯干和下肢的三个矩形图像提取相应语义颜色,即将图像的每个像素所代表的颜色与16种基本颜色分别求其欧氏距离,选取距离最小的基本颜色作为语义颜色,再分别统计头部、躯干和下肢三部位所在矩形图像中所有像素代表的基本颜色数量,分别选取其数量最大的颜色作为头部、躯干和下肢所在矩形图像的语义颜色,用于描述其局部区别特征;
(22D)提取纹理方向的区别特征:因图像处理领域中用于边缘检测的Gabor线性滤波器的频率和方向非常接近人类视觉系统对频率和方向的感觉,故采用8个方向Gabor滤波器检测人体图像的纹理特征的标准方差,作为纹理方向的区别特征;
(22E)将提取的上述四个区别特征参数存储到人体视频特征数据库中。
6.根据权利要求1所述的方法,其特征在于:所述步骤3包括下列操作内容:
(31)按照步骤2的操作方法,提取待检测人员M的四种区别特征向量;此时,已经检测的人员视频图像集合A={H1,H2,...,Hi,...,HN},其中,第i个人员图像Hi的头部、躯干和下肢三部位的四种区别特征向量都已存储于人体视频特征数据库;
(32)分别计算待检测人员M与人体视频特征数据库中每个人员Hi对应的四种区别特征向量的归一化的欧式距离:;
(33)按照公式Di=αDi1+βDi2+γDi3+δDi4计算待检测人员M与该特征数据库中每个人员Hi的距离Di;其中,α、β、γ和δ分别是上述四种特征的权重系数,且α+β+γ+δ=1;该步骤的操作内容是对步骤(32)的计算结果的加权,用于计算待检测人员与特征数据库中每个人员之间的相似度;
(34)将步骤(33)计算得到的距离Di(i=1,2,....N)按照从小到大升序排列,其中排列越靠前的人员,最有可能是与待检测人员相似或相同的人员;这样就完成了对监控视频基于多视觉特征融合的人员识别功能。
CN201410259069.6A 2014-06-11 2014-06-11 基于多视觉特征融合的人员识别方法 Expired - Fee Related CN103996046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410259069.6A CN103996046B (zh) 2014-06-11 2014-06-11 基于多视觉特征融合的人员识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410259069.6A CN103996046B (zh) 2014-06-11 2014-06-11 基于多视觉特征融合的人员识别方法

Publications (2)

Publication Number Publication Date
CN103996046A true CN103996046A (zh) 2014-08-20
CN103996046B CN103996046B (zh) 2017-07-21

Family

ID=51310207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410259069.6A Expired - Fee Related CN103996046B (zh) 2014-06-11 2014-06-11 基于多视觉特征融合的人员识别方法

Country Status (1)

Country Link
CN (1) CN103996046B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253981A (zh) * 2014-09-28 2014-12-31 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的运动目标按颜色排序的方法
CN104463232A (zh) * 2014-12-30 2015-03-25 中山大学 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN105260750A (zh) * 2015-09-21 2016-01-20 北京农业信息技术研究中心 一种奶牛识别方法及系统
CN105630906A (zh) * 2015-12-21 2016-06-01 苏州科达科技股份有限公司 一种人员搜索方法、装置及系统
CN106156778A (zh) * 2015-02-04 2016-11-23 通用汽车环球科技运作有限责任公司 用于识别三维机器视觉系统的视野中的已知对象的装置和方法
CN107103327A (zh) * 2017-05-26 2017-08-29 中国科学院信息工程研究所 一种基于颜色统计差异的染色伪造图像检测方法
CN108171740A (zh) * 2018-01-30 2018-06-15 彭景新 一种基于图像分析车辆通行的方法和设备
CN109101922A (zh) * 2018-08-10 2018-12-28 广东电网有限责任公司 作业人员着装分析方法、装置及电子设备
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN110278399A (zh) * 2018-09-29 2019-09-24 新华智云科技有限公司 一种景点参观视频自动生成方法、系统、设备和存储介质
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN111783789A (zh) * 2020-06-30 2020-10-16 青海民族大学 一种图像敏感信息识别方法
CN113127663A (zh) * 2021-04-01 2021-07-16 深圳力维智联技术有限公司 目标图像搜索方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198493A (zh) * 2013-04-09 2013-07-10 天津大学 一种基于多特征自适应融合和在线学习的目标跟踪方法
JP2013214258A (ja) * 2012-04-04 2013-10-17 Denso It Laboratory Inc 歩行者検出装置及び方法、並びに車両用衝突判定装置
CN103824070A (zh) * 2014-03-24 2014-05-28 重庆邮电大学 一种基于计算机视觉的快速行人检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214258A (ja) * 2012-04-04 2013-10-17 Denso It Laboratory Inc 歩行者検出装置及び方法、並びに車両用衝突判定装置
CN103198493A (zh) * 2013-04-09 2013-07-10 天津大学 一种基于多特征自适应融合和在线学习的目标跟踪方法
CN103824070A (zh) * 2014-03-24 2014-05-28 重庆邮电大学 一种基于计算机视觉的快速行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
翟剑锋: "基于多特征的图像检索系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭劲智: "视频图像行人检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253981A (zh) * 2014-09-28 2014-12-31 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的运动目标按颜色排序的方法
CN104463232A (zh) * 2014-12-30 2015-03-25 中山大学 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN106156778A (zh) * 2015-02-04 2016-11-23 通用汽车环球科技运作有限责任公司 用于识别三维机器视觉系统的视野中的已知对象的装置和方法
CN105260750B (zh) * 2015-09-21 2018-09-11 北京农业信息技术研究中心 一种奶牛识别方法及系统
CN105260750A (zh) * 2015-09-21 2016-01-20 北京农业信息技术研究中心 一种奶牛识别方法及系统
CN105630906A (zh) * 2015-12-21 2016-06-01 苏州科达科技股份有限公司 一种人员搜索方法、装置及系统
CN107103327B (zh) * 2017-05-26 2020-10-16 中国科学院信息工程研究所 一种基于颜色统计差异的染色伪造图像检测方法
CN107103327A (zh) * 2017-05-26 2017-08-29 中国科学院信息工程研究所 一种基于颜色统计差异的染色伪造图像检测方法
CN108171740A (zh) * 2018-01-30 2018-06-15 彭景新 一种基于图像分析车辆通行的方法和设备
CN108171740B (zh) * 2018-01-30 2020-11-20 彭景新 一种基于图像分析车辆通行的方法和设备
CN109101922A (zh) * 2018-08-10 2018-12-28 广东电网有限责任公司 作业人员着装分析方法、装置及电子设备
CN110278399A (zh) * 2018-09-29 2019-09-24 新华智云科技有限公司 一种景点参观视频自动生成方法、系统、设备和存储介质
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN110400322B (zh) * 2019-07-30 2021-03-16 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN111783789A (zh) * 2020-06-30 2020-10-16 青海民族大学 一种图像敏感信息识别方法
CN113127663A (zh) * 2021-04-01 2021-07-16 深圳力维智联技术有限公司 目标图像搜索方法、装置、设备及计算机可读存储介质
CN113127663B (zh) * 2021-04-01 2024-02-27 深圳力维智联技术有限公司 目标图像搜索方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN103996046B (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
CN103996046A (zh) 基于多视觉特征融合的人员识别方法
US10846554B2 (en) Hash-based appearance search
CN104268583B (zh) 基于颜色区域特征的行人重识别方法及系统
CN109636795B (zh) 实时无跟踪的监控视频遗留物检测方法
Takala et al. Multi-object tracking using color, texture and motion
CN109558810B (zh) 基于部位分割与融合目标人物识别方法
CN103714181B (zh) 一种层级化的特定人物检索方法
CN106991370B (zh) 基于颜色和深度的行人检索方法
AU2014277853A1 (en) Object re-identification using self-dissimilarity
CN109344842A (zh) 一种基于语义区域表达的行人重识别方法
CN107292228A (zh) 一种加快人脸识别搜索速度的方法
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
Galiyawala et al. Visual appearance based person retrieval in unconstrained environment videos
CA3011713A1 (en) Hash-based appearance search
AU2019303730B2 (en) Hash-based appearance search
Khanam et al. Baggage recognition in occluded environment using boosting technique
Ye et al. Real-time TV logo detection based on color and HOG features
KR100911121B1 (ko) 영상 기반의 인간 블랍 추적방법
Hommel et al. Model of human clothes based on saliency maps
CN114926761B (zh) 一种基于时空平滑特征网络的动作识别方法
Baquhaizel et al. Person re-identification based on sad and histogram in a non-overlapping camera network
Du et al. Key frame extraction for falling detection
Sonbhadra et al. Person tracking with non-overlapping multiple cameras
Al-Nawashi A new classification approach based on geometrical model for human detection in images
Chen et al. A novel approach towards head detection of giant pandas in the free-range environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170721