CN106557756A - 一种人员再识别系统 - Google Patents
一种人员再识别系统 Download PDFInfo
- Publication number
- CN106557756A CN106557756A CN201611051672.0A CN201611051672A CN106557756A CN 106557756 A CN106557756 A CN 106557756A CN 201611051672 A CN201611051672 A CN 201611051672A CN 106557756 A CN106557756 A CN 106557756A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- personnel
- region
- wavelet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000011524 similarity measure Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 4
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 239000000155 melt Substances 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种人员再识别系统,包括采集模块、预处理模块、特征提取模块、训练模块、再识别模块和评价模块;其中所述预处理模块用于确定行人图像中的人员位置,获取包含人员的矩形区域;所述特征提取模块,用于在包含人员的矩形区域中进行外观特征提取;所述训练模块用于训练多个跨模态投影模型,每一个跨模态投影模型中包含两个投影函数,它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算;所述再识别模块,用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份。本发明便于在海量的视频监控数据中较快地识别所查询的人员,确定查询人员的身份,保证识别结果的即时性和一致性。
Description
技术领域
本发明涉及图像识别技术领域,具体涉及一种人员再识别系统。
背景技术
近年来,重大生产安全事故和公共安全事故不断发生,给人民群众生命财产安全造成重大损失,视频监控在安全事故的预防、应急记录、事后回溯及人员甄别和搜索中发挥了积极有效的作用。目前海量的视频监控数据可通过密布在公共场所的摄像头获得和存储,但是对这些数据的查找分析工作绝大多数还是依靠人工来完成的。这不仅需要耗费大量的人力、物力和财力,而且无法保证分析结果的即时性和一致性。
发明内容
针对上述问题,本发明旨在提供一种人员再识别系统。
本发明的目的采用以下技术方案来实现:
提供了一种人员再识别系统,包括采集模块、预处理模块、特征提取模块、训练模块、再识别模块和评价模块;所述采集模块用于采集行人图像;所述预处理模块用于确定行人图像中的人员位置,获取包含人员的矩形区域;所述特征提取模块,用于在包含人员的矩形区域中进行外观特征提取;所述训练模块用于训练多个跨模态投影模型,每一个跨模态投影模型中包含两个投影函数,它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算;所述再识别模块,用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份;所述评价模块用于对系统性能进行评估。
本发明的有益效果为:便于在海量的视频监控数据中较快地识别所查询的人员,确定查询人员的身份,保证识别结果的即时性和一致性;多个跨模态投影模型可充分应对各种不同的数据分布差异;再识别模块提高了人员的识别精度和效率;设置评价模块,有利于对系统进行改进。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明的结构连接示意图;
附图标记:
采集模块1、预处理模块2、特征提取模块3、训练模块4、再识别模块5、评价模块6。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1,本实施例的一种人员再识别系统,包括采集模块1、预处理模块2、特征提取模块3、训练模块4、再识别模块5和评价模块6;所述采集模块1用于采集行人图像;所述预处理模块2用于确定行人图像中的人员位置,获取包含人员的矩形区域;所述特征提取模块3,用于在包含人员的矩形区域中进行外观特征提取;所述训练模块4用于训练多个跨模态投影模型,每一个跨模态投影模型中包含两个投影函数,它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算;所述再识别模块5,用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份;所述评价模块6用于对系统性能进行评估。
本优选实施例设计的人员再识别系统,能够便于人们在海量的视频监控数据中较快地识别所查询的人员,确定查询人员的身份,保证识别结果的即时性和一致性。
优选的,所述预处理模块2包括图像融合单元,所述图像融合单元用于对不同来源的行人图像进行融合处理,以便更好地获取人员的全面特征,包括:
(1)对需要融合的两幅源图像分别用双正交小波变换进行小波分解,确定分解后图像的小波系数;
(2)对低频系数按设定的比例选取分解后图像的小波系数,构成融合图像的小波低频系数矩阵;
(3)对高频系数采用纹理一致性测度分析特定区域不同高低频系数的边缘特性,计算图像区域的纹理一致性测度,并按照预定的规则确定融合图像的高频小波系数矩阵,所述图像区域的纹理一致性测度的计算公式定义为:
式中,YC(x)表示图像区域x的纹理一致性测度,YCl表示图像区域x的各高频分量图像在水平方向上的纹理一致性测度,YCc表示图像区域x的各高频分量图像在垂直方向上的纹理一致性测度,YCd表示图像区域x的各高频分量图像在对角线方向上的纹理一致性测度;
(4)将所述融合图像的小波低频系数矩阵、所述融合图像的高频小波系数矩阵进行离散双正交小波逆变换,最终获得融合图像。
本优选实施例设置图像融合单元,按照纹理一致性测度可较好地分辨出图像的伪边缘,在保证整体视觉效果的同时使细节信息更加丰富和真实;定义了图像区域的纹理一致性测度的计算公式,加快了图像融合的速度。
优选的,所述预定的规则包括:
(1)若图像区域中有80%以上像素值具有较大的纹理一致性测度,定义该图像区域为边缘区,选取相应的边缘纹理一致性测度最大的高频图像小波系数构成所述融合图像的高频小波系数矩阵;
(2)若图像区域中有80%以上像素值具有较小的纹理一致性测度,定义该图像区域为平滑区,分别计算两幅源图像在该图像区域的能量及匹配度,根据能量及匹配度确定两幅源图像的小波系数在融合图像小波系数中所占的比重,根据下式确定所述融合图像的高频小波系数矩阵:
GR=λAGA+λBGB
式中,GR表示融合图像的高频小波系数矩阵,GA、λA分别表示一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重,GB、λB分别表示另一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重,其中λA+λB=1。
本优选实施例按照预定的规则确定融合图像的高频小波系数矩阵,提高了融合的效果以及融合的速度。
优选的,所述在包含人员的矩形区域中进行外观特征提取,包括:
(1)进行图像的光照归一化处理,具体包括:
1)设图像为I,利用LOG对数将图像I转换到对数域,利用差分高斯滤波器对图像I进行平滑处理;
2)对图像I进行全局对比度均衡化处理;
(2)进行图像尺寸归一化处理;
(3)进行图像分块,针对每个图像块,进行特征向量提取;
(4)将所有图像块的特征向量进行串联,然后对串联后的图像进行PCA特征降维。
本优选实施例设置特征提取模块3,在提取特征前先对图像进行光照归一化处理,减少了因光照变化而产生的图像扭曲,使特征的提取更为精确。
优选的,所述训练模块4包括样本分类单元和跨模态投影模型学习单元;所述样本分类单元具体执行:
设两个摄像机C1和C2对应的特征空间分别为和d1和d2分别表示两个摄像机特征空间的维度,假定训练数据集合为K对跨摄像机图像特征sk=s(xk,yk)∈{-1,+1}表示样本对的类别标签,-1表示异类,+1表示同类,根据类别标签将训练集合分为负样本集合和正样本集合|Z1|+|Z2|=K;
所述跨模态投影模型学习单元具体执行:
设跨模态投影模型集合H=[h1h2,…,hL],L个子模型用于处理L种数据差异,每一个子模型由一对投影函数构成,hl=[pXl(x),pYl(y)],略去脚标l,投影函数pX(x)和pY(y)将x∈X和y∈Y投影到共同的特征空间:
式中,表示投影向量,a、b∈R为线性偏差,pX(x)和pY(y)将原始特征投影到{-1,+1}空间中;
同时存在投影函数qX(x)和qY(y)将x∈X和y∈Y投影到另一共同的特征空间:
建立数据类别和共同特征空间之间的关系,定义目标函数:
式中,E表示期望,表示同类样本对和异类样本对的重要性权衡指数;
式中,wk表示样本对{xk,yk}在本次子模型学习中的样本权重,sk=s(xk,yk)∈{-1,+1}表示样本对的类别标签,
通过最小化目标函数来学习参数{u,v,a,b},得到相应的投影函数。
本优选实施例采用多个跨模态投影模型,可充分应对各种不同的数据分布差异。
优选的,所述识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份,包括:
假设被查询人员集合为{fi,ID(fi)},i=1,2,…,N,fi表示第i个被查询人员,ID(fi)表示第个被查询人员的身份,对于查询人员集合{gj,ID(gj)},j=1,2,…,M:
ID(gj)=ID(f)
gj和fi的相似度S(gj,fi)表示为:
S(gj,fi)=sign(uTgj+a)·sign(vTfi+b)+||(uTgj+a)-(vTfi+b)||
设定阔值T,T∈[1,2],若S(gj,fi)<T,则被查询人员中不存在与查询人员一致的图像;
若S(gj,fi)≥T,将被查询人员按照相似度从大到小排序,排在最前面的与查询人员具有相同的身份。
本优选实施例提高了人员的识别精度和效率。
优选的,所述对人员再识别系统性能进行评估,包括:
定义评价函数:
式中,N表示查询次数,Pn表示前n位中可以找到正确结果的次数,评价函数值越大,则系统的再识别性能越好。
本优选实施例设置评价模块6,有利于对系统进行改进。
本发明的一组识别结果如下表所示:
N | 人员识别平均用时 | 人员识别准确率 |
5 | 0.2s | 95% |
10 | 0.18s | 94.8% |
15 | 0.22s | 95.2% |
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (3)
1.一种人员再识别系统,其特征是,包括采集模块、预处理模块、特征提取模块、训练模块、再识别模块和评价模块;所述采集模块用于采集行人图像;所述预处理模块用于确定行人图像中的人员位置,获取包含人员的矩形区域;所述特征提取模块,用于在包含人员的矩形区域中进行外观特征提取;所述训练模块用于训练多个跨模态投影模型,每一个跨模态投影模型中包含两个投影函数,它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算;所述再识别模块,用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份;所述评价模块用于对系统性能进行评估。
2.根据权利要求1所述的一种人员再识别系统,其特征是,所述预处理模块包括图像融合单元,所述图像融合单元用于对不同来源的行人图像进行融合处理,以便更好地获取人员的全面特征,包括:
(1)对需要融合的两幅源图像分别用双正交小波变换进行小波分解,确定分解后图像的小波系数;
(2)对低频系数按设定的比例选取分解后图像的小波系数,构成融合图像的小波低频系数矩阵;
(3)对高频系数采用纹理一致性测度分析特定区域不同高低频系数的边缘特性,计算图像区域的纹理一致性测度,并按照预定的规则确定融合图像的高频小波系数矩阵,所述图像区域的纹理一致性测度的计算公式定义为:
式中,YC(x)表示图像区域x的纹理一致性测度,YCl表示图像区域x的各高频分量图像在水平方向上的纹理一致性测度,YCc表示图像区域x的各高频分量图像在垂直方向上的纹理一致性测度,YCd表示图像区域x的各高频分量图像在对角线方向上的纹理一致性测度;
(4)将所述融合图像的小波低频系数矩阵、所述融合图像的高频小波系数矩阵进行离散双正交小波逆变换,最终获得融合图像。
3.根据权利要求2所述的一种人员再识别系统,其特征是,所述预定的规则包括:
(1)若图像区域中有80%以上像素值具有较大的纹理一致性测度,定义该图像区域为边缘区,选取相应的边缘纹理一致性测度最大的高频图像小波系数构成所述融合图像的高频小波系数矩阵;
(2)若图像区域中有80%以上像素值具有较小的纹理一致性测度,定义该图像区域为平滑区,分别计算两幅源图像在该图像区域的能量及匹配度,根据能量及匹配度确定两幅源图像的小波系数在融合图像小波系数中所占的比重,根据下式确定所述融合图像的高频小波系数矩阵:
GR=λAGA+λBGB
式中,GR表示融合图像的高频小波系数矩阵,GA、λA分别表示一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重,GB、λB分别表示另一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重,其中λA+λB=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611051672.0A CN106557756A (zh) | 2016-11-24 | 2016-11-24 | 一种人员再识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611051672.0A CN106557756A (zh) | 2016-11-24 | 2016-11-24 | 一种人员再识别系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106557756A true CN106557756A (zh) | 2017-04-05 |
Family
ID=58443558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611051672.0A Pending CN106557756A (zh) | 2016-11-24 | 2016-11-24 | 一种人员再识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106557756A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805911A (zh) * | 2018-06-11 | 2018-11-13 | 深圳万智联合科技有限公司 | 一种多个摄像机监控网络中跟踪目标再识别系统 |
CN110909605A (zh) * | 2019-10-24 | 2020-03-24 | 西北工业大学 | 基于对比相关的跨模态行人重识别方法 |
-
2016
- 2016-11-24 CN CN201611051672.0A patent/CN106557756A/zh active Pending
Non-Patent Citations (2)
Title |
---|
刘凯: ""无交叠多摄像机网络中的人员再辨识"", 《中国博士学位论文全文数据库 信息科技辑》 * |
胥妍: ""基于小波变换技术的图像融合方法的研究与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805911A (zh) * | 2018-06-11 | 2018-11-13 | 深圳万智联合科技有限公司 | 一种多个摄像机监控网络中跟踪目标再识别系统 |
CN110909605A (zh) * | 2019-10-24 | 2020-03-24 | 西北工业大学 | 基于对比相关的跨模态行人重识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104599275B (zh) | 基于概率图模型的非参数化的rgb-d场景理解方法 | |
Beijbom et al. | Automated annotation of coral reef survey images | |
CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
Li | Analysis of object detection performance based on Faster R-CNN | |
CN106126585B (zh) | 基于质量分级与感知哈希特征组合的无人机图像检索方法 | |
CN105138998B (zh) | 基于视角自适应子空间学习算法的行人重识别方法及系统 | |
CN109684913A (zh) | 一种基于社区发现聚类的视频人脸标注方法和系统 | |
CN107111869A (zh) | 图像辨识系统及方法 | |
CN106355171A (zh) | 一种视频监控联网系统 | |
Chandran et al. | Missing child identification system using deep learning and multiclass SVM | |
CN102324038A (zh) | 一种基于数字图像的植物种类识别方法 | |
CN104008395A (zh) | 一种基于人脸检索的不良视频智能检测方法 | |
CN110222718A (zh) | 图像处理的方法及装置 | |
CN102938055A (zh) | 一种手骨身份识别系统 | |
CN109784171A (zh) | 车辆定损图像筛选方法、装置、可读存储介质及服务器 | |
WO2020147408A1 (zh) | 一种人脸识别模型的评价方法、装置、存储介质及计算机设备 | |
CN103678552A (zh) | 基于显著区域特征的遥感影像检索方法及系统 | |
CN112686258A (zh) | 体检报告信息结构化方法、装置、可读存储介质和终端 | |
Ibrahem et al. | Real-time weakly supervised object detection using center-of-features localization | |
CN111666976A (zh) | 基于属性信息的特征融合方法、装置和存储介质 | |
CN106203448A (zh) | 一种基于非线性尺度空间的场景分类方法 | |
CN106557756A (zh) | 一种人员再识别系统 | |
Vondrick et al. | Learning visual biases from human imagination | |
CN112396060B (zh) | 基于身份证分割模型的身份证识别方法及其相关设备 | |
CN106776838A (zh) | 一种基于云计算的海量视频分析与快速检索系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170405 |
|
RJ01 | Rejection of invention patent application after publication |