CN106778604B - 基于匹配卷积神经网络的行人再识别方法 - Google Patents

基于匹配卷积神经网络的行人再识别方法 Download PDF

Info

Publication number
CN106778604B
CN106778604B CN201611147548.4A CN201611147548A CN106778604B CN 106778604 B CN106778604 B CN 106778604B CN 201611147548 A CN201611147548 A CN 201611147548A CN 106778604 B CN106778604 B CN 106778604B
Authority
CN
China
Prior art keywords
layer
pedestrian
convolution
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611147548.4A
Other languages
English (en)
Other versions
CN106778604A (zh
Inventor
韩红
徐志敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Publication of CN106778604A publication Critical patent/CN106778604A/zh
Application granted granted Critical
Publication of CN106778604B publication Critical patent/CN106778604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提出了一种基于匹配卷积神经网络的行人再识别方法，主要解决现有技术在复杂环境、行人姿态多变情况下识别准确率低的问题。其实现是：1.构建匹配卷积神经网络；2.收集行人图片，获取训练样本集；3.用得到的训练样本集对匹配卷积神经网络进行训练；4.当用户输入待查询行人图片时，利用训练好的匹配卷积神经网络计算其与从已知数据库中取出两张图片之间的相似度；5.重复4的操作，直到数据库中的所有图片都取完；6.根据计算得到的相似度按照由大到小的顺序对已知数据库进行排序，将排序后的结果返回给用户。本发明能在复杂环境、行人姿态多变的情况下提高行人再识别的准确率，可用于智能监控系统、人物实时追踪、交通监管领域。

Description

基于匹配卷积神经网络的行人再识别方法
技术领域
本发明属于图像处理技术领域，特别涉及一种行人再识别的方法，可用于智能视频监控系统、人物实时追踪、交通监管等领域。
背景技术
计算机视觉中的行人再识别是指将多个不同监控摄像头中出现的行人一一对应起来，在摄像头拍摄的视频帧或图像中查找到某个特定的人。行人再识别技术能够将监控人员从屏幕监视这种繁重低效的重复劳动中解放出来，提高视频监控的效率，推动视频监控的智能化进程。行人再识别在多个领域都有较好的应用前景，但是由于监控视频的清晰度差，视频拍摄角度变化多样，拍摄环境更是繁杂多变，行人行走姿态变化万千等多方面的因素导致行人再识别在目前并没有通用的、准确率较高的解决方案。
目前，行人再识别大多都是先对行人图片提取特征，然后利用这些特征来判断两个行人图片是否属于同一身份，或者是利用学习的方法在特征间学习出一个映射，特征的提取一般有两种方法：利用人工构造的特征和利用卷积神经网络学习的特征。其中：
利用人工构造的特征来进行行人再识别，主要是提取行人的外貌特征，特别是对衣着服饰等进行分析，然后对提取的特征进行编码，利用编码作为判别依据，这些方法对环境、光照，及图像的拍摄质量要求高，不适用于一般场景。
利用卷积神经网络的行人再识别方法，首先使用卷积神经网络学习出特征，然后在特征空间度量其相似性。但是，由于目前的卷积神经网络方法并不能很好的克服图片拍摄环境变化大、角度差异大、行人姿态多变等问题，传统的基于卷积神经网络的方法也没有取得很好的效果。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于匹配卷积神经网络的行人再识别方法，对传统的卷积神经网络进行扩展，利用特征增强、匹配滤波器手段以减小环境、光照、角度等对稳定性的影响，有效提高了行人再识别的准确率。
为实现上述目的，本发明的技术方案包括如下：
(1)构建匹配卷积神经网络：
(1a)建立一个由输入层、第一层、第二层、第三层、第四层、第五层和输出层构成的网络结构，其中输入层有三个图像Xα，Xp和Xn，输出层是三个向量Vα，Vp和Vn；
(1b)在第一层利用相同的卷积核分别对输入的图像Xα，Xp，Xn进行卷积，并对卷积后的结果再经过最大池化操作，得到第一层的三个特征图分别为
Figure BDA0001179186480000021
(1c)用第一层的三个特征图
Figure BDA0001179186480000022
构造出第一层的两个混合特征图，
Figure BDA0001179186480000023
Figure BDA0001179186480000024
其中，符号
Figure BDA0001179186480000025
表示是特征图对应位置的相加运算，
Figure BDA0001179186480000026
是第一层的第一个混合特征图，
Figure BDA0001179186480000027
是第一层的第二个混合特征图；
(1d)在第二层分别对第一层的三个特征图
Figure BDA0001179186480000028
使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的三个特征图分别为
Figure BDA0001179186480000029
分别对第一层得到的两个混合特征图
Figure BDA00011791864800000210
和
Figure BDA00011791864800000211
使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的两个卷积特征图分别为
Figure BDA00011791864800000212
和
Figure BDA00011791864800000213
然后按下式构造出第二层的混合特征图
Figure BDA00011791864800000214
和
Figure BDA00011791864800000215
Figure BDA00011791864800000216
Figure BDA00011791864800000217
(1e)在第三层分别对第二层得到的三个特征图
Figure BDA00011791864800000218
使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到第三层的三个特征图分别为
Figure BDA00011791864800000219
分别对第二层得到的两个混合特征图
Figure BDA00011791864800000220
和
Figure BDA00011791864800000221
使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第三层的两个卷积特征图分别为
Figure BDA00011791864800000222
和
Figure BDA00011791864800000223
构造出第三层的混合特征图
Figure BDA00011791864800000224
和
Figure BDA00011791864800000225
Figure BDA00011791864800000226
Figure BDA00011791864800000227
其中，符号
Figure BDA00011791864800000228
表示特征图对应位置的相减运算；
(1f)在第四层对第三层得到的第一个特征图
Figure BDA0001179186480000031
进行卷积操作后得到第四层的第一个特征图
Figure BDA0001179186480000032
对第三层的两个混合特征图
Figure BDA0001179186480000033
和
Figure BDA0001179186480000034
再经过相同的卷积操作运算后得到第四层的第二个和第三个混合特征图
Figure BDA0001179186480000035
和
Figure BDA0001179186480000036
(1g)在第五层中将第四层的三个特征图
Figure BDA0001179186480000037
分别与输出层的三个500维的向量Va，Vp，Vn进行全连接；其中，
Figure BDA0001179186480000038
和Vn进行全连接的权重与
Figure BDA0001179186480000039
和Vp进行全连接的权重相同；
(1h)网络的输出层是三个特征向量Va，Vp和Vn，这三个特征向量分别与输入层的三个图像Xa，Xp，Xn一一对应；
(2)从视频监控网络系统中收集大量拍摄于不同场景、环境、光照、角度下的行人图片，对这些行人图片进行整理，并将这些行人图片组合成三元组数据Ti,1≤i≤N，N是训练样本的数量，再用这些三元组数据构成训练样本集：
D＝(T1，T2，…，Ti，…，TN)；
(3)将训练样本集D输入到匹配卷积神经网络中进行训练，得到训练好的网络模型；
(4)用户输入待查询的行人图片，将其作为参考样本，从已知数据库中取出两张行人图片，分别与用户输入的待查询行人图片组成三元组，并将三元组输入到训练好的匹配卷积神经网络中，计算出待查询行人图片与从已知数据库中取出的两张行人图片之间的相似度；
(5)重复步骤(4)的操作，每次从已知数据库中取出两张行人图片计算它们与待查询行人图片之间的相似度，直到数据库中的所有图片都取完；
(6)根据计算得到的相似度按照由大到小的顺序对已知数据库中的所有图片进行排序，最后将排序后的结果返回给用户，排在最前面的行人图片就是和用户输入的查询行人图片最相似的。
本发明与现有的技术相比具有以下优点：
1、本发明在网络进行训练时，输入的训练数据使用的是三元组的形式，相比于传统的二元组的形式能够将网络的学习重点聚集到难以区分的样本上，增大了正负样本的对比差异，提高识别的准确性，同时也省去了训练数据中需要人工标注的标签信息。
2、本发明提出了匹配卷积神经网络的结构，由于该结构在提取图像特征时使用特征增强的手段得到混合特征，然后利用匹配滤波器对混合特征进行滤波，能够有效地增强匹配对的相似特征，弱化非匹配对的差异特征，在特征空间拉大了匹配对与非匹配对之间的间隔，对于各种环境复杂、拍摄角度多变、行人姿态多样的情况，进一步提高了行人再识别的准确率。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的匹配卷积神经网络结构图；
图3是本发明中三元组形式的训练样本图；
图4是本发明的仿真结果图。
具体实施方式
以下结合附图对本发明实施例和效果进行详细描述。
参照图1，本发明的实施步骤如下：
步骤一，构建匹配卷积神经网络。
卷积神经网络是神经网络的一种，通过在神经网络中增加卷积操作和池化操作，使得卷积神经网络具有平移不变性、缩放不变性和旋转不变性等特性，能够很好的解决图像的平移、缩放以及倾斜等形式的变形问题。卷积神经网络通过层层相连的结构，逐层提取图像的特征，进而得到整个图像所表达的主要内容。但是直接使用卷积神经网络来进行行人再识别是不合适的，因为行人再识别的目的不是卷积神经网络所擅长的对图像进行内容识别，而是需要找到两个行人图片之间的相似度，考虑到这种情况，本发明构建了一种全新的匹配卷积神经网络，其具体构建方法如下：
(1a)建立一个由输入层、第一层、第二层、第三层、第四层、第五层和输出层构成的网络结构，其中输入层有三个图像Xα，Xp和Xn，输出层是三个向量Vα，Vp和Vn；
(1b)在第一层利用相同的卷积核分别对输入的图像Xα，Xp，Xn进行卷积，并对卷积后的结果再经过最大池化操作，得到第一层的三个特征图分别为
Figure BDA0001179186480000041
(1c)用第一层的三个特征图
Figure BDA0001179186480000042
构造出第一层的两个混合特征图，
Figure BDA0001179186480000051
Figure BDA0001179186480000052
其中，符号
Figure BDA0001179186480000053
表示是特征图对应位置的相加运算，
Figure BDA0001179186480000054
是第一层的第一个混合特征图，
Figure BDA0001179186480000055
是第一层的第二个混合特征图；
(1d)在第二层分别对第一层的三个特征图
Figure BDA0001179186480000056
使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的三个特征图分别为
Figure BDA0001179186480000057
分别对第一层得到的两个混合特征图
Figure BDA0001179186480000058
和
Figure BDA0001179186480000059
使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的两个卷积特征图分别为
Figure BDA00011791864800000510
和然后按下式构造出第二层的混合特征图
Figure BDA00011791864800000512
和
Figure BDA00011791864800000513
Figure BDA00011791864800000514
Figure BDA00011791864800000515
(1e)在第三层分别对第二层得到的三个特征图
Figure BDA00011791864800000516
使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到第三层的三个特征图分别为
Figure BDA00011791864800000517
分别对第二层得到的两个混合特征图
Figure BDA00011791864800000518
和
Figure BDA00011791864800000519
使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第三层的两个卷积特征图分别为
Figure BDA00011791864800000520
和
Figure BDA00011791864800000521
构造出第三层的混合特征图
Figure BDA00011791864800000522
和
Figure BDA00011791864800000523
Figure BDA00011791864800000524
Figure BDA00011791864800000525
其中，符号
Figure BDA00011791864800000526
表示特征图对应位置的相减运算；
(1f)在第四层对第三层得到的第一个特征图
Figure BDA00011791864800000527
进行卷积操作后得到第四层的第一个特征图
Figure BDA00011791864800000528
对第三层的两个混合特征图
Figure BDA00011791864800000529
和
Figure BDA00011791864800000530
再经过相同的卷积操作运算后得到第四层的第二个和第三个混合特征图
Figure BDA00011791864800000531
和
Figure BDA00011791864800000532
(1g)在第五层中将第四层的三个特征图
Figure BDA00011791864800000533
分别与输出层的三个500维的向量Va，Vp，Vn进行全连接；其中，
Figure BDA00011791864800000534
和Vn进行全连接的权重与
Figure BDA00011791864800000535
和Vp进行全连接的权重相同；
(1h)网络的输出层是三个特征向量Va，Vp和Vn，这三个特征向量分别与输入层的三个图像Xa，Xp，Xn一一对应；
图2给出了匹配卷积神经网络的结构图，从图2可见本发明构建的匹配卷积神经网络，包括输入层、第一层L1、第二层L2、第三层L3、第四层L4、第五层L5和输出层共7层结构，其中输入层有三个图像Xα，Xp，Xn，输出层是三个向量Vα，Vp和Vn。
步骤二，获取训练样本集D。
(2a)从视频监控网络系统中收集大量拍摄于不同场景、环境、光照、角度下的行人图片，将属于同一身份的行人图片归为一类；
(2b)从样本集中随机选出一个参考样本Xa，再从与Xa属于同一身份的样本中选取一个与Xa最不相似的正样本Xp，再从与Xa不属于同一身份的样本中选取一个和Xa最相似的负样本Xn；
(2c)用参考样本Xa，正样本Xp，负样本Xn组成一个三元组形式的训练样本：
Ti＝(Xa，Xp，Xn)；
(2d)重复进行步骤(2b)和步骤(2c)，得到的所有三元组数据构成训练样本集：
D＝(T1，T2，…，Ti，…，TN)，
其中N是训练样本的数量，1≤i≤N。
图3给出了一个三元组形式的训练样本图，图中中间的图片是参考样本，左边的图片是正样本，右边的图片是负样本。
步骤三，将训练样本集D输入到匹配卷积神经网络中进行训练，得到训练好的网络模型。
(3a)将三元组Ti中的图像
Figure BDA0001179186480000061
输入到构造好的匹配卷积神经网络中，分别得到三个特征向量
Figure BDA0001179186480000062
和
Figure BDA0001179186480000063
(3g)分别计算第一个特征向量
Figure BDA0001179186480000064
与第二个特征向量
Figure BDA0001179186480000065
之间的欧式距离
Figure BDA0001179186480000066
及第一个特征向量
Figure BDA0001179186480000067
与第三个特征向量
Figure BDA0001179186480000068
之间的欧式距离
Figure BDA0001179186480000069
Figure BDA0001179186480000071
Figure BDA0001179186480000072
(3f)计算损失函数L：
Figure BDA0001179186480000073
其中，N是训练样本的数量，公式右下角的+号表示：当
Figure BDA0001179186480000078
时，方括号内取值为其绝对值；当
Figure BDA0001179186480000075
时，方括号内取值为0；α是设置的间隔距离；
(3g)利用反向传播算法对损失函数L进行优化，得到训练好的匹配卷积神经网络。
步骤四，用户输入待查询的行人图片，将其作为参考样本，从已知数据库中取出两张行人图片，分别与用户输入的待查询行人图片组成三元组。
步骤五，将三元组输入到训练好的匹配卷积神经网络中，计算出待查询行人图片与从已知数据库中取出的两张行人图片之间的相似度。
(4a)分别计算第一个特征向量Va与第二个特征向量Vp之间的欧式距离Dp，及第一个特征向量Va与第三个特征向量Vn之间的欧式距离Dn：
Figure BDA0001179186480000076
Figure BDA0001179186480000077
(4b)由(4a)得到的欧式距离计算出待查询行人图片与从已知数据库中取出的两张行人图片之间的相似度：
Sp＝1-Dp
Sn＝1-Dn
步骤六，重复步骤四-步骤五的操作，每次从已知数据库中取出两张行人图片计算它们与待查询行人图片之间的相似度，直到数据库中的所有图片都取完。
步骤七，根据计算得到的相似度按照由大到小的顺序对已知数据库进行排序，将排序后的结果返回给用户，返回结果是对已知数据库排序后的序列图片，排在最前面的就是与用户输入的待查询行人图片最相似的图片，完成对行人的再识别。
本发明的效果可通过以下仿真进一步说明：
1.实验条件
采用目前行人再识别方面行人数量最多、识别难度最大的公开数据集CUHK-03对本发明进行仿真，该数据集共有1467个行人，其中的100个行人作为测试集，其余用作训练集。
2.实验方法
按照步骤一构建匹配卷积神经网络后，依次从包含100个行人的测试集中取出一张图片作为待查询行人图片，按照步骤四和步骤五得到每一张待查询行人图片的结果，画出累计匹配曲线图，如图4所示，图4中横坐标是排名，纵坐标是识别率。
从图4可见，本发明在监控摄像拍摄环境变化大、角度差异大、行人姿态多变的情况下能够取得较高的行人再识别准确率。

Claims (3)

1.一种基于匹配卷积神经网络的行人再识别方法，包括：
(1)构建匹配卷积神经网络：
(1a)建立一个由输入层、第一层、第二层、第三层、第四层、第五层和输出层构成的网络结构，其中输入层有三个图像Xα，Xp和Xn，输出层是三个向量Vα，Vp和Vn；
(1b)在第一层利用相同的卷积核分别对输入的图像Xα，Xp，Xn进行卷积，并对卷积后的结果再经过最大池化操作，得到第一层的三个特征图分别为
Figure FDA0002241378570000011
(1c)用第一层的三个特征图
Figure FDA0002241378570000012
构造出第一层的两个混合特征图，
Figure FDA0002241378570000013
Figure FDA0002241378570000014
其中，符号
Figure FDA0002241378570000015
表示是特征图对应位置的相加运算，
Figure FDA0002241378570000016
是第一层的第一个混合特征图，
Figure FDA0002241378570000017
是第一层的第二个混合特征图；
(1d)在第二层分别对第一层的三个特征图
Figure FDA0002241378570000018
使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的三个特征图分别为
Figure FDA0002241378570000019
Figure FDA00022413785700000110
分别对第一层得到的两个混合特征图
Figure FDA00022413785700000111
和
Figure FDA00022413785700000112
使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的两个卷积特征图分别为
Figure FDA00022413785700000113
和
Figure FDA00022413785700000114
然后按下式构造出第二层的混合特征图
Figure FDA00022413785700000115
和
Figure FDA00022413785700000116
Figure FDA00022413785700000117
Figure FDA00022413785700000118
(1e)在第三层分别对第二层得到的三个特征图
Figure FDA00022413785700000119
使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到第三层的三个特征图分别为
Figure FDA00022413785700000120
Figure FDA00022413785700000121
分别对第二层得到的两个混合特征图
Figure FDA00022413785700000122
和
Figure FDA00022413785700000123
使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第三层的两个卷积特征图分别为
Figure FDA0002241378570000021
和
Figure FDA0002241378570000022
构造出第三层的混合特征图
Figure FDA0002241378570000023
和
Figure FDA0002241378570000024
Figure FDA0002241378570000025
Figure FDA0002241378570000026
其中，符号
Figure FDA0002241378570000027
表示特征图对应位置的相减运算；
(1f)在第四层对第三层得到的第一个特征图
Figure FDA0002241378570000028
进行卷积操作后得到第四层的第一个特征图
Figure FDA0002241378570000029
对第三层的两个混合特征图
Figure FDA00022413785700000210
和
Figure FDA00022413785700000211
再经过相同的卷积操作运算后得到第四层的第二个和第三个混合特征图
Figure FDA00022413785700000212
和
Figure FDA00022413785700000213
(1g)在第五层中将第四层的三个特征图
Figure FDA00022413785700000214
分别与输出层的三个500维的向量Va，Vp，Vn进行全连接；其中，
Figure FDA00022413785700000215
和Vn进行全连接的权重与
Figure FDA00022413785700000216
和Vp进行全连接的权重相同；
(1h)网络的输出层是三个特征向量Va，Vp和Vn，这三个特征向量分别与输入层的三个图像Xa，Xp，Xn一一对应；
(2)从视频监控网络系统中收集大量拍摄于不同场景、环境、光照、角度下的行人图片，对这些行人图片进行整理，并将这些行人图片组合成三元组数据Ti,按如下步骤进行：
(2a)将属于同一身份的行人图片归为一类，即将同一个人在不同时间或不同摄像头中的被拍摄到的图片作为一类；
(2b)从样本集中随机选出一个参考样本Xa，再从与Xa属于同一身份的样本中选取一个与Xa最不相似的正样本Xp，再从与Xa不属于同一身份的样本中选取一个和Xa最相似的负样本Xn；
(2c)用参考样本Xa，正样本Xp，负样本Xn组成一个三元组形式的训练样本：
Ti＝(Xa，Xp，Xn)，
1≤i≤N，N是训练样本的数量，再用这些三元组数据构成训练样本集：
D＝(T1，T2，…，Ti，…，TN)；
(3)将训练样本集D输入到匹配卷积神经网络中进行训练，得到训练好的网络模型；
(4)用户输入待查询的行人图片，将其作为参考样本，从已知数据库中取出两张行人图片，分别与用户输入的待查询行人图片组成三元组，并将三元组输入到训练好的匹配卷积神经网络中，计算出待查询行人图片与从已知数据库中取出的两张行人图片之间的相似度；
(5)重复步骤(4)的操作，每次从已知数据库中取出两张行人图片计算它们与待查询行人图片之间的相似度，直到数据库中的所有图片都取完；
(6)根据计算得到的相似度按照由大到小的顺序对已知数据库中的所有图片进行排序，最后将排序后的结果返回给用户，排在最前面的行人图片就是和用户输入的查询行人图片最相似的。
2.根据权利要求1所述的方法，其中步骤(3)中将训练样本集D输入到匹配卷积神经网络中进行训练，按如下步骤进行：
(3a)将三元组Ti中的图像
Figure FDA0002241378570000031
输入到构造好的匹配卷积神经网络中，分别得到三个特征向量
Figure FDA0002241378570000032
和
Figure FDA0002241378570000033
(3g)分别计算第一个特征向量
Figure FDA0002241378570000034
与第二个特征向量
Figure FDA0002241378570000035
之间的欧式距离
Figure FDA0002241378570000036
及第一个特征向量
Figure FDA0002241378570000037
与第三个特征向量
Figure FDA0002241378570000038
之间的欧式距离
Figure FDA0002241378570000039
Figure FDA00022413785700000310
Figure FDA00022413785700000311
(3f)计算损失函数L：
Figure FDA00022413785700000312
其中，N是训练样本的数量，公式右下角的+号表示：当
Figure FDA00022413785700000313
时，方括号内取值为其绝对值；当
Figure FDA00022413785700000314
时，方括号内取值为0；α是设置的间隔距离；
(3g)利用反向传播算法对损失函数L进行优化，得到训练好的匹配卷积神经网络。
3.根据权利要求1所述的方法，其中步骤(4)中将三元组输入到训练好的匹配卷积神经网络中，计算出待查询行人图片与从已知数据库中取出的两张行人图片之间的相似度，按以下步骤进行：
(4a)分别计算第一个特征向量Va与第二个特征向量Vp之间的欧式距离Dp，及第一个特征向量Va与第三个特征向量Vn之间的欧式距离Dn：
Figure FDA0002241378570000041
Figure FDA0002241378570000042
(4b)由(4a)得到的欧式距离计算出待查询行人图片与从已知数据库中取出的两张行人图片之间的相似度：
Sp＝1-Dp
Sn＝1-Dn。
CN201611147548.4A 2015-12-15 2016-12-13 基于匹配卷积神经网络的行人再识别方法 Active CN106778604B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2015109391382 2015-12-15
CN201510939138 2015-12-15

Publications (2)

Publication Number Publication Date
CN106778604A CN106778604A (zh) 2017-05-31
CN106778604B true CN106778604B (zh) 2020-04-14

Family

ID=58880892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611147548.4A Active CN106778604B (zh) 2015-12-15 2016-12-13 基于匹配卷积神经网络的行人再识别方法

Country Status (1)

Country Link
CN (1) CN106778604B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201715509D0 (en) * 2017-09-25 2017-11-08 Thirdeye Labs Ltd Person indentification across multiple captured images
CN109697399A (zh) * 2017-10-24 2019-04-30 普天信息技术有限公司 一种人脸表情识别方法及装置
CN107704890B (zh) * 2017-10-27 2020-01-14 北京旷视科技有限公司 一种四元组图像的生成方法和装置
CN108009512A (zh) * 2017-12-14 2018-05-08 西北工业大学 一种基于卷积神经网络特征学习的人物再识别方法
CN108090439A (zh) * 2017-12-14 2018-05-29 合肥寰景信息技术有限公司 基于深度学习的行人特征提取及处理系统
CN108537136B (zh) * 2018-03-19 2020-11-20 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN108764018A (zh) * 2018-04-03 2018-11-06 北京交通大学 一种基于卷积神经网络的多任务车辆再识别方法及装置
CN109190446A (zh) * 2018-07-06 2019-01-11 西北工业大学 基于三元组聚焦损失函数的行人再识别方法
CN108960331A (zh) * 2018-07-10 2018-12-07 重庆邮电大学 一种基于行人图像特征聚类的行人再识别方法
WO2020022956A1 (en) * 2018-07-27 2020-01-30 Aioz Pte Ltd Method and apparatus for video content validation
CN109389055B (zh) * 2018-09-21 2021-07-20 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109635695B (zh) * 2018-11-28 2022-11-08 西安理工大学 基于三元组卷积神经网络的行人再识别方法
CN109726669B (zh) * 2018-12-26 2020-11-17 浙江捷尚视觉科技股份有限公司 基于对抗网络的不同光照条件下行人再识别数据生成方法
CN111435432B (zh) 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN109784295B (zh) * 2019-01-25 2020-12-25 佳都新太科技股份有限公司 视频流特征识别方法、装置、设备及存储介质
CN109766873B (zh) * 2019-02-01 2021-04-06 中国人民解放军陆军工程大学 一种混合可变形卷积的行人再识别方法
CN110096947A (zh) * 2019-03-15 2019-08-06 昆明理工大学 一种基于深度学习的行人再识别算法
CN110427953B (zh) * 2019-06-21 2022-11-29 中南大学 基于卷积神经网络和序列匹配的在变化环境中让机器人进行视觉地点识别的实现方法
CN110298836A (zh) * 2019-07-05 2019-10-01 张文华 通过人工智能判断肠道准备质量的方法、装置和系统
CN110688976A (zh) * 2019-10-09 2020-01-14 创新奇智(北京)科技有限公司 基于图像识别的门店比对方法
CN113657169B (zh) * 2021-07-19 2023-06-20 浙江大华技术股份有限公司 一种步态识别方法、装置、系统和计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842883B2 (en) * 2011-11-21 2014-09-23 Seiko Epson Corporation Global classifier with local adaption for objection detection
US9668699B2 (en) * 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
CN104281853B (zh) * 2014-09-02 2017-11-17 电子科技大学 一种基于3d卷积神经网络的行为识别方法
CN104573731B (zh) * 2015-02-06 2018-03-23 厦门大学 基于卷积神经网络的快速目标检测方法
CN104915643B (zh) * 2015-05-26 2018-06-22 中山大学 一种基于深度学习的行人再标识方法
CN105046196B (zh) * 2015-06-11 2018-04-17 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法

Also Published As

Publication number Publication date
CN106778604A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN104732208B (zh) 基于稀疏子空间聚类的视频人体行为识别方法
CN111126360A (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN109376611A (zh) 一种基于3d卷积神经网络的视频显著性检测方法
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN106650690A (zh) 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN102521616B (zh) 基于稀疏表示的行人检测方法
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
CN109447123B (zh) 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN108875819B (zh) 一种基于长短期记忆网络的物体和部件联合检测方法
CN116052218B (zh) 一种行人重识别方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN108960053A (zh) 归一化处理方法及装置、客户端
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN112070010B (zh) 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法
CN109344856A (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN104978583B (zh) 人物动作的识别方法及装置
CN113505719B (zh) 基于局部-整体联合知识蒸馏算法的步态识别模型压缩系统及方法
CN104008374B (zh) 一种矿井图像中基于条件随机场的矿工检测方法
CN107944340A (zh) 一种结合直接度量和间接度量的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant