CN110795972A - 行人身份识别方法、装置、设备及存储介质 - Google Patents
行人身份识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110795972A CN110795972A CN201810876429.5A CN201810876429A CN110795972A CN 110795972 A CN110795972 A CN 110795972A CN 201810876429 A CN201810876429 A CN 201810876429A CN 110795972 A CN110795972 A CN 110795972A
- Authority
- CN
- China
- Prior art keywords
- footprint
- gait
- pedestrian
- feature
- neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 230000005021 gait Effects 0.000 claims abstract description 292
- 238000006243 chemical reaction Methods 0.000 claims abstract description 116
- 210000002569 neuron Anatomy 0.000 claims description 173
- 239000013598 vector Substances 0.000 claims description 113
- 238000013527 convolutional neural network Methods 0.000 claims description 59
- 230000009466 transformation Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 39
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 21
- 230000004913 activation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种行人身份识别方法、装置、设备及存储介质，属于计算机技术领域，本发明实现了足迹特征与步态特征的交叉识别，可以在行人的步态特征与行人的足迹特征之间相互转换，在行人没有在案发现场遗留足迹的场景中，通过步态足迹转换模型，能够将步态特征转换为足迹特征，从而在没有得到足迹图像的限制下，也能在足迹数据库中进行检索。另外，在没有拍摄到行人的视频的场景中，通过足迹步态转换模型，能够将足迹特征转换为步态特征，从而在没有得到视频的限制下，也能在步态数据库中进行检索，提高了识别行人身份的有效信息量，增加了破案线索。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种行人身份识别方法、装置、设备及存储介质。
背景技术
随着计算机技术与安防技术的不断发展，可以在案发现场采集行人信息，通过行人信息，识别行人身份，从而确定有哪些人经过了案发现场，进而找到破案线索，帮助破案。
目前可以通过采集的足迹图像，识别行人身份。具体来说，会预先建立足迹数据库，足迹数据库中存储了大量的足迹特征以及对应的行人身份信息。在案发现场，如果行人在案发现场遗留了足迹，会拍摄该足迹，得到行人的足迹图像，通过图像识别算法，从足迹图像中识别出足迹特征，根据该足迹特征在足迹数据库中进行查询，得到足迹特征对应的行人身份信息。
上述方案仅能应用在行人在案发现场遗留足迹的情况，而当行人没有在案发现场遗留足迹时，则无法采集到足迹图像，也就无法根据足迹特征在足迹数据库中进行查询，导致无法识别出行人身份。
发明内容
本发明实施例提供了一种行人身份识别方法、装置、设备及存储介质，能够解决相关技术中一旦没有采集到足迹图像，就无法根据足迹特征识别行人身份的技术问题。所述技术方案如下：
第一方面，提供了一种行人身份识别方法，所述方法包括：
获取目标行人的步态特征；
将所述步态特征输入到步态足迹转换模型，得到所述目标行人的足迹特征，所述步态足迹转换模型用于将行人的步态特征转换为所述行人的足迹特征；
根据所述足迹特征，在足迹数据库中进行查询，得到所述足迹特征对应的行人身份信息。
在一种可能的实现中，所述步态足迹转换模型包括至少一个层，每个层包括至少一个神经元，所述将所述步态特征输入到步态足迹转换模型，输出所述目标行人的足迹特征，包括：
将所述步态特征转换为第一特征向量；
将所述第一特征向量输入到任一个层的任一个神经元，基于所述神经元的权重向量，对所述第一特征向量以及所述神经元的权重向量进行点积处理，得到中间结果；对所述中间结果进行非线性转换，输出所述神经元的第一输出结果；
将所述步态足迹转换模型的输出层的至少一个神经元的第一输出结果，输出为所述目标行人的足迹特征。
在一种可能的实现中，所述步态足迹转换模型中任意两个相邻层中的神经元为全连接关系，所述全连接关系是指所述两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
所述将所述步态特征转换为第一特征向量，包括：获取所述层的上一个层的每个神经元的第二输出结果，将多个第二输出结果作为所述第一特征向量；
所述对所述中间结果进行非线性转换，输出所述神经元的第一输出结果，包括：
将所述第一输出结果，输出至所述层的下一个层的每个神经元。
在一种可能的实现中，所述步态足迹转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
在一种可能的实现中，所述获取行人的步态特征，包括：
获取所述行人对应的视频序列；
将所述视频序列输入至三维卷积神经网络，获取所述三维卷积神经网络的全连接层输出的特征向量，作为所述行人的步态特征，所述三维卷积神经网络用于根据视频序列识别步态特征。
在一种可能的实现中，所述将视频序列输入至三维卷积神经网络之后，所述方法还包括：
在所述三维卷积神经网络内部，当任一个卷积层的任一个三维卷积核接收到所述视频序列对应的特征立方体时，基于所述三维卷积核的权重立方体，对所述特征立方体以及所述权重立方体进行卷积处理，得到所述三维卷积核输出的特征立方体。
第二方面，提供了一种行人身份识别方法，所述方法包括：
获取目标行人的足迹特征；
将所述足迹特征输入到足迹步态转换模型，输出所述目标行人的步态特征，所述足迹步态转换模型用于将行人的足迹特征转换为所述行人的步态特征；
根据所述步态特征，在步态数据库中进行查询，得到所述步态特征对应的行人身份信息。
在一种可能的实现中，所述将所述足迹特征输入到足迹步态转换模型，得到所述行人的步态特征，包括：
将所述足迹特征转换为第二特征向量；
将所述第二特征向量输入到任一个层的任一个神经元，基于所述神经元的权重向量，对所述第二特征向量以及所述神经元的权重向量进行点积处理，得到中间结果；对所述中间结果进行非线性转换，输出所述神经元的第三输出结果；
将所述足迹步态转换模型的输出层的至少一个神经元的第三输出结果，输出为所述目标行人的步态特征。
在一种可能的实现中，所述足迹步态转换模型中任意两个相邻层中的神经元为全连接关系，所述全连接关系是指所述两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
所述将所述足迹特征转换为第二特征向量，包括：
获取所述层的上一个层的每个神经元的第四输出结果，将多个第四输出结果作为所述第二特征向量；
所述对所述中间结果进行非线性转换，输出所述神经元的第三输出结果，包括：
将所述第三输出结果，输出至所述层的下一个层的每个神经元。
在一种可能的实现中，所述足迹步态转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
在一种可能的实现中，获取行人的足迹特征，包括：
获取所述目标行人对应的足迹图像；
将所述足迹图像输入至二维卷积神经网络，获取所述二维卷积神经网络的全连接层输出的特征向量，作为所述目标行人的足迹特征，所述二维卷积神经网络用于根据足迹图像识别足迹特征。
第三方面，提供了一种行人身份识别装置，用于执行第一方面或第一方面的任一种可能实现方式中的行人身份识别方法。具体地，该行人身份识别装置包括用于执行上述第一方面或第一方面的任一种可能实现中的方法的功能模块。
第四方面，提供了一种行人身份识别装置，用于执行第二方面或第二方面的任一种可能实现方式中的行人身份识别方法。具体地，该行人身份识别装置包括用于执行上述第二方面或第二方面的任一种可能实现中的方法的功能模块。
第五方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现上述第一方面或第一方面的任一种可能实现中的行人身份识别方法所执行的操作，和/或上述第二方面或第二方面的任一种可能实现中的行人身份识别方法所执行的操作。
第六方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述第一方面或第一方面的任一种可能实现中的行人身份识别方法所执行的操作，和/或第二方面或第二方面的任一种可能实现中的行人身份识别方法所执行的操作。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种行人身份识别方法的流程图；
图2是本发明实施例提供的一种行人身份识别方法的流程图；
图3是本发明实施例提供的一种行人身份识别方法的流程图；
图4是本发明实施例提供的一种神经网络中神经元的示意图；
图5是本发明实施例提供的一种行人身份识别方法的流程图；
图6是本发明实施例提供的一种行人身份识别方法的流程图；
图7是本发明实施例提供的一种行人身份识别方法的流程图；
图8是本发明实施例提供的一种三维卷积神经网络的训练方法的流程图；
图9是本发明实施例提供的一种三维卷积神经网络的训练方法的流程图；
图10是本发明实施例提供的一种二维卷积神经网络的训练方法的流程图；
图11是本发明实施例提供的一种二维卷积神经网络的训练方法的流程图；
图12是本发明实施例提供的一种步态足迹转换模型的训练方法的流程图；
图13是本发明实施例提供的一种步态足迹转换模型的训练方法的流程图；
图14是本发明实施例提供的一种足迹步态转换模型的训练方法的流程图；
图15是本发明实施例提供的一种足迹步态转换模型的训练方法的流程图；
图16是本发明实施例提供的一种行人身份识别装置的结构示意图；
图17是本发明实施例提供的一种行人身份识别装置的结构示意图；
图18是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种行人身份识别方法的流程图，参见图1，该方法包括：
101、获取目标行人的步态特征。
102、将步态特征输入到步态足迹转换模型，输出目标行人的足迹特征，步态足迹转换模型用于将行人的步态特征转换为行人的足迹特征。
103、根据足迹特征，在足迹数据库中进行查询，得到足迹特征对应的行人身份信息。
本发明实施例提供的方法，提供了一种将行人的步态特征转换为行人的足迹特征的方法，在行人没有遗留足迹的情况下，也能通过步态足迹转换模型得到足迹特征，从而根据足迹特征在足迹数据库中进行查询，实现了跨域的特征变换和检索，从而提高识别行人身份的有效信息量，能够增加了破案线索，提升破案率。
在一种可能的实现中，该步态足迹转换模型包括至少一个层，每个层包括至少一个神经元，该将该步态特征输入到步态足迹转换模型，输出该目标行人的足迹特征，包括：
将该步态特征转换为第一特征向量；
将该第一特征向量输入到任一个层的任一个神经元，基于该神经元的权重向量，对该第一特征向量以及该神经元的权重向量进行点积处理，得到中间结果；对该中间结果进行非线性转换，输出该神经元的第一输出结果；
将该步态足迹转换模型的输出层的至少一个神经元的第一输出结果，输出为该目标行人的足迹特征。
在一种可能的实现中，步态足迹转换模型中任意两个相邻层中的神经元为全连接关系，全连接关系是指两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
将步态特征转换为第一特征向量，包括：
获取层的上一个层的每个神经元的第二输出结果，将多个第二输出结果作为第一特征向量；
对中间结果进行非线性转换，输出神经元的第一输出结果，包括：
将第一输出结果，输出至层的下一个层的每个神经元。
在一种可能的实现中，该步态足迹转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
在一种可能的实现中，该获取行人的步态特征，包括：
获取该行人对应的视频序列；
将该视频序列输入至三维卷积神经网络，获取该三维卷积神经网络的全连接层输出的特征向量，作为该行人的步态特征，该三维卷积神经网络用于根据视频序列识别步态特征。
图2是本发明实施例提供的一种行人身份识别方法的流程图，参见图2，该方法包括：
201、获取目标行人的足迹特征。
202、将足迹特征输入到足迹步态转换模型，输出目标行人的步态特征，足迹步态转换模型用于将行人的足迹特征转换为行人的步态特征。
203、根据步态特征，在步态数据库中进行查询，得到步态特征对应的行人身份信息。
本发明实施例提供的方法，提供了一种将行人的足迹特征转换为行人的步态特征的方法，在没有采集到行人的视频的情况下，也能通过足迹步态转换模型得到步态特征，从而根据步态特征在步态数据库中进行查询，实现了跨域的特征变换和检索，从而提高识别行人身份的有效信息量，能够增加破案线索，提升破案率。
在一种可能的实现中，该将该足迹特征输入到足迹步态转换模型，得到该行人的步态特征，包括：
将该足迹特征转换为第二特征向量；
将该第二特征向量输入到任一个层的任一个神经元，基于该神经元的权重向量，对该第二特征向量以及该神经元的权重向量进行点积处理，得到中间结果；对该中间结果进行非线性转换，输出该神经元的第三输出结果；
将该足迹步态转换模型的输出层的至少一个神经元的第三输出结果，输出为该目标行人的步态特征。
在一种可能的实现中，足迹步态转换模型中任意两个相邻层中的神经元为全连接关系，全连接关系是指两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
将足迹特征转换为第二特征向量，包括：获取层的上一个层的每个神经元的第四输出结果，将多个第四输出结果作为第二特征向量；
对中间结果进行非线性转换，输出神经元的第三输出结果，包括：
将第三输出结果，输出至层的下一个层的每个神经元。
在一种可能的实现中，该足迹步态转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
在一种可能的实现中，获取行人的足迹特征，包括：
获取该目标行人对应的足迹图像；
将该足迹图像输入至二维卷积神经网络，获取该二维卷积神经网络的全连接层输出的特征向量，作为该目标行人的足迹特征，该二维卷积神经网络用于根据足迹图像识别足迹特征。
目前的足迹分析技术以及步态识别技术，都只能进行同域数据的识别和检索，而当现场只采集到一种信息，而嫌疑目标又未被收集到对应的数据库时，这种同域数据的检索方式，无法进一步提供有价值的信息，导致线索中断。
具体来说，目前的足迹识别技术，只能应用在采集到行人的足迹图像的情况下，而当现场没有遗留嫌疑目标的足迹时，则无法使用足迹识别技术识别足迹特征，更无法根据足迹特征查询嫌疑目标的信息，导致破案线索中断。目前的步态识别技术，只能应用在采集到行人的视频信息的情况下，而当现场没有捕捉到嫌疑目标的视频信息时，则无法使用步态识别技术识别步态特征，更无法执行嫌疑目标的搜索过程，同样导致破案线索中断。
而本发明实施例中，提供了一种足迹和步态的交叉识别方法，能够在足迹特征和步态特征之间相互转换，实现跨模态的数据检索，能够解决案发现场只有足迹信息或步态信息，则无法使用另一种信息进行检索的技术问题。
在一个示例性场景中，若现场发现嫌疑目标的足迹信息，则使用足迹识别模型提取足迹图像的特征，然后利用足迹特征在足迹图像数据库进行检索，同时，可以采用足迹步态转换模型对足迹特征进行变换，得到该嫌疑目标的步态特征，然后利用步态特征在步态数据库进行检索。相应地，若现场附近的摄像头抓拍到嫌疑目标的视频数据，则首先使用步态识别模型提取视频序列的步态特征，然后利用步态特征在步态数据库进行检索，同时利用步态足迹转换模型对步态特征进行变换，得到该嫌疑目标的足迹特征，然后利用足迹特征在足迹数据库进行检索，通过跨域数据的特征变换和检索，能够有效增加破案线索，提升破案率。
以下通过图3实施例，描述从步态特征转换到足迹特征的实现方法，通过图6实施例，描述从足迹特征转换到步态特征的实现方法，通过图8实施例至图12实施例，描述本文中的各个模型的训练过程。
图3是本发明实施例提供的一种行人身份识别方法的流程图。该发明实施例的执行主体为计算机设备，参见图3，该方法包括：
301、计算机设备获取目标行人对应的视频序列。
计算机设备包括而不限于个人电脑、笔记本电脑、一台服务器、若干台服务器组成的服务器集群、一个云计算服务中心、移动终端等。目标行人是指需要识别出身份信息的行人，可以为案发现场的嫌疑目标。视频序列是指若干个时间上临近的图像组成的集合，可以理解为一段很短的视频。视频序列中相邻的图像具有时间和空间上的联系，能够反映一次或多次的运动。视频序列中的每个图像可以称为一帧(frame)，视频序列中帧的数量可以根据实际需求配置，例如每个视频序列可以包括7帧图像。
针对获取视频序列的方式，案发现场附近可以布设一个或多个摄像设备，摄像设备可以采集视频，发送给计算机设备，计算机设备可以接收视频，按照帧速率，从视频中获取多帧图像，作为视频序列。其中，该帧速率可以根据实际需求在计算机设备中配置，例如，帧速率可以为每秒24帧。
302、计算机设备将视频序列输入至三维卷积神经网络，得到行人的步态特征。
本实施例中，采用三维卷积神经网络提取步态特征，该三维神经网络能够在时间维度和空间维度上分别进行卷积，从而提取到输入数据在时间方面和空间方面的特征。三维卷积神经网络可以预先离线训练得到，当得到视频序列后，可以调用三维卷积神经网络，将视频序列输入至三维卷积神经网络中，由三维卷积神经网络对视频序列进行特征提取，得到视频序列对应的步态特征。
三维卷积神经网络的网络架构：三维卷积神经网络包括至少一个卷积层，每个卷积层包括至少一个三维卷积核，任两个相邻的卷积层为局部连接关系，该局部连接关系是指两个相邻的卷积层中，上一个卷积层的三维卷积核与下一个卷积层的部分三维卷积核连接。以数学的方式描述，假设三维卷积神经网络包括n个卷积层，对于这n个卷积层中的第i个卷积层来说，第i个卷积层中的每个三维卷积核与第i+1层中的部分三维卷积核连接。其中，n和i为正整数，且i＜n。
三维卷积核：可以理解为视频序列的一个特征提取单元，三维卷积核是具有空间维度和时间维度的卷积核，三维卷积核的权重是一个维度大于1的张量，可以将三维卷积核理解为一个小立方体。例如，假设某个三维卷积核的尺寸为6*6*3，即尺寸在空间维度上取6*6，时间维度上取3，则这个三维卷积核可以看作3个大小为6*6的权重矩阵组成的立方体。为了与后文中的二维卷积核区分描述，在此将三维卷积核对应的权重称为权重立方体。
具体来说，通过三维卷积神经网络的任一个卷积层的任一个三维卷积核，进行三维卷积处理的过程可以包括以下步骤一至步骤三：
步骤一、将视频序列转换为特征立方体。
视频序列包括多帧图像，而每帧图像可以包括多个通道，该多个通道包括而不限于灰度、x方向的梯度、y方向的梯度、x方向的光流以及y方向的光流等，可以将视频序列输入至卷积层，对视频序列的每帧图像的每个通道进行卷积处理，将每帧图像均转换为特征图，从而得到多个特征图，可以将该多个特征图转换为特征立方体。其中，特征立方体指示了视频序列的特征，例如，靠前的卷积层输出的特征立方体可以指示视频序列的较为底层的特征，而靠后的卷积层输出的特征立方体可以指示视频序列的较为高层、复杂的特征。
步骤二、将特征立方体输入至任一个层的任一个神经元，基于该三维卷积核的权重立方体，对特征立方体以及权重立方体进行卷积处理，输出三维卷积核的特征立方体。
其中，对特征立方体以及权重立方体进行卷积处理的过程，可以理解为权重立方体在特征立方体内部进行滑动的过程，可以基于三维卷积核的权重立方体，在每帧图像的每个通道上分别进行卷积处理，得到多个特征图，组合为特征立方体。
步骤三、将特征立方体输入至下一个层。
当视频序列经过各个卷积层后，经过一次次三维卷积处理，视频序列对应的特征立方体的数量会越来越多，特征立方体的尺寸也会越来越小。而三维卷积神经网络的最后一个卷积层可以主要由二维卷积核组成，当特征立方体到达最后一个卷积层时，可以将特征立方体输入至最后一个卷积层，基于最后一个卷积层的二维卷积核对特征立方体进行卷积处理，从而将特征立方体转换为特征图，例如可以将特征立方体转换为尺寸为1*1大小的特征图，输出至全连接层，当将特征图输入至全连接层后，可以通过全连接层，可以对大量的特征图进行线性变换以及非线性变换，得到一维的特征向量。当三维卷积神经网络的全连接层输出特征向量时，可以将该全连接层输出的特征向量，输出为视频序列对应的步态特征。
需要说明的是，上述仅是以采用三维卷积神经网络提取步态特征为例进行描述，在一种可能的实现中，也可以采用其他类型的神经网络提取步态特征。例如，可以采用2DCNN+长短期记忆网络(Long Short-Term Memory，以下简称：LSTM)层来提取步态特征。具体来说，可以对二维卷积神经网络与LSTM层连接，例如将LSTM层连接在最后一个卷积层之后，将该二维卷积神经网络与LSTM层的组合作为步态特征识别模型。那么，将视频序列输入至这种步态特征识别模型后，可以获取LSTM层输出的特征向量，将该特征向量作为视频序列提取的步态特征。
303、计算机设备将目标行人的步态特征输入到步态足迹转换模型，输出目标行人的足迹特征。
本实施例中，考虑到步态特征和足迹特征都属于运动特征，同一个人的步态特征和足迹特征具有一定程度的相关性，设计了步态足迹转换模型，该步态足迹转换模型具有特征转换的能力，能够将任一行人的步态特征转换为该行人的足迹特征，从而结合步态特征和足迹特征共同识别行人身份。
在一种可能的实现中，该步态足迹转换模型可以通过神经网络实现。具体来讲，神经网络可以通过权重的线性变换以及激活函数的非线性变换，将输入空间映射到输出空间，结合将步态特征转换为足迹特征的任务，可以将步态特征的取值空间作为神经网络的输入空间，将足迹特征的取值空间作为神经网络的输出空间，令神经网络学习从步态特征到足迹特征的映射。
针对步态足迹转换模型的网络架构，步态足迹转换模型包括至少一个层，例如，该步态足迹转换模型至少可以包括输入层和输出层，还可以包括至少一个隐藏层。每个层包括至少一个神经元，每个神经元可以理解为一个能完成非线性转换的处理单元。具体地，每个神经元配置有激活函数，每个神经元可以采用激活函数，对步态特征进行处理并输出，而由于神经元的激活函数通常为非线性函数，因此经过神经元对步态特征进行处理后，能够对步态特征进行非线性转换。其中，该激活函数包括而不限于ReLU函数、tanh函数、Sigmoid函数。
举例来说，神经元的基本结构可以如图4所示，神经元和上一层节点之间的每条边配置有权重w，神经元接收到每一个输入x后，会对权重w和输入x相乘，加上一个偏置b后，经过函数f得到输出y，这个f即为激活函数，激活函数的处理过程即为非线性变换，通过经过神经元的处理，可以得到神经元的输出y＝f(w1*x1+w2*x2+b)。
可选地，从步态足迹转换模型中层的数量的角度来说，该步态足迹转换模型可以为多层感知机(MultilayerPerceptron，以下简称：MLP)，该多层感知机是指包括至少一个隐藏层的前馈神经网络，通过一个或多个隐藏层，能够拟合复杂的非线性函数，因此，步态特征经过多层感知机后，能够经过复杂的非线性变换，映射成为足迹特征。进一步地，该步态足迹转换模型可以为深度神经网络(Deep Neural Network，以下简称：DNN)，可以包括大量的隐藏层。进一步地，该步态足迹转换模型可以为编码器解码器(英文全称为：Encoder-Decoder)网络，编码器解码器网络可以理解为一种两端宽、中间窄的多层感知机，因为网络中靠近输入层和输出层的层中，神经元的数量较多，而中间层的神经元的数量较少。其中，编码器解码器网络是指根据输入序列，生成输出序列的网络，编码是指将输入序列转换为固定长度的向量，解码是指将该固定长度的向量转换为输出序列。
针对步态足迹转换模型的内部运算流程，以步态足迹转换模型中任一个层的任一个神经元为例，以下通过步骤(1)至步骤(3)描述该神经元的处理过程。其中，为了与后文中其他神经元的输出结果区分描述，在此将该神经元的输出结果称为第一输出结果。
步骤(1)将步态特征转换为第一特征向量。
为了区分描述，本实施例将步态特征转换成的特征向量称为第一特征向量，将足迹特征转换成的特征向量转换成的特征向量称为第二特征向量。
每个层的每个神经元可以与上一个层的一个或多个神经元连接，可以确定上一个层的神经元的输出结果，将一个或多个输出结果组成第一特征向量。举例来说，假设每个第一输出结果1、2、5，则第一特征向量为(1，2，5)。
步骤(2)将该第一特征向量输入到任一个层的任一个神经元，基于该神经元的权重向量，对该第一特征向量以及该神经元的权重向量进行点积处理，得到中间结果；对该中间结果进行非线性转换，输出该神经元的第一输出结果。
权重向量：由一个或多个权重组成，神经元的权重向量会在模型训练过程中不断调整，训练完成后得以确定。针对进行点积处理的过程，点积处理即为对应相乘再累加的过程，以特征向量为(1，2，5)，权重向量为(0，3，1)为例，对特征向量以及权重向量进行点积处理，即计算1*0+2*3+5*1，则得到中间结果为11。
针对非线性转换的实现方式，可以采用激活函数，对点积的中间结果进行运算，输出第一输出结果。以采用ReLU函数为例，假设中间结果为11，则采用ReLU函数对11进行运算后，第一输出结果＝max(0，11)＝11，假设中间结果为-3，则采用ReLU函数对-3进行运算后，则第一输出结果＝max(0，-3)＝0。
当神经元输出第一输出结果后，可以将第一输出结果输入至下一个层的一个或多个神经元，以便基于下一个层的一个或多个神经元执行非线性变换的过程。依次类推，基于步态足迹转换模型的输出层的每个神经元进行非线性变换，得到第一输出结果后，可以将所述步态足迹转换模型的输出层的至少一个神经元的第一输出结果，输出为目标行人的足迹特征。
综上所述，以上描述了采用神经网络实现时，步态足迹转换模型的网络架构以及运算流程。通过这种实现方式，利用了神经网络强大的非线性转换能力，能够将行人的足迹特征转换为步态特征，完成跨模态的数据转换。
可选地，该步态足迹转换模型可以通过全连接神经网络实现，即，步态足迹转换模型中任意两个相邻层中的神经元为全连接关系，该全连接关系是指两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接。以数学的方式描述，假设步态足迹转换模型包括n个层，对于这n个层中的第i个层来说，第i层中的每个神经元与第i+1层中的所有神经元连接。其中，n和i为正整数，且i＜n。
当通过全连接神经网络实现时，以步态足迹转换模型中任一个层的任一个神经元为例，以下通过(1)至(4)描述该神经元的处理过程。
步骤(1)获取层的上一个层的每个神经元的第二输出结果，将多个第二输出结果作为第一特征向量。
为了与神经元自身处理得到的第一输出结果区分描述，在此将向神经元输入的数据称为第二输出结果，该第二输出结果是位于该神经元所处的层的上一层的神经元的输出结果。
具体来讲，神经元可以与上一个层的所有神经元全部连接，通过上一个层的所有神经元处理得到第二输出结果后，会将上一个层的所有神经元的第二输出结果输入给该神经元，则将所有第二输出结果组成了该神经元待处理的特征向量。举例来说，假设上一个层包括5个神经元，这5个神经元的输出结果依次为1、2、5、0、3，则会将特征向量(1、2、5、0、3)，输入至本层的任一神经元。
步骤(2)基于神经元的权重向量，对特征向量以及权重向量进行点积处理，得到中间结果。
步骤(3)对中间结果进行非线性转换，得到神经元的第一输出结果。
步骤(4)将第一输出结果，输出至下一个层的每个神经元。
本层的任一神经元可以和下一个层的所有神经元全部连接，当神经元输出第一输出结果后，可以将神经元的第一输出结果输出至下一个层的所有神经元。
304、计算机设备根据足迹特征，在足迹数据库中进行查询，得到足迹特征对应的行人身份信息。
行人身份信息用于标识行人的身份，可以为行人的身份证号、姓名、编号等，可以为数字、字母或字符串的组合。足迹数据库用于存储足迹特征和行人身份信息之间的对应关系，可以包括大量的足迹特征以及对应的大量行人身份信息，足迹数据库可以存储在计算机设备本端，例如存储在计算机设备的文件系统中，也可以存储在与计算机设备进行网络连接的云端设备，例如可以存储在一台服务器、多台服务器组成的集群或者云存储系统。
针对计算机设备在足迹数据库中进行查询的具体过程，计算机设备可以根据足迹特征，通过预设查询算法进行查询，该预设查询算法包括而不限于视觉词袋(Bag-of-words，以下简称：BOW)模型、汉明嵌入算法、局部敏感哈希算法、紧凑视觉描述子(CompactDescriptor forVisual Search，以下简称：CDVS)等。
在一种可能的实现中，对于识别出的目标行人的足迹特征与足迹数据库中存储的足迹特征，可以计算两个足迹特征之间的相似度，该相似度越大，可以认为足迹数据库中足迹特征对应的行人身份信息越可信，越有可能为目标行人的行人身份信息，因此，对于足迹数据库存储的大量行人身份信息，可以根据行人身份信息对应的相似度，按照相似度从高到低的顺序进行排序，依次输出每个行人身份信息。
305、计算机设备根据步态特征，在步态数据库中进行查询，得到步态特征对应的行人身份信息。
步态数据库用于存储步态特征和行人身份信息之间的对应关系，可以包括大量的步态特征以及对应的大量行人身份信息。在步态数据库中进行查询的过程与上述步骤304同理，在此不做赘述。
306、计算机设备输出足迹特征对应的行人身份信息以及步态特征对应的行人身份信息。
计算机设备可以同时输出两种特征对应的行人身份信息，另外，还可以在屏幕中显示这两种特征对应的行人身份信息。可选地，可以采用列表的形式，对识别得到的所有行人身份信息进行整理和融合，显示识别结果列表，该识别结果列表可以包括多个行人身份信息、对应的多个视频序列以及多个足迹图像。
需要说明的是，步骤305至步骤306仅为可选步骤，而非必选步骤。
综上所述，请参见图5，其示出了在足迹信息缺失的情况下，通过步态特征转为足迹特征，以通过两种特征共同进行检索的程序流程图。
本发明实施例提供的方法，提供了一种将行人的步态特征转换为行人的足迹特征的方法，在行人没有遗留足迹的情况下，也能通过步态足迹转换模型得到足迹特征，从而根据足迹特征在足迹数据库中进行查询，实现了跨域的特征变换和检索，从而提高识别行人身份的有效信息量，能够增加了破案线索，提升破案率。
图6是本发明实施例提供的一种行人身份识别方法的流程图。该发明实施例的执行主体为计算机设备，参见图6，该方法包括：
601、计算机设备获取目标行人对应的足迹图像。
足迹图像：包含行人足迹信息的图像，包括而不限于行人的鞋底花纹图像、赤足图像、着袜图像等，足迹图像可以通过拍摄设备对足迹进行拍摄后得到，可以由拍摄设备发送给计算机设备。
602、计算机设备对足迹图像进行图像增强以及图像分割。
图像增强是一种处理图像的技术，能够突出图像中有用的信息，扩大图像中不同特征之间的差异，并削弱或去除不需要的信息。通过图像增强，可以令增强后的图像更适合于进一步的图像处理过程。计算机设备得到足迹图像后，可以先对足迹图像进行图像增强，以突出足迹图像中的足迹，保证后续图像分割的过程准确性更高。其中，图像增强的方式包括而不限于增强图像的对比度、图像归一化、图像锐化、增强图像的边缘等。
图像分割(Segmentation)是指从图像中提取出需要的区域的过程，图像分割可以为基于内容的、像素级别的分割技术，即，将包含特定内容的一些像素从图像中提取出来。计算机设备可以对增强了的图像进行图像分割，将足迹图像与图像的背景分割开来，通过图像分割，可以避免图像中的背景信息对足迹特征提取过程的干扰。
603、计算机设备将足迹图像输入至二维卷积神经网络，得到目标行人的足迹特征，二维卷积神经网络用于根据足迹图像识别足迹特征。
本实施例中，采用二维卷积神经网络提取足迹特征，二维卷积神经网络可以预先离线训练得到，当得到足迹图像后，可以调用二维卷积神经网络，将足迹图像输入至二维卷积神经网络中，由二维卷积神经网络对足迹图像进行特征提取，得到足迹图像对应的足迹特征。
具体来说，在二维卷积神经网络内部，任一个卷积层的任一个二维卷积核的运算过程可以包括，将足迹图像转换为特征图，再将特征图输入至二维卷积核，基于二维卷积核的权重矩阵，对特征图以及权重矩阵进行卷积处理，将特征图输出至向下一个层。
当足迹图像经过各个卷积层后，经过一次次二维卷积处理，足迹序列对应的特征图的数量会越来越多，特征图的尺寸也会越来越小，当足迹图像到达全连接层后，可以将足迹图像输入至全连接层，基于全连接层中每个神经元，对大量的特征图进行线性变换以及非线性变换，得到一维的特征向量，当足迹识别模型的全连接层输出特征向量后，可以将该全连接层的特征向量，输出为足迹图像提取的足迹特征。
需要说明的是，对于任一目标行人来说，上述步骤601中可以获取到该目标行人的多幅足迹图像，另外上述步骤602中，任一幅足迹图像经过图像增强和图像分割后可以得到多幅足迹图像，可以将多幅图像分别输入至二维卷积神经网络中，得到多幅图像对应的足迹特征，获取多个足迹特征的平均值，作为目标行人的足迹特征。
603、计算机设备将目标行人的足迹特征输入到足迹步态转换模型，输出目标行人的步态特征。
本实施例中设计了足迹步态转换模型，该足迹步态转换模型具有特征转换的能力，能够将任一行人的足迹特征转换为该行人的步态特征，从而结合步态特征和足迹特征共同识别行人身份。
在一种可能的实现中，该足迹步态转换模型可以通过神经网络实现，具体来讲，神经网络可以通过权重的线性变换以及激活函数的非线性变换，将输入空间映射到输出空间，结合将足迹特征转换为步态特征的任务，可以将足迹特征的取值空间作为神经网络的输入空间，将步态特征的取值空间作为神经网络的输出空间，令神经网络学习从足迹特征到步态特征的映射。可选地，足迹步态转换模型可以为MLP、DNN、编码器解码器网络等。
针对足迹步态转换模型的内部运算流程，在足迹步态转换模型内部，以足迹步态转换模型中任一个层的任一个神经元为例，以下通过步骤(1)至步骤(3)描述该神经元的处理过程。其中，为了与上述实施例中的步态足迹转换模型区分描述，在此将足迹步态转换模型中任一神经元的输出结果称为第三输出结果。
步骤(1)将足迹特征转换为第二特征向量。
本步骤与将步态特征转换为第一特征向量的过程同理，在此不做赘述。
步骤(2)将该第二特征向量输入到任一个层的任一个神经元，基于该神经元的权重向量，对该第二特征向量以及该神经元的权重向量进行点积处理，得到中间结果，对该中间结果进行非线性转换，输出该神经元的第三输出结果。
步骤(3)将足迹步态转换模型的输出层的至少一个神经元的第三输出结果，输出为目标行人的步态特征。
可选地，足迹步态转换模型可以通过全连接神经网络实现。当通过全连接神经网络实现时，以足迹步态转换模型中任一个层的任一个神经元为例，神经元的处理过程可以包括：获取层的上一个层的每个神经元的第四输出结果，将多个第四输出结果作为第二特征向量。基于神经元的权重向量，对第二特征向量以及权重向量进行点积处理，得到中间结果，对中间结果进行非线性转换，输出神经元的第三输出结果，将第三输出结果，输出至层的下一个层的每个神经元。
以此类推，当足迹步态转换模型的输出层的每个神经元输出第三输出结果后，可以将输出层的至少一个第三输出结果，输出为目标行人的步态特征。其中，该步态特征为一个特征向量，特征向量中的每个元素为输出层的一个第三输出结果。
604、计算机设备根据步态特征，在步态数据库中进行查询，得到步态特征对应的行人身份信息。
本步骤与上述步骤305同理，在此不做赘述。
605、计算机设备根据足迹特征，在足迹数据库中进行查询，得到步态特征对应的行人身份信息。
本步骤与上述步骤304同理，在此不做赘述。
606、计算机设备输出步态特征对应的行人身份信息以及足迹特征对应的行人身份信息。
本步骤与上述步骤306同理，在此不做赘述。
需要说明的是，步骤605至步骤606仅为可选步骤，而非必选步骤。
综上所述，请参见图7，其示出了在步态信息缺失的情况下，通过足迹特征转为步态特征，以通过两种特征共同进行检索的程序流程图。
本发明实施例提供的方法，提供了一种将行人的足迹特征转换为行人的步态特征的方法，在没有采集到行人的视频的情况下，也能通过足迹步态转换模型得到步态特征，从而根据步态特征在步态数据库中进行查询，实现了跨域的特征变换和检索，从而提高识别行人身份的有效信息量，能够增加破案线索，提升破案率。
以下，对上述实施例中用于提取步态特征的三维卷积神经网络的训练过程、用于提取足迹特征的二维卷积神经网络的训练过程、步态足迹转换模型的训练过程以及足迹步态转换模型的训练过程进行描述：
图8是本发明实施例提供的一种三维卷积神经网络的训练方法的流程图。该发明实施例的执行主体为计算机设备，参见图8，该方法包括：
801、获取多个第一样本对，每个第一样本对包括样本视频序列以及对应的样本行人身份信息。
第一样本对中的样本视频序列是三维卷积神经网络需要识别的对象，第一样本对中的样本行人身份信息是第一样本对的类别，即第一样本对的标签(label)。针对第一样本对的来源，可以采集样本行人在不同角度，不同服饰，不同鞋子条件下的视频序列，得到多个样本视频序列，并获取样本行人的行人身份信息，得到样本行人身份信息，将同一样本行人的视频序列以及样本行人身份信息组成一个第一样本对。
802、对于每个第一样本对，将第一样本对中的样本视频序列输入到初始三维卷积神经网络，输出行人身份信息。
803、根据行人身份信息与第一样本对中的样本行人身份信息之间的偏差，更新初始三维卷积神经网络的模型参数，直至初始三维卷积神经网络输出的行人身份信息与对应的样本行人身份信息之间的偏差小于预设阈值为止。
综上所述，请参见图9，图9是本发明实施例提供的一种三维卷积神经网络的训练方法的流程图。
图10是本发明实施例提供的一种二维卷积神经网络的训练方法的流程图。该发明实施例的执行主体为计算机设备，该方法包括：
1001、获取多个第二样本对，每个第二样本对包括样本足迹图像以及对应的样本行人身份信息。
针对第二样本对的来源，可以采集样本行人在不同角度，不同服饰，不同鞋子条件下的足迹图像，得到多个样本足迹图像，并获取样本行人的行人身份信息，得到样本行人身份信息，将同一样本行人的足迹图像以及样本行人身份信息组成一个第二样本对。
需要说明的是，与上述步骤702同理，样本足迹图像可以先经过图像增强以及图像分割，采用增强和分割后的样本足迹图像进行模型训练。
1002、对于每个第二样本对，将第二样本对中的样本足迹图像输入到初始二维卷积神经网络，输出行人身份信息。
1003、根据行人身份信息与第二样本对中的样本行人身份信息之间的偏差，更新初始二维卷积神经网络的模型参数，直至初始二维卷积神经网络输出的行人身份信息与对应的样本行人身份信息之间的偏差小于预设阈值为止。
当训练得到二维卷积神经网络后，可以将样本足迹图像输入至二维卷积神经网络，获取二维卷积神经网络的全连接层输出的特征向量，将特征向量作为样本足迹图像对应的样本足迹特征。依次类推，通过将大量的样本足迹图像分别输入至二维卷积神经网络，可以得到大量的样本足迹特征，以便通过该大量的样本足迹特征，训练步态足迹转换模型以及足迹步态转换模型。
综上所述，请参见图11，图11示出了对二维卷积神经网络进行模型训练的程序流程图。
本实施例中，步态足迹转换模型可以由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。以下通过图12实施例具体描述。
图12是本发明实施例提供的一种步态足迹转换模型的训练方法的流程图。该发明实施例的执行主体为计算机设备，参见图12，该方法包括：
1201、获取多个样本特征对，每个样本特征对包括同一样本行人的样本步态特征以及样本足迹特征。
具体来说，通过上述图8实施例训练得到的三维卷积神经网络，可以得到每个样本行人的样本步态特征，通过上述图10实施例训练得到的二维卷积神经网络，可以得到每个样本行人的样本足迹特征，可以将同一样本行人对应的样本步态特征以及样本足迹特征组成一个样本特征对。
1202、对于每个样本特征对，将样本特征对中的样本步态特征输入到初始步态足迹转换模型，输出足迹特征。
1203、根据足迹特征与样本特征对中的样本足迹特征之间的偏差，更新初始步态足迹转换模型的模型参数，直至初始步态足迹转换模型输出的足迹特征与对应的样本足迹特征之间的偏差小于预设阈值为止。
对初始步态足迹转换模型进行训练的过程与对初始足迹步态转换模型进行训练的过程同理，在此不做赘述。
综上所述，请参见图13，图13示出了对步态足迹转换模型进行模型训练的程序流程图。
本实施例中，足迹步态转换模型可以由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。以下通过图14实施例具体阐述。
图14是本发明实施例提供的一种足迹步态转换模型的训练方法的流程图。该发明实施例的执行主体为计算机设备，参见图14，该方法包括：
1401、获取多个样本特征对，每个样本特征对包括同一样本行人的样本步态特征以及样本足迹特征。
本步骤与上述步骤1201同理，在此不做赘述。
1402、对于每个样本特征对，将样本特征对中的样本足迹特征输入到初始足迹步态转换模型，输出步态特征。
本步骤与上述步骤1202同理，在此不做赘述。
1403、根据步态特征与样本特征对中的样本步态特征之间的偏差，更新初始足迹步态转换模型的模型参数，直至初始足迹步态转换模型输出的步态特征与对应的样本步态特征之间的偏差小于预设阈值为止。
本步骤与上述步骤1203同理，在此不做赘述。
请参见图15，图15示出了对足迹步态转换模型进行模型训练的程序流程图。
图16是本发明实施例提供的一种行人身份识别装置的结构示意图。参见图16，该装置包括：获取模块1601、特征转换模块1602以及查询模块1603。
获取模块1601，用于执行上述步骤101；
特征转换模块1602，用于执行上述步骤102或步骤303；
查询模块1603，用于执行上述步骤103或步骤304。
本发明实施例提供的装置，提供了一种将行人的步态特征转换为行人的足迹特征的方法，在行人没有遗留足迹的情况下，也能通过步态足迹转换模型得到足迹特征，从而根据足迹特征在足迹数据库中进行查询，实现了跨域的特征变换和检索，从而提高识别行人身份的有效信息量，能够增加了破案线索，提升破案率。
在一种可能的实现中，该特征转换模块1602，包括：
转换子模块，用于执行上述步骤303中的步骤(1)；
神经元运算子模块，用于执行上述步骤303的步骤(2)；
输出子模块，用于执行上述步骤303的步骤(3)。
在一种可能的实现中，该步态足迹转换模型由多个样本特征对通过模型训练得到。
在一种可能的实现中，该获取模块1601，包括：
获取子模块，用于执行上述步骤301。
步态识别子模块，用于执行上述步骤302。
图17是本发明实施例提供的一种行人身份识别装置的结构示意图。参见图17，该装置包括：获取模块1701、特征转换模块1702以及查询模块1703。
获取模块1701，用于执行上述步骤201；
特征转换模块1702，用于执行上述步骤202或步骤603；
查询模块1703，用于执行上述步骤203或步骤604。
本发明实施例提供的装置，提供了一种将行人的足迹特征转换为行人的步态特征的方法，在没有采集到行人的视频的情况下，也能通过足迹步态转换模型得到步态特征，从而根据步态特征在步态数据库中进行查询，实现了跨域的特征变换和检索，从而提高识别行人身份的有效信息量，能够增加破案线索，提升破案率。
在一种可能的实现中，该特征转换模块1702，包括：
转换子模块，用于执行上述步骤603中的步骤(1)；
神经元运算子模块，用于执行上述步骤603的步骤(2)；
输出子模块，用于执行上述步骤603的步骤(3)。
在一种可能的实现中，该足迹步态转换模型由多个样本特征对通过模型训练得到。
在一种可能的实现中，该获取模块1701，包括：
获取子模块，用于执行上述步骤601；
特征识别子模块，用于执行上述步骤603。
需要说明的是：上述实施例提供的行人身份识别装置在识别行人身份时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的行人身份识别装置与行人身份识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图18是本发明实施例提供的一种计算机设备的结构示意图，该计算机设备1800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)1801和一个或一个以上的存储器1802，其中，该存储器1802中存储有至少一条指令，该至少一条指令由该处理器1801加载并执行以实现上述各个方法实施例提供的行人身份识别方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由计算机设备中的处理器执行以完成上述实施例中的行人身份识别方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上该仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (24)
1.一种行人身份识别方法，其特征在于，所述方法包括：
获取目标行人的步态特征；
将所述步态特征输入到步态足迹转换模型，输出所述目标行人的足迹特征所述步态足迹转换模型用于将行人的步态特征转换为所述行人的足迹特征；
根据所述足迹特征，在足迹数据库中进行查询，得到所述足迹特征对应的行人身份信息。
2.根据权利要求1所述的方法，其特征在于，所述步态足迹转换模型包括至少一个层，每个层包括至少一个神经元，所述将所述步态特征输入到步态足迹转换模型，输出所述目标行人的足迹特征，包括：
将所述步态特征转换为第一特征向量；
将所述第一特征向量输入到任一个层的任一个神经元，基于所述神经元的权重向量，对所述第一特征向量以及所述神经元的权重向量进行点积处理，得到中间结果；对所述中间结果进行非线性转换，输出所述神经元的第一输出结果；
将所述步态足迹转换模型的输出层的至少一个神经元的第一输出结果，输出为所述目标行人的足迹特征。
3.根据权利要求2所述的方法，其特征在于，所述步态足迹转换模型中任意两个相邻层中的神经元为全连接关系，所述全连接关系是指所述两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
所述将所述步态特征转换为第一特征向量，包括：
获取所述层的上一个层的每个神经元的第二输出结果，将多个第二输出结果作为所述第一特征向量；
所述对所述中间结果进行非线性转换，输出所述神经元的第一输出结果，包括：
将所述第一输出结果，输出至所述层的下一个层的每个神经元。
4.根据权利要求1所述的方法，其特征在于，所述步态足迹转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
5.根据权利要求1所述的方法，其特征在于，所述获取行人的步态特征，包括：
获取所述行人对应的视频序列；
将所述视频序列输入至三维卷积神经网络，获取所述三维卷积神经网络的全连接层输出的特征向量，作为所述行人的步态特征，所述三维卷积神经网络用于根据视频序列识别步态特征。
6.一种行人身份识别方法，其特征在于，所述方法包括：
获取目标行人的足迹特征；
将所述足迹特征输入到足迹步态转换模型，输出所述目标行人的步态特征，所述足迹步态转换模型用于将行人的足迹特征转换为所述行人的步态特征；
根据所述步态特征，在步态数据库中进行查询，得到所述步态特征对应的行人身份信息。
7.根据权利要求6所述的方法，其特征在于，所述足迹步态转换模型包括至少一个层，每个层包括至少一个神经元，所述将所述足迹特征输入到足迹步态转换模型，输出所述目标行人的步态特征，包括：
将所述足迹特征转换为第二特征向量；
将所述第二特征向量输入到任一个层的任一个神经元，基于所述神经元的权重向量，对所述第二特征向量以及所述神经元的权重向量进行点积处理，得到中间结果；对所述中间结果进行非线性转换，输出所述神经元的第三输出结果；
将所述足迹步态转换模型的输出层的至少一个神经元的第三输出结果，输出为所述目标行人的步态特征。
8.根据权利要求7所述的方法，其特征在于，所述足迹步态转换模型中任意两个相邻层中的神经元为全连接关系，所述全连接关系是指所述两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
所述将所述足迹特征转换为第二特征向量，包括：
获取所述层的上一个层的每个神经元的第四输出结果，将多个第四输出结果作为所述第二特征向量；
所述对所述中间结果进行非线性转换，输出所述神经元的第三输出结果，包括：
将所述第三输出结果，输出至所述层的下一个层的每个神经元。
9.根据权利要求6所述的方法，其特征在于，所述足迹步态转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
10.根据权利要求6所述的方法，其特征在于，所述获取行人的足迹特征，包括：
获取所述目标行人对应的足迹图像；
将所述足迹图像输入至二维卷积神经网络，获取所述二维卷积神经网络的全连接层输出的特征向量，作为所述目标行人的足迹特征，所述二维卷积神经网络用于根据足迹图像识别足迹特征。
11.一种行人身份识别装置，其特征在于，所述装置包括：
获取模块，用于获取目标行人的步态特征；
特征转换模块，用于将所述步态特征输入到步态足迹转换模型，输出所述目标行人的足迹特征，所述步态足迹转换模型用于将行人的步态特征转换为所述行人的足迹特征；
查询模块，用于根据所述足迹特征，在足迹数据库中进行查询，得到所述足迹特征对应的行人身份信息。
12.根据权利要求11所述的装置，其特征在于，所述步态足迹转换模型包括至少一个层，每个层包括至少一个神经元，所述特征转换模块，包括：
转换子模块，用于将所述步态特征转换为第一特征向量；
神经元运算子模块，用于将所述第一特征向量输入到任一个层的任一个神经元，基于所述神经元的权重向量，对所述第一特征向量以及所述神经元的权重向量进行点积处理，得到中间结果；对所述中间结果进行非线性转换，输出所述神经元的第一输出结果；
输出子模块，用于将所述步态足迹转换模型的输出层的至少一个神经元的第一输出结果，输出为所述目标行人的足迹特征。
13.根据权利要求12所述的装置，其特征在于，所述步态足迹转换模型中任意两个相邻层中的神经元为全连接关系，所述全连接关系是指所述两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
所述转换子模块，用于获取所述层的上一个层的每个神经元的第二输出结果，将多个第二输出结果作为所述特征向量；
所述输出子模块，用于将所述第一输出结果，输出至所述层的下一个层的每个神经元。
14.根据权利要求11所述的装置，其特征在于，所述步态足迹转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
15.根据权利要求11所述的装置，其特征在于，所述获取模块，包括：
获取子模块，用于获取所述行人对应的视频序列；
步态识别子模块，用于将所述视频序列输入至三维卷积神经网络，获取所述三维卷积神经网络的全连接层输出的特征向量，作为所述行人的步态特征，所述三维卷积神经网络用于根据视频序列识别步态特征。
16.一种行人身份识别装置，其特征在于，所述装置包括：
获取模块，用于获取目标行人的足迹特征；
特征转换模块，用于将所述足迹特征输入到足迹步态转换模型，输出所述目标行人的步态特征，所述足迹步态转换模型用于将行人的足迹特征转换为所述行人的步态特征；
查询模块，用于根据所述步态特征，在步态数据库中进行查询，得到所述步态特征对应的行人身份信息。
17.根据权利要求16所述的装置，其特征在于，所述足迹步态转换模型包括至少一个层，每个层包括至少一个神经元，所述特征转换模块，包括：
转换子模块，用于将所述足迹特征转换为第二特征向量；
神经元运算子模块，用于将所述第二特征向量输入到任一个层的任一个神经元，基于所述神经元的权重向量，对所述第二特征向量以及所述神经元的权重向量进行点积处理，得到中间结果；对所述中间结果进行非线性转换，输出所述神经元的第三输出结果；
输出子模块，用于将所述足迹步态转换模型的输出层的至少一个神经元的第三输出结果，输出为所述目标行人的步态特征。
18.根据权利要求17所述的装置，其特征在于，所述足迹步态转换模型中任意两个相邻层中的神经元为全连接关系，所述全连接关系是指所述两个相邻层中上一个层的任一神经元与下一个层的每个神经元均连接；
所述转换子模块，用于获取所述层的上一个层的每个神经元的第四输出结果，将多个第四输出结果作为所述第二特征向量；
所述输出子模块，用于将所述第三输出结果，输出至所述层的下一个层的每个神经元。
19.根据权利要求16所述的装置，其特征在于，所述足迹步态转换模型由多个样本特征对通过模型训练得到，每个样本特征对包括同一样本行人的样本足迹特征以及样本步态特征。
20.根据权利要求16所述的装置，其特征在于，所述获取模块，包括：
获取子模块，用于获取所述目标行人对应的足迹图像；
特征识别子模块，用于将所述足迹图像输入至二维卷积神经网络，获取所述二维卷积神经网络的全连接层输出的特征向量，作为所述目标行人的足迹特征，所述二维卷积神经网络用于根据足迹图像识别足迹特征。
21.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求5任一项所述的行人身份识别方法所执行的操作。
22.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求6至权利要求10任一项所述的行人身份识别方法所执行的操作。
23.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的行人身份识别方法所执行的操作。
24.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求6至权利要求10任一项所述的行人身份识别方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810876429.5A CN110795972A (zh) | 2018-08-03 | 2018-08-03 | 行人身份识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810876429.5A CN110795972A (zh) | 2018-08-03 | 2018-08-03 | 行人身份识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110795972A true CN110795972A (zh) | 2020-02-14 |
Family
ID=69425602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810876429.5A Pending CN110795972A (zh) | 2018-08-03 | 2018-08-03 | 行人身份识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795972A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257662A (zh) * | 2020-11-12 | 2021-01-22 | 安徽大学 | 一种基于深度学习的压力足迹图像检索系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010007430A1 (en) * | 2008-07-15 | 2010-01-21 | The University Of Sheffield | Shoeprint identification system |
| CN102184539A (zh) * | 2011-04-29 | 2011-09-14 | 王靖中 | 基于图像处理技术的平面足迹检测分析系统及其方法 |
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| CN102697508A (zh) * | 2012-04-23 | 2012-10-03 | 中国人民解放军国防科学技术大学 | 采用单目视觉的三维重建来进行步态识别的方法 |
| CN103126685A (zh) * | 2011-11-24 | 2013-06-05 | 刘树权 | 足迹生物特征检验 |
| CN105574510A (zh) * | 2015-12-18 | 2016-05-11 | 北京邮电大学 | 一种步态识别方法及装置 |
| CN106845516A (zh) * | 2016-12-07 | 2017-06-13 | 大连海事大学 | 一种基于多样本联合表示的足迹图像识别方法 |
| CN107045623A (zh) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
| CN107103277A (zh) * | 2017-02-28 | 2017-08-29 | 中科唯实科技（北京）有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
-
2018
- 2018-08-03 CN CN201810876429.5A patent/CN110795972A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010007430A1 (en) * | 2008-07-15 | 2010-01-21 | The University Of Sheffield | Shoeprint identification system |
| CN102184539A (zh) * | 2011-04-29 | 2011-09-14 | 王靖中 | 基于图像处理技术的平面足迹检测分析系统及其方法 |
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| CN103126685A (zh) * | 2011-11-24 | 2013-06-05 | 刘树权 | 足迹生物特征检验 |
| CN102697508A (zh) * | 2012-04-23 | 2012-10-03 | 中国人民解放军国防科学技术大学 | 采用单目视觉的三维重建来进行步态识别的方法 |
| CN105574510A (zh) * | 2015-12-18 | 2016-05-11 | 北京邮电大学 | 一种步态识别方法及装置 |
| US9633268B1 (en) * | 2015-12-18 | 2017-04-25 | Beijing University Of Posts And Telecommunications | Method and device for gait recognition |
| CN106845516A (zh) * | 2016-12-07 | 2017-06-13 | 大连海事大学 | 一种基于多样本联合表示的足迹图像识别方法 |
| CN107045623A (zh) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
| CN107103277A (zh) * | 2017-02-28 | 2017-08-29 | 中科唯实科技（北京）有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
Non-Patent Citations (8)
| Title |
|---|
| MURUKESH, C. ET.AL.: "Secured Authentication through Integration of Gait and Footprint for Human Identification", 《JOURNAL OF ELECTRICAL ENGINEERING AND TECHNOLOGY》, 1 November 2014 (2014-11-01) * |
| 张秋红等: "基于特征融合和神经网络对步态识别仿真研究", 《计算机仿真》 * |
| 张秋红等: "基于特征融合和神经网络对步态识别仿真研究", 《计算机仿真》, 31 August 2012 (2012-08-31) * |
| 杨春生等: "一种可用于入侵防范的步态识别方法研究", 《计算机应用与软件》 * |
| 杨春生等: "一种可用于入侵防范的步态识别方法研究", 《计算机应用与软件》, 31 March 2017 (2017-03-31) * |
| 王欣: "基于卷积神经网络与足底压力信息的步态识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王欣: "基于卷积神经网络与足底压力信息的步态识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 October 2015 (2015-10-15) * |
| 韩九强: "《机器视觉智能组态软件XAVIS及应用》", 西安交通大学出版社, pages: 289 - 291 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257662A (zh) * | 2020-11-12 | 2021-01-22 | 安徽大学 | 一种基于深度学习的压力足迹图像检索系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866140B (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| Liu et al. | Localization guided learning for pedestrian attribute recognition | |
| WO2021043168A1 (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| IL267116A (en) | A system and method for sharing a cnn neural network layer | |
| CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
| CN110765860A (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
| CN113434716B (zh) | 一种跨模态信息检索方法和装置 | |
| CN112232164A (zh) | 一种视频分类方法和装置 | |
| CN111339343A (zh) | 图像检索方法、装置、存储介质及设备 | |
| Fang et al. | Deep3DSaliency: Deep stereoscopic video saliency detection model by 3D convolutional networks | |
| CN112200041B (zh) | 视频动作识别方法、装置、存储介质与电子设备 | |
| US20210117687A1 (en) | Image processing method, image processing device, and storage medium | |
| CN111783506A (zh) | 目标特征的确定方法、装置和计算机可读存储介质 | |
| CN111444370A (zh) | 图像检索方法、装置、设备及其存储介质 | |
| CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
| CN114693624A (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| Kompella et al. | A semi-supervised recurrent neural network for video salient object detection | |
| CN113688804B (zh) | 基于多角度视频的动作识别方法及相关设备 | |
| CN114299304B (zh) | 一种图像处理方法及相关设备 | |
| Al-Jubouri et al. | A comparative analysis of automatic deep neural networks for image retrieval | |
| CN114519863A (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
| Tagore et al. | T-MAN: a neural ensemble approach for person re-identification using spatio-temporal information | |
| Rajappan et al. | A composite framework of deep multiple view human joints feature extraction and selection strategy with hybrid adaptive sunflower optimization‐whale optimization algorithm for human action recognition in video sequences | |
| CN110795972A (zh) | 行人身份识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200214 |