CN112560720A - 一种行人识别方法及系统 - Google Patents
一种行人识别方法及系统 Download PDFInfo
- Publication number
- CN112560720A CN112560720A CN202011520430.8A CN202011520430A CN112560720A CN 112560720 A CN112560720 A CN 112560720A CN 202011520430 A CN202011520430 A CN 202011520430A CN 112560720 A CN112560720 A CN 112560720A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- human body
- pedestrian
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种行人识别方法及系统，包括步骤：S1、获取包含有行人正脸的行人RGB图像并输入至检测架构，获得人脸图像和人体图像；S2、将人脸图像和人体图像分别输入至不同的神经网络进行特征提取，获取人脸特征图像和人体特征图像，进行合并得到第一人脸‑人体特征图像；S3、利用通道注意力机制获取第一人脸‑人体特征图像的每个通道的权重，并获取第二人脸‑人体特征图像；S4、根据第二人脸‑人体特征图像的特征，在预设的特征库中进行比对，确认行人的ID。本发明通过不同架构的网络模型提取人脸和人体特征，并进行特征融合，根据融合特征对行人进行识别，提高了识别效率，且保证人脸与人体的对应关系，解决了特征检索中鲁棒性的问题。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种行人识别方法及系统。
背景技术
行人识别(也称：行人检测，Pedestrian Detection)是利用计算机视觉技术判断场景中或者视频序列中是否存在行人并给予精确定位。随着AI人工智能技术的发展，行人识别技术开始得到广泛应用，但是，如果行人距离采集设备太远，则将导致采集设备采集到的人脸特征数据不够准确可靠，进而导致行人识别会发生误差，识别效果不准确，以致于仅使用人脸特征进行识别的行人识别模型的鲁棒性不佳，若能综合人脸识别与人体识别的结果来进行行人识别，则将可避免距离远的问题。
而现有技术中，人脸识别和人体识别二者一般是单独进行的，如此导致独立检测的人脸和人体缺乏对应关系，难以结合在一起使用，且人脸识别和人体识别的检测和校正结果都需要分开进行，从而增加了额外的计算量，占用过多的资源。
上述背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种行人识别方法及系统，以解决上述背景技术问题中的至少一种问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种行人识别方法，包括如下步骤：
S1、获取包含有行人正脸的行人RGB图像并输入至检测架构，基于所述检测架构获得人脸图像和人体图像；
S2、将所述人脸图像和所述人体图像分别输入至不同的神经网络进行特征提取，获取人脸特征图像和人体特征图像，并进行合并得到第一人脸-人体特征图像；
S3、利用通道注意力机制获取所述第一人脸-人体特征图像的每个通道的权重，并获取到第二人脸-人体特征图像；
S4、根据所述第二人脸-人体特征图像的特征，在预设的特征库中进行比对，确认行人的ID。
在一些实施例中，步骤S1包括：
S10、将所述包含有行人正脸的行人RGB图像输入至所述检测架构的主干网络结构，输出RGB特征图像；其中，所述主干网络结构包括有多个卷积结构；
S11、从基于步骤S10中的所述卷积结构中提取有效特征图像，对所述有效特征图像进行人脸和/或人体区域检测，获取人脸和/或人体区域图像。
在一些实施例中，步骤S10中还包括：将所述包括有行人正脸的行人RGB 图像进行归一化处理，归一化处理后后再输入至所述检测架构。
在一些实施例中，步骤S3包括：
S30、利用所述第一人脸-人体特征图像构建所述通道注意力机制的输入特征图像；
S31、通过全局池化将所述第一人脸-人体特征图像的每个通道的二维特征压缩为一个实数；
S32、将基于步骤S31压缩后的特征图像传递至瓶颈结构，获取所述每个通道的权重参数；
S33、将基于步骤S32所得到的权重加权至所述每个通道的特征上，并将加权后的值赋予所述通道注意力机制的所述输入特征图像，获取所述第二人脸-人体特征图像。
在一些实施例中，步骤S4包括：
S40、将所述第二人脸-人体特征图像的特征输入至全连接层，其中，所述全连接层由多个神经元构成，利用所述全连接层将人脸-人体特征连接生成一个与所述神经元的数量相同的维度的特征；
S41、将基于步骤S40获取的特征与预设的特征库中的特征进行比对，寻找高相似度的特征，并确认行人的ID。
在一些实施例中，还包括步骤：
S5、将所述第二人脸-人体特征图像和预存训练集的特征输入至损失函数进行计算，更新迭代训练方法模型。
本发明实施例另一技术方案为：
一种行人识别系统，包括：
采集模块，用于采集包含有行人正脸的行人RGB图像；
图像检测模块，其包括有人脸-人体检测架构，以用于根据所述行人RGB 图像检测人脸和/或人体，并获取人脸图像和/或人体图像；
特征提取模块，其包括至少两种不同的神经网络架构，以用于分别提取人脸特征图像和人体特征图像；
图像合并模块，用于对所述人脸特征图像和人体特征图像进行合并，获得第一人脸-人体特征图像；
通道注意力评判模块，用于获取所述第一人脸-人体特征图像的每个通道的权重，进行处理得到第二人脸-人体特征图像；
特征比对模块，用于根据所述第二人脸-人体特征图像的特征，在预设的特征库中进行比对，确认行人的ID。
在一些实施例中，还包括监督模块，用于将所述第二人脸-人体特征图像和预存训练集的特征输入至损失函数进行计算，更新迭代方法模型。
在一些实施例中，所述人脸-人体检测架构包括有主干网络结构以及人脸- 人体检测单元；其中，所述主干网络结构包括有多个卷积结构，以用于输出多张有效特征图像；所述人脸-人体检测单元用于对所述有效特征图像进行人脸和/ 或人体区域检测，获取人脸和/或人体区域图像。
在一些实施例中，所述通道注意力评判模块包括有卷积单元、全局池化单元、以及瓶颈结构；其中，所述卷积单元用于构建所述通道注意力机制评判模块的输入特征图像；所述全局池化单元用于将所述第一人脸-人体特征图像的每个通道的二维特征压缩为一个实数；所述瓶颈结构用于获取所述每个通道的权重参数。
本发明技术方案的有益效果是：
相较于现有技术，本发明通过不同架构的网络模型提取人脸和人体特征，并进行特征融合，根据融合特征对行人进行识别，从而提高了识别效率，节约了资源，且保证了人脸与人体的对应关系，解决了特征检索中鲁棒性的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例行人识别方法的流程图示；
图2是根据本发明一个实施例行人识别方法中获取人脸图像和人体图像的流程图示；
图3是根据本发明一个实施例行人识别方法中获取第二人脸-人体特征图像的流程图示；
图4是根据本发明另一个实施例行人识别系统的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1为根据本发明实施例提供的一种行人识别方法的流程示意图，方法包括以下步骤：
S1、获取包含有行人正脸的行人RGB图像并输入至检测架构，基于检测架构获得人脸图像和人体图像；
在一个实施例中，检测架构为基于SSD(Single Shot MultiBox Detector，单次检测器)算法构建的人脸-人体检测架构，利用SSD算法获取多尺度的特征图像进行人脸区域和人体区域检测，例如：大尺度特征图(靠前的特征图)用于检测小物体，而小尺度特征图(靠后的特征图)用于检测大物体；
参照图2所示，具体地，步骤S1包括：
S10、将包含有行人正脸的行人RGB图像输入至检测架构的主干网络结构，输出RGB特征图像；
在一个实施例中，主干网络结构包括基于改进的VGG网络构建的卷积结构，即：第一卷积结构、第二卷积结构、第三卷积结构、第四卷积结构、第五卷积结构以及第六卷积结构。其中，第一卷积结构和第二卷积结构包括2个卷积核为3×3的卷积层和1个卷积核为2×2的最大池化(Pooling)层；第三卷积结构及第四卷积结构包括3个卷积核为3×3的卷积层和1个卷积核为2×2的Pooling 层；第一、第二、第三、第四卷积结构使用的步长均为2；卷积层用于获取输入的RGB图像的特征图像，Pooling层用于对特征图像进行降维，在减少参数的同时，为后面的卷积结构的各个层增加感受野，保存了特征图像的显著特征。应当理解的是，经过Pooling层的降维后的特征图像的维度应与Pooling层连接的下一卷积结构的卷积层的维度保持一致。
在一个实施例中，第五卷积结构包括3个卷积核为3×3的卷积层和1个卷积核为3×3的Pooling层。其中，设置第五卷积结构使用的步长为1，经第五卷积结构的卷积层提取特征后，再经Pooling层获取特征图像，以确保经第五卷积结构输出的特征图像的尺寸不变，并保持与第五卷积结构Pooling层连接的第六卷积结构的卷积层的维度一致，确保检测架构的正常运行；利用第六卷积结构代替全连接层，以输出有效特征图像；其中，第六卷积结构包括1个卷积核为 3×3的卷积层和1个卷积核为1×1的卷积层。
在一个实施例中，主干网络结构还包括有与第六卷积结构串联连接的四个卷积结构，分别为第七卷积结构、第八卷积结构、第九卷积结构以及第十卷积结构，每个卷积结构均包括1个卷积核为1×1的卷积层和1个卷积核为3×3的卷积层。其中，上一卷积结构提取的特征图像传递至第七卷积结构和第八卷积结构的卷积核为1×1的卷积层，进行特征图像的通道数调整，再经过卷积核为 3×3的卷积层进行特征提取；特征图像传递至第九卷积结构和第十卷积结构中卷积核为1×1的卷积层，进行特征图像的通道数调整，并经过卷积核为 3×3的Valid Padding的卷积层，以增加特征图像的像素数量，保证输出有效特征图像。需要说明的是，Valid Padding为当一个n×n的特征图像，利用f×f的卷积核进行卷积，输出的维度为(n-f+1)×(n-f+1)。
在一个实施例中，步骤S10中还包括：将包括行人正脸的行人RGB图像进行归一化处理，归一化为300×300的图像后输入至检测架构，传递至各卷积结构时，输出的特征层[x,y,z]分别为：
[150,150,64]、[75,75,128]、[38,38,256]、[19,19,512]、[19,19,512]、 [19,19,1024]、[10,10,512]、[5,5,256]、[3,3,256]、[1,1,256]。需要说明的是，上述的[x,y,z]中的x和y表示图像的长和宽，z表示通道数。
S11、从基于步骤S10中的卷积结构中提取有效特征图像，对有效特征图像进行人脸和/或人体区域检测，获取人脸和/或人体区域图像。
在一个实施例中，提取第四卷积结构中经过3个卷积核为3×3的卷积层输出的特征图像、第六卷积结构输出的特征图像、第七卷积结构、第八卷积结构、第九卷积结构以及第十卷积结构中经过卷积核为3×3的卷积层输出的特征图像为有效特征图像，共得到六张不同尺寸的有效特征图像；其中，六张有效特征图像的尺寸大小分别为38×38、19×19、10×10、5×5、1×1，对六张不同尺寸的有效特征图像进行人脸和人体检测。因此，即使在图像分辨率低的情况下，也能确保检测的精度。
在一个实施例中，具有不同尺寸的有效特征图像等效于把整幅彩色图像划分成不同大小的网格，不同尺寸的网格上预先设置不同数量先验框，每个先验框代表彩色图像上的一定区域，利用2个卷积核3×3的卷积层对每个先验框进行调整和预测，通过设置置信度的阈值为0.5，对调整后的先验框是否包含人脸和/或人体的概率进行预测，并与阈值进行比对，若先验框的概率大于阈值，则该先验框包含人脸和/或人体，即将该先验框对应于有效特征图像上的区域裁剪为人脸和/或人体图像。应当理解的是，置信度的阈值可根据实际情况进行具体设置，此处不作限制。
S2、将人脸图像和人体图像分别输入不同的神经网络进行特征提取，获取人脸特征图像和人体特征图像，进行合并得到第一人脸-人体特征图像；
人脸图像和人体图像为两个不同的特征，但具有关联性，为了能够更好地学习区分性的特征，分别将人脸图像和人体图像输入至不同架构的神经网络，分别进行特征提取；在一个实施例中，利用Googlenet神经网络对人脸图像进行特征提取以获得人脸特征图像；利用残差网络(ResNet网络)对人体图像进行特征提取以获得人体特征图像，将人脸特征图像和人体特征图像输入至Concat 函数，即将人脸特征图像和人体特征图像在通道方向上直接进行融合，得到第一人脸-人体特征图像。
应当理解的是，不同架构的神经网络不限于上述两种网络，还可以是 SqueezeNet网络或者Mobilent网络，均可针对人脸和/或人体特征图像进行特征提取，本发明实施例中不作特别限制。
S3、利用通道注意力机制获取第一人脸-人体特征图像的每个通道的权重，并获取第二人脸-人体特征图像；
在一个实施例中，通道注意力机制是基于SENet(Squeeze-and-ExcitationNetworks)实现的，假设基于步骤S2获取的人脸-人体特征图像X为H×W×C′，其中H×W为人脸-人体特征图像的尺寸，C′表示人脸-人体特征图像的通道数。
更具体地，参照图3所示，步骤S3包括：
S30、利用第一人脸-人体特征图像构建通道注意力机制的输入特征图像，即通过卷积运算，将通道数为C′的人脸-人体特征图像X变换为通道数为C的输入特征图像U，U为H×W×C，即：
其中，U＝[u1,u2,…,uC]表示输入特征图像U的二维特征的集合，uC表示 U中第C个二维特征，*表示卷积运算，V＝[v,v2,…,vc]表示用于卷积运算的卷积核，
为第C个卷积核的参数，
为二维卷积核，表示 vC的一个单通道作用于对应通道X＝[x1,x2,…,xC′]。
S31、通过全局池化(Global Pooling)将第一人脸-人体特征图像的每个通道的二维特征压缩为一个实数zc；其中，实数zc是根据二维特征的所有值计算所得，在一定程度上具有全局的感受野，压缩后的特征图像表示为1×1×C，实数zc的求解公式为：
S32、传递基于步骤S31压缩后的特征图像传递至瓶颈(Bottleneck)结构，获取每个特征通道的权重参数；
在一个实施例中，瓶颈(Bottleneck)结构包括第一全连接层及第二全连接层两个全连接层，压缩后的特征图像1×1×C通过第一全连接层将特征维度降维至C的
经激活函数激活后再通过第二全连接层恢复至特征维度C，并输出与输入特征同样数目的权重值，使得特征图像具有更多的非线性，便于更好地拟合通道间复杂的相关性，以减少参数量和计算量。
在一个实施例中，步骤S32中还包括：
对输出的权重值进行归一化处理；优选地，通过sigmoid函数将权重值归一化为[0,1]。需要说明的是，还可以通过其他函数将权重值进行归一化处理，归一化的范围亦不仅限于[0,1]，在本发明实施例中，不作特别限制。
S33、将基于步骤S32得到的权重加权至每个通道的特征上，并将加权后的值赋予通道注意力机制的输入特征图像U，获取第二人脸-人体特征图像，如此使得显著的特征增强，不显著的特征减弱，并使得提取到的特征指向性更强。
在一个实施例中，第二人脸-人体特征图像表示为：
其中，
为第二人脸-人体特征图像的二维特征集合， S＝[s1,s2,…,sc]为归一化后的权重的集合。
S4、根据第二人脸-人体特征图像的特征，在预设的特征库中进行比对，确认行人的ID；
具体地，步骤S4包括：
S40、将第二人脸-人体特征图像的特征输入至全连接层，并与步骤S3中的模型网络的最后一个卷积层连接，其中，全连接层由多个神经元构成，利用全连接层将人脸-人体特征连接生成一个与神经元的数量相同的维度的特征，即全连接层特征；
S41、将基于步骤S40获取的全连接层特征与预设的特征库中的特征进行比对，寻找高相似度的特征，并确认行人的ID，其中，预设的特征库中存储着预先采集的人脸-人体特征。
在一些实施例中，还包括如下步骤：
S5、将第二人脸-人体特征图像和预存训练集的特征输入至损失函数进行计算，多次更新迭代训练方法模型，以得到最优方法模型；
具体地，步骤S5包括：
S50、通过逻辑回归，将经过全连接特征平均输入至soft-max层。
在一个实施例中，soft-max层包括与全连接层数量相同的神经元，分别对应于全连接特征是否为同一个人的特征的概率分布；其中，预先设置为同一个人的特征的概率阈值为0.6，若检测出的概率大于阈值时，则全连接特征为同一个人的特征；若小于阈值，则全连接特征非同一个人的特征。应当理解的是，预先设置为同一个人的特征的概率阈值可根据实际情况进行设置，本发明实施例中不作限制。
S51、根据损失函数利用批量梯度下降法进行反向传播，更新模型的学习参数，不断迭代训练方法模型的参数，以得到最优方法模型。
在一个实施例中，损失函数为多分类交叉熵损失函数L，假设L为：
其中，N表示为类别的数量，yik表征指示变量，如果该特征类别和预设训练集中的类别相同，则为1，否则为0；pik表示预测该类别属于类别K的预测概率。
参照图4所示，图4为根据本发明另一实施例提供的一种行人识别系统400 的示意图，系统包括：采集模块401，用于采集包含有行人正脸的行人RGB图像；图像检测模块402，其包括有人脸-人体检测架构，以用于根据行人RGB图像检测人脸和/或人体，并获取人脸图像和/或人体图像；特征提取模块403，其包括至少两种不同的神经网络架构，以用于分别提取人脸特征图像和人体特征图像；图像合并模块404，用于合并人脸特征图像和人体特征图像，获取第一人脸-人体特征图像；通道注意力评判模块405，用于获取第一人脸-人体特征图像的每个通道的权重，进行处理得到第二人脸-人体特征图像；特征比对模块406，用于根据第二人脸-人体特征图像的特征，在预设的特征库中进行比对，确认行人的ID。
在一个实施例中，行人识别系统还包括监督模块，用于将第二人脸-人体特征图像和预存训练集的特征输入至损失函数进行计算，多次更新迭代方法模型。
在一个实施例中，人脸-人体检测架构包括有主干网络结构以及人脸-人体检测单元；其中，主干网络包括有多个卷积结构，以用于输出多张有效特征图像；人脸-人体检测单元用于对有效特征图像进行人脸和/或人体区域检测，获取人脸和/或人体区域图像。
在一个实施例中，特征提取模块403包括：Googlenet神经网络，用于对人脸图像进行特征提取以获得人脸特征图像；利用残差网络(ResNet网络)，用于对人体图像进行特征提取以获得人体特征图像。
在一个实施例中，通道注意力评判模块405包括有卷积单元、全局池化单元、以及瓶颈(Bottleneck)结构；其中，卷积单元用于构建通道注意力机制评判模块405的输入特征图像；全局池化单元用于将第一人脸-人体特征图像的每个通道的二维特征压缩为一个实数；瓶颈(Bottleneck)结构用于获取每个特征通道的权重参数。
需要说明的是，本发明实施例行人识别系统用于执行前述实施例行人识别方法，各模块的具体功能详细描述参见行人识别方法实施例中的描述，在此不再赘述。
本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案的行人识别方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的行人识别方法。
可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。
Claims (10)
1.一种行人识别方法，其特征在于，包括如下步骤：
S1、获取包含有行人正脸的行人RGB图像并输入至检测架构，基于所述检测架构获得人脸图像和人体图像；
S2、将所述人脸图像和所述人体图像分别输入至不同的神经网络进行特征提取，获取人脸特征图像和人体特征图像，以进行合并得到第一人脸-人体特征图像；
S3、利用通道注意力机制获取所述第一人脸-人体特征图像的每个通道的权重，并获取第二人脸-人体特征图像；
S4、根据所述第二人脸-人体特征图像的特征，在预设的特征库中进行比对，确认行人的ID。
2.如权利要求1所述的行人识别方法，其特征在于，步骤S1包括：
S10、将所述包含有行人正脸的行人RGB图像输入至所述检测架构的主干网络结构，输出RGB特征图像；其中，所述主干网络结构包括有多个卷积结构；
S11、从基于步骤S10中的所述卷积结构中提取有效特征图像，对所述有效特征图像进行人脸和/或人体区域检测，获取人脸和/或人体区域图像。
3.如权利要求2所述的行人识别方法，其特征在于，步骤S10中还包括：将所述包括有行人正脸的行人RGB图像进行归一化处理，归一化处理后后再输入至所述检测架构。
4.如权利要求1所述的行人识别方法，其特征在于，步骤S3包括：
S30、利用所述第一人脸-人体特征图像构建所述通道注意力机制的输入特征图像；
S31、通过全局池化将所述第一人脸-人体特征图像的每个通道的二维特征压缩为一个实数；
S32、将基于步骤S31压缩后的特征图像传递至瓶颈结构，获取所述每个通道的权重参数；
S33、将基于步骤S32所得到的权重加权至所述每个通道的特征上，并将加权后的值赋予所述通道注意力机制的所述输入特征图像，获取所述第二人脸-人体特征图像。
5.如权利要求1所述的行人识别方法，其特征在于，步骤S4包括：
S40、将所述第二人脸-人体特征图像的特征输入至全连接层，其中，所述全连接层由多个神经元构成，利用所述全连接层将人脸-人体特征连接生成一个与所述神经元的数量相同的维度的特征；
S41、将基于步骤S40获取的特征与预设的特征库中的特征进行比对，寻找高相似度的特征，并确认行人的ID。
6.如权利要求1所述的行人识别方法，其特征在于，还包括步骤：
S5、将所述第二人脸-人体特征图像和预存训练集的特征输入至损失函数进行计算，更新迭代训练方法模型。
7.一种行人识别系统，其特征在于，包括：
采集模块，用于采集包含有行人正脸的行人RGB图像；
图像检测模块，其包括有人脸-人体检测架构，以用于根据所述行人RGB图像检测人脸和/或人体，并获取人脸图像和/或人体图像；
特征提取模块，其包括至少两种不同的神经网络架构，以用于分别提取人脸特征图像和人体特征图像；
图像合并模块，用于对所述人脸特征图像和人体特征图像进行合并，获得第一人脸-人体特征图像；
通道注意力评判模块，用于获取所述第一人脸-人体特征图像的每个通道的权重，进行处理得到第二人脸-人体特征图像；
特征比对模块，用于根据所述第二人脸-人体特征图像的特征，在预设的特征库中进行比对，确认行人的ID。
8.如权利要求7所述的行人识别系统，其特征在于：还包括监督模块，用于将所述第二人脸-人体特征图像和预存训练集的特征输入至损失函数进行计算，更新迭代方法模型。
9.如权利要求7所述的行人识别系统，其特征在于：所述人脸-人体检测架构包括有主干网络结构以及人脸-人体检测单元；其中，所述主干网络结构包括有多个卷积结构，以用于输出多张有效特征图像；所述人脸-人体检测单元用于对所述有效特征图像进行人脸和/或人体区域检测，获取人脸和/或人体区域图像。
10.如权利要求7所述的行人识别系统，其特征在于：所述通道注意力评判模块包括有卷积单元、全局池化单元、以及瓶颈结构；其中，所述卷积单元用于构建所述通道注意力机制评判模块的输入特征图像；所述全局池化单元用于将所述第一人脸-人体特征图像的每个通道的二维特征压缩为一个实数；所述瓶颈结构用于获取所述每个通道的权重参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011520430.8A CN112560720A (zh) | 2020-12-21 | 2020-12-21 | 一种行人识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011520430.8A CN112560720A (zh) | 2020-12-21 | 2020-12-21 | 一种行人识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112560720A true CN112560720A (zh) | 2021-03-26 |
Family
ID=75030680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011520430.8A Pending CN112560720A (zh) | 2020-12-21 | 2020-12-21 | 一种行人识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560720A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757874A (zh) * | 2022-11-24 | 2023-03-07 | 中科天网（广东）科技有限公司 | 人脸与人体协同检索方法、装置、设备和介质 |
| CN115862060A (zh) * | 2022-11-25 | 2023-03-28 | 天津大学四川创新研究院 | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
| CN107590452A (zh) * | 2017-09-04 | 2018-01-16 | 武汉神目信息技术有限公司 | 一种基于步态与人脸融合的身份识别方法及装置 |
| CN107609383A (zh) * | 2017-10-26 | 2018-01-19 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
| CN108108662A (zh) * | 2017-11-24 | 2018-06-01 | 深圳市华尊科技股份有限公司 | 深度神经网络识别模型及识别方法 |
| CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 |
| CN109800770A (zh) * | 2018-12-28 | 2019-05-24 | 广州海昇计算机科技有限公司 | 一种实时目标检测的方法、系统及装置 |
| CN109948702A (zh) * | 2019-03-20 | 2019-06-28 | 中南大学 | 一种基于卷积神经网络的服装分类和推荐模型 |
| CN111126159A (zh) * | 2019-11-28 | 2020-05-08 | 重庆中星微人工智能芯片技术有限公司 | 用于实时跟踪行人的方法、装置、电子设备和介质 |
| CN111325137A (zh) * | 2020-02-18 | 2020-06-23 | 上海东普信息科技有限公司 | 暴力分拣检测方法、装置、设备及存储介质 |
| CN111680619A (zh) * | 2020-06-05 | 2020-09-18 | 大连大学 | 基于卷积神经网络和双注意力机制的行人检测方法 |
| CN111914742A (zh) * | 2020-07-31 | 2020-11-10 | 辽宁工业大学 | 基于多模态生物特征的考勤方法、系统、终端设备及介质 |
-
2020
- 2020-12-21 CN CN202011520430.8A patent/CN112560720A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
| CN107590452A (zh) * | 2017-09-04 | 2018-01-16 | 武汉神目信息技术有限公司 | 一种基于步态与人脸融合的身份识别方法及装置 |
| CN107609383A (zh) * | 2017-10-26 | 2018-01-19 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
| CN108108662A (zh) * | 2017-11-24 | 2018-06-01 | 深圳市华尊科技股份有限公司 | 深度神经网络识别模型及识别方法 |
| CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 |
| CN109800770A (zh) * | 2018-12-28 | 2019-05-24 | 广州海昇计算机科技有限公司 | 一种实时目标检测的方法、系统及装置 |
| CN109948702A (zh) * | 2019-03-20 | 2019-06-28 | 中南大学 | 一种基于卷积神经网络的服装分类和推荐模型 |
| CN111126159A (zh) * | 2019-11-28 | 2020-05-08 | 重庆中星微人工智能芯片技术有限公司 | 用于实时跟踪行人的方法、装置、电子设备和介质 |
| CN111325137A (zh) * | 2020-02-18 | 2020-06-23 | 上海东普信息科技有限公司 | 暴力分拣检测方法、装置、设备及存储介质 |
| CN111680619A (zh) * | 2020-06-05 | 2020-09-18 | 大连大学 | 基于卷积神经网络和双注意力机制的行人检测方法 |
| CN111914742A (zh) * | 2020-07-31 | 2020-11-10 | 辽宁工业大学 | 基于多模态生物特征的考勤方法、系统、终端设备及介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757874A (zh) * | 2022-11-24 | 2023-03-07 | 中科天网（广东）科技有限公司 | 人脸与人体协同检索方法、装置、设备和介质 |
| CN115757874B (zh) * | 2022-11-24 | 2023-11-03 | 中科天网（广东）科技有限公司 | 人脸与人体协同检索方法、装置、设备和介质 |
| CN115862060A (zh) * | 2022-11-25 | 2023-03-28 | 天津大学四川创新研究院 | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 |
| CN115862060B (zh) * | 2022-11-25 | 2023-09-26 | 天津大学四川创新研究院 | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11403876B2 (en) | Image processing method and apparatus, facial recognition method and apparatus, and computer device | |
| CN109902546B (zh) | 人脸识别方法、装置及计算机可读介质 | |
| CN110765860B (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
| Fang et al. | Towards good practice for CNN-based monocular depth estimation | |
| CN111814902A (zh) | 目标检测模型训练方法、目标识别方法、装置和介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN115170934B (zh) | 一种图像分割方法、系统、设备及存储介质 | |
| CN113205142B (zh) | 一种基于增量学习的目标检测方法和装置 | |
| CN113158862A (zh) | 一种基于多任务的轻量级实时人脸检测方法 | |
| CN111783779B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN113505797B (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| Jiang et al. | Learning a referenceless stereopair quality engine with deep nonnegativity constrained sparse autoencoder | |
| CN112183295A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| CN113674190B (zh) | 基于密集连接生成对抗网络的图像融合方法和装置 | |
| CN112560720A (zh) | 一种行人识别方法及系统 | |
| CN110414541A (zh) | 用于识别物体的方法、设备和计算机可读存储介质 | |
| CN111967464A (zh) | 一种基于深度学习的弱监督目标定位方法 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN111680705A (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| CN112364974B (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN115797929A (zh) | 基于双注意力机制的小型农田图像分割方法、装置 | |
| Buenaposada et al. | Improving multi-class Boosting-based object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |