CN110781739A - 提取行人特征的方法、装置、计算机设备和存储介质 - Google Patents

提取行人特征的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110781739A
CN110781739A CN201910887183.6A CN201910887183A CN110781739A CN 110781739 A CN110781739 A CN 110781739A CN 201910887183 A CN201910887183 A CN 201910887183A CN 110781739 A CN110781739 A CN 110781739A
Authority
CN
China
Prior art keywords
target
pedestrian
detail
image
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910887183.6A
Other languages
English (en)
Other versions
CN110781739B (zh
Inventor
王进
赵鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910887183.6A priority Critical patent/CN110781739B/zh
Priority to PCT/CN2019/116711 priority patent/WO2021051511A1/zh
Publication of CN110781739A publication Critical patent/CN110781739A/zh
Application granted granted Critical
Publication of CN110781739B publication Critical patent/CN110781739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及分类模型的技术领域，提供一种提取行人特征的方法、装置、计算机设备和存储介质，通过将行人图像中行人的身体部分进行M等分以及N等分；并分别连接一个Inception网络进行升维和降维，得到M个第一目标等分，以及N个第二目标等分；将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个第一目标等分对应的第一细节特征；将N个第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个第二目标等分对应的第二细节特征；将提取出的第一细节特征以及第二细节特征进行相加，得到行人图像中行人的细节特征结果。本申请避免行人特征的细节部分丢失，保障了行人特征提取时的准确性。

Description

提取行人特征的方法、装置、计算机设备和存储介质
技术领域
本申请涉及分类模型的技术领域，特别涉及一种提取行人特征的方法、装置、计算机设备和存储介质。
背景技术
由于目前对于行人图像中的注意力机制选择是针对于整幅输入图像，而摄像头抓拍到的行人图像可能非常小，或者有其他行人遮挡等等原因，随机以行人为中心去提取选择框以提取行人特征，这其中会包含一些影响行人特征提取的杂质，故而影响正确提取。
发明内容
本申请的主要目的为提供一种提取行人特征的方法、装置、计算机设备和存储介质，克服行人特征提取时不准确的缺陷。
为实现上述目的，本申请提供了一种提取行人特征的方法，包括以下步骤：
获取行人图像，并将所述行人图像中行人的身体部分进行M等分以及N等分；其中，M不等于N；
通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；
将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；
将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。
进一步地，所述M为2，所述N为3，所述第一Attention模型为Hard attention模型，所述第二Attention模型为Soft attention模型。
进一步地，所述将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果的步骤，包括：
将所述第一目标等分中的第一等分输入至对应的Hard attention模型中提取出的第一细节特征与所述第二目标等分中的第一等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第一目标细节特征；
将所述第一目标等分中的第二等分输入至对应的Hard attention模型中提取出的第一细节特征与所述第二目标等分中的第二等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第二目标细节特征；
将所述第二目标等分中的第三等分输入至对应的Soft attention模型中提取出的第二细节特征与所述第一目标细节特征以及所述第二目标细节特征进行相加，得到所述行人图像中行人的细节特征结果。
进一步地，所述获取行人图像的步骤，包括：
获取图像采集装置采集的环境图像，所述环境图像中包括有多个行人；
通过预设的DPM模型提取每个所述行人在所述环境图像中的坐标信息；
根据每个所述行人在所述环境图像中的坐标信息，从所述环境图像中分割出每个行人的目标图像；
创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述行人图像。
进一步地，所述创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述行人图像的步骤，包括：
获取所有行人的目标图像的总尺寸大小，根据所述所有行人的目标图像的总尺寸大小创建一个空白图层；其中，所述空白图层的尺寸至少大于所述总尺寸大小；
获取所有所述行人在所述环境图像中的排序，并按照所述排序将所述每个行人的所述目标图像平铺在所述空白图层中进行合成，以得到所述行人图像。
本申请还提供了一种提取行人特征的装置，包括：
获取单元，用于获取行人图像，并将所述行人图像中行人的身体部分进行M等分以及N等分；其中，M不等于N；
处理单元，用于通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；
提取单元，用于将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；
合成单元，用于将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。
进一步地，所述M为2，所述N为3，所述第一Attention模型为Hard attention模型，所述第二Attention模型为Soft attention模型。
进一步地，所述合成单元包括：
第一相加子单元，用于将所述第一目标等分中的第一等分输入至对应的Hardattention模型中提取出的第一细节特征与所述第二目标等分中的第一等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第一目标细节特征；
第二相加子单元，用于将所述第一目标等分中的第二等分输入至对应的Hardattention模型中提取出的第一细节特征与所述第二目标等分中的第二等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第二目标细节特征；
第三相加子单元，用于将所述第二目标等分中的第三等分输入至对应的Softattention模型中提取出的第二细节特征与所述第一目标细节特征以及所述第二目标细节特征进行相加，得到所述行人图像中行人的细节特征结果。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请提供的提取行人特征的方法、装置、计算机设备和存储介质，通过将所述行人图像中行人的身体部分进行M等分以及N等分；通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。本申请避免行人特征的细节部分丢失，保障了行人特征提取时的准确性。
附图说明
图1是本申请一实施例中提取行人特征的方法步骤示意图；
图2是本申请另一实施例中步骤S4的具体步骤示意图；
图3是本申请一实施例中提取行人特征的装置结构框图；
图4为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种提取行人特征的方法，包括以下步骤：
步骤S1，获取行人图像，并将所述行人图像中行人的身体部分进行M等分以及N等分；其中，M不等于N；
步骤S2，通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；
步骤S3，将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；
步骤S4，将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。
在本实施例中，如上述步骤S1所述的，上述行人图像指的是针对行人的图像画面，上述行人图像中的行人的身体部分可采用目标检测器以边界框的方式将行人框处，并通过提取框的方式将上述行人的身体部分进行多个等分。具体地，可采用yolo模型进行实时提取，或者采用级联的形式进行高精度提取(例如cascade Mask R-CNN模型)。将上述行人的身体部分进行不同等分时，其细化程度是不同；通常等分的数字越大，对身体部分的细化程度越高。
如上述步骤S2所述的，上述在M等分后的每一个等分之间连接有一个Inception网络，以及在N等分后的每一个等分之间通过连接一个Inception网络进行升维和降维；Inception网络是通过1x1卷积核进行升维和降维，其目的在于提取上述每一等分的特征时，保障每一层之后的特征图在空间上保持一致，保障细节特征不会丢失；具体地说，某A层获得的特征图和某B层获得的特征图其维度相同，则可以进行叠加处理，而不会影响空间上的细节特征。Inception网络，可以使得层更深，例如3x3卷积核可以分成3x1和1x3这2个卷积核做运算，而这2个卷积核运算的时候比1个卷积核运算的时间还要少。层更深，而时间更少，输出特征的作用就是特征细节不会随着层加深而丢失，更好的为行人重识别提供更有力的依据。
如上述步骤S3所述的，将上述升维和降维得到的每一第一目标等分以及第二目标等分分别输入到对应的Attention模型中；由于在将上述行人的身体部分进行不同等分时，其细化程度不同，针对不同细化程度，将其对应的第一目标等分或者第二目标等分输入至不同的Attention模型中进行细节特征提取；上述Attention模型为单一的深度模型，其实就是去学习一个权重分布，根据学习到的权重分布对行人的特征分别对应不同的关注度，也就是学习到的权重值。不同的Attention模型对细节特征的关注点不同，其所提取出的细节特征有所不同；例如，其中一个Attention模型关注的是行人衣服的颜色，而另一个Attention模型关注的则可能是行人身上的背包等。
如上述步骤S4所述的，由于上述M等分后的每一个等分之间通过连接一个Inception网络进行升维和降维；以及在上述N等分后的每一个等分之间通过连接一个Inception网络进行升维和降维；则上述第一目标等分以及第二目标等分输入至对应的Attention模型中之后提取出的细节特征的维度相同，可以直接进行相加；在对上述细节特征进行相加时，综合了行人身体各个部分的细节特征，以及各个Attention模型所关注的特征，其最终相加得到的细节特征最终结果更加全面且可以保持住各个细节特征不被淡化，作为行人重识别提供更加有力的依据。通俗地讲，即是可以保持住行人身体部分的各个细节特征不被淡化，例如头发长短、帽子、衣服颜色、背包、鞋子等各个特征，而不仅仅是只保留住其中的一部分细节特征。
在一个实施例中，所述M为2，所述N为3，所述第一Attention模型为Hardattention模型，所述第二Attention模型为Soft attention模型。
上述Hard attention是在分布中以某种采样策略选取部分分量，上述Softattention是保留所有的分量做加权处理。上述Hard attention和Soft attention在某种程度上都可以理解为单一的深度模型，只不过其所关注的细节特征不一样。上述行人身体部分2等分后放入Hard attention中处理，3等分后放入Soft attention中处理。由此，上述Hard attention和Soft attention所提取出的细节特征也会不同。
参照图2，在本实施例中，所述将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果的步骤S4，包括：
步骤S401，将所述第一目标等分中的第一等分输入至对应的Hard attention模型中提取出的第一细节特征与所述第二目标等分中的第一等分输入至对应的Softattention模型中提取出的第二细节特征进行相加，得到第一目标细节特征；
步骤S402，将所述第一目标等分中的第二等分输入至对应的Hard attention模型中提取出的第一细节特征与所述第二目标等分中的第二等分输入至对应的Softattention模型中提取出的第二细节特征进行相加，得到第二目标细节特征；
步骤S403，将所述第二目标等分中的第三等分输入至对应的Soft attention模型中提取出的第二细节特征与所述第一目标细节特征以及所述第二目标细节特征进行相加，得到所述行人图像中行人的细节特征结果。
在本实施例中，上述第一目标等分中包括两个等分，第二目标等分中包括三个等分，其中每一个等分输入至对应的attention模型中都会输出一个细节特征。本实施例中，将Hard attention的第一等分的输出接入Soft attention的第一等分的输出，Hardattention的第二等分的输出接入Soft attention的第二等分的输出。
如上述步骤S401所述的，将所述第一目标等分中的第一等分输入至对应的Hardattention中提取出的第一细节特征与所述第二目标等分中的第一等分输入至对应的Softattention中提取出的第二细节特征进行相加，得到第一目标细节特征。
如上述步骤S402所述的，将所述第一目标等分中的第二等分输入至对应的Hardattention中提取出的第一细节特征与所述第二目标等分中的第二等分输入至对应的Softattention中提取出的第二细节特征进行相加，得到第二目标细节特征；上述第一目标细节特征以及第二目标细节特征中均保留了每一层的细节特征。
最后，如上述步骤S403所述的，再将上述第二目标等分中的第三等分输入至对应的Soft attention中提取出的第二细节特征与所述第一目标细节特征以及所述第二目标细节特征进行相加，得到所述行人图像中行人的细节特征最终结果；该细节特征最终结果中保留了行人身体部分中所有细节特征，不会淡化行人的身体特征。
在一个实施例中，上述步骤S1中，获取行人图像的步骤，包括：
a、获取图像采集装置采集的环境图像，所述环境图像中包括有多个行人；在本实施例中，上述图像采集装置可以是安装在行人街道上的摄像头，其可以是采集单张的环境图像，也可以是采集环境视频图像，当其采集环境视频图像时，截取视频图像中的任一帧图像则得到上述环境图像。
b、通过预设的DPM模型提取每个所述行人在所述环境图像中的坐标信息；在本实施例中，DPM模型为可变形的组件模型，是一种基于组件的检测算法，其先计算梯度方向直方图，然后用支持向量机训练得到物体的梯度模型。上述DPM模型利用DPM特征，检测行人位置。上述行人位置指的是上述每个行人在上述环境图像中的具体坐标信息。
c、根据每个所述行人在所述环境图像中的坐标信息，从所述环境图像中分割出每个行人的目标图像；在得到上述坐标信息之后，则可以从上述环境图像中分割出每个行人的目标图像。上述目标图像即为每个行人对应的人物图像。
d、创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述行人图像。本实施例中的行人图像仅仅是由各个行人的人物图像所组成，其不包括环境中的其它诸如树木、建筑等图像，极大的降低了后续对图像进行行人特征提取的运算量。
在本实施例中，提供了一种具体合成上述行人图像的方法，上述创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述行人图像的步骤d，具体包括：
d01、获取所有行人的目标图像的总尺寸大小，根据所述所有行人的目标图像的总尺寸大小创建一个空白图层；其中，所述空白图层的尺寸至少大于所述总尺寸大小；
d02、获取所有所述行人在所述环境图像中的排序，并按照所述排序将所述每个行人的所述目标图像平铺在所述空白图层中进行合成，以得到所述行人图像。
综上所述，为本申请实施例中提供的提取行人特征的方法，通过将所述行人图像中行人的身体部分进行M等分以及N等分；通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。本申请避免行人特征的细节部分丢失，保障了行人特征提取时的准确性。
参照图3，本申请一实施例中还提供了一种提取行人特征的装置，包括：
获取单元10，用于获取行人图像，并将所述行人图像中行人的身体部分进行M等分以及N等分；其中，M不等于N；
处理单元20，用于通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；
提取单元30，用于将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；
合成单元40，用于将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。
在一实施例中，所述M为2，所述N为3，所述第一Attention模型为Hard attention模型，所述第二Attention模型为Soft attention模型。
在本实施例中，所述合成单元40包括：
第一相加子单元，用于将所述第一目标等分中的第一等分输入至对应的Hardattention模型中提取出的第一细节特征与所述第二目标等分中的第一等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第一目标细节特征；
第二相加子单元，用于将所述第一目标等分中的第二等分输入至对应的Hardattention模型中提取出的第一细节特征与所述第二目标等分中的第二等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第二目标细节特征；
第三相加子单元，用于将所述第二目标等分中的第三等分输入至对应的Softattention模型中提取出的第二细节特征与所述第一目标细节特征以及所述第二目标细节特征进行相加，得到所述行人图像中行人的细节特征结果。
在一实施例中，上述获取单元10，包括：
获取子单元，用于获取图像采集装置采集的环境图像，所述环境图像中包括有多个行人；
提取子单元，用于通过预设的DPM模型提取每个所述行人在所述环境图像中的坐标信息；
分割子单元，用于根据每个所述行人在所述环境图像中的坐标信息，从所述环境图像中分割出每个行人的目标图像；
合成子单元，用于创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述行人图像。
在一实施例中，上述合成子单元，包括：
获取模块，用于获取所有行人的目标图像的总尺寸大小，根据所述所有行人的目标图像的总尺寸大小创建一个空白图层；其中，所述空白图层的尺寸至少大于所述总尺寸大小；
合成模块，用于获取所有所述行人在所述环境图像中的排序，并按照所述排序将所述每个行人的所述目标图像平铺在所述空白图层中进行合成，以得到所述行人图像。
本实施例中的各个功能模块(单元、子单元、模块)的具体实现方式请参照上述方法实施例中，在此不再进行赘述。
参照图4，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法实施例中提取行人特征的方法。
上述处理器执行上述提取行人特征的方法的步骤：
获取行人图像，并将所述行人图像中行人的身体部分进行M等分以及N等分；其中，M不等于N；
通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；
将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；
将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中提取行人特征的方法。
综上所述，为本申请实施例中提供的提取行人特征的方法、装置、计算机设备和存储介质，通过将所述行人图像中行人的身体部分进行M等分以及N等分；通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。本申请避免行人特征的细节部分丢失，保障了行人特征提取时的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种提取行人特征的方法，其特征在于，包括以下步骤：
获取行人图像，并将所述行人图像中行人的身体部分进行M等分以及N等分；其中，M不等于N；
通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；
将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；
将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。
2.根据权利要求1所述的提取行人特征的方法，其特征在于，所述M为2，所述N为3，所述第一Attention模型为Hard attention模型，所述第二Attention模型为Soft attention模型。
3.根据权利要求2所述的提取行人特征的方法，其特征在于，所述将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果的步骤，包括：
将所述第一目标等分中的第一等分输入至对应的Hard attention模型中提取出的第一细节特征与所述第二目标等分中的第一等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第一目标细节特征；
将所述第一目标等分中的第二等分输入至对应的Hard attention模型中提取出的第一细节特征与所述第二目标等分中的第二等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第二目标细节特征；
将所述第二目标等分中的第三等分输入至对应的Soft attention模型中提取出的第二细节特征与所述第一目标细节特征以及所述第二目标细节特征进行相加，得到所述行人图像中行人的细节特征结果。
4.根据权利要求1所述的提取行人特征的方法，其特征在于，所述获取行人图像的步骤，包括：
获取图像采集装置采集的环境图像，所述环境图像中包括有多个行人；
通过预设的DPM模型提取每个所述行人在所述环境图像中的坐标信息；
根据每个所述行人在所述环境图像中的坐标信息，从所述环境图像中分割出每个行人的目标图像；
创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述行人图像。
5.根据权利要求4所述的提取行人特征的方法，其特征在于，所述创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述行人图像的步骤，包括：
获取所有行人的目标图像的总尺寸大小，根据所述所有行人的目标图像的总尺寸大小创建一个空白图层；其中，所述空白图层的尺寸至少大于所述总尺寸大小；
获取所有所述行人在所述环境图像中的排序，并按照所述排序将所述每个行人的所述目标图像平铺在所述空白图层中进行合成，以得到所述行人图像。
6.一种提取行人特征的装置，其特征在于，包括：
获取单元，用于获取行人图像，并将所述行人图像中行人的身体部分进行M等分以及N等分；其中，M不等于N；
处理单元，用于通过在进行M等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到M个第一目标等分；以及通过在进行N等分后的每一个等分之间连接的一个Inception网络进行升维和降维，得到N个第二目标等分；
提取单元，用于将M个所述第一目标等分分部输入至对应的第一Attention模型中，分别提取每一个所述第一目标等分对应的第一细节特征；将N个所述第二目标等分分部输入至对应的第二Attention模型中，分别提取每一个所述第二目标等分对应的第二细节特征；
合成单元，用于将提取出的所述第一细节特征以及所述第二细节特征进行相加，得到所述行人图像中行人的细节特征结果。
7.根据权利要求6所述的提取行人特征的装置，其特征在于，所述M为2，所述N为3，所述第一Attention模型为Hard attention模型，所述第二Attention模型为Soft attention模型。
8.根据权利要求7所述的提取行人特征的装置，其特征在于，所述合成单元包括：
第一相加子单元，用于将所述第一目标等分中的第一等分输入至对应的Hardattention模型中提取出的第一细节特征与所述第二目标等分中的第一等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第一目标细节特征；
第二相加子单元，用于将所述第一目标等分中的第二等分输入至对应的Hardattention模型中提取出的第一细节特征与所述第二目标等分中的第二等分输入至对应的Soft attention模型中提取出的第二细节特征进行相加，得到第二目标细节特征；
第三相加子单元，用于将所述第二目标等分中的第三等分输入至对应的Softattention模型中提取出的第二细节特征与所述第一目标细节特征以及所述第二目标细节特征进行相加，得到所述行人图像中行人的细节特征结果。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201910887183.6A 2019-09-19 2019-09-19 提取行人特征的方法、装置、计算机设备和存储介质 Active CN110781739B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910887183.6A CN110781739B (zh) 2019-09-19 2019-09-19 提取行人特征的方法、装置、计算机设备和存储介质
PCT/CN2019/116711 WO2021051511A1 (zh) 2019-09-19 2019-11-08 信息提取的方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910887183.6A CN110781739B (zh) 2019-09-19 2019-09-19 提取行人特征的方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110781739A true CN110781739A (zh) 2020-02-11
CN110781739B CN110781739B (zh) 2023-07-25

Family

ID=69383757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910887183.6A Active CN110781739B (zh) 2019-09-19 2019-09-19 提取行人特征的方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN110781739B (zh)
WO (1) WO2021051511A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931624A (zh) * 2020-08-03 2020-11-13 重庆邮电大学 基于注意力机制的轻量级多分支行人重识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359539A (zh) * 2018-09-17 2019-02-19 中国科学院深圳先进技术研究院 注意力评估方法、装置、终端设备及计算机可读存储介质
US20190132354A1 (en) * 2017-10-26 2019-05-02 Preferred Networks, Inc. Image processing system and image processing unit for generating attack image
CN109871777A (zh) * 2019-01-23 2019-06-11 广州智慧城市发展研究院 一种基于注意力机制的行为识别系统
CN110097050A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 行人检测方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679085B2 (en) * 2017-10-31 2020-06-09 University Of Florida Research Foundation, Incorporated Apparatus and method for detecting scene text in an image
CN109118519A (zh) * 2018-07-26 2019-01-01 北京纵目安驰智能科技有限公司 基于实例分割的目标Re-ID方法、系统、终端和存储介质
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190132354A1 (en) * 2017-10-26 2019-05-02 Preferred Networks, Inc. Image processing system and image processing unit for generating attack image
CN109359539A (zh) * 2018-09-17 2019-02-19 中国科学院深圳先进技术研究院 注意力评估方法、装置、终端设备及计算机可读存储介质
CN109871777A (zh) * 2019-01-23 2019-06-11 广州智慧城市发展研究院 一种基于注意力机制的行为识别系统
CN110097050A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 行人检测方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931624A (zh) * 2020-08-03 2020-11-13 重庆邮电大学 基于注意力机制的轻量级多分支行人重识别方法及系统
CN111931624B (zh) * 2020-08-03 2023-02-07 重庆邮电大学 基于注意力机制的轻量级多分支行人重识别方法及系统

Also Published As

Publication number Publication date
WO2021051511A1 (zh) 2021-03-25
CN110781739B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN106778928B (zh) 图像处理方法及装置
Samet et al. Houghnet: Integrating near and long-range evidence for bottom-up object detection
CN109815843B (zh) 图像处理方法及相关产品
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
JP2013210967A (ja) 体検出方法及び物体検出装置
CN107346414B (zh) 行人属性识别方法和装置
CN111968134B (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN112560796A (zh) 人体姿态实时检测方法、装置、计算机设备及存储介质
CN111753643A (zh) 人物姿态识别方法、装置、计算机设备和存储介质
CN110070573B (zh) 关节图确定方法、装置、设备和存储介质
CN111783506A (zh) 目标特征的确定方法、装置和计算机可读存储介质
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
WO2022206680A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN113673439A (zh) 基于人工智能的宠物狗识别方法、装置、设备及存储介质
CN109086688A (zh) 脸部皱纹检测方法、装置、计算机设备和存储介质
CN108564058B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN110781739B (zh) 提取行人特征的方法、装置、计算机设备和存储介质
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN112464860A (zh) 手势识别方法、装置、计算机设备及存储介质
WO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム
CN109785439B (zh) 人脸素描图像生成方法及相关产品
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN111178202B (zh) 目标检测方法、装置、计算机设备和存储介质
CN114973368A (zh) 基于特征融合的人脸识别方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020095

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant