CN112183299A - 行人属性预测方法、装置、电子设备及存储介质 - Google Patents

行人属性预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112183299A
CN112183299A CN202011012309.4A CN202011012309A CN112183299A CN 112183299 A CN112183299 A CN 112183299A CN 202011012309 A CN202011012309 A CN 202011012309A CN 112183299 A CN112183299 A CN 112183299A
Authority
CN
China
Prior art keywords
attribute
pedestrian
attributes
prediction result
final
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011012309.4A
Other languages
English (en)
Other versions
CN112183299B (zh
Inventor
吴强
黄志龙
曹峰
郭变香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jiahua Chain Cloud Technology Co ltd
Original Assignee
Chengdu Jiahua Chain Cloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jiahua Chain Cloud Technology Co ltd filed Critical Chengdu Jiahua Chain Cloud Technology Co ltd
Priority to CN202011012309.4A priority Critical patent/CN112183299B/zh
Publication of CN112183299A publication Critical patent/CN112183299A/zh
Application granted granted Critical
Publication of CN112183299B publication Critical patent/CN112183299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种行人属性预测方法、装置、电子设备及存储介质，涉及机器学习技术领域。该方法包括：获取包含行人的待预测图像；通过神经网络模型对所述待预测图像中的行人的属性进行预测，获得属性预测结果；根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。通过图卷积网络来获得表征行人的多个属性之间的关联关系的特征信息，这样可对神经网络模型预测获得的属性预测结果进行约束，相比于现有技术中通过人工进行特征提取忽略了属性之间的相关性的方案，本申请中考虑了属性之间的相关性，从而可有效提高属性预测的精度。

Description

行人属性预测方法、装置、电子设备及存储介质
技术领域
本申请涉及机器学习技术领域，具体而言，涉及一种行人属性预测方法、装置、电子设备及存储介质。
背景技术
随着视频监控技术的发展，智能视频监控应用在越来越多的场景中，例如交通、商场、医院、小区、公园等等，智能视频监控的应用为各种场景中，通过图像进行行人属性检测奠定了基础。
行人属性的检测，是通过输入含有待检测行人的视频图像，然后从视频图像中识别出行人各项属性的一种技术。采用传统的机器学习方法进行行人属性的检测一般是通过人工进行特征提取，而人工提取特征依赖人的经验，使得属性预测精度并不高。
发明内容
本申请实施例的目的在于提供一种行人属性预测方法、装置、电子设备及存储介质，用以改善现有技术中属性预测精度不高的问题。
第一方面，本申请实施例提供了一种行人属性预测方法，所述方法包括：获取包含行人的待预测图像；通过神经网络模型对所述待预测图像中的行人的属性进行预测，获得属性预测结果；根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。
在上述实现过程中，通过图卷积网络来获得表征行人的多个属性之间的关联关系的特征信息，这样可对神经网络模型预测获得的属性预测结果进行约束，相比于现有技术中通过人工进行特征提取忽略了属性之间的相关性的方案，本申请中考虑了属性之间的相关性，从而可有效提高属性预测的精度。
可选地，所述属性预测结果为表征所述行人具有对应属性的第一特征向量，所述特征信息为表征各个属性之间的关联关系的第二特征向量，所述根据所述属性预测结果以及通过图卷积网络获取的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果，包括：
将所述第一特征向量与所述第二特征向量进行点乘，获得最终特征向量，所述最终特征向量中的每个元素表征所述行人具有对应属性的概率；
根据所述最终特征向量确定所述行人的最终属性预测结果。
在上述实现过程中，通过将两个特征向量进行点乘，从而可有效提取各个属性之间的关联性，获得更准确的属性预测结果。
可选地，所述根据所最终特征向量确定所述行人的最终属性预测结果，包括：
确定所述最终特征向量中大于预设值的元素对应的目标属性；
将所述目标属性确定为所述最终属性预测结果中包含的属性。
在上述实现过程中，将大于预设值的元素对应的目标属性作为最终属性预测结果中包含的属性，可使得预测获得的属性更准确。
可选地，还包括：
获取行人的多个属性；
获取表征所述多个属性之间的相关性的相关矩阵；
通过所述图卷积网络提取所述相关矩阵中表征行人的多个属性之间的关联关系的特征信息。
在上述实现过程中，通过图卷积网络提取多个属性之间的关联关系的特征信息，可有效降低计算复杂度。
可选地，所述获取表征所述多个属性之间的相关性的相关矩阵，包括：
获取多张行人图像中每张行人图像中行人的属性；
统计属性i和属性j出现在同一张行人图像中的次数，属性i和属性j表征行人具有的各个属性；
根据所述次数构建条件概率矩阵，所述条件概率矩阵中的元素表征属性i与属性j相关的概率；
根据所述条件概率矩阵获取所述相关矩阵。
在上述实现过程中，通过构建的条件概率矩阵来获取相关矩阵，这样可有效提取出各个属性之间的相关性。
可选地，所述根据所述条件概率矩阵获取所述相关矩阵，包括：
对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的相关矩阵。
在上述实现过程中，对条件概率矩阵中的各个元素进行二值化处理，可过滤条件概率矩阵中引入的噪声。
可选地，所述根据所述条件概率矩阵获取所述相关矩阵，包括：
对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的初始相关矩阵；
对所述初始相关矩阵中的各个元素进行数据平滑处理，获得处理后的相关矩阵。
在上述实现过程中，对二值化处理后的元素进行数据平滑处理，可消除在二值化处理过程中带来的过平衡的问题。
第二方面，本申请实施例提供了一种行人属性预测装置，所述装置包括：
图像获取模块，用于获取包含行人的待预测图像；
属性初步预测模块，用于通过神经网络模型对所述待预测图像中的行人的属性进行预测，获得属性预测结果；
属性最终预测模块，用于根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。
可选地，所述属性预测结果为表征所述行人具有对应属性的第一特征向量，所述特征信息为表征各个属性之间的关联关系的第二特征向量，所述属性最终预测模块，用于将所述第一特征向量与所述第二特征向量进行点乘，获得最终特征向量，所述最终特征向量中的每个元素表征所述行人具有对应属性的概率；根据所述最终特征向量确定所述行人的最终属性预测结果。
可选地，所述属性最终预测模块，用于确定所述最终特征向量中大于预设值的元素对应的目标属性；将所述目标属性确定为所述最终属性预测结果中包含的属性。
可选地，所述装置还包括：
特征信息提取模块，用于获取行人的多个属性；获取表征所述多个属性之间的相关性的相关矩阵；通过所述图卷积网络提取所述相关矩阵中表征行人的多个属性之间的关联关系的特征信息。
可选地，所述特征信息提取模块，用于获取多张行人图像中每张行人图像中行人的属性；统计属性i和属性j出现在同一张行人图像中的次数，属性i和属性j表征行人具有的各个属性；根据所述次数构建条件概率矩阵，所述条件概率矩阵中的元素表征属性i与属性j相关的概率；根据所述条件概率矩阵获取所述相关矩阵。
可选地，所述特征信息提取模块，用于对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的相关矩阵。
可选地，所述特征信息提取模块，用于对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的初始相关矩阵；对所述初始相关矩阵中的各个元素进行数据平滑处理，获得处理后的相关矩阵。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种属性间的拓扑示意图；
图2为本申请实施例提供的一种用于执行行人属性预测方法的电子设备的结构示意图；
图3为本申请实施例提供的一种行人属性预测方法的流程图；
图4为本申请实施例提供的一种图卷积网络的数据处理过程示意图；
图5为本申请实施例提供的一种网络模型的结构示意图；
图6为本申请实施例提供的一种行人属性预测装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。
发明人在研究中发现，行人的多个属性之间往往存在复杂的联系，这些属性以及属性之间的联系在数据表征上呈现不规则的特点，其表现为如图1所示的拓扑图结构，拓扑图中属性节点的邻接节点数量各不相等，同时节点与节点之间是否存在联系各不相同，如长发这个属性是女性的可能性高于男性。
从图1所示的拓扑图中可以看出，由于每个节点的邻接节点各不相同，所以，如果采用传统的卷积神经网络来进行属性检测，则难以维持卷积的共享权重，使得预测结果并不准确。发明人提出可以通过注意力模型等方法对这些属性之间的关系进行约束和学习，从而也可以获取到各个属性之间的关联关系，实现对神经网络模型的预测结果的约束。
为了有利于注意力模型提取各个属性之间的关联关系，一般是将注意力模型嵌入到神经网络模型中，虽然这种方式可以通过注意力模型提取各个属性之间的关联关系对最后的预测结果进行约束。但是发明人发现各个属性节点之间可能存在连续的依赖关系，而由于注意力模型本身结构的限制，使得注意力模型难以学习到多个节点之间的连续依赖关系。
并且，注意力模型的计算复杂度通常为0(n2)，显然难以应对大规模的属性检测。同时，若将注意力模型嵌入到神经网络模型中，这样需要每次在进行属性预测时均会计算一次属性之间的关联关系，不可避免地会增加模型的参数量和计算复杂度的问题，从而增加行人属性检测的难度。
所以，发明人提出采用图卷积网络来提取各个属性之间的关联关系的特征信息的方案，其计算复杂度为0(nk)，计算效率高，可以应用于对大规模的属性检测的场景，在提高属性预测精度的前提下，减少了属性检测的难度。
因此，本申请实施例提供一种行人属性预测方法，通过图卷积网络来获得表征行人的多个属性之间的关联关系的特征信息，这样可对神经网络模型预测获得的属性预测结果进行约束，相比于现有技术中通过人工进行特征提取忽略了属性之间的相关性的方案，本申请中考虑了属性之间的相关性，从而可有效提高属性预测的精度。
请参照图2，图2为本申请实施例提供的一种用于执行行人属性预测方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行下述图3所示方法过程，例如，通过存储器130存储待预测图像以及通过图卷积网络获得的表征多个属性之间的关联关系的特征信息，通过处理器110从存储器130中获取待预测图像，以及运行神经网络模型对待预测图像中的行人的属性进行预测，并结合多个属性之间的关联关系的特征信息获得对行人的最终属性预测结果。
上述的电子设备可以是计算机、笔记本、移动终端、服务器等其他具有处理能力的智能设备等。
可以理解，图2所示的结构仅为示意，所述电子设备还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
请参照图3，图3为本申请实施例提供的一种行人属性预测方法的流程图，该方法包括如下步骤：
步骤S110：获取包含行人的待预测图像。
本申请实施例中可以检测视频监控场景中的行人属性，如商场、人行道、加油站等，行人属性检测在视频侦查、行人特征查找等业务上有广泛的应用。所以，待预测图像可以是指在任何需要进行行人属性检测的场景下拍摄获得的图像。
其中，行人的属性可以包括但不限于：性别、年龄、体形、长发、短发、发型、发色、着装风格(如长裙、短裙、短裤、长裤、衣服颜色、鞋子风格等)、携带配饰(如背包、提袋、戴帽子等)、动作行为(如跑、跳、坐、行走)、视角(如平视、侧视等)等属性，在实际情况中，可根据实际需求对行人的至少一种属性进行预测。
由于拍摄获得的待预测图像可能有些并不包含行人，为了提高对行人属性检测的效率，还可以对拍摄获得的一些待预测图像进行筛选，其筛选的方式可以是采用图像处理算法或者神经网络模型检测待预测图像是否包含行人，然后将包含行人的待预测图像筛选出来，输入神经网络模型进行行人属性预测。其中，具体进行行人检测的方式可采用YOLO(You Only Look Once)检测模型来检测，其具体的检测实现过程可参照现有技术中的相关实现过程，在此不做过多描述。
步骤S120：通过神经网络模型对待预测图像中的行人的属性进行预测，获得属性预测结果。
其中，神经网络模型可以为残差网络模型、卷积神经网络模型、循环神经网络模型等，在通过神经网络模型进行行人属性预测之前，可预先对神经网络模型进行训练。可以理解地，训练过程中，可采集大量的训练图像，然后对训练图像中的行人的属性进行标注，然后将标注的训练图像输入神经网络模型中进行训练，其具体的训练过程在此不做过多介绍。
通过神经网络模型预测获得的属性预测结果可以包括行人具有的至少一种属性，或者可以包括行人具有的属性以及对应的概率值。
另外，为了便于神经网络模型对行人属性的预测，还可以在上述对待预测图像中的行人进行识别后，分割出待预测图像中的行人图像，然后可以将行人图像输入至神经网络模型中进行属性预测，这样可在预测时，避免行人周围的环境信息造成对属性预测的干扰。
步骤S130：根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。
图卷积网络是一种能对图数据进行深度学习的方法，比如可以将行人的多个属性构成一个图谱，图谱中的每个节点表示对应的属性，将图谱输入图卷积网络中，通过图卷积网络即可提取图谱中各个节点之间的关联关系，如各个属性之间的关联关系，从而可输出表征各个属性之间的关联关系的特征信息。
通过图卷积网络获得多个属性之间的关联关系可以是预先进行的，即这多个属性可以尽可能多的包含行人所应具有的所有属性，以便于尽可能多地提取各个属性之间的关联关系，使得对行人属性进行预测时，可以通过属性之间的关联关系来对神经网络模型输出的属性预测结果进行约束，以获得更准确的属性预测结果。
在上述实现过程中，通过图卷积网络来获得表征行人的多个属性之间的关联关系的特征信息，这样可对神经网络模型预测获得的属性预测结果进行约束，相比于现有技术中通过人工进行特征提取忽略了属性之间的相关性的方案，本申请中考虑了属性之间的相关性，从而可有效提高属性预测的精度。
在一些实施方式中，为了便于计算，神经网络模型输出的属性预测结果可以为表征行人具有对应属性的第一特征向量，图卷积网络输出的表征多个属性之间的关联关系的特征信息可以为表征各个属性之间的关联关系的第二特征向量。这样在获得最终属性预测结果的实现方式中，可以将第一特征向量与第二特征向量进行点乘，获得最终特征向量，该最终特征向量中的每个元素表征行人具有对应属性的概率，所以，可以根据最终特征向量确定行人的最终属性预测结果。
在具体实现过程中，可以确定最终特征向量中大于预设值的元素对应的目标属性，然后将目标属性确定为最终属性预测结果中包含的属性。
在一些实施方式中，第一特征向量包括多个，每个第一特征向量表征每个属性对应的概率，第二特征向量也包括多个，每个特征向量表示各个属性之间的关联关系；或者第一特征向量中的每个元素为向量，每个向量表征各个属性的概率，第二特征向量中的每个元素也为向量，每个向量表征各个属性之间的关联关系。
例如，若第一特征向量表示为X1＝(a1,a2,...,an)，第二特征向量表示为X2＝(b1,b2,...,bn)，则有n个这样的第一特征向量和第二特征向量，或者其中的an和bn均表示一个向量。
将第一特征向量与第二特征向量进行点乘，是指将每个第一特征向量与每个第二特征向量进行点乘，每个点乘获得的数值为对应的属性的概率，这些数值组成最终特征向量，即最终特征向量中的每个元素表征对应属性的概率。
其中，第一特征向量与第二特征向量的维数均为n维，若两个特征向量的初始维数不同时，则可通过降维或者升维的方式将两个特征向量的维数均调整为相同的维数，以便于进行计算。可以理解地，向量的维数可根据实际需求进行设置。
例如，将两个特征向量进行点乘的计算方式可表示为：X＝X1·X2＝(a1b1+a2b2,...,+anbn)，该X即表征最终特征向量中的某个元素的数值，表征行人具有对应属性的概率。
可以理解地，若直接将两个特征向量进行点乘之后其获得的最终特征向量中的元素的值可能不处于0到1之间，所以还可以将获得的最终特征向量先进行归一化处理，然后得到具有n位元素的最终特征向量，每个元素的值属于0到1之间，第i个元素的值越接近于1，表征行人具有该属性i的概率越高。
这样可将最终特征向量中概率大于预设值的属性筛选出来，如预设值为0.6，则将大于0.6的元素提取出来，确定这些元素对应的属性，则这些属性即为行人的最终属性预测结果。
在上述实现过程中，通过将两个特征向量进行点乘，从而可有效提取各个属性之间的关联性，获得更准确的属性预测结果。
在另外一些实施方式中，除了将第一特征向量与第二特征向量进行点乘获得最终特征向量的方式外，还可以将第一特征向量与第二特征向量进行相加，然后取各个元素的平均值，如X＝X1+X2＝((a1+b1)/2,(a2+b2)/2,...,(an+bn)/2)，这样也可获得最终特征向量。
或者，还可以将第一特征向量与第二特征向量直接相加，然后将相加获得的特征向量通过softmax函数进行处理，也可获得最终属性预测结果。
其中，为了便于理解，下面对神经网络模型预测获得行人的属性预测结果(即第一特征向量)的过程进行简单介绍。
以神经网络模型为卷积神经网络模型为例，该模型输入可以为224*224分辨率的3通道图像特征图，包括5个不同尺度的卷积层C0,C1,...,C4和n个全连接层F5_1,…,F5_n，每个全连接层F5_i对应一个属性标签i，对特征图提取特征得到n个图像特征向量，即上述的第一特征向量。
卷积神经网络模型的每个网络层的计算过程如下：
C0卷积层：采用7*7*3卷积核与3通道特征图进行卷积运算，对运算结果应用ReLU线性整流函数激活，ReLU函数公式如下所示：
f(x)＝max(0,x)
对激活结果应用池化操作进行降采样，使输出图像特征通道为64。
C1卷积层：采用3*3卷积核对C0输出的图像特征进行卷积计算，使输出图像特征通道为64。
C2卷积层：采用3*3*3卷积核对C1输出图像特征进行卷积计算，使输出图像特征通道为128。
C3卷积层：采用3*3*3卷积核对C3输出图像特征进行卷积计算，使输出图像特征通道为256。
C4卷积层：采用3*3*3卷积核对C4输出图像特征进行卷积计算，使输出图像特征通道为512。
全连接层：使用n个3*3*1*512的全连接操作F5_1,…,F5_n将C4输出的结果转化为n个512位的特征向量，如上述的第一特征向量。
在对神经网络模型进行训练时，可采集训练集图片形成训练数据集，对每一张训练图片设定n个属性标签，采样人工标定的方式判断每个属性是否存在，若存在则标记属性标签值为1，否则为0。其训练过程与上述卷积神经网络模型中各个网络层的计算类似，在此不过多赘述。
下面详细介绍通过图卷积网络获取多个属性之间的关联关系的特征信息的过程。
先获取行人的多个属性，然后获取表征多个属性之间的相关性的相关矩阵，通过图卷积网络提取该相关矩阵中表征行人的多个属性之间的关联关系的特征信息。
其中，行人的多个属性如上述实施例中所列举的，相关矩阵是指用于表征各个属性之间的相关性的矩阵，如表征图1所示的各个节点之间的相关性的矩阵，图卷积网络的目的在于提取图1所示的结构的相关信息。图卷积网络处理的图结构上的信息则可以用相关矩阵来表示。
在上述实现过程中，通过图卷积网络提取多个属性之间的关联关系的特征信息，可有效降低计算复杂度。
在一些实施方式中，相关矩阵的获取过程如下：
获取多张行人图像中每张行人图像中行人的属性；
统计属性i和属性j出现在同一张行人图像中的次数，属性i和属性j标注行人具有的各个属性；
根据次数构建条件概率矩阵，该条件概率矩阵中的元素表征属性i与属性j相关的概率；
根据条件概率矩阵获取相关矩阵。
其中，可拍摄获得多张行人图像，然后可采用人工对行人图像中行人的属性进行标记，从而使得电子设备获得每张行人图像中行人的属性。然后统计属性成对出现的次数，即一张图像中同时出现属性i和属性j的次数，例如，一张图像中的行人同时具有长发和长裙两个属性，若这两个属性同时出现在5张行人图像中，则确定这两个属性出现在同一张行人图像中的次数为5。按照该方式，可统计每两个属性出现在同一张行人图像中的次数，得到M(C*C)矩阵，其中C是属性的数量，Mij表示属性i和属性j同时出现在同一张行人图像中的次数。
然后可根据上述M(C*C)矩阵构建条件概率矩阵P，其中Pij＝P(Lj|Li)，表示Li属性出现时Lj属性出现的概率。根据条件概率的计算公式计算P中每个值：
Pij＝P(LjLi)/P(Li)＝Mi/Ni；
其中Ni表示多张行人图像中属性i总共出现的次数。由于P(Lj|Li)！＝P(Li|Lj)，条件概率矩阵P为非对称矩阵。
在一些实施方式中，可直接将条件概率矩阵P作为相关矩阵输入图卷积网络中。通过构建的条件概率矩阵来获取相关矩阵，这样可有效提取出各个属性之间的相关性。
在另一些实施方式中，为了消除条件概率矩阵中的噪声影响，防止模型过拟合的问题，还可以对条件概率矩阵中的各个元素进行二值化处理，获得处理后的矩阵作为相关矩阵。
例如，对于条件概率矩阵中的每个元素Pij采用下述的二值化处理方式进行处理：
如果Pij<0.1，则对应的相关矩阵A中的Aij的值为0；如果Pij>＝0.1，则对应的相关矩阵A中的Aij的值为1。
按照该上述方式对条件概率矩阵中的各个元素进行二值化处理，即各个元素变为0或1的值，获得的相关矩阵中的各个元素也为0或1的值。
需要说明的是，上述的0.1可以根据实际需求灵活设置，如可以为0.2、0.3等值。当然，进行二值化处理的方式也可以有其他方式，如可先获取条件概率矩阵中各个元素的平均值，然后将小于平均值的元素的值设为0，大于或等于平均值的元素的值设为1。对于其他二值化处理的方式在此不一一列举，在实际应用中，可根据需求选择相应的二值化处理方式即可。
在上述实现过程中，对条件概率矩阵中的各个元素进行二值化处理，可过滤条件概率矩阵中引入的噪声。
在上述对条件概率矩阵中的各个元素进行二值化处理，可能会带来过平滑的问题，所以，为了消除二值化处理带来的过平滑的问题，还可以先对条件概率矩阵中的各个元素进行二值化处理，获得处理后的初始相关矩阵，然后对初始相关矩阵中的各个元素进行数据平滑处理，获得处理后的相关矩阵。
其中，对初始相关矩阵中的各个元素进行数据平滑处理的方式可以如下：
如果初始相关矩阵中的i不等于j，则Aij的值设定为p/∑j＝1,i！＝jAij；如果初始相关矩阵中的i等于j，则Aij的值设定为1-p。
其中，p可根据经验取值为0.9，这样获得的相关矩阵中的元素的值更多地来自其邻近分布。当然，p的值可以根据实际需求灵活取值。
另外，数据平滑处理的方式还可以有其他，如最小二乘法等，在实际应用中，可以根据实际需求灵活选择相应的数据平滑处理方式。
在上述实现过程中，对二值化处理后的元素进行数据平滑处理，可消除在二值化处理过程中带来的过平衡的问题。
另外，在利用图卷积网络获得表征各个属性之间的关联关系的特征信息的过程中，可以先采用随机权重的方式将n个属性名称映射到D(如D等于300)维词向量空间，得到属性名称的词向量映射，然后组合这些词向量，得到n*D维的属性名称特征矩阵X。
然后利用上述获得的相关矩阵A，定义图卷积网络中的层间传播规则：
f(H,A)＝ReLU(A*H*W)；
其中，W为图卷积网络中需要迭代优化的权重矩阵，ReLU是非线性激活函数，H俄日属性名称特征矩阵或上一层网络的输出。迭代使用三次f得到如图4所示的网络结构，输入属性名称特征矩阵或上一层网络的输出，最后图卷积网络输出为n个512维的特征向量。
其中，迭代三次f的过程如下：
f0(H0,A)＝ReLU(A*H0*W0)，H0为属性名称特征矩阵X；
f1(H1,A)＝ReLU(A*H1*W1)；H1＝f0；
f2(H2,A)＝ReLU(A*H2*W2)；H2＝f1。
在获得图卷积网络输出的特征向量后，可与神经网络模型输出的特征向量进行点乘，其形成的结构示意图如图5所示，其中，图像属性标签矩阵即为上述的相关矩阵，图像为上述的待预测图像。
在实际应用中，也可针对图5中的网络结构进行训练。在训练过程中，可将获得的训练图像输入在固定比率并填充到224*224分辨率，并划分为两组，分布为训练图像和测试图像。
然后可采用随机初始化的方式初始化网络的参数，应用随机梯度下降方法训练网络模型，根据经验值设定随机梯度下降方法中学习率参数为0.01，动量参数为0.9，学习率每1万迭代调整为其1/10。应用softmax损失函数：
Figure BDA0002697329050000161
其中Li为预测向量中第i个元素与属性向量第i个元素的差值，λW为常数值。如果分类正确，则损失函数值为常数，否则损失函数值有变化。
然后采用网络输出的属性预测结果和人工标定的属性结果输入损失计算函数中获得差异值，回传差异值并按照随机梯度下降方法更新网络中的参数。不断迭代上述过程并计算测试组中的预测结果，直到测试组中的预测结果精度达到99％，则停止训练过程，获得训练好的网络模型。
对于待预测图像，可以先将其缩放至固定比率并填充到224*224，然后将图像输入至图5的网络模型中，获得针对行人的n个属性的最终属性预测结果。本申请实施例中可设定预设值为0.5，如果某个属性的概率大于0.5，则认为该属性存在，否则认为不存在。
通过本申请实施例提供的行人属性预测方法，可学习到不同属性之间的相关性，从而提高行人属性预测的准确度。
请参照图6，图6为本申请实施例提供的一种行人属性预测装置200的结构框图，该装置200可以是电子设备上的模块、程序段或代码。应理解，该装置200与上述图3方法实施例对应，能够执行图3方法实施例涉及的各个步骤，该装置200具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
可选地，所述装置200包括：
图像获取模块210，用于获取包含行人的待预测图像；
属性初步预测模块220，用于通过神经网络模型对所述待预测图像中的行人的属性进行预测，获得属性预测结果；
属性最终预测模块230，用于根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。
可选地，所述属性预测结果为表征所述行人具有对应属性的第一特征向量，所述特征信息为表征各个属性之间的关联关系的第二特征向量，所述属性最终预测模块230，用于将所述第一特征向量与所述第二特征向量进行点乘，获得最终特征向量，所述最终特征向量中的每个元素表征所述行人具有对应属性的概率；根据所述最终特征向量确定所述行人的最终属性预测结果。
可选地，所述属性最终预测模块230，用于确定所述最终特征向量中大于预设值的元素对应的目标属性；将所述目标属性确定为所述最终属性预测结果中包含的属性。
可选地，所述装置200还包括：
特征信息提取模块，用于获取行人的多个属性；获取表征所述多个属性之间的相关性的相关矩阵；通过所述图卷积网络提取所述相关矩阵中表征行人的多个属性之间的关联关系的特征信息。
可选地，所述特征信息提取模块，用于获取多张行人图像中每张行人图像中行人的属性；统计属性i和属性j出现在同一张行人图像中的次数，属性i和属性j表征行人具有的各个属性；根据所述次数构建条件概率矩阵，所述条件概率矩阵中的元素表征属性i与属性j相关的概率；根据所述条件概率矩阵获取所述相关矩阵。
可选地，所述特征信息提取模块，用于对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的相关矩阵。
可选地，所述特征信息提取模块，用于对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的初始相关矩阵；对所述初始相关矩阵中的各个元素进行数据平滑处理，获得处理后的相关矩阵。
需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。
本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，执行如图3所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：获取包含行人的待预测图像；通过神经网络模型对所述待预测图像中的行人的属性进行预测，获得属性预测结果；根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。
综上所述，本申请实施例提供一种行人属性预测方法、装置、电子设备及存储介质，通过图卷积网络来获得表征行人的多个属性之间的关联关系的特征信息，这样可对神经网络模型预测获得的属性预测结果进行约束，相比于现有技术中通过人工进行特征提取忽略了属性之间的相关性的方案，本申请中考虑了属性之间的相关性，从而可有效提高属性预测的精度。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种行人属性预测方法，其特征在于，所述方法包括：
获取包含行人的待预测图像；
通过神经网络模型对所述待预测图像中的行人的属性进行预测，获得属性预测结果；
根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。
2.根据权利要求1所述的方法，其特征在于，所述属性预测结果为表征所述行人具有对应属性的第一特征向量，所述特征信息为表征各个属性之间的关联关系的第二特征向量，所述根据所述属性预测结果以及通过图卷积网络获取的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果，包括：
将所述第一特征向量与所述第二特征向量进行点乘，获得最终特征向量，所述最终特征向量中的每个元素表征所述行人具有对应属性的概率；
根据所述最终特征向量确定所述行人的最终属性预测结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所最终特征向量确定所述行人的最终属性预测结果，包括：
确定所述最终特征向量中大于预设值的元素对应的目标属性；
将所述目标属性确定为所述最终属性预测结果中包含的属性。
4.根据权利要求1所述的方法，其特征在于，还包括：
获取行人的多个属性；
获取表征所述多个属性之间的相关性的相关矩阵；
通过所述图卷积网络提取所述相关矩阵中表征行人的多个属性之间的关联关系的特征信息。
5.根据权利要求4所述的方法，其特征在于，所述获取表征所述多个属性之间的相关性的相关矩阵，包括：
获取多张行人图像中每张行人图像中行人的属性；
统计属性i和属性j出现在同一张行人图像中的次数，属性i和属性j表征行人具有的各个属性；
根据所述次数构建条件概率矩阵，所述条件概率矩阵中的元素表征属性i与属性j相关的概率；
根据所述条件概率矩阵获取所述相关矩阵。
6.根据权利要求5所述的方法，其特征在于，所述根据所述条件概率矩阵获取所述相关矩阵，包括：
对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的相关矩阵。
7.根据权利要求5所述的方法，其特征在于，所述根据所述条件概率矩阵获取所述相关矩阵，包括：
对所述条件概率矩阵中的各个元素进行二值化处理，获得处理后的初始相关矩阵；
对所述初始相关矩阵中的各个元素进行数据平滑处理，获得处理后的相关矩阵。
8.一种行人属性预测装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含行人的待预测图像；
属性初步预测模块，用于通过神经网络模型对所述待预测图像中的行人的属性进行预测，获得属性预测结果；
属性最终预测模块，用于根据所述属性预测结果以及通过图卷积网络获得的表征行人的多个属性之间的关联关系的特征信息，获得所述待预测图像中行人的最终属性预测结果。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。
CN202011012309.4A 2020-09-23 2020-09-23 行人属性预测方法、装置、电子设备及存储介质 Active CN112183299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011012309.4A CN112183299B (zh) 2020-09-23 2020-09-23 行人属性预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011012309.4A CN112183299B (zh) 2020-09-23 2020-09-23 行人属性预测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112183299A true CN112183299A (zh) 2021-01-05
CN112183299B CN112183299B (zh) 2024-02-09

Family

ID=73956059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011012309.4A Active CN112183299B (zh) 2020-09-23 2020-09-23 行人属性预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112183299B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447021A (zh) * 2018-11-08 2019-03-08 北京灵汐科技有限公司 一种属性检测方法及属性检测装置
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110163049A (zh) * 2018-07-18 2019-08-23 腾讯科技（深圳）有限公司 一种人脸属性预测方法、装置及存储介质
DE102018203583A1 (de) * 2018-03-09 2019-09-12 Audi Ag Verfahren, Fahrerassistenzsystem sowie Kraftfahrzeug zur Prädiktion einer Position oder einer Trajektorie mittels eines graphbasierten Umgebungsmodells
CN110298278A (zh) * 2019-06-19 2019-10-01 中国计量大学 一种基于人工智能的地下停车库行人车辆监测方法
CN110598543A (zh) * 2019-08-05 2019-12-20 华中科技大学 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN111079780A (zh) * 2019-11-06 2020-04-28 中国科学院深圳先进技术研究院 空间图卷积网络的训练方法、电子设备及存储介质
CN111126674A (zh) * 2019-12-04 2020-05-08 浙江工业大学 基于深度模型的传播预测方法及其系统
CN111191526A (zh) * 2019-12-16 2020-05-22 汇纳科技股份有限公司 行人属性识别网络训练方法、系统、介质及终端
CN111339818A (zh) * 2019-12-18 2020-06-26 中国人民解放军第四军医大学 一种人脸多属性识别系统
CN111476315A (zh) * 2020-04-27 2020-07-31 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
US20200250139A1 (en) * 2018-12-31 2020-08-06 Dathena Science Pte Ltd Methods, personal data analysis system for sensitive personal information detection, linking and purposes of personal data usage prediction
CN111581450A (zh) * 2020-06-24 2020-08-25 支付宝(杭州)信息技术有限公司 确定用户的业务属性的方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203583A1 (de) * 2018-03-09 2019-09-12 Audi Ag Verfahren, Fahrerassistenzsystem sowie Kraftfahrzeug zur Prädiktion einer Position oder einer Trajektorie mittels eines graphbasierten Umgebungsmodells
CN110163049A (zh) * 2018-07-18 2019-08-23 腾讯科技（深圳）有限公司 一种人脸属性预测方法、装置及存储介质
CN109447021A (zh) * 2018-11-08 2019-03-08 北京灵汐科技有限公司 一种属性检测方法及属性检测装置
US20200250139A1 (en) * 2018-12-31 2020-08-06 Dathena Science Pte Ltd Methods, personal data analysis system for sensitive personal information detection, linking and purposes of personal data usage prediction
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110298278A (zh) * 2019-06-19 2019-10-01 中国计量大学 一种基于人工智能的地下停车库行人车辆监测方法
CN110598543A (zh) * 2019-08-05 2019-12-20 华中科技大学 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN111079780A (zh) * 2019-11-06 2020-04-28 中国科学院深圳先进技术研究院 空间图卷积网络的训练方法、电子设备及存储介质
CN111126674A (zh) * 2019-12-04 2020-05-08 浙江工业大学 基于深度模型的传播预测方法及其系统
CN111191526A (zh) * 2019-12-16 2020-05-22 汇纳科技股份有限公司 行人属性识别网络训练方法、系统、介质及终端
CN111339818A (zh) * 2019-12-18 2020-06-26 中国人民解放军第四军医大学 一种人脸多属性识别系统
CN111476315A (zh) * 2020-04-27 2020-07-31 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN111581450A (zh) * 2020-06-24 2020-08-25 支付宝(杭州)信息技术有限公司 确定用户的业务属性的方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANGPENG SONG等: "Pedestrian Attribute Recognition with Graph Convolution Network in Surveillance Scenarios", FUTURE INTERNET, vol. 11, no. 11, pages 1 - 13 *
李亚鹏等: "基于深度学习的行人属性多标签识别", 中国生物医学工程学报, vol. 37, no. 4, pages 423 - 428 *
汪济民等: "基于卷积神经网络的人脸性别识别", 现代电子技术, vol. 38, no. 7, pages 81 - 84 *
沈庆等: "基于图卷积属性增强的行人再识别方法", 通信技术, vol. 52, no. 10, pages 1 *

Also Published As

Publication number Publication date
CN112183299B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN109858390B (zh) 基于端到端时空图学习神经网络的人体骨架行为识别方法
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN106127197B (zh) 基于显著标签排序的图像显著性目标检测方法和装置
Ji et al. Graph model-based salient object detection using objectness and multiple saliency cues
Jiang et al. Hyperspectral image classification with spatial consistence using fully convolutional spatial propagation network
CN111783779B (zh) 图像处理方法、装置和计算机可读存储介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110222718B (zh) 图像处理的方法及装置
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN109146925B (zh) 一种动态场景下显著性目标检测方法
CN108198172B (zh) 图像显著性检测方法和装置
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
Shrivastava et al. Multiple kernel-based dictionary learning for weakly supervised classification
Li et al. Dept: depth estimation by parameter transfer for single still images
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
Alsanad et al. Real-time fuel truck detection algorithm based on deep convolutional neural network
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Zhou et al. Semantic image segmentation using low-level features and contextual cues
CN111241326B (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant