CN113283404B - 行人属性识别方法、装置、电子设备及存储介质 - Google Patents
行人属性识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113283404B CN113283404B CN202110828210.XA CN202110828210A CN113283404B CN 113283404 B CN113283404 B CN 113283404B CN 202110828210 A CN202110828210 A CN 202110828210A CN 113283404 B CN113283404 B CN 113283404B
- Authority
- CN
- China
- Prior art keywords
- network model
- vehicle
- target domain
- improved
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- HVVWZTWDBSEWIH-UHFFFAOYSA-N [2-(hydroxymethyl)-3-prop-2-enoyloxy-2-(prop-2-enoyloxymethyl)propyl] prop-2-enoate Chemical compound C=CC(=O)OCC(CO)(COC(=O)C=C)COC(=O)C=C HVVWZTWDBSEWIH-UHFFFAOYSA-N 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 125000004432 carbon atom Chemical group C* 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及图像识别技术领域，提供了一种行人属性识别方法、装置、电子设备及存储介质。该方法应用于无人车，即无人驾驶设备或自动驾驶设备，包括：获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别。本公开能够利用源域样本和目标域样本对改进的网络模型进行训练，并使用训练得到的网络模型进行行人属性识别，因此，提升了网络模型的泛化性能，提高了网络模型的预测准确率，并进一步提高了行人属性识别的识别精度和识别速度。
Description
技术领域
本公开涉及图像识别技术领域，尤其涉及一种行人属性识别方法、装置、电子设备及计算机可读存储介质。
背景技术
行人属性识别（Pedestrian Attribute Recognition，PAR）是从输入图像中挖掘行人的属性信息，例如，性别、年龄、服装等。近年来，行人属性识别受到了越来越多的关注，并且在视频监控、智能商业视频、行人重识别、人脸识别识等领域有着广泛的应用前景。
在无人车领域的售卖场景中，通过主动与周围的潜在用户进行互动，能够促成用户的购买行为。为了与潜在用户进行互动，无人车需要对车辆周围的行人进行行人属性识别，以确定行人的年龄、性别、服装等信息，并基于此进行精准的互动和营销。
现有技术中，存在很多带有人工标注的大规模的行人属性数据集，这些行人属性数据集推动了行人属性识别的快速发展。然而，在实际应用中，即使使用通过大规模的行人属性数据集训练好的模型，也会由于显著的领域差异和环境因素的干扰导致行人属性识别的识别精度和识别速度受限。
发明内容
有鉴于此，本公开实施例提供了一种行人属性识别方法、装置、电子设备及计算机可读存储介质，以解决现有技术中即使使用通过大规模的行人属性数据集训练好的模型，也会由于显著的领域差异和环境因素的干扰导致行人属性识别的识别精度和识别速度受限的问题。
本公开实施例的第一方面，提供了一种行人属性识别方法，包括：获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别。
本公开实施例的第二方面，提供了一种行人属性识别装置，包括：获取模块，被配置为获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；训练模块，被配置为利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；识别模块，被配置为将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：通过获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别，能够利用源域样本和目标域样本对改进的网络模型进行训练，并使用训练得到的网络模型进行行人属性识别，因此，提升了网络模型的泛化性能，提高了网络模型的预测准确率，并进一步提高了行人属性识别的识别精度和识别速度。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的一种行人属性识别方法的流程图；
图3是本公开实施例提供的另一种行人属性识别方法的流程图；
图4是本公开实施例提供的一种行人属性识别装置的框图；
图5是本公开实施例提供的一种电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种行人属性识别方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括无人零售车和多个用户2。
无人零售车1的车厢内设有货架，货架上摆放有各种商品；进一步地，无人零售车1的车体上设置有多个不同方向和角度的摄像装置，用于采集无人零售车1周围的真实场景数据。无人零售车1的周围有多个用户2，这些用户可以是正在使用无人零售车1的用户2，也可以是潜在使用无人零售车1的用户2。
无人零售车1部署有用于识别行人属性的网络模型，通过将摄像装置采集到的图像或图片输入该网络模型，能够对无人零售车1周围一定范围内的用户2进行行人属性识别，以获取用户2的年龄、性别、服装等信息，并基于获取到的用户2的信息与用户2进行精准的互动和营销。
需要说明的是，无人零售车1的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
图2是本公开实施例提供的一种行人属性识别方法的流程图。图2的行人属性识别方法可以由自动驾驶系统中的电子设备执行。如图2所示，该行人属性识别方法包括：
S201，获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；
S202，利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；
S203，将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别。
具体地，源域数据集可以是公开的行人属性数据集，该行人属性数据集可以包括PETA数据集、RAP数据集和PA-100K数据集；目标域数据可以是通过安装在车辆上的摄像装置采集到的真实场景数据。这里，PETA（PEdesTrian Attribute）数据集是2014年发布的第一个针对行人属性识别的上万规模的数据集，其收集结合了10个行人再识别小数据集，共19000个行人样本，包括8705个行人，每个样本分为61个二分类属性和4个多分类属性。RAP（Richly Annotated Pedestrian）数据集是2016年提出的针对行人属性识别的数据集，包括41585个行人样本，每个样本分为69个二分类属性和3个多分类属性。PA-100K（newlarge-scale Pedestrian Attribute）数据集是2017年底发布的最新、最大的针对行人属性识别的数据集，包括10万个行人样本，每个样本分26个属性。
需要说明的是，本公开的行人属性数据集不限于如上所述的PETA数据集、RAP数据集和PA-100K数据集，例如，还可以包括MIT（MIT-CBCL Pedestrian Database）行人数据库、USC（USC Pedestrian Detection Test Set）行人数据库、Caltech（Caltech PedestrianDetection Benchmark）行人数据库、Daimler（Daimler Pedestrian DetectionBenchmark）行人数据库、INRIA（INRIA Person Dataset）行人数据库等。此外，还需要说明的是，高质量、大规模的训练数据集是深度学习进行模型训练的关键，数据量越多、越精准，训练得到的模型效果就越好；也就是说，优秀的深度学习模型是算法通过大量的数据集训练而达到的，因此，为了训练得到更优秀的网络模型，本公开实施例的行人属性数据集的数量为至少三个。
摄像装置可以是用于采集车辆周围的真实场景的图像信息的各种设备，包括但不限于广角摄像头、双目摄像头、电荷耦合器件（Charge Coupled Device，CCD）摄像头、无线摄像头、变焦摄像机、枪型摄像机、半球摄像机、宽动态摄像机等。摄像装置可以安装在车辆的任何位置，例如，车头、车身、车尾等，本公开实施例对此不作限制。进一步地，摄像装置内设置有无线通信模块，以经由网络向设置在车辆中的处理器或服务器传送摄像装置采集到的图像信息。这里，网络可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙（Bluetooth）、近场通信（NearField Communication，NFC）、红外（Infrared）等，本公开实施例对此不作限制。服务器可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
域自适应（Domain Adaptation）是迁移学习中的一种代表性方法，其利用信息丰富的源域样本来提升目标域模型的性能。源域（Source Domain）是指与测试样本不同的领域，但是有丰富的监督信息；目标域（Target Domain）是指测试样本所在的领域，无标签或者只有少量标签。源域和目标域往往属于同一类任务，但是分布不同，源域有大量的有标注样本，目标域则没有或仅有少量的有标注样本。域自适应的基本思想是将源域样本和目标域样本映射到一个特征空间，并在特征空间中找一个度量准则，使得源域样本和目标域样本的特征分布尽量接近，这样，基于源域样本的特征训练得到的分类器就可以用于目标域样本。
网络模型可以是多特征空间适应网络（Multiple Feature Spaces AdaptationNetwork，MFSAN），用于将每一对源域和目标域的分布在多个特定的领域空间对齐，以及将分类器的输出利用每两个特定于域的边界差最小化之和求得。MFSAN的网络结构包括共同特征提取器、特定领域特征提取器和特定领域分类器，这里，共同特征提取器作为特征提取器的一个子网络，用于提取所有领域的公共特征；特定领域特征提取器将每对源领域-目标域的提取特征映射到一个特定特征空间，类似于单源领域迁移；特定领域分类器对每对特定领域进行softmax分类输出，得到交叉熵损失函数（Cross Entropy Loss Function）。
训练结束条件是指结束网络模型训练的条件，训练结束条件可以是达到预设的迭代次数，也可以是调整模型参数后的网络模型的性能达到预设指标，或者还可以是管理人员确定的，本公开实施例对此不作限制。这里，迭代是指程序中对一组指令（或者一定步骤）的重复。迭代次数可以是用户根据经验数据预先设置的阈值，也可以是用户对已设置的次数进行调整后得到的阈值，本公开实施例对此不作限制。需要说明的是，由于迭代计算是一个推算过程，逐渐产生最接近真实结果的解，因此，其得到的解有可能正确，也有可能错误，但误差会相当小。
车辆可以是能够实现无人驾驶的各种设备，例如，无人零售车或无人售货车、自动配送设备、机器人等；也可以是具有自动巡航控制功能的车辆，例如，轿车、房车、卡车、越野车、运动型实用汽车（Sport Utility Vehicle，SUV）；或者还可以是电动车、自行车等，本公开实施例对此不作限制。优选地，在本公开实施例中，车辆可以是自动驾驶车辆或无人驾驶车辆。
行人属性识别是一种模式识别技术，用于对监控类视频中的行人的表观特征的描述属性进行识别。行人的表观特征包括性别、年龄、身材、衣着、头发、配饰、朝向等多方面，每一个表观特征可以包括若干种描述属性，例如，当表观特征为性别时，性别的描述属性包括男和女；又例如，当表观特征为头发时，头发的描述属性包括长发和短发，头发的表观特征还可能包括其他的描述属性，例如，按照颜色区分头发的描述属性，头发的描述属性包括白色、黑色和棕色等。行人属性识别的对象是摄像装置随机拍摄到的任一角度的目标图像，目的是通过对行人的表观特征的描述属性识别，降低视觉信息的搜索难度，提高视觉信息识别的精度和速度。
根据本公开实施例提供的技术方案，通过获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别，能够利用源域样本和目标域样本对改进的网络模型进行训练，并使用训练得到的网络模型进行行人属性识别，因此，提升了网络模型的泛化性能，提高了网络模型的预测准确率，并进一步提高了行人属性识别的识别精度和识别速度。
在一些实施例中，利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件，包括：将源域样本和目标域样本输入至卷积层进行卷积运算，得到卷积运算结果；将卷积运算结果输入至自适应平均池化层，并使用预设方法进行降采样处理，得到降采样处理结果；使用sigmoid分类器对降采样处理结果进行分类，并使用sigmoid损失函数进行迭代运算，得到改进的网络模型。
具体地，将源域样本和目标域样本输入至卷积层进行卷积运算，以提取源域样本和目标域样本的特征；接着，将提取出来的卷积运算结果输入至自适应平均池化层，并使用预设方法对卷积运算结果进行降采样处理，以减少采样数量；进一步地，将降采样处理结果输入至sigmoid分类器进行分类，并使用sigmoid损失函数进行优化，以得到改进的网络模型，进而能够提高分类的准确性。
这里，卷积层（Convolutional Layer）由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。在本公开实施例中，卷积层的卷积核大小为1×1。需要说明的是，卷积层的数量可以根据实际需求进行调整，本公开实施例对此不作限制。
池化层（Pooling Layer）夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。自适应平均池化层是通过全局池化来获得一个权重值的操作。预设方法可以是最大池化（Max-pooling），即对输入至自适应平均池化层的特征值中的最强的特征值进行保留，舍弃其他较弱的特征值，进而保证特征的位置与旋转不变性。此外，最大池化能够减少网络模型的参数数量，减少网络模型过拟合的问题，同时能够将输入长度整理为固定长度的输入，以便在网络结构过程中的确定神经元的数量。降采样（Downsampling）也称下采样（Subsampling），是指成比例缩小特征图宽和高的过程。降采样的主要目的是降低特征的维度并保留有效信息，一定程度上避免过拟合。需要说明的是，自适应平均池化层的数量可以根据实际需求进行调整，本公开实施例对此不作限制。优选地，在本公开实施例中，自适应平均池化层的数量为4个或5个。
分类器作用是在标记好类别的训练数据基础上判断（或预测）一个新的样本所属的类别。Sigmoid通常不用来做多分类，而是用来做二分类。在二分类问题中，可以使用sigmoid作为最后的激活层；在多标签问题中，也可以使用多个sigmoid作为最后的激活层，即，相当于把每一个类别当作二分类来处理。在本公开实施例中，通过使用sigmoid分类器进行分类，能够避免出现分类的结果只能是0和1两种情况，并且还能够避免出现诸如使用softmax分类器存在的互斥情况。
损失函数（loss function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在实际应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。在本公开实施例中，通过使用sigmoid损失函数进行迭代运算，直至sigmoid损失函数的数值最小，能够利用损失函数的最小值确定得到的改进的网络模型的优劣，即，当损失函数的数值最小时，得到的改进的网络模型达到该分类器下的最优状态，使用得到的改进的网络模型进行分类的准确性越高。
需要说明的是，原始的MFSAN仅能够实现单标签类别输出，例如，仅能够区分人和动物。在本公开实施例中，通过对原始的MFSAN进行调整，即，将MFSAN的网络结构中的特定领域分类器的全连接层（Fully Connected Layer，FC）调整为自适应平均池化层和1×1的卷积层，并将特定领域分类器的分类损失函数由交叉熵损失函数调整为sigmoid损失函数，能够实现多标签类别输出，因此，提高了行人属性识别的准确性，减小了数据标注的工作量，节省了数据标注的成本。
在一些实施例中，使用sigmoid损失函数进行迭代运算，得到改进的网络模型，包括：使用改进后的随机梯度下降算法对sigmoid损失函数进行迭代运算，直至sigmoid损失函数的数值最小，进而得到改进的网络模型。
具体地，使用随机梯度下降算法对损失函数进行迭代运算过程中，将损失函数中不恰当的数学部分改进为Adam（Adaptive Momentum）方法，以使改进后的随机梯度下降算法适配sigmoid损失函数，得到sigmoid损失函数的数值最小，从而提高网络模型分类结果的准确性。
这里，Adam是一种自适应动量的随机优化方法，经常作为深度学习中的优化器算法。Adam算法与传统的随机梯度下降不同。随机梯度下降保持单一的学习率（即，alpha）更新所有的权重，学习率在训练过程中并不会改变；而Adam通过计算梯度的一阶矩估计和二阶矩估计，为不同的参数设计独立的自适应性学习率。
在一些实施例中，sigmoid损失函数的计算公式如下：
，这里，
表示sigmoid损失函数，
表示样本总数，
为正整数；
表示属性总数，
为正整数；
表示第
个样本中第
种属性的标签，
表示第
个样本中第
种属性的预测值，
表示sigmoid激活函数，
表示对数函数。
具体地，sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的激活函数，将变量映射到0和1之间。Sigmoid激活函数的计算公式如下：
其中，
表示输入，
表示函数的输出，
表示底数为
的指数函数。
进一步地，使用sigmoid函数来做多标签分类就是针对
中每个分类计算的结果分别作用一个sigmoid分类器，以分别判定样本是否属于某个类别。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下面，通过具体示例对本公开实施例的行人属性识别方法进行描述。
假设一个样本（即，一张图像）中有一个行人，待预测的属性有2个，即，是否为男士和是否戴口罩，则可以确定样本总数
为1，即，
=1；属性总数
为2，即，
=2。进一步地，假设预测结果为“是否为男士”的标签和预测值分别为1和2，预测结果为“是否戴口罩”的标签和预测值分别为0和3，如下表所示。
属性（ |
是否为男士 | 是否戴口罩 |
标签（ |
1 | 0 |
预测值（ |
2 | 3 |
基于以上数据并根据sigmoid损失函数的计算公式，可以得到：
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图3是本公开实施例提供的另一种行人属性识别方法的流程图。图3的行人属性识别方法可以由自动驾驶系统中的电子设备执行。如图3所示，该行人属性识别方法包括：
S301，获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；
S302，将源域样本和目标域样本输入至卷积层进行卷积运算，得到卷积运算结果；
S303，将卷积运算结果输入至自适应平均池化层，并使用预设方法进行降采样处理，得到降采样处理结果；
S304，使用sigmoid分类器对降采样处理结果进行分类，并使用sigmoid损失函数进行迭代运算，得到改进的网络模型；
S305，将改进的网络模型部署到车辆中，以使用改进的网络模型对车辆周围的行人进行行人属性识别。
根据本公开实施例提供的技术方案，通过获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；将源域样本和目标域样本输入至卷积层进行卷积运算，得到卷积运算结果；将卷积运算结果输入至自适应平均池化层，并使用预设方法进行降采样处理，得到降采样处理结果；使用sigmoid分类器对降采样处理结果进行分类，并使用sigmoid损失函数进行迭代运算，得到改进的网络模型；将改进的网络模型部署到车辆中，以使用改进的网络模型对车辆周围的行人进行行人属性识别，能够利用源域样本和目标域样本对改进的网络模型进行训练，并使用训练得到的网络模型进行行人属性识别，因此，提升了网络模型的泛化性能，提高了网络模型的预测准确率，并进一步提高了行人属性识别的识别精度和识别速度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
下述为本公开系统实施例，可以用于执行本公开方法实施例。对于本公开系统实施例中未披露的细节，请参照本公开方法实施例。
图4是本公开实施例提供的一种行人属性识别装置的示意图。如图4所示，该行人属性识别装置包括：
获取模块401，被配置为获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；
训练模块402，被配置为利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；
识别模块403，被配置为将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别。
根据本公开实施例提供的技术方案，通过获取有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；利用源域样本和目标域样本对改进的网络模型进行训练，直至满足改进的网络模型的训练结束条件；将训练得到的网络模型部署到车辆中，以使用训练得到的网络模型对车辆周围的行人进行行人属性识别，能够利用源域样本和目标域样本对改进的网络模型进行训练，并使用训练得到的网络模型进行行人属性识别，因此，提升了网络模型的泛化性能，提高了网络模型的预测准确率，并进一步提高了行人属性识别的识别精度和识别速度。
在一些实施例中，图4的训练模块402将源域样本和目标域样本输入至卷积层进行卷积运算，得到卷积运算结果；将卷积运算结果输入至自适应平均池化层，并使用预设方法进行降采样处理，得到降采样处理结果；使用sigmoid分类器对降采样处理结果进行分类，并使用sigmoid损失函数进行迭代运算，得到改进的网络模型。
在一些实施例中，图4的训练模块402使用改进后的随机梯度下降算法对sigmoid损失函数进行迭代运算，直至sigmoid损失函数的数值最小，进而得到改进的网络模型。
在一些实施例中，sigmoid损失函数的计算公式如下：
，其中，
表示sigmoid损失函数，
表示样本总数，
为正整数；
表示属性总数，
为正整数；
表示第
个样本中第
种属性的标签，
表示第
个样本中第
种属性的预测值，
表示sigmoid激活函数，
表示对数函数。
在一些实施例中，卷积层的卷积核大小为1×1，预设方法为最大池化。
在一些实施例中，源域数据集为公开的行人属性数据集，该行人属性数据集包括PETA数据集、RAP数据集和PA-100K数据集，目标域数据为通过安装在车辆上的摄像装置采集到的真实场景数据。
在一些实施例中，网络模型为多特征空间适应网络，车辆为自动驾驶车辆或无人驾驶车辆。
图5是本公开实施例提供的一种电子设备5的示意图。如图5所示，该实施例的电子设备5包括：处理器501、存储器502以及存储在该存储器502中并且可以在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序503可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序503在电子设备5中的执行过程。
电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器501可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以是电子设备5的内部存储单元，例如，电子设备5的硬盘或内存。存储器502也可以是电子设备5的外部存储设备，例如，电子设备5上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器502还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。存储器502还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (9)
1.一种行人属性识别方法，其特征在于，包括：
获取多个有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；
利用所述源域样本和所述目标域样本对改进的网络模型进行训练，直至满足所述改进的网络模型的训练结束条件；
将训练得到的网络模型部署到车辆中，以使用所述训练得到的网络模型对所述车辆周围的行人进行行人属性识别，
其中，所述利用所述源域样本和所述目标域样本对改进的网络模型进行训练，直至满足所述改进的网络模型的训练结束条件，包括：
将所述源域样本和所述目标域样本输入至卷积层进行卷积运算，得到卷积运算结果；
将所述卷积运算结果输入至自适应平均池化层，并使用预设方法进行降采样处理，得到降采样处理结果；
使用sigmoid分类器对所述降采样处理结果进行分类，并使用sigmoid损失函数进行迭代运算，得到所述改进的网络模型，
其中，所述网络模型为多特征空间适应网络。
2.根据权利要求1所述的方法，其特征在于，所述使用sigmoid损失函数进行迭代运算，得到所述改进的网络模型，包括：
使用改进后的随机梯度下降算法对所述sigmoid损失函数进行迭代运算，直至所述sigmoid损失函数的数值最小，进而得到所述改进的网络模型。
3.根据权利要求1所述的方法，其特征在于，所述sigmoid损失函数的计算公式如下：
其中，
表示所述sigmoid损失函数，
表示样本总数，
为正整数；
表示属性总数，
为正整数；
表示第
个样本中第
种属性的标签，
表示第
个样本中第
种属性的预测值，
表示sigmoid激活函数，
表示对数函数。
4.根据权利要求1所述的方法，其特征在于，所述卷积层的卷积核大小为1×1，所述预设方法为最大池化。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述源域数据集为公开的行人属性数据集，所述行人属性数据集包括PETA数据集、RAP数据集和PA-100K数据集，所述目标域数据为通过安装在所述车辆上的摄像装置采集到的真实场景数据。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述车辆为自动驾驶车辆或无人驾驶车辆。
7.一种行人属性识别装置，其特征在于，包括：
获取模块，被配置为获取多个有标注的源域数据集中的源域样本和无标注的目标域数据中的目标域样本；
训练模块，被配置为利用所述源域样本和所述目标域样本对改进的网络模型进行训练，直至满足所述改进的网络模型的训练结束条件；
识别模块，被配置为将训练得到的网络模型部署到车辆中，以使用所述训练得到的网络模型对所述车辆周围的行人进行行人属性识别，
其中，所述训练模块将所述源域样本和所述目标域样本输入至卷积层进行卷积运算，得到卷积运算结果；将所述卷积运算结果输入至自适应平均池化层，并使用预设方法进行降采样处理，得到降采样处理结果；使用sigmoid分类器对所述降采样处理结果进行分类，并使用sigmoid损失函数进行迭代运算，得到所述改进的网络模型，其中，所述网络模型为多特征空间适应网络。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110828210.XA CN113283404B (zh) | 2021-07-22 | 2021-07-22 | 行人属性识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110828210.XA CN113283404B (zh) | 2021-07-22 | 2021-07-22 | 行人属性识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113283404A CN113283404A (zh) | 2021-08-20 |
| CN113283404B true CN113283404B (zh) | 2021-11-30 |
Family
ID=77286961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110828210.XA Active CN113283404B (zh) | 2021-07-22 | 2021-07-22 | 行人属性识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113283404B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114266012B (zh) * | 2021-12-21 | 2022-10-04 | 浙江大学 | 基于WiFi的非接触式博物馆多区域观众计数方法 |
| CN114550215B (zh) * | 2022-02-25 | 2022-10-18 | 北京拙河科技有限公司 | 一种基于迁移学习的目标检测方法及系统 |
| CN117274953A (zh) * | 2023-09-28 | 2023-12-22 | 深圳市厚朴科技开发有限公司 | 一种车辆和行人属性识别方法系统、设备及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150235143A1 (en) * | 2003-12-30 | 2015-08-20 | Kantrack Llc | Transfer Learning For Predictive Model Development |
| CN112329536A (zh) * | 2020-10-09 | 2021-02-05 | 东南大学 | 一种基于交替对抗迁移学习的单样本人脸识别方法 |
| CN112507800A (zh) * | 2020-11-14 | 2021-03-16 | 北京工业大学 | 一种基于通道注意力机制和轻型卷积神经网络的行人多属性协同识别方法 |
| CN113076994B (zh) * | 2021-03-31 | 2022-08-05 | 南京邮电大学 | 一种开集域自适应图像分类方法及系统 |
-
2021
- 2021-07-22 CN CN202110828210.XA patent/CN113283404B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113283404A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113283404B (zh) | 行人属性识别方法、装置、电子设备及存储介质 | |
| US20220092351A1 (en) | Image classification method, neural network training method, and apparatus | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN107533669B (zh) | 滤波器特异性作为用于神经网络的训练准则 | |
| WO2019243863A1 (en) | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi-view vehicle representations | |
| CN110751037A (zh) | 车身颜色识别的方法及终端设备 | |
| CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
| CN111738403B (zh) | 一种神经网络的优化方法及相关设备 | |
| KR20180048930A (ko) | 분류를 위한 강제된 희소성 | |
| CN108197666A (zh) | 一种图像分类模型的处理方法、装置及存储介质 | |
| CN113516227B (zh) | 一种基于联邦学习的神经网络训练方法及设备 | |
| CN112614119A (zh) | 医学图像感兴趣区域可视化方法、装置、存储介质和设备 | |
| CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
| CN110175615A (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| Sharma et al. | Vehicle identification using modified region based convolution network for intelligent transportation system | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| Gawande et al. | SIRA: Scale illumination rotation affine invariant mask R-CNN for pedestrian detection | |
| CN111723829A (zh) | 一种基于注意力掩模融合的全卷积目标检测方法 | |
| Karthika et al. | A novel convolutional neural network based architecture for object detection and recognition with an application to traffic sign recognition from road scenes | |
| Xing et al. | The Improved Framework for Traffic Sign Recognition Using Guided Image Filtering | |
| Surwase et al. | Multi-scale multi-stream deep network for car logo recognition | |
| WO2021174513A1 (zh) | 一种图像处理系统、方法以及包括该系统的自动驾驶车辆 | |
| Kaur et al. | Deep learning: survey of environmental and camera impacts on internet of things images | |
| CN116503896A (zh) | 鱼类图像分类方法、装置和设备 | |
| CN114092818B (zh) | 语义分割方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230712 Address after: 200120, 1st and 2nd floors, No. 7, Lane 999, Haike Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: Neolithic Zhongyan (Shanghai) Technology Co.,Ltd. Address before: 100176 room 613, 6 / F, area 2, building a, 12 Hongda North Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee before: NEOLIX TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right |