CN113743236A - 乘客画像分析方法、装置、电子设备和计算机可读存储介质 - Google Patents
乘客画像分析方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113743236A CN113743236A CN202110921105.0A CN202110921105A CN113743236A CN 113743236 A CN113743236 A CN 113743236A CN 202110921105 A CN202110921105 A CN 202110921105A CN 113743236 A CN113743236 A CN 113743236A
- Authority
- CN
- China
- Prior art keywords
- passenger
- face
- image
- model
- inbound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 96
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 210000001525 retina Anatomy 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 52
- 238000011176 pooling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 6
- 210000003128 head Anatomy 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开的实施例提供了乘客画像分析方法、装置、电子设备和计算机可读存储介质。所述方法，包括：采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；对所述进站乘客图像进行人脸检测，获取人脸图像，所用模型包括Retina Face模型；将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。所述方法可以对所述进站乘客图像进行人脸检测，获取乘客人脸图像，利用RetinaFace模型所得到的乘客人脸图像去除了大量的无关信息，相较于摄像头直接拍摄得到的原始乘客图像，利用所述乘客人脸图像所得到的识别结果的准确度大大提高，避免了因为拍摄距离较远，而人脸目标较小，不能准确的识别出乘客的特征的问题。
Description
技术领域
本公开的实施例一般涉及画像分析领域，并且更具体地，涉及一种乘客画像分析方法、装置、电子设备和计算机可读存储介质。
背景技术
地铁服务在满足乘客安全、便捷、快速等要求后，更多乘客想要体验舒适和定制化的出行服务。而舒适和定制化的乘车服务需要获取乘客的年龄与性别数据，针对乘客的群体分布来制定乘车服务。
现有的技术中，一般采用闸机上方的摄像头额获取进站乘客图像；由于摄像头距离过远，在拍摄到的图像中的人脸目标较小，因此，现有的乘客画像分析方法不能准确的识别出乘客的性别和年龄。
发明内容
根据本公开的实施例，提供了一种乘客画像分析方法、装置、电子设备和计算机可读存储介质。
在本公开的第一方面，提供了一种乘客画像分析方法，包括：
采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；
对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型；
将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
对所述进站乘客图像进行人脸检测的步骤包括：
通过Retina Face模型对所述进站乘客图像进行人脸检测。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
所述Retina Face模型同时预测人脸评分、人脸框、人脸关键点以及每个人脸像素的三维位置和对应关系；
所述Retina Face模型检测到的人脸框对应的人脸图像作为所述乘客画像分析模型的输入。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述人脸关键点的数量为5个，分别为嘴角两侧，鼻子，双眼。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述乘客画像分析模型结构为Multi Head，包括残差网络、平均池化层、特征嵌入层、两个全卷积层和两个分类层，其中，所述特征嵌入层用于将所述平均池化层所得结果的映射为低维向量，每个所述分类层对应于一个所述全卷积层，用于分别输出对应的性别和年龄识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述乘客画像分析模型的训练方法包括：
获取乘客画像分析训练集，所述乘客画像分析训练集包括多张标记有年龄和性别属性的训练用乘客人脸图像；
利用所述乘客画像分析训练集，对所述乘客画像分析模型进行训练，直至训练中的所述乘客画像分析模型的损失函数的值小于损失阈值或训练的周期数满足设定周期数，得到训练完成的所述乘客画像分析模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述采集进站乘客图像的步骤包括：
利用设置于进站闸机上方的摄像头获取进站乘客图像，其中，所述摄像头的摄像范围至少包括所述进站闸机的一个进站口。
在本公开的第二方面，提供了一种乘客画像分析装置，包括：
进站乘客图像采集单元，用于采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；
人脸检测单元，用于对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型；
识别结果获取单元，用于将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
在本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有程序，所述处理器执行所述程序时实现所述乘客画像分析方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现所述乘客画像分析方法。
本公开的实施例提供了一种乘客画像分析方法，包括：
采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；
对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型；
将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
可以看出，本公开的实施例所提供的乘客画像分析方法，可以对所述进站乘客图像进行人脸检测，利用Retina Face模型获取一个或多个乘客的乘客人脸图像，所得到的乘客人脸图像去除了大量的无关信息，相较于摄像头直接拍摄得到的原始乘客图像，利用所述乘客人脸图像所得到的识别结果的准确度大大提高，避免了因为拍摄距离较远，而人脸目标较小，不能准确的识别出乘客的特征的问题。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开的实施例提供的乘客画像分析方法的流程示意图；
图2示出了本公开的实施例提供的乘客画像分析方法的乘客画像分析模型的结构示意图；
图3示出了本公开的实施例提供的乘客画像分析方法的乘客画像分析模型的示例结构图；
图4示出了本公开的实施例提供的乘客画像分析装置的示意图；
图5示出了能够实施本公开的实施例的示例性电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本公开的实施例提供了一种乘客画像分析方法，包括：
采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；
对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型；
将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
可以看出，本公开的实施例所提供的乘客画像分析方法，可以对所述进站乘客图像进行人脸检测，利用Retina Face模型获取一个或多个乘客的乘客人脸图像，所得到的乘客人脸图像去除了大量的无关信息，相较于摄像头直接拍摄得到的原始乘客图像，利用所述乘客人脸图像所得到的识别结果的准确度大大提高，避免了因为拍摄距离较远，而人脸目标较小，不能准确的识别出乘客的特征的问题。
具体的，请参考图1，图1示出了本公开的实施例提供的乘客画像分析方法的流程示意图。
本公开的实施例提供了一种乘客画像分析方法，包括：
步骤S11:采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客。
所述进站乘客图像中包括一个或多个乘客。可以利用设置于闸机上方的摄像头获取的进站乘客的图像作为所述进站乘客图像，其中，在设置所述摄像头时，为了扩大取景范围，可以设置时所述摄像头的摄像范围至少包括所述进站闸机的一个进站口。
步骤S12:对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型。本公开中，为了解决摄像头距离过远，在拍摄到的图像中的人脸目标较小的问题，本公开的实施例所提供的乘客画像分析方法中，采用了对所述进站乘客图像进行人脸检测的方法。通过对所述进站乘客图像进行人脸检测，可以获取所述进站乘客图像中所包括的所有乘客的人脸图像，其中，每张所述人脸图像中仅包含一个乘客的人脸区域的图像。
进行人脸检测所用的所述Retina Face模型为一种进行人脸检测的模型。其中采用了特征金字塔提取多尺度特征，属于单阶段的神经网络，具有快捷高效的特点。当采用Retina Face模型对所述进站乘客图像进行人脸检测时，可以采用多任务学习策略，同时预测人脸评分、人脸框、人脸关键点以及每个人脸像素的三维位置和对应关系。同时所用损失函数为多任务损失函数，利用该损失函数训练得到的所述模型在获取人脸图像获取模型的准确率较高，漏检率和误检率均较低。
利用所述Retina Face模型检测到的人脸框对应的人脸图像，即可作为后续乘客画像分析模型的输入。
其中，所述人脸关键点适于定位人脸的位置，具体人脸关键点的位置和数量可以根据需要选择。在一种具体实施方式中，所述人脸关键点的数量可以为5个，具体为嘴角两端、鼻尖和双眼。通过选取嘴角两端、鼻尖和双眼5个人脸关键点，定位的人脸位置的准确程度更高。在对所述Retina Face等人脸检测模型进行训练时，可以利用训练集对所述RetinaFace等人脸检测模型进行训练。
其中，所述训练集中包括一系列训练用乘客图像，所述训练用乘客图像的采集时间可以包含工作日上下班高峰和平峰时段。也可以利用设置于闸机上方摄像头获取通过闸机的工作人员的图像作为所述训练用乘客图像。
当然，还可以将设置于闸机上方摄像头获取的进站乘客的图像或设置于闸机上方摄像头获取通过闸机的工作人员的图像进行预处理后，得到所述训练用乘客图像。预处理的步骤可以包括使用OpenCV的高斯滤波和开闭运算对所述训练用乘客图像进行去噪操作。
在获得所述训练用乘客图像后，可以使用Label Img等标注工具对采集到的训练集进行数据标注，每张图片都标注出每位乘客的性别或年龄等所需特征种类。其中，所述年龄数据可以通过调查乘客或根据乘客所绑定的实名制公共交通卡的信息获得。
所述Retina Face等人脸检测模型训练完成后，即可利用所述Retina Face等人脸检测模型，对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像。
步骤S13:将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
通过得到性别结果或年龄结果域的不断发展，便于统计乘车乘客的年龄及性别数据，从而便于分析乘客群体的分布，进而可以为乘客更好的提供创新及定制化的乘车服务，例如优化站内的设施，使其更符合乘客群体的需要等等。
其中，为了提高所得结果的准确性，所述乘客画像分析模型的结构可以根据需要选择，在一种具体实施方式中，所述乘客画像分析模型结构为Multi Head，包括残差网络21、平均池化层22、特征嵌入层23、两个全卷积层24和两个分类层25，其中，所述特征嵌入层23用于将所述平均池化层22所得结果的映射为低维向量，每个所述分类层25对应于一个所述全卷积层24，用于分别输出对应的性别和年龄识别结果。
所述特征嵌入层23用于将所述平均池化层22所得结果的映射为低维向量，通过所述平均池化层22所得结果的映射为低维向量，可以使相近的图像特征能够更清晰的体现出来，在经过所述特征嵌入层23处理完成之后，所得到的低维向量相较于较复杂的图像特征更加简明，从而可以更容易的区分各种图像特征，因为相近的图像特征的向量的欧式距离(或余弦相似度)更小，差别很大的图像特征的向量的欧式距离(或余弦相似度)较大，从而可以更好地优化计算过程，进而提高了最后所得特征结果的准确性。
由于所述全卷积层24只是对输入的局部区域进行计算，无需确保权重矩阵的大小与输入的大小相同，所以输入可以为不同大小的特征图，相较于全连接层输入更加灵活，可以接受任意分辨率的图像输入；而且还可以减少计算量，从而提高所述乘客画像分析模型的效率。
具体的，请参考图3，图3示出了本公开的实施例提供的乘客画像分析方法的乘客画像分析模型的示例结构图。
所述人脸图像输入残差网络中，所述残差网络包括卷积层、BN(批量归一化、BatchNormalization)和Relu(非线性激活函数)、最大池化层、一系列ResBlock和又一层Relu，其中在第一个ResBlock之后，输入其他ResBlock时，都会对输入进行下采样，所以输入的维度会降为上一级输出的一半。然后是平均池化层、特征嵌入层、两个全卷积层和相对应的两个分类层。所述残差网络作为主干网络(Backbone)有助于训练时的解决梯度消失和梯度爆炸问题，可以在训练更深网络的同时，又能保证良好的性能。
其中，所述残差网络的具体结构可以根据需要选用，可以为ResNet18、ResNet50和ResNet101。当选用ResNet50时，能够兼顾准确率和训练效率。
当然，还可以对上述示例结构图进行进一步改进，只要满足包括残差网络、平均池化层、特征嵌入层、两个全卷积层和两个分类层即可。
所述乘客画像分析模型的训练方法可以根据需要选择，在一种具体实施方式中，所述乘客画像分析模型的训练方法可以包括：
获取乘客画像分析训练集，所述乘客画像分析训练集包括多张标记有年龄和性别属性的训练用乘客人脸图像；
利用所述乘客画像分析训练集，对所述乘客画像分析模型进行训练，直至训练中的所述乘客画像分析模型的损失函数的值小于损失阈值或训练的周期数满足设定周期数，得到训练完成的所述乘客画像分析模型。
利用上述方法可以很方便的进行所述乘客画像分析模型的训练，所得到的所述乘客画像分析模型的准确率较高。
具体的，在对所述乘客画像分析模型进行训练时，可以使用Horovod分布式框架对多个模型进行训练，采用的方法为随机梯度下降法，学习率的衰减函数为余弦函数，所述设定周期数为80周期。然后，将测试集的数据输入到已训练好的乘客画像分析模型中，最终的测试结果为模型识别准确率在达到了97％，漏检率为1％，误检率为0。
训练好的模型可以部署在车站服务器端，在闸机口实时检测进站乘客的人脸属性，识别结果输出在显示屏幕上。
可以看出，本公开的实施例所提供的乘客画像分析方法，可以对所述进站乘客图像进行人脸检测，利用Retina Face模型获取一个或多个乘客的乘客人脸图像，所得到的乘客人脸图像去除了大量的无关信息，相较于摄像头直接拍摄得到的原始乘客图像，利用所述乘客人脸图像所得到的识别结果的准确度大大提高，避免了因为拍摄距离较远，而人脸目标较小，不能准确的识别出乘客的特征的问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
请参考图4，图4示出了本公开的实施例提供的乘客画像分析装置的示意图。
本公开的实施例还提供了一种乘客画像分析装置，包括：
进站乘客图像采集单元41，用于采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；
人脸检测单元42，用于对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型；
识别结果获取单元43，用于将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
可以看出，本公开的实施例所提供的乘客画像分析装置，可以对所述进站乘客图像进行人脸检测，利用Retina Face模型获取一个或多个乘客的乘客人脸图像，所得到的乘客人脸图像去除了大量的无关信息，相较于摄像头直接拍摄得到的原始乘客图像，利用所述乘客人脸图像所得到的识别结果的准确度大大提高，避免了因为拍摄距离较远，而人脸目标较小，不能准确的识别出乘客的特征的问题。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
所述人脸检测单元42通过Retina Face模型对所述进站乘客图像进行人脸检测。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述RetinaFace模型同时预测人脸评分、人脸框、人脸关键点以及每个人脸像素的三维位置和对应关系；
所述Retina Face模型检测到的人脸框对应的人脸图像作为所述乘客画像分析模型的输入。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述人脸关键点的数量为5个，分别为嘴角两侧，鼻子，双眼。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述乘客画像分析模型结构为Multi Head，包括残差网络、平均池化层、特征嵌入层、两个全卷积层和两个分类层，其中，所述特征嵌入层用于将所述平均池化层所得结果的映射为低维向量，每个所述分类层对应于一个所述全卷积层，用于分别输出对应的性别和年龄识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述乘客画像分析模型的训练方法包括：
获取乘客画像分析训练集，所述乘客画像分析训练集包括多张标记有年龄和性别属性的训练用乘客人脸图像；
利用所述乘客画像分析训练集，对所述乘客画像分析模型进行训练，直至训练中的所述乘客画像分析模型的损失函数的值小于损失阈值或训练的周期数满足设定周期数，得到训练完成的所述乘客画像分析模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
所述进站乘客图像采集单元41利用设置于进站闸机上方的摄像头获取进站乘客图像，其中，所述摄像头的摄像范围至少包括所述进站闸机的一个进站口。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参考图5，图5示出了能够实施本公开的实施例的示例性电子设备的示意图。
本公开的实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有程序，所述处理器执行所述程序时实现所述乘客画像分析方法。
所述设备50可以用于实现所述乘客画像分析方法。如图所示，设备50包括CPU51，其可以根据存储在ROM52中的程序指令或者从存储单元58加载到RAM53中的程序指令，来执行各种适当的动作和处理。在RAM53中，还可以存储设备50操作所需的各种程序和数据。CPU51、ROM52以及RAM53通过总线54彼此相连。I/O接口55也连接至总线54。
设备50中的多个部件连接至I/O接口55，包括：输入单元56，例如键盘、鼠标等；输出单元57，例如各种类型的显示器、扬声器等；存储单元58，例如磁盘、光盘等；以及通信单元59，例如网卡、调制解调器、无线通信收发机等。通信单元59允许设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元51执行上文所描述的各个方法和处理，例如所述乘客画像分析方法。例如，在一些实施例中，所述乘客画像分析方法可被实现为计算机软件程序，其被有形地包含于计算机可读存储介质，例如存储单元58。在一些实施例中，程序的部分或者全部可以经由ROM52和/或通信单元59而被载入和/或安装到设备50上。当程序加载到RAM53并由CPU51执行时，可以执行上文描述的所述乘客画像分析方法的一个或多个步骤。备选地，在其他实施例中，CPU51可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行所述乘客画像分析方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
本公开的实施例还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现所述乘客画像分析方法。
在本公开的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读存储介质可以是机器可读信号介质或机器可读储存介质。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器计算机可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM、光纤、CD-ROM、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (9)
1.一种乘客画像分析方法，其特征在于，包括：
采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；
对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型；
将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
2.如权利要求1所述的乘客画像分析方法，其特征在于，所述Retina Face模型同时预测人脸评分、人脸框、人脸关键点以及每个人脸像素的三维位置和对应关系；所述RetinaFace模型检测到的人脸框对应的人脸图像作为所述乘客画像分析模型的输入。
3.如权利要求2所述的乘客画像分析方法，其特征在于，所述人脸关键点的数量为5个，分别为嘴角两侧，鼻子，双眼。
4.如权利要求1所述的乘客画像分析方法，其特征在于，所述乘客画像分析模型结构为Multi Head，包括残差网络、平均池化层、特征嵌入层、两个全卷积层和两个分类层，其中，所述特征嵌入层用于将所述平均池化层所得结果的映射为低维向量，每个所述分类层对应于一个所述全卷积层，用于分别输出对应的性别和年龄识别结果。
5.如权利要求4所述的乘客画像分析方法，其特征在于，所述乘客画像分析模型的训练方法包括：
获取乘客画像分析训练集，所述乘客画像分析训练集包括多张标记有年龄和性别属性的训练用乘客人脸图像；
利用所述乘客画像分析训练集，对所述乘客画像分析模型进行训练，直至训练中的所述乘客画像分析模型的损失函数的值小于损失阈值或训练的周期数满足设定周期数，得到训练完成的所述乘客画像分析模型。
6.如权利要求1所述的乘客画像分析方法，其特征在于，所述采集进站乘客图像的步骤包括：
利用设置于进站闸机上方的摄像头获取进站乘客图像，其中，所述摄像头的摄像范围至少包括所述进站闸机的一个进站口。
7.一种乘客画像分析装置，其特征在于，包括：
进站乘客图像采集单元，用于采集进站乘客图像，所述进站乘客图像中包括一个或多个乘客；
人脸检测单元，用于对所述进站乘客图像进行人脸检测，获取所包括的一个或多个乘客的人脸图像，其中，对所述进站乘客图像进行人脸检测的模型包括Retina Face模型；
识别结果获取单元，用于将所述一个或多个乘客的人脸图像分别输入预先训练的乘客画像分析模型，得到对应的性别和年龄识别结果。
8.一种电子设备，包括存储器和处理器，所述存储器上存储有程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的乘客画像分析方法。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的乘客画像分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921105.0A CN113743236A (zh) | 2021-08-11 | 2021-08-11 | 乘客画像分析方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921105.0A CN113743236A (zh) | 2021-08-11 | 2021-08-11 | 乘客画像分析方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113743236A true CN113743236A (zh) | 2021-12-03 |
Family
ID=78730712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110921105.0A Pending CN113743236A (zh) | 2021-08-11 | 2021-08-11 | 乘客画像分析方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743236A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130049099A (ko) * | 2011-11-03 | 2013-05-13 | 한국전자통신연구원 | 얼굴 영상을 이용하여 나이 또는 성별을 추정하는 방법 및 장치 |
| EP2713307A1 (en) * | 2012-09-28 | 2014-04-02 | Accenture Global Services Limited | Liveness detection |
| KR20180037419A (ko) * | 2016-10-04 | 2018-04-12 | 재단법인대구경북과학기술원 | Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법 |
| CN108351967A (zh) * | 2017-12-28 | 2018-07-31 | 深圳市锐明技术股份有限公司 | 一种多人脸检测方法、装置、服务器、系统及存储介质 |
| AU2019101141A4 (en) * | 2019-09-30 | 2019-10-31 | Bao, Jincheng MR | Human face recognition based on Principal Component Analysis |
| CN112257503A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种性别年龄识别方法、装置及存储介质 |
| CN112257650A (zh) * | 2020-11-04 | 2021-01-22 | 南京领行科技股份有限公司 | 一种乘客画像方法、装置、存储介质及电子设备 |
| CN112597823A (zh) * | 2020-12-07 | 2021-04-02 | 深延科技(北京)有限公司 | 注意力识别方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-11 CN CN202110921105.0A patent/CN113743236A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130049099A (ko) * | 2011-11-03 | 2013-05-13 | 한국전자통신연구원 | 얼굴 영상을 이용하여 나이 또는 성별을 추정하는 방법 및 장치 |
| EP2713307A1 (en) * | 2012-09-28 | 2014-04-02 | Accenture Global Services Limited | Liveness detection |
| KR20180037419A (ko) * | 2016-10-04 | 2018-04-12 | 재단법인대구경북과학기술원 | Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법 |
| CN108351967A (zh) * | 2017-12-28 | 2018-07-31 | 深圳市锐明技术股份有限公司 | 一种多人脸检测方法、装置、服务器、系统及存储介质 |
| AU2019101141A4 (en) * | 2019-09-30 | 2019-10-31 | Bao, Jincheng MR | Human face recognition based on Principal Component Analysis |
| CN112257503A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种性别年龄识别方法、装置及存储介质 |
| CN112257650A (zh) * | 2020-11-04 | 2021-01-22 | 南京领行科技股份有限公司 | 一种乘客画像方法、装置、存储介质及电子设备 |
| CN112597823A (zh) * | 2020-12-07 | 2021-04-02 | 深延科技(北京)有限公司 | 注意力识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| DENG J K ET AL.: ""ＲetinaFace: single-shot multi-level face localisation in the wild"", 《2020 IEEE /CVF CONFERENCE ON COMPUTER VISION AND PATTERN ＲECOGNITION》, 5 August 2020 (2020-08-05), pages 1 - 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104992167B (zh) | 一种基于卷积神经网络的人脸检测方法及装置 | |
| US11487995B2 (en) | Method and apparatus for determining image quality | |
| CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN109284733B (zh) | 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法 | |
| CN110543857A (zh) | 基于图像分析的违禁物识别方法、装置、系统和存储介质 | |
| CN110580475A (zh) | 基于无人机巡检的线路诊断方法、电子装置及存储介质 | |
| CN106815574B (zh) | 建立检测模型、检测接打手机行为的方法和装置 | |
| CN108288047A (zh) | 一种行人/车辆检测方法 | |
| CN109508636A (zh) | 车辆属性识别方法、装置、存储介质及电子设备 | |
| CN111091109A (zh) | 基于人脸图像进行年龄和性别预测的方法、系统和设备 | |
| CN109145843A (zh) | 一种卡口高清相机全车信息识别系统及方法 | |
| CN112307853A (zh) | 航拍图像的检测方法、存储介质和电子装置 | |
| CN108171208A (zh) | 信息获取方法和装置 | |
| CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
| CN112766028B (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
| CN108664886A (zh) | 一种适应变电站进出监控需求的人脸快速识别方法 | |
| CN112069894A (zh) | 一种基于Faster-RCNN模型的导线散股识别方法 | |
| CN113221667A (zh) | 一种基于深度学习的人脸口罩属性分类方法及系统 | |
| CN111813995A (zh) | 一种基于时空关系的行人提取物品行为检测方法及系统 | |
| CN113743236A (zh) | 乘客画像分析方法、装置、电子设备和计算机可读存储介质 | |
| CN116229502A (zh) | 基于图像的摔倒行为识别方法及设备 | |
| CN112131919B (zh) | 安检方法、装置、设备及介质 | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| CN114495015A (zh) | 人体姿态检测方法和装置 | |
| CN107742112A (zh) | 一种基于图像的人脸防伪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |