CN114419329A - 车辆载人数量检测方法及装置 - Google Patents

Abstract

本申请公开了一种车辆载人数量检测方法及装置。其中，该车辆载人数量检测方法包括：对待检测图像进行特征提取，以得到对应的特征图；确定特征图中的车辆关键点和人体关键点；确定每一车辆关键点与至少部分人体关键点的特征相似度；基于特征相似度确定每一车辆关键点对应车辆的载人数量。本申请可以提高车辆载人数量检测的准确性。

Description

车辆载人数量检测方法及装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种车辆载人数量检测方法及装置。

背景技术

随着科学技术的发展，根据道路监控对车辆进行检测的技术正在逐渐的趋于成熟、规范化、统一化，从而基于车辆检测结果对车辆进行管理也逐渐变得更加的高效且便捷。但是目前车辆检测技术仍然存在一定的困难待解决，例如，现有的检测方法无法准确检测出车辆的载人数量。

发明内容

本申请提供一种车辆载人数量检测方法及装置，以提高车辆载人数量检测的准确性。

为达到上述目的，本申请提供一种车辆载人数量检测方法，该方法包括：

对待检测图像进行特征提取，以得到对应的特征图；

确定特征图中的车辆关键点和人体关键点；

确定每一车辆关键点与至少部分人体关键点的特征相似度；

基于特征相似度确定每一车辆关键点对应车辆的载人数量。

其中，确定特征图中的车辆关键点和人体关键点，包括：基于特征图进行关键点检测，得到每一车辆关键点和每一人体关键点的关键点响应图；

确定每一车辆关键点与至少部分人体关键点的特征相似度之前，还包括：利用每个关键点响应图对待检测图像和/或特征图进行处理，得到每个关键点响应图所属关键点的特征。

其中，利用每个关键点响应图对待检测图像和/或特征图进行处理，包括：将待检测图像和特征图在通道上进行叠加，得到叠加图像；将每一关键点响应图和叠加图像相乘，得到每一关键点响应图的叠加图；将每一关键点响应图的叠加图变换为向量形式，得到每个关键点响应图所属关键点的特征。

其中，确定每一车辆关键点与至少部分人体关键点的特征相似度，包括：

由每一车辆关键点与至少部分人体关键点的特征构建出每一车辆关键点的第一矩阵；

将每一车辆关键点的第一矩阵输入至载人数量检测模型，利用载人数量检测模型确定每一车辆关键点与至少部分人体关键点中各个人体关键点的关联特征，关联特征表征关联特征对应的车辆关键点和人体关键点之间的特征相似度。

其中，基于特征相似度确定每一车辆关键点对应车辆的载人数量，包括：对每一车辆关键点的关联特征进行解码，得到每一车辆关键点的解码特征，其中，解码特征含有解码特征对应车辆的载人数量信息；

基于特征相似度确定每一车辆关键点对应车辆的载人数量之后，还包括：将待检测图像的所有车辆关键点的解码特征进行级联，得到待检测图像的解码特征组合；基于待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合之间的相似度，确定待检测图像中每一车辆的最终载人数量。

其中，该方法还包括：基于关键点检测结果对每一关键点进行跟踪，以确定待检测图像中每一车辆关键点的标号；

将待检测图像的所有车辆关键点的解码特征进行级联，包括：将待检测图像的所有车辆关键点的解码特征按照标号顺序进行级联；

基于待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合之间的相似度，确定待检测图像中每一车辆的最终载人数量，包括：将待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合进行组合，得到第二矩阵，且，每一车辆的所有解码特征在第二矩阵中位于同一列/同一排；通过校正模型确定待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合的相似度，并输出待检测图像中每个车辆的最终载人数量。

其中，载人数量检测模型包括相似度计算模块和全连接层；

相似度计算模块用于确定每一车辆关键点与至少部分人体关键点中各个人体关键点的关联特征，关联特征表征关联特征对应的车辆关键点和人体关键点之间的特征相似度；

全连接层用于对每一车辆关键点的关联特征进行解码，得到每一车辆关键点的解码特征，其中，解码特征含有解码特征对应车辆的载人数量信息。

其中，基于特征相似度确定每一车辆关键点对应车辆的载人数量之后：还包括：

判断每一车辆的载人数量是否超过第一阈值；

确认载人数量超过第一阈值的车辆超载。

其中，确认载人数量超过第一阈值的车辆超载，包括：

将载人数量超过第一阈值的车辆的超载信息计数加一；

响应于车辆的超载信息计数大于第二阈值，发出针对超载行为的报警信息。

其中，确定每一车辆关键点与至少部分人体关键点的特征相似度，包括：

确定每一车辆关键点与其对应的至少部分人体关键点的特征相似度；

其中，每一车辆关键点对应的至少部分人体关键点为与每一车辆关键点距离最近的预设数量个人的人体关键点。

其中，人体关键点包括人头关键点、人的左手关键点、人的右手关键点、人的身体关键点、人的左脚关键点和人的右脚关键点中的至少一种关键点。

为达到上述目的，本申请还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。

为达到上述目的，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。

本申请对待检测图像进行特征提取，得到待检测图像的特征图；并确定特征图中的车辆关键点和人体关键点；进而基于每一车辆关键点与至少部分人体关键点的特征相似度确定每一车辆关键点对应车辆的载人数量，如此直接利用关键点之间的特征相似度确定人体关键点对应的人是否乘坐在车辆关键点对应车辆上，可以较为准确地确认出哪一个人是乘坐在车辆上的，能避免在密集场景中基于距离/聚类的载人数量检测方法难以区分哪一个人是乘坐在车辆上的问题，能够有效减少密集场景下人车互相遮挡造成的漏检，从而可以提高车辆载人数量检测的准确性；且相比于基于关键点聚类确定车辆载人数量的方法，省略了关键点聚类的步骤，在提高运算效率以及节约计算资源上也具有较大优势。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请车辆载人数量检测方法一实施方式的流程示意图；

图2是本申请车辆载人数量检测方法中人头关键点检测的结果示意图；

图3是本申请车辆载人数量检测方法一实施方式的流程示意图；

图4是本申请载人数量检测装置一实施方式的结构示意图；

图5是本申请电子设备一实施方式的结构示意图；

图6是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。

目前利用检测框或距离将车辆和人进行简单关联以确定车辆载人数量的方案，在监控画面中不同非机动车上的人容易互相交叠的密集场景中，容易将车辆和人错误关联，导致误检、漏检等情况发生。

基于此，本申请提出一种基于车辆关键点和人体关键点的特征相似度确定车辆载人数量的方案，如此直接利用关键点之间的特征相似度确定人体关键点对应的人是否乘坐在车辆关键点对应车辆上，可以较为准确地确认出哪一个人是乘坐在车辆上的，即可以提高车辆载人数量检测的准确性，也可以有效节省计算资源。

具体如图1所示，本实施方式的车辆载人数量检测方法包括以下步骤。可以理解的是，本申请的车辆可以是机动车或非机动车等。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。

S101：对待检测图像进行特征提取，以得到对应的特征图。

可以先对待检测图像进行特征提取，得到待检测图像的特征图；以便后续基于特征图确定待检测图像中的车辆关键点和人体关键点；进而基于每一车辆关键点与至少部分人体关键点的特征相似度确定每一车辆关键点对应车辆的载人数量，如此直接利用关键点之间的特征相似度确定人体关键点对应的人是否乘坐在车辆关键点对应车辆上，可以较为准确地确认出哪一个人是乘坐在车辆上的，能避免在密集场景中基于距离/聚类的载人数量检测方法难以区分哪一个人是乘坐在车辆上的问题，即可以提高车辆载人数量检测的准确性，也可以有效节省计算资源。

可以采用特征提取模块对待检测图像进行特征提取，得到待检测图像的特征图。

其中，特征提取模块的结构不受限制，例如卷积神经网络等深度学习方法或者传统的人工特征。

S102：确定特征图中的车辆关键点和人体关键点。

得到待检测图像的特征图后，可以基于特征图确定待检测图像中的车辆关键点和人体关键点。

具体地，可以对特征图进行关键点检测，以检测出待检测图像中的车辆关键点和至少一种人体关键点。其中，至少一种人体关键点可以包括人头关键点、人的左手关键点、人的右手关键点、人的身体关键点、人的左脚关键点和人的右脚关键点中的至少一种关键点。

可选地，可以利用关键点检测模块对特征图进行关键点检测。

其中，关键点检测模块的结构不受限制，例如PFLD、MobileNet-V2、resnet50……

可以用一个关键点检测模块检测出特征图上多种关键点（例如车辆关键点、人头关键点、人手关键点等）。

在其他实施例中，每一种关键点都可以有专门的关键点检测模块，例如可以利用人体关键点检测模块检测出特征图上的人体关键点，利用车辆关键点检测模块检测出特征图上的车辆关键点。

另外，利用关键点检测模块对特征图进行关键点检测，关键点检测模块还可以输出所检测到的每一个关键点的关键点响应图，以便后续基于每一个关键点的关键点响应图确定出每一个关键点的特征。

其中，在关键点响应图中，可以用一个高斯核来表达预测到的关键点，例如，类型为头的关键点可视化如图2所示。当然，在其他实施例中，在关键点响应图中，关键点所在区域的像素可以为第一固定值，其余区域像素可以为第二固定值，第一固定值与第二固定值不相同。

S103：确定每一车辆关键点与至少部分人体关键点的特征相似度。

可选地，确定特征图中的车辆关键点和人体关键点后，可以确定每一车辆关键点与至少部分人体关键点的特征相似度，以便确定出每一车辆关键点对应车辆的载人数量。

可选地，在步骤S103中，可以先确定出每一关键点的特征；然后确定出每一车辆关键点特征与至少部分人体关键点特征的相似度。

每一关键点的特征含有每一关键点在待检测图像上的位置信息和/或图像信息。

其中，每一关键点的特征的提取方式有多种，在此不做限制。

在一可实现的方式中，可利用步骤S102中关键点检测模块输出的每一关键点响应图，对待检测图像和/或特征图进行处理，得到每一关键点的特征。在一个具体的示例中，可以先将待检测图像和特征图在通道上进行叠加，得到叠加图像；将每一关键点响应图和叠加图像相乘，得到每一关键点响应图的叠加图；将每一关键点响应图的叠加图变换为向量形式，得到每个关键点响应图所属关键点的特征。在另一个具体的实例中，将每一关键点响应图和特征图相乘，得到每一关键点响应图的叠加图；将每一关键点响应图的叠加图变换为向量形式，得到每个关键点响应图所属关键点的特征。其中，可以通过根据位置按照顺序拉伸为一维向量、或者通过卷积神经网络提升通道后降采样分辨率等方式，将每一关键点响应图的叠加图变换为向量形式。

可选地，特征图和待检测图像进行叠加之前，可以先将特征图和待检测图像按照比例缩放到关键点响应图相同尺寸；然后将缩放后的特征图和待检测图像在通道上进行叠加。例如，假设缩放后的特征图的尺寸为N₁×H×W，缩放后的待检测图像的尺寸为N₂×H×W,那么叠加图像的尺寸为(N₁+N₂₎×H×W，其中，N₁为特征图的通道数，H为响应图的高，W为响应图的宽，N₂为待检测图像的通道数。

在另一可实现的方式中，可以通过抠除待检测图像和/或特征图非关键点区域的方式，得到仅包含关键点图像信息和/或特征信息的信息图；将信息图变换为向量形式，得到每个关键点的特征。在一个具体的示例中，可以先将待检测图像和特征图在通道上进行叠加，得到叠加图像；对应于每一个关键点，仅保留叠加图像中每一个关键点所在区域的图像信息，得到每一关键点的信息图；将每一关键点的信息图变换为向量形式，得到每个关键点的特征。在另一个具体的实例中，对应于每一个关键点，仅保留特征图中每一个关键点所在区域的图像信息，得到每个关键点的信息图；将每一关键点的信息图变换为向量形式，得到每个关键点的特征。其中，也可以通过根据位置按照顺序拉伸为一维向量、或者通过卷积神经网络提升通道后降采样分辨率等方式，将每一关键点的信息图变换为向量形式。

基于上述方式确定每一关键点的特征后，可以确定出每一车辆关键点特征与至少部分人体关键点特征的相似度。

在一应用场景中，可以确定出每一车辆关键点特征与全部人体关键点特征的相似度。

在另一应用场景中，可以先基于距离筛选出与每一车辆关键点较近的多个人体关键点，即将与每一车辆关键点较近的多个人体关键点作为每一车辆关键点对应的至少部分人体关键点；然后确定出每一车辆关键点特征与每一车辆关键点对应的至少部分人体关键点特征的相似度。具体地，可以先基于距离筛选出与每一车辆关键点最近的预设数量个人的人体关键点，即将与每一车辆关键点最近的预设数量个人的人体关键点作为每一车辆关键点对应的至少部分人体关键点；然后确定出每一车辆关键点特征与每一车辆关键点对应的至少部分人体关键点特征的相似度，如此先通过距离筛选出一些乘坐在车辆上可能性较大的人，降低相似度计算范围，提高载人数量检测效率，节省计算资源。

车辆关键点特征和人体关键点特征的相似度的确定方式在此不做限制，例如下述多种方式。

在一实现方式中，可以计算出车辆关键点特征和人体关键点特征的距离，将车辆关键点特征和人体关键点特征的距离作为车辆关键点特征和人体关键点特征的相似度。其中，“车辆关键点特征和人体关键点特征的距离”可以是，车辆关键点和人体关键点特征的余弦距离或欧式距离……

在另一实现方式中，可以利用载人数量检测模型确定出车辆关键点特征和人体关键点特征的相似度。具体地，可以由每一车辆关键点特征和至少部分人体关键点特征构建出每一车辆关键点的第一矩阵，然后将每一车辆关键点的第一矩阵输入至载人数量检测模型，以利用载人数量检测模确定每一车辆关键点与至少部分人体关键点中各个人体关键点的关联特征，所述关联特征表征关联特征对应的车辆关键点和人体关键点之间的特征相似度。

在构建第一矩阵时，若存在数据量不足的情况，数据不足的区域可以补维度相等的全0向量。例如，假设在步骤S102中确定出特征图的M种人体关键点；在构建第一矩阵时，先选取出距离车辆关键点最近的m个人的人体关键点的特征；然后由车辆关键点特征和最近的m个人的M种人体关键点的特征构建出第一矩阵，其中，将人体关键点种类数不足M的人的人体关键点补足至M种，另外若待检测图像中与车辆关键点距离较近的人数低于m，则可以用补0向量的方式将与车辆关键点距离较近的人数补足至m个，最终得到维度为(1+m×M)×L₁的第一矩阵Inp。

其中，载人数量检测模型的结构不受限制，只要载人数量检测模型具有确定不同特征之间的相似度的功能即可。

例如，载人数量检测模型可是基于transformer结构构建而成的。载人数量检测模型可以包括相似度计算模块。在相似度计算模块的每一个transformer头中，可以以第一矩阵Inp作为输入，分别通过全连接层，得到q，k，v矩阵后，通过矩阵乘法分别计算第一矩阵中车辆关键点特征和各个人体关键点特征之间的相似度，提取得到关联特征。

又例如，载人数量检测模型还可以是基于CNN构建而成的。

S104：基于特征相似度确定每一车辆关键点对应车辆的载人数量。

基于步骤S103确定每一车辆关键点和至少部分人体关键点之间的特征相似度后，可以基于特征相似度确定每一车辆关键点对应车辆的载人数量。

可选地，可以基于车辆关键点特征和待检测图像中至少部分人的人体关键点特征之间的相似度具体情况，确定这至少部分人是否乘坐在车辆关键点对应的车辆上；继而基于“这至少部分人是否乘坐在车辆关键点对应的车辆上”的结果，统计出车辆关键点对应车辆的载人数量。

例如，在人体关键点检测种类为1时，可以基于车辆关键点和人体关键点特征的相似度是否大于阈值，来确定人体关键点对应的人是否乘坐在车辆关键点对应车辆上。具体地，若车辆关键点和人体关键点特征的相似度大于阈值，则人体关键点对应的人乘坐在车辆关键点对应车辆上；否则人体关键点对应的人未乘坐在车辆关键点对应车辆上。在人体关键点检测种类大于或等于2时，可以确定至少部分人中各个人的与车辆关键点的特征相似度大于阈值的人体关键点的种类数是否大于种类阈值；可以认为大于种类阈值的人乘坐在车辆关键点对应的车辆上，认为小于或等于种类阈值的人未乘坐在车辆关键点对应的车辆上。

在另一实施例中，可以利用人手关键点和/或人脚关键点与车辆关键点的特征相似度，确定人手关键点和/或人脚关键点对应的人是否乘坐在车辆关键点对应车辆上。示例性地，若一个人的人手关键点和人脚关键点与车辆关键点的特征相似度小于阈值，则可以认为该人未乘坐在车辆关键点对应的车辆上；若一个人的人手关键点和/或人脚关键点与车辆关键点的特征相似度大于阈值，则可以认为该人乘坐在车辆关键点对应的车辆上。

在其他实施例中，可以利用载人数量检测模型，基于车辆关键点特征和各个人体关键点特征之间的相似度，确定车辆关键点对应车辆的载人数量。其中，可以利用载人数量检测模型对每一车辆关键点的关联特征进行解码，得到每一车辆关键点的解码特征，其中，所述解码特征含有所述解码特征对应的车辆的载人数量信息。具体地，可以通过载人数量检测模型的全连接层对关联特征进行解码得到和人数相关的解码特征向量V₂，向量长度为L₂，并输出人数信息。

在本实施方式中，对待检测图像进行特征提取，得到待检测图像的特征图；并确定特征图中的车辆关键点和人体关键点；进而基于每一车辆关键点与至少部分人体关键点的特征相似度确定每一车辆关键点对应车辆的载人数量，如此直接利用关键点之间的特征相似度确定人体关键点对应的人是否乘坐在车辆关键点对应车辆上，可以较为准确地确认出哪一个人是乘坐在车辆上的，能避免在密集场景中基于距离/聚类的载人数量检测方法难以区分哪一个人是乘坐在车辆上的问题，能够有效减少密集场景下人车互相遮挡造成的漏检，从而可以提高车辆载人数量检测的准确性；且相比于基于关键点聚类确定车辆载人数量的方法，省略了关键点聚类的步骤，在提高运算效率以及节约计算资源上也具有较大优势。

另外，如图3所示，本申请提供另一实施方式的车辆载人数量检测方法，该实施方式车辆载人数量检测方法包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。

S201：对待检测图像进行特征提取，以得到对应的特征图。

S202：确定特征图中的车辆关键点和人体关键点。

在确定特征图中车辆关键点和人体关键点后，可以对检测到的关键点进行跟踪，以确定待检测图像中每一关键点的id（即标号）。其中，可以通过判断交并比等方式对检测到的关键点进行跟踪。

S203：确定每一车辆关键点与至少部分人体关键点的特征相似度。

S204：基于特征相似度确定每一车辆关键点对应车辆的载人数量。

S205：利用待检测图像之前的预设帧图像对待检测图像中车辆的载人数量检测结果进行校验。

可选地，在利用载人数量检测模型确定待检测图像中车辆的载人数量的方案中，在步骤S204中，载人数量检测模型可以输出每一车辆关键点的含有车辆的载人数量信息的解码特征；在步骤S205中，可以将所述待检测图像的所有车辆关键点的解码特征进行级联，得到所述待检测图像的解码特征组合，然后基于待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合之间的相似度对待检测图像中车辆的载人数量检测结果进行校验，即确定所述待检测图像中每一车辆的最终载人数量。可以理解的是，若待检测图像的解码特征组合与待检测图像之前的预设帧图像中大多数图像的解码特征组合之间的相似度较低，可以说明待检测图像中人车关联匹配存在问题，即待检测图像中至少部分车辆的载人数量的确定结果出现问题，可以利用待检测图像之前的预设帧图像的解码特征组合和待检测图像的解码特征组合综合确定待检测图像中车辆的最终载人数量，如此引入时间、空间上的关联性，即使初始的跟踪发生了一定程度的丢失或者跳变，也能通过网络学习进行自动修正，增加了网络鲁棒性。

具体地，在步骤S205中，可以将所述待检测图像的所有车辆关键点的解码特征按照标号顺序进行级联；然后将所述待检测图像的解码特征组合与所述待检测图像之前的预设帧图像的解码特征组合进行组合，得到第二矩阵，且，每一车辆的所有解码特征在所述第二矩阵中位于同一列/同一排；接着通过校正模型确定所述待检测图像的解码特征组合与所述待检测图像之前的预设帧图像的解码特征组合的相似度，并输出待检测图像中每个车辆的最终载人数量。示例性地，若每一车辆关键点的解码特征的相邻长度为L₂，待检测图像上存在C个车辆，则可以将待检测图像上C个车辆关键点的解码特征V₂按照简单的跟踪结果分配的id顺序在维度上进行级联，得到长度为L₃=C×L₂的表示所有车辆的解码特征组合V₃；然后在时间跨度T内，将n帧图像的解码特征组合进行组合，可以得到n行C列或C行n列的二维的第二矩阵T_inp，当由于遮挡等原因导致跟踪丢失时，为了保证向量长度一致，可以采用补全0向量的策略来填充，以保证每一车辆的所有解码特征在所述第二矩阵中位于同一列/同一排；通过校正模型计算第二矩阵T_inp内的相似性，并输出待检测图像中每个车辆的最终人数。

其中，校正模型的结构不受限制，只要校正模型具有确定不同特征之间的相似度的功能即可。例如，校正模型可是基于transformer结构构建而成的。

此外，基于上述方法确定待检测图像中车辆的载人数量后，可以基于车辆的载人数量确定待检测车辆中车辆是否超载。

具体地，可以判断每一车辆的载人数量是否超过第一阈值；若存在载人数量超过第一阈值的车辆，则可以认为载人数量超过第一阈值的车辆超载。其中，第一阈值的具体取值可以根据实际情况进行设定，在此不做限制，例如可为90%、80%或87%。

进一步地，为避免载人数量确定错误导致误报，可以在车辆被连续第二阈值次拍摄到载人数量大于第一阈值，确认该车辆超载。其中，第二阈值是正整数，其是为了防止误报发生的经验值，第二阈值的具体取值可以根据实际情况进行设定，在此不做限制，例如可为3、5或8。示例性地，基于待检测图像判断每一车辆的载人数量是否超过第一阈值；将所述载人数量超过第一阈值的车辆的超载信息计数加一；确定超载信息计数大于第二阈值车辆超载。

可以依据车辆的id记录车辆的超载信息计数。具体地，在首次确认车辆的载人数量不符合规定时，记录该车辆的id，然后利用该车辆的id记录该车辆的超载信息计数。

可选地，基于上述方法确认车辆超载后，可以发出针对该车辆出现超载行为的报警信息。报警信息可包括车辆的id、车辆的抓拍图像、车辆的载人数量等信息。

请参阅图4，本申请提供一种载人数量检测装置。载人数量检测装置可以是用于接收图像，并对图像进行一系列分析的硬件平台，可以是具有良好计算性能的摄像头，也可以是部署在后端的服务器等具有运算能力的硬件平台。该检测装置可以包括关键点检测跟踪模块、人数检测模块和/或超载报警模块。

其中，关键点检测跟踪模块，用于对采集到的图像进行初步分析，在全局图像基础上进行关键点检测与初步跟踪。人数预测模块，通过上述载人数据检测模型和/或校正模型，检测载人信息。超载报警模块，根据人数预测模块的输出结果，判断是否需要输出报警信息，并自动完成后续的抓拍、保留图像证据、上报相关人员等过程。

具体地，关键点检测跟踪模块用于对待检测图像进行特征提取，以得到对应的特征图；确定所述特征图中的车辆关键点和人体关键点。

人数检测模块用于确定每一车辆关键点与至少部分人体关键点的特征相似度；基于所述特征相似度确定所述每一车辆关键点对应车辆的载人数量。

可选地，关键点检测跟踪模块用于基于特征图进行关键点检测，得到每一车辆关键点和每一人体关键点的关键点响应图；

人数检测模块用于利用每个关键点响应图对待检测图像和/或特征图进行处理，得到每个关键点响应图所属关键点的特征。

可选地，人数检测模块用于将待检测图像和特征图在通道上进行叠加，得到叠加图像；将每一关键点响应图和叠加图像相乘，得到每一关键点响应图的叠加图；将每一关键点响应图的叠加图变换为向量形式，得到每个关键点响应图所属关键点的特征。

可选地，人数检测模块用于由每一车辆关键点与至少部分人体关键点的特征构建出每一车辆关键点的第一矩阵；将每一车辆关键点的第一矩阵输入至载人数量检测模型，以利用载人数量检测模型确定每一车辆关键点与至少部分人体关键点中各个人体关键点的关联特征，关联特征表征关联特征对应的车辆关键点和人体关键点之间的特征相似度。

可选地，人数检测模块用于对每一车辆关键点的关联特征进行解码，得到每一车辆关键点的解码特征，其中，解码特征含有解码特征对应车辆的载人数量信息；将待检测图像的所有车辆关键点的解码特征进行级联，得到待检测图像的解码特征组合；基于待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合之间的相似度，确定待检测图像中每一车辆的最终载人数量。

可选地，关键点检测跟踪模块用于基于关键点检测结果对每一关键点进行跟踪，以确定待检测图像中每一车辆关键点的标号；

可选地，人数检测模块用于将待检测图像的所有车辆关键点的解码特征按照标号顺序进行级联；将待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合进行组合，得到第二矩阵，且，每一车辆的所有解码特征在第二矩阵中位于同一列/同一排；通过校正模型确定待检测图像的解码特征组合与待检测图像之前的预设帧图像的解码特征组合的相似度，并输出待检测图像中每个车辆的最终载人数量。

可选地，载人数量检测模型是基于transformer结构构建而成的。

可选地，载人数量检测装置还可包括超载报警模块。超载报警模块用于判断每一车辆的载人数量是否超过第一阈值；确认载人数量超过第一阈值的车辆超载。

可选地，超载报警模块用于将载人数量超过第一阈值的车辆的超载信息计数加一；若车辆的超载信息计数大于第二阈值，发出针对超载行为的报警信息。

可选地，人数预测模块用于确定每一车辆关键点与其对应的至少部分人体关键点的特征相似度；其中，每一车辆关键点对应的至少部分人体关键点为与每一车辆关键点距离最近的预设数量个人的人体关键点。

可选地，人体关键点包括人头关键点、人的左手关键点、人的右手关键点、人的身体关键点、人的左脚关键点和人的右脚关键点中的至少一种关键点。

其中，上述的待检测图像和其他图像可以由图像采集模块采集得到。

而图像采集模块可响应于载人数量检测命令或超载检测命令等指令，将采集到的图像发送给载人数量检测装置，以让载人数量检测装置确定采集的图像中每一车辆的载人数量。而载人数量检测命令等指令可以是用户终端或载人数量检测装置发送给图像采集模块的。

请参阅图5，图5是本申请电子设备20一实施方式的结构示意图。本申请电子设备20包括处理器22，处理器22用于执行指令以实现本申请上述任一实施方式的方法及任意不冲突的组合所提供的方法。

处理器22还可以称为CPU（Central Processing Unit，中央处理单元）。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。

电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。

请参阅图6，图6为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本申请上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种车辆载人数量检测方法，其特征在于，所述方法包括：

对待检测图像进行特征提取，以得到对应的特征图；

确定所述特征图中的车辆关键点和人体关键点；

确定每一车辆关键点与至少部分人体关键点的特征相似度；

基于所述特征相似度确定所述每一车辆关键点对应车辆的载人数量。

2.根据权利要求1所述的方法，其特征在于，所述确定所述特征图中的车辆关键点和人体关键点，包括：

基于所述特征图进行关键点检测，得到所述每一车辆关键点和每一人体关键点的关键点响应图；

所述确定每一车辆关键点与至少部分人体关键点的特征相似度之前，还包括：

利用每个关键点响应图对所述待检测图像和/或所述特征图进行处理，得到每个关键点响应图所属关键点的特征。

3.根据权利要求2所述的方法，其特征在于，所述利用每个关键点响应图对所述待检测图像和/或所述特征图进行处理，包括：

将所述待检测图像和所述特征图在通道上进行叠加，得到叠加图像；

将每一关键点响应图和所述叠加图像相乘，得到每一关键点响应图的叠加图；

将每一关键点响应图的叠加图变换为向量形式，得到每个关键点响应图所属关键点的特征。

4.根据权利要求1所述的方法，其特征在于，所述确定每一车辆关键点与至少部分人体关键点的特征相似度，包括：

由所述每一车辆关键点与所述至少部分人体关键点的特征构建出所述每一车辆关键点的第一矩阵；

将所述每一车辆关键点的第一矩阵输入至载人数量检测模型，利用所述载人数量检测模型确定所述每一车辆关键点与所述至少部分人体关键点中各个人体关键点的关联特征，所述关联特征表征所述关联特征对应的车辆关键点和人体关键点之间的特征相似度。

5.根据权利要求4所述的方法，其特征在于，所述基于所述特征相似度确定每一车辆关键点对应车辆的载人数量，包括：

对每一车辆关键点的关联特征进行解码，得到每一车辆关键点的解码特征，其中，所述解码特征含有所述解码特征对应车辆的载人数量信息；

所述基于所述特征相似度确定每一车辆关键点对应车辆的载人数量之后，还包括：将所述待检测图像的所有车辆关键点的解码特征进行级联，得到所述待检测图像的解码特征组合；基于所述待检测图像的解码特征组合与所述待检测图像之前的预设帧图像的解码特征组合之间的相似度，确定所述待检测图像中每一车辆的最终载人数量。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：基于关键点检测结果对每一关键点进行跟踪，以确定所述待检测图像中每一车辆关键点的标号；

所述将所述待检测图像的所有车辆关键点的解码特征进行级联，包括：将所述待检测图像的所有车辆关键点的解码特征按照标号顺序进行级联；

所述基于所述待检测图像的解码特征组合与所述待检测图像之前的预设帧图像的解码特征组合之间的相似度，确定所述待检测图像中每一车辆的最终载人数量，包括：将所述待检测图像的解码特征组合与所述待检测图像之前的预设帧图像的解码特征组合进行组合，得到第二矩阵，且，每一车辆的所有解码特征在所述第二矩阵中位于同一列/同一排；通过校正模型确定所述待检测图像的解码特征组合与所述待检测图像之前的预设帧图像的解码特征组合的相似度，并输出待检测图像中每个车辆的最终载人数量。

7.根据权利要求4所述的方法，其特征在于，所述载人数量检测模型包括相似度计算模块和全连接层；

所述相似度计算模块用于确定所述每一车辆关键点与所述至少部分人体关键点中各个人体关键点的关联特征，所述关联特征表征所述关联特征对应的车辆关键点和人体关键点之间的特征相似度；

所述全连接层用于对每一车辆关键点的关联特征进行解码，得到每一车辆关键点的解码特征，其中，所述解码特征含有所述解码特征对应车辆的载人数量信息。

8.根据权利要求1所述的方法，其特征在于，所述基于所述特征相似度确定所述每一车辆关键点对应车辆的载人数量之后，还包括：

判断每一车辆的载人数量是否超过第一阈值；

确认载人数量超过第一阈值的车辆超载。

9.根据权利要求8所述的方法，其特征在于，所述确认载人数量超过第一阈值的车辆超载，包括：

将所述载人数量超过第一阈值的车辆的超载信息计数加一；

响应于车辆的超载信息计数大于第二阈值，发出针对超载行为的报警信息。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述确定每一车辆关键点与至少部分人体关键点的特征相似度，包括：

确定所述每一车辆关键点与其对应的至少部分人体关键点的特征相似度；

其中，所述每一车辆关键点对应的至少部分人体关键点为与每一车辆关键点距离最近的预设数量个人的人体关键点。

11.根据权利要求1-9任一项所述的方法，其特征在于，所述人体关键点包括人头关键点、人的左手关键点、人的右手关键点、人的身体关键点、人的左脚关键点和人的右脚关键点中的至少一种关键点。

12.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现权利要求1-11中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令/程序数据，所述指令/程序数据用于被执行以实现权利要求1-11中任一项所述的方法。

Images