CN114694204A - 社交距离检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种社交距离检测方法、装置、电子设备及存储介质，所述方法包括：获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征；根据所述第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征进行目标人头匹配，并基于匹配结果提取目标人头信息；根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。提高了目标人员间社交距离的准确度。

Description

社交距离检测方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种社交距离检测方法、装置、电子设备及存储介质。

背景技术

在一些场景中，需要控制人员之间的间隔距离，比如买票窗口、银行业务窗口、流感时期的公共场所、限制聚集的特殊场所等场景。现有对人员之间的距离检测主要是通过工作人员对现场或监控视频的人员进行目测，或者通过图像处理手段，检测人员之间的距离。然而通过工作人员的目测，不仅费时费力，人工成本较高，还受主观因素影响，准确率较低，而现有的图像处理手段主要是检测二维图像中人员之间的距离来测算大致的实际距离，准确度也不高。因此，现有的人员之间的距离检测存在检测准确度不高的问题。

发明内容

本发明实施例提供一种社交距离检测方法，能够提高人员之间社交距离检测的准确度。

第一方面，本发明实施例提供一种社交距离检测方法，所述方法包括：

获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；

将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；

根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息；

根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。

可选的，所述预先训练好的神经网络模型包括公共网络，以及第一分支网络和第二分支网络，所述公共网络同时与所述第一分支网络和第二分支网络进行连接，其中，所述第一分支网络用于输出第一人头检测结果与第二人头检测结果，所述第二分支网络用于输出第一人头特征与第二人头特征。

可选的，所述将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，包括：

将所述第一目标图像与第二目标图像进行拼接，得到输入图像；

将所述输入图像输入到预先训练好的神经网络模型中；

通过所述预先训练好的神经网络模型中的公共网络以及第一分支网络，计算并输出第一人头检测结果与第二人头检测结果；以及

通过所述预先训练好的神经网络模型中的公共网络以及第二分支网络，计算并输出第一人头特征与第二人头特征。

可选的，所述神经网络模型的训练包括：

通过第一数据集对公共网络以及第一分支网络进行第一训练；

通过第二数据集对公共网络以及第二分支网络进行第二训练；

将所述第一训练与第二训练交替进行，直到第一训练与第二训练收敛，得到训练好的神经网络模型。

可选的，一个第一人头检测结果对应一个第一人头特征，一个第二人头检测结果对应一个第二人头特征，所述根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息，包括：

根据所述第一人头特征与第二人头特征的相似度，对第一人头特征与第二人头特征进行匹配，得到属于同一个目标人员的人头特征对，所述人头特征对包括第一人头特征与第二人头特征；

根据所述人头特征对，查找得到对应的人头检测结果对，所述人头检测结果对包括第一人检测结果与第二人头检测结果；

基于所述人头检测结果对，提取目标人头信息。

可选的，所述基于所述人头检测结果对，提取目标人头信息，包括：

根据多目标跟踪算法，对不同目标人员的人头检测结果对进行ID分配，以得到带ID的人头检测结果对；

根据所述带ID的人头检测结果对，提取目标人头信息。

可选的，所述目标人头信息包括人头景深信息，所述根据所述目标人头信息对目标人头进行三维重建，包括：

根据所述人头景深信息，对目标人头进行三维重建，得到三维目标人头。

可选的，所述基于重建得到的三维目标人头计算目标人员间的社交距离，包括：

将重建得到的多个三维目标人头投影到三维空间的预设平面上，得到多个目标人头投影；

计算不同目标人头投影之间的距离，得到目标人员间的投影距离；

将所述目标人员间的投影距离根据预设比例，转换为目标人员间的社交距离。

第二方面，本发明实施例还提供一种社交距离检测装置，所述装置包括：

获取模块，用于获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；

第一处理模块，用于将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；

第二处理模块，用于根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息；

第三处理模块，用于根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的社交距离检测方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的社交距离检测方法中的步骤。

本发明实施例中，获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；根据所述第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征进行目标人头匹配，并基于匹配结果提取目标人头信息；根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。通过目标人员不同角度的人头图像，提取到更为准确的目标人头信息用于三维重建，使得三维目标人头在三维空间中的位置更为准确，从而提高了目标人员间社交距离的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种社交距离检测方法的流程图；

图2是本发明实施例提供的一种神经网络模型处理目标图像的方法的流程图；

图3是本发明实施例提供的一种神经网络模型结构的示意图；

图4是本发明实施例提供的一种神经网络模型的训练方法的流程图；

图5是本发明实施例提供的一种目标人头信息提取方法的流程图；

图6是本发明实施例提供的一种社交距离检测装置的结构示意图；

图7是本发明实施例提供的一种第一处理模块的结构示意图；

图8是本发明实施例提供的另一种社交距离检测装置的结构示意图；

图9是本发明实施例提供的一种第二处理模块的结构示意图；

图10是本发明实施例提供的一种提取子模块的结构示意图；

图11是本发明实施例提供的一种第三处理模块的结构示意图；

图12是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种社交距离检测方法的流程图，如图1所示，该方法用于实时进行社交距离检测，包括以下步骤：

101、获取第一目标图像与第二目标图像。

在本发明实施例中，上述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到。上述的第一目标图像与第二目标图像中包括至少两个目标人员。

可以通过两个不同拍摄角度的摄像头分别采集第一目标图像与第二目标图像，两个摄像头可以在安装的时候进行标定并且形成关联，以使两个摄像头处理同一坐标系进行拍摄，并使两个摄像头可以是同一时间进行拍摄。也可以通过标定好的双目摄像头采集第一目标图像与第二目标图像。在本发明实施例中，优选为通过标定好的双目摄像头来采集第一目标图像与第二目标图像，则第一目标图像与第二目标图像分别可以为左目图像与右目图像。

上述第一目标图像与第二目标图像可以是连续的帧图像(视频流图像)，也可以是独立的帧图像(照片)。

102、将第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征。

在本发明实施例中，第一人头检测结果与第一人头特征对应于第一目标图像，第二人头检测结果与第二人头特征对应于第二目标图像。

具体的，上述人头检测结果可以是人头检测框(x，y，h，w)，其中，上述的x，y为人头检测框的中心点坐标，上述的h为人头检测框的高度，上述的w为人头检测框的宽度。上述的人头检测框可以是理解为目标图像中的小图，每个小图中包含一个目标人员的人头图像。

上述人头特征可以根据人头图像提取出来的人头特征向量。

在一种可能的实施例中，上述预先训练好的神经网络模型可以是多个，包括对第一目标图像与第二目标图像分别做人头检测的人头检测网络模型，以及对第一目标图像与第二目标图像分别做人头特征提取的人头特征提取网络模型。

在本发明实施例中，为提高人头检测结果与人头特征的获取速度，提供一种可选的神经网络模型，输入为第一目标图像与第二目标图像，输出为对应第一目标图像的第一人头检测结果和第一人头特征，以及对应第二目标图像的第二人头检测结果和第二人头特征。也就是说，上述人头检测结果与人头特征是通过同一个神经网络模型进行处理得到的。上述的预先训练好的神经网络模型的输入为第一目标图像与第二目标图像。上述神经网络模型包括公共网络，以及第一分支网络和第二分支网络，上述公共网络同时与上述第一分支网络和第二分支网络进行连接，其中，上述第一分支网络用于输出第一人头检测结果与第二人头检测结果，上述第二分支网络用于输出第一人头特征与第二人头特征。

具体的，请参见图2，图2是本发明实施例提供的一种神经网络模型处理目标图像的方法的流程图，如图2所示，包括以下步骤：

201、将第一目标图像与第二目标图像进行拼接，得到输入图像。

上述第一目标图像与第二目标图像的拼接可以是将第一目标图像与第二目标图像进行上下拼接或首尾拼接，如图3所示。拼接后的第一目标图像与第二目标图像可以作为整体的一张输入图像，输入到上述神经网络模型中进行处理。

202、将输入图像输入到预先训练好的神经网络模型中。

在本发明实施例中，上述神经网络模型包括公共网络，以及第一分支网络和第二分支网络，上述公共网络同时与上述第一分支网络和第二分支网络进行连接，如图3所示。

上述的公共网络用于提取输入图像中第一目标图像与第二目标图像中的可以共享的基本特征，得到基本特征图。

203、通过预先训练好的神经网络模型中的公共网络以及第一分支网络，计算并输出第一人头检测结果与第二人头检测结果。

在本发明实施例中，上述的公共网络以及第一分支网络用于处理并输出第一人头检测结果与第二人头检测结果。

输入图像经过公共网络，提取得到基本特征图，基本特征图输入到第一分支网络中，通过第一分支网络对基本特征图进行人头检测，从而输出第一人头检测结果与第二人头检测结果。具体的，上述人头检测结果可以是人头检测框(x，y，h，w)，其中，上述的x，y为人头检测框的中心点坐标，上述的h为人头检测框的高度，上述的w为人头检测框的宽度。其中，第一人头检测结果对应第一目标图像，第二人头检测结果对应第二目标图像。

更具体的，上述第一分支网络包括第一公共分支网络、第一子网络以及第二子网络，其中，第一子网络用于检测并输出第一人头检测结果，第二子网络用于检测并输出第二人头检测结果。第一公共分支网络用于提取基本特征图中可以共享的人头检测基本特征，从而得到人头检测基本特征图。通过第一子网络对上述人头检测基本特征图进行处理，输出得到第一人头检测结果，通过第二子网络对上述人头检测基本特征图进行处理，输出得到第二人头检测结果。可以理解是，第一子网络与第二子网络中通过不同的权重矩阵对人头检测基本特征图像进行处理，从而得到第一人头检测结果与第二人头检测结果。

204、通过预先训练好的神经网络模型中的公共网络以及第二分支网络，计算并输出第一人头特征与第二人头特征。

在本发明实施例中，上述的公共网络以及第二分支网络用于处理并输出第一人头特征与第二人头特征。

输入图像经过公共网络，提取得到基本特征图，基本特征图输入到第二分支网络中，通过第二分支网络对基本特征图进行人头特征提取，从而输出第一人头特征与第二人头特征。具体的，上述人头特征可以是预设维度的特征向量。其中，第一人头特征对应第一目标图像，第二人头特征对应第二目标图像。

更具体的，上述第二分支网络包括第二公共分支网络、第三子网络以及第四子网络，其中，第三子网络用于提取并输出第一人头特征，第四子网络用于提取并输出第二人头特征。第二公共分支网络用于提取基本特征图中可以共享的人头基本特征，从而得到人头基本特征图。通过第三子网络对上述人头基本特征图进行处理，输出得到第一人头特征，通过第四子网络对上述人头基本特征图进行处理，输出得到第二人头特征。可以理解是，第一子网络与第四子网络中通过不同的权重矩阵对人头基本特征图像进行处理，从而得到第一人头特征与第二人头特征。

在本发明实施例中，通过一个神经网络模型对第一目标图像与第二目标图像同时进行人头检测和人头特征提取，可以提高人头检测结果和人头特征的处理速度。

可选的，上述神经网络模型中第一分支网络与第二分支网络为不同类型的两种网络，且具有不同的前向传播结构，在训练的过程中，同时进行训练的话可能会存在冲突，因此，本发明实施例还提供一种神经网络的训练方法，具体请参见图4，图4是本发明实施例提供的一种神经网络模型的训练方法的流程图，如图4所示，包括以下步骤：

401、通过第一数据集对公共网络以及第一分支网络进行第一训练。

在本发明实施例中，上述的第一数据集可以是用于人头检测的数据集，第一数据集中包括样本人头图像以及对应的人头标签数据。

进一步的，上述的样本人头图像可以包括同一时刻不同角度采集得到两张图像，两张图像中包括相同人员的人头图像。比如，可以是通过双目摄像头拍摄到的第一样本人头图像与第二样本人头图像(即左目样本图像和右目样本图像)。更进一步的，上述样本人头图像为第一样本人头图像与第二样本人头图像拼接后的人头图像。

上述第一训练指的是对公共网络以及第一分支网络进行人头检测训练，在整体的人头检测训练中，期望所有的人头特征尽可能相似；在第一分支网络的训练过程中，训练人头与背景的区分；在第一子网络与第二子网络中，训练第一人头检测结果与第二人头检测结果的区分。

在得到对样本人头图像的输出结果后，计算该结果与人头标签数据损失函数，根据损失函数来反向调整公共网络以及第一分支网络的参数。

402、通过第二数据集对公共网络以及第二分支网络进行第二训练。

在本发明实施例中，上述的第二数据集可以是用于人头特征提取的数据集，第二数据集中包括样本人头图像以及对应的人头标签数据。

进一步的，上述的样本人头图像可以包括同一时刻不同角度采集得到两张图像，两张图像中包括相同人员的人头图像。比如，可以是通过双目摄像头拍摄到的第一样本人头图像与第二样本人头图像(即左目样本图像和右目样本图像)。更进一步的，上述样本人头图像为第一样本人头图像与第二样本人头图像拼接后的人头图像。

上述第二训练指的是对公共网络以及第二分支网络进行人头特征提取训练，在整体的人头特征提取训练中，期望不同人员的人头特征尽可能的不相似，以便更好的区分不同的人头，从而提取到不同的人头特征；在第二分支网络的训练过程中，训练对所有人头特征的区分和提取；在第三子网络与第四子网络中，训练第一人头特征与第二人头特征的区分提取。

在得到对样本人头图像的输出结果后，计算该结果与人头标签数据损失函数，根据损失函数来反向调整公共网络以及第二分支网络的参数。

需要说明的是，上述的第一训练与第二训练仅是为了区别第一分支网络与第二分支网络的训练过程，而不是对于训练时序的限定。

403、将第一训练与第二训练交替进行，直到第一训练与第二训练收敛，得到训练好的神经网络模型。

在本发明实施例中，将第一训练与第二训练交替进行，上述第一训练与第二训练交替进行可以理解为，通过第一训练对神经网络模型进行n次训练后，再通过第二训练对神经网络模型进行n次训练，之后，再通过第一训练对神经网络模型进行n次训练，循环交替的对神经网络模型进行训练，其中，n大于等于1。这样，可以提高公共网络的拟合效果，进而同时提高人头检测的精度和人头特征提取的精度。上述第一训练收敛可以理解为公共网络与第一分支网络所对应的损失函数最小，上述第二训练收敛可以理解为公共网络与第二分支网络所对应的损失函数最小，从而得到训练好的神经网络模型。

可选的，在第一训练与第二训练收敛后，可以对收敛的神经网络模型进行微调，得到训练好的神经网络模型。具体的，上述的微调可以是通过调整分辨率，来微调神经网络模型中所有网络的参数。

103、根据第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息。

在本发明实施例中，第一人头检测结果与第一人头特征是基于第一目标图像得到，第二人头检测结果与第二人头特征是基于第二目标图像得到，因此，需要将第一目标图像与第二目标图像中的人头进行匹配，以区分各个不同人员的目标人头，从而可以更好的提取到目标人头信息。

具体的，请参见图5，图5是本发明实施例提供的一种目标人头信息提取方法的流程图，如图5所示，包括以下步骤：

501、根据第一人头特征与第二人头特征的相似度，对第一人头特征与第二人头特征进行匹配，得到属于同一个目标人员的人头特征对。

上述同一个目标人员的人头特征对包括同一个目标人员的第一人头特征与第二人头特征。

在本发明实施例中，由于第一人头特征与第二人头特征是通过同一个神经网络模型同时提取输出的，因此，在计算第一人头特征与第二人头特征的相似度时候，可以减少人头特征的等待时间。上述的相似度可以是余弦相似度，也可以是欧氏相似度。

在一种可能的实施例中，上述的公共网络与第二分支网络采用的损失函数为MSEloss(Mean Squared Error loss)均方误差损失(也称L2损失)，由于MSE loss均方误差损失与欧氏距离的计算相似，都是均方差计算，采用MSE loss均方误差损失对公共网络与第二分支网络进行训练，并使用欧氏距离计算公共网络与第二分支网络输出的第一人头特征与第二人头特征，可以得到更好性能更好相似度的度量，且计算计算算来较简单，可以提高相似度的计算速度。

通过相似度对第一人头特征与第二人头特征进行匹配，得到第一目标图像与第二目标图像中同一个目标人员的人头特征对应。比如通过公共网络与第二分支网络提取第一目标图像与第二目标图像的人头特征，得到目标人员A的第一人头特征为a1，第二人头特征为a2，目标人员B的第一人头特征为b1，第二人头特征为b2，则会遍历计算相似度S(a1，a2)，S(a1，b2)，S(b1，a2)，S(b1，b2)，计算得到相似度S(a1，a2)满足预设的相似度条件，则a1，a2为同一个目标人员(目标人员A)的人头特征对，S(b1，b2)满足预设的相似度条件，则b1，b2为同一个目标人员(目标人员B)的人头特征对。

502、根据人头特征对，查找得到对应的人头检测结果对。

上述人头检测结果对包括同一个目标人员的第一人检测结果与第二人头检测结果。

在本发明实施例中，每个第一人头特征对应于一个第一人头检测结果，每个第二人头特征对应于一个第二人头检测结果。上述的人头特征对包括同一个目标人员的第一人头特征与第二人头特征，从而可以根据人头特征对，查找到与该目标人员第一人头特征对应的第一人头检测结果，以及查找到与该目标人员第二人头特征对应的第二人头检测结果。

在一种可能的实施例中，第一目标图像与第二目标图像为连续帧图像，第一目标图像与第二目标图像中包括多个目标人员，可以根据多目标跟踪算法，对不同目标人员的人头检测结果对进行ID分配，以得到带ID的人头检测结果对，不同的目标人员对应不同ID的人头检测结果对。在本发明实施例中，上述的多目标跟踪算法可以采用deep sort跟踪算法，使用人头数据集进行训练，以使deep sort跟踪算法能够学习到对第一目标图像与第二目标图像中目标人员人头的跟踪以及对第一目标图像与第二目标图像中同一个目标人员的ID分配。上述deep sort跟踪算法可以实时地对多个目标人员的人头进行跟踪并分配不同的ID。

需要说明的是，在多目标跟踪算法中，由于人头检测结果所对应的人头特征已经通过神经网络模型提取出来，只需要对第一人头特征与第二人头特征进行复用即可，因此，在多目标跟踪算法中，不需要再进行人头特征提取。

503、基于人头检测结果对，提取目标人头信息。

在本发明实施例中，人头检测结果对包括同一个目标人员的第一人头检测结果与第二人头检测结果，上述的第一人头检测结果与第二人头检测结果可以是人头检测框。由于第一目标图像与第二目标图像是不同角度下采集到的，所以第一人头检测结果与第二人头检测结果所对应的人头检测框也是基于不同角度下的人头图像。可以理解的是，基于人眼的研究，可以得到相机在两个不同的视角下拍摄的两张图片，如果知道现实物点P在两张图片中的对应关系，就可以精确计算出P点的三维坐标信息，实物点P可以是人头中的各个关键点，也可以是SIFT(Scale-invariant feature transform)尺度不变特征点等。

上述目标人头信息可以是第一人头检测结果与第二人头检测结果中关键点对的对应关系，或尺度不变特征点对的对应关系，上述的对应关系可以是关键点对中两个关键点所在人头检测框中的坐标关系，或尺度不变特征点对中两个尺度不变特征点所在人头检测框中的坐标关系。

104、根据目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。

在本发明实施例中，上述目标人头信息可以是第一人头检测结果与第二人头检测结果中关键点对的对应关系，或尺度不变特征点对的对应关系。可以根据人头景深信息，对目标人头进行三维重建，得到三维目标人头。

具体的，可以根据三角测量原理，将关键点对中两个不同坐标的同名关键点进行景深信息计算，从而得到各个关键点的景深信息。基于各个关键点的景深信息，对目标人头进行三维重建。

基于重建得到的三维目标人头计算目标人员间的社交距离，可以是将重建得到的多个三维目标人头投影到三维空间的预设平面(三维投影面)上，得到多个目标人头投影；计算不同目标人头投影之间的距离，得到目标人员间的投影距离；将目标人员间的投影距离根据预设比例，转换为目标人员间的社交距离。其中，上述的三维空间可以是基于标定的相机坐标进行构建三维空间，三维空间的原点可以是相机的光心点，或两个光心点的中心点。

具体的，可以计算目标人头投影的几何中心作为人头投影点，通过欧式距离计算三维投影面上，各个人头投影点的距离。上述预设比例为三维空间的度量值比实际空间的度量值，可以根据景深信息进行确定，景深值越大，则匹配到的比例越大。通过匹配到的预设比例将人头投影点的距离转换为现实中目标人头的距离，从而得到目标人员在现在场景中的社交距离。

在本发明实施例中，获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；根据所述第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征进行目标人头匹配，并基于匹配结果提取目标人头信息；根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。通过目标人员不同角度的人头图像，提取到更为准确的目标人头信息用于三维重建，使得三维目标人头在三维空间中的位置更为准确，从而提高了目标人员间社交距离的准确度。

需要说明的是，本发明实施例提供的社交距离检测方法可以应用于可以进行社交距离检测的手机、监控器、计算机、服务器等设备。

请参见图6，图6是本发明实施例提供的一种社交距离检测装置的结构示意图，如图6所示，所述装置包括：

获取模块601，用于获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；

第一处理模块602，用于将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；

第二处理模块603，用于根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息；

第三处理模块604，用于根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。

可选的，所述预先训练好的神经网络模型包括公共网络，以及第一分支网络和第二分支网络，所述公共网络同时与所述第一分支网络和第二分支网络进行连接，其中，所述第一分支网络用于输出第一人头检测结果与第二人头检测结果，所述第二分支网络用于输出第一人头特征与第二人头特征。

可选的，如图7所示，所述第一处理模块602，包括：

预处理子模块6021，用于将所述第一目标图像与第二目标图像进行拼接，得到输入图像；

输入子模块6022，用于将所述输入图像输入到预先训练好的神经网络模型中；

第一处理子模块6023，用于通过所述预先训练好的神经网络模型中的公共网络以及第一分支网络，计算并输出第一人头检测结果与第二人头检测结果；以及

第二处理子模块6024，用于通过所述预先训练好的神经网络模型中的公共网络以及第二分支网络，计算并输出第一人头特征与第二人头特征。

可选的，如图8所示，所述装置还包括：

第一训练模块605，用于通过第一数据集对公共网络以及第一分支网络进行第一训练；

第二训练模块606，用于通过第二数据集对公共网络以及第二分支网络进行第二训练；

第三训练模块607，用于将所述第一训练与第二训练交替进行，直到第一训练与第二训练收敛，得到训练好的神经网络模型。

可选的，如图9所示，一个第一人头检测结果对应一个第一人头特征，一个第二人头检测结果对应一个第二人头特征，所述第二处理模块603，包括：

第一匹配子模块6031，用于根据所述第一人头特征与第二人头特征的相似度，对第一人头特征与第二人头特征进行匹配，得到属于同一个目标人员的人头特征对，所述人头特征对包括第一人头特征与第二人头特征；

第二匹配子模块6032，用于根据所述人头特征对，查找得到对应的人头检测结果对，所述人头检测结果对包括第一人检测结果与第二人头检测结果；

提取子模块6033，用于基于所述人头检测结果对，提取目标人头信息。

可选的，如图10所示，所述提取子模块6033，包括：

分配单元60331，用于根据多目标跟踪算法，对不同目标人员的人头检测结果对进行ID分配，以得到带ID的人头检测结果对；

提取单元60332，用于根据所述带ID的人头检测结果对，提取目标人头信息。

可选的，所述第三处理模块604还用于根据所述人头景深信息，对目标人头进行三维重建，得到三维目标人头。

可选的，如图11所示，所述第三处理模块604，包括：

投影子模块6041，用于将重建得到的多个三维目标人头投影到三维空间的预设平面上，得到多个目标人头投影；

计算子模块6042，用于计算不同目标人头投影之间的距离，得到目标人员间的投影距离；

转换子模块6043，用于将所述目标人员间的投影距离根据预设比例，转换为目标人员间的社交距离。

需要说明的是，本发明实施例提供的社交距离检测装置可以应用于可以进行社交距离检测的手机、监控器、计算机、服务器等设备。

本发明实施例提供的社交距离检测装置能够实现上述方法实施例中社交距离检测方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图12，图12是本发明实施例提供的一种电子设备的结构示意图，如图12所示，包括：存储器1202、处理器1201及存储在所述存储器1202上并可在所述处理器1201上运行的计算机程序，其中：

处理器1201用于调用存储器1202存储的计算机程序，执行如下步骤：

获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；

将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；

根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息；

根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。

可选的，所述预先训练好的神经网络模型包括公共网络，以及第一分支网络和第二分支网络，所述公共网络同时与所述第一分支网络和第二分支网络进行连接，其中，所述第一分支网络用于输出第一人头检测结果与第二人头检测结果，所述第二分支网络用于输出第一人头特征与第二人头特征。

可选的，处理器1201执行的所述将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，包括：

将所述第一目标图像与第二目标图像进行拼接，得到输入图像；

将所述输入图像输入到预先训练好的神经网络模型中；

通过所述预先训练好的神经网络模型中的公共网络以及第一分支网络，计算并输出第一人头检测结果与第二人头检测结果；以及

通过所述预先训练好的神经网络模型中的公共网络以及第二分支网络，计算并输出第一人头特征与第二人头特征。

可选的，处理器1201还执行所述神经网络模型的训练，具体还执行以下步骤：

通过第一数据集对公共网络以及第一分支网络进行第一训练；

通过第二数据集对公共网络以及第二分支网络进行第二训练；

将所述第一训练与第二训练交替进行，直到第一训练与第二训练收敛，得到训练好的神经网络模型。

可选的，一个第一人头检测结果对应一个第一人头特征，一个第二人头检测结果对应一个第二人头特征，处理器1201执行的所述根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息，包括：

根据所述第一人头特征与第二人头特征的相似度，对第一人头特征与第二人头特征进行匹配，得到属于同一个目标人员的人头特征对，所述人头特征对包括第一人头特征与第二人头特征；

根据所述人头特征对，查找得到对应的人头检测结果对，所述人头检测结果对包括第一人检测结果与第二人头检测结果；

基于所述人头检测结果对，提取目标人头信息。

可选的，处理器1201执行的所述基于所述人头检测结果对，提取目标人头信息，包括：

根据多目标跟踪算法，对不同目标人员的人头检测结果对进行ID分配，以得到带ID的人头检测结果对；

根据所述带ID的人头检测结果对，提取目标人头信息。

可选的，处理器1201执行的所述目标人头信息包括人头景深信息，所述根据所述目标人头信息对目标人头进行三维重建，包括：

根据所述人头景深信息，对目标人头进行三维重建，得到三维目标人头。

可选的，处理器1201执行的所述基于重建得到的三维目标人头计算目标人员间的社交距离，包括：

将重建得到的多个三维目标人头投影到三维空间的预设平面上，得到多个目标人头投影；

计算不同目标人头投影之间的距离，得到目标人员间的投影距离；

将所述目标人员间的投影距离根据预设比例，转换为目标人员间的社交距离。

需要说明的是，上述电子设备可以是可以应用于可以进行社交距离检测的手机、监控器、计算机、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中社交距离检测方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的社交距离检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (11)

1.一种社交距离检测方法，其特征在于，包括以下步骤：

获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；

将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；

根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息；

根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。

2.如权利要求1所述的方法，其特征在于，所述预先训练好的神经网络模型包括公共网络，以及第一分支网络和第二分支网络，所述公共网络同时与所述第一分支网络和第二分支网络进行连接，其中，所述第一分支网络用于输出第一人头检测结果与第二人头检测结果，所述第二分支网络用于输出第一人头特征与第二人头特征。

3.如权利要求2所述的方法，其特征在于，所述将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，包括：

将所述第一目标图像与第二目标图像进行拼接，得到输入图像；

将所述输入图像输入到预先训练好的神经网络模型中；

通过所述预先训练好的神经网络模型中的公共网络以及第一分支网络，计算并输出第一人头检测结果与第二人头检测结果；以及

通过所述预先训练好的神经网络模型中的公共网络以及第二分支网络，计算并输出第一人头特征与第二人头特征。

4.如权利要求2所述的方法，其特征在于，所述神经网络模型的训练包括：

通过第一数据集对公共网络以及第一分支网络进行第一训练；

通过第二数据集对公共网络以及第二分支网络进行第二训练；

将所述第一训练与第二训练交替进行，直到第一训练与第二训练收敛，得到训练好的神经网络模型。

5.如权利要求1所述的方法，其特征在于，一个第一人头检测结果对应一个第一人头特征，一个第二人头检测结果对应一个第二人头特征，所述根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息，包括：

根据所述第一人头特征与第二人头特征的相似度，得到属于同一个目标人员的人头特征对，所述人头特征对包括第一人头特征与第二人头特征；

根据所述人头特征对，查找得到对应的人头检测结果对，所述人头检测结果对包括第一人头检测结果与第二人头检测结果；

基于所述人头检测结果对，提取目标人头信息。

6.如权利要求5所述的方法，其特征在于，所述基于所述人头检测结果对，提取目标人头信息，包括：

根据多目标跟踪算法，对不同目标人员的人头检测结果对进行ID分配，以得到带ID的人头检测结果对；

根据所述带ID的人头检测结果对，提取目标人头信息。

7.如权利要求5所述的方法，其特征在于，所述目标人头信息包括人头景深信息，所述根据所述目标人头信息对目标人头进行三维重建，包括：

根据所述人头景深信息，对目标人头进行三维重建，得到三维目标人头。

8.如权利要求7所述的方法，其特征在于，所述基于重建得到的三维目标人头计算目标人员间的社交距离，包括：

将重建得到的多个三维目标人头投影到三维空间的预设平面上，得到多个目标人头投影；

计算不同目标人头投影之间的距离，得到目标人员间的投影距离；

将所述目标人员间的投影距离根据预设比例，转换为目标人员间的社交距离。

9.一种社交距离检测装置，其特征在于，所述装置包括：

获取模块，用于获取第一目标图像与第二目标图像，所述第一目标图像与所述第二目标图像为同一时刻不同角度采集得到；

第一处理模块，用于将所述第一目标图像与第二目标图像输入到预先训练好的神经网络模型中，并通过所述预先训练好的神经网络模型输出得到第一人头检测结果、第二人头检测结果、第一人头特征、第二人头特征，其中，所述第一人头检测结果与第一人头特征对应于第一目标图像，所述第二人头检测结果与所述第二人头特征对应于第二目标图像；

第二处理模块，用于根据所述第一人头特征、第二人头特征匹配得到目标人员的第一人头检测结果与第二人头检测结果，根据所述目标人员的第一人头检测结果与第二人头检测结果提取目标人头信息；

第三处理模块，用于根据所述目标人头信息对目标人头进行三维重建，并基于重建得到的三维目标人头计算目标人员间的社交距离。

10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的社交距离检测方法中的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的社交距离检测方法中的步骤。

Images