CN113111743A - 人员距离探测方法及装置 - Google Patents

人员距离探测方法及装置 Download PDF

Info

Publication number
CN113111743A
CN113111743A CN202110334126.2A CN202110334126A CN113111743A CN 113111743 A CN113111743 A CN 113111743A CN 202110334126 A CN202110334126 A CN 202110334126A CN 113111743 A CN113111743 A CN 113111743A
Authority
CN
China
Prior art keywords
depth image
target
distance
human
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110334126.2A
Other languages
English (en)
Inventor
张楠
窦志扬
苏伯尼
刘希玥
贾伟
李玉国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110334126.2A priority Critical patent/CN113111743A/zh
Publication of CN113111743A publication Critical patent/CN113111743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种人员距离探测方法及装置。其中，所述方法包括：通过深度图像拍摄设备，获取深度图像；通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测；当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离；输出所述人员目标与拍摄设备之间的距离的计算结果。这样，通过对深度图像中的人员目标进行准确检测并计算其在深度图像中的深度值，可以准确获取各场景下人员目标在深度图像中的相对位置并确定人员目标与深度图像拍摄设备之间的相对位置。

Description

人员距离探测方法及装置
技术领域
本申请涉及深度图像处理技术领域，尤其涉及一种人员距离探测方法及装置。
背景技术
在社交聚会、学校、和医院等各种人员密集的公共场合中，人与人之间的接触距离处于不可知的状态。因此，需要对人际间社交距离进行测量，以便能够有效掌握人员密集场所中人员之间的距离。在现有技术中，通过位于头顶位置的深度相机进行人员距离的探测，主要是利用佩戴于人体头部的深度相机对场景范围内的人员的头部进行检测，能够在测量人员距离的同时保护人员的隐私信息。在实现现有技术的过程中，发明人发现：在存在人员遮挡或其他物体干扰的复杂场景下，无法精确进行场景内人员距离的测量。
因此，需要提供一种人员距离探测方法及装置。
发明内容
本申请实施例提供一种深度图像中人员距离探测的技术方案，用以解决复杂场景下深度图像中人员距离计算准确率低的技术问题。
具体的，一种人员距离探测方法，包括：
通过深度图像拍摄设备，获取深度图像；
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测；
当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离；
输出所述人员目标与拍摄设备之间的距离的计算结果。
进一步的，通过深度图像拍摄设备，获取深度图像，具体包括：
通过可穿戴式深度图像拍摄设备，获取深度图像；或
通过固定式深度图像拍摄设备，获取深度图像。
进一步的，通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测，具体包括：
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的头部区域检测。
进一步的，所述YoLov3目标检测模型通过以下步骤优化获得：
获取训练用深度图像数据集合；
根据所述训练用深度图像数据集合并通过神经网络算法，半监督学习训练YoLov3目标检测模型；
其中，获取训练用深度图像数据集合，具体包括：
获取由若干已分类标注人体头部位置的深度图像数据元素以及若干未分类标注人体头部位置的深度图像数据元素组成的训练用深度图像数据集合。
进一步的，获取训练用深度图像数据集合之前，还包括：
获取公开的多人场景图像数据集；
通过人体姿态估计算法，在所述数据集中提取人体姿态关键点数据；
根据所述提取的人体姿态关键点数据并通过参数化人体生成模型SMPL，生成三维人体数据库；
根据所述三维人体数据库并通过深度图像转换算法，生成训练用深度图像数据集合。
进一步的，根据所述训练用深度图像数据集合并通过神经网络算法，半监督学习训练YoLov3目标检测模型，具体包括：
根据训练用深度图像数据集合中若干已分类标注人体头部位置的深度图像数据元素并通过神经网络，对若干未分类标注人体头部位置的深度图像数据元素进行头部位置预测计算，生成若干预测标注人体头部位置的深度图像数据元素；
根据训练用深度图像数据集合中若干已分类标注人体头部位置的深度图像数据元素以及所述若干预测标注的人体头部位置的深度图像数据元素，半监督学习训练YoLov3目标检测模型。
进一步的，所述人员距离探测方法还包括：
根据第一人员目标与拍摄设备之间的距离的计算结果与第二人员目标与拍摄设备之间的距离的计算结果，并通过距离计算模型，计算第一人员目标与第二人员目标之间的距离；
输出第一人员目标与第二人员目标之间的距离的计算结果。
本申请实施例还提供一种人员距离探测装置。
具体的，一种人员距离探测装置，包括：
获取模块，用于通过深度图像拍摄设备，获取深度图像；
检测模块，用于通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测；
计算模块，用于当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离；
输出模块，用于输出所述人员目标与拍摄设备之间的距离的计算结果。
进一步的，所述获取模块用于通过深度图像拍摄设备，获取深度图像，具体用于：
通过可穿戴式深度图像拍摄设备，获取深度图像；或
通过固定式深度图像拍摄设备，获取深度图像。
进一步的，所述检测模块用于通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测，具体用于：
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的头部区域检测。
本申请实施例提供的技术方案，至少具有如下有益效果：
通过人员距离探测方法及装置，对深度图像中的人员目标进行准确检测并计算其在深度图像中的深度值，可以准确获取各场景下人员目标在深度图像中的相对位置并确定人员目标与深度图像拍摄设备之间的相对位置。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种人员距离探测方法的流程图。
图2为本申请实施例提供的一种人员距离探测装置的结构示意图。
100 人员距离探测装置
11 获取模块
12 检测模块
13 计算模块
14 输出模块
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，为本申请实施例提供的一种人员距离探测方法，包括以下步骤：
S100：通过深度图像拍摄设备，获取深度图像。
这里的深度图像拍摄设备，在具体应用中，可以是基于双目立体视觉技术、激光雷达技术、结构光的深度探测技术或TOF(Time of Flight)技术而开发的深度图像拍摄设备。通过获取所述拍摄设备所拍摄的深度图像，可以得到深度图像中环境的深度信息。所述拍摄设备根据实际使用场景以及实际使用需求，可以设计不同的尺寸以及不同固定方式。这样，能够根据实际使用需求将深度图像拍摄设备选择性的应用于不同的场景以及对象。例如，可将所述拍摄设备固定方式设计为可穿戴式固定。这样，通过将其设计为相应的尺寸且被不同移动对象佩戴时，能够获取到不同场景或不同视角的深度图像。其中，所述深度图像是以深度图像拍摄设备的图像采集器到场景中各点的距离作为像素值，能够直接反映图像中景物可见表面的几何形状。另外，深度图像数据经过坐标转换可以计算转换为点云数据，同时有规则及包括必要信息的点云数据也可以反算准换为深度图像数据。可以理解的是，这里深度拍摄设备所使用的具体开发技术，显然不构成对本申请具体保护范围的限制。
进一步的，在本申请提供的一种优选的实施方式中，通过深度图像拍摄设备，获取深度图像，具体包括：
通过可穿戴式深度图像拍摄设备，获取深度图像；或
通过固定式深度图像拍摄设备，获取深度图像。
由于深度图像拍摄设备根据实际的使用需求能够设计不同的固定方式，因此通过可穿戴式深度图像拍摄设备或固定式深度图像拍摄设备，均能够进行深度图像的获取。其中，所述可穿戴式深度图像拍摄设备通过设计为相应的尺寸可以被不同移动对象佩戴。当佩戴对象移动时，深度图像拍摄设备随之移动。例如，将
Figure BDA0002996606430000051
RealSenseTMDepth ModuleD430立体视觉深度相机佩戴于人体头部。这样，当佩戴人员移动时，通过佩戴于人体头部的深度相机能够获取到不同场景以及不同视角下连续的深度图像。所述固定式深度图像拍摄设备通过固定于某一空间位置，能够获取到基于同一空间位置不同时刻的深度图像。其中，所述固定式深度图像拍摄设备还可将其获取视角进行可旋转设计。这样，能够基于同一空间位置获取到不同视角的深度图像，从而能够在同一空间位置根据实际需求进行不同的视角范围内的深度图像的选取。
S200：通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测。
通过深度图像拍摄设备获取到深度图像之后，需要根据实际的图像需求对获取到的深度图像进行目的性筛选。特别是获取的深度图像数量较多时，经过筛选只需对满足筛选条件的深度图像进行后续处理。这样，能够在提高工作效率的同时降低深度图像占用的内存大小。因此，需要对获取到的深度图像进行检测，从而将带有人员目标的图像筛选出来。即，在深度图像中进行人员的检测。在用于检测分类的算法中，YoLov3网络算法具有清晰的结构以及优越的实时性。因此，选用YoLov3算法作为目标检测模型，在获取的深度图像中进行人员目标的检测。通过YoLov3目标检测模型检测，当获取的深度图像中包含有人员目标时，可进行后续的计算。当获取的深度图像中不包含有人员目标时，需要重新进行深度图像的获取。
进一步的，在本申请提供的一种优选的实施方式中，通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测，具体包括：
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的头部区域检测。
将获取到的深度图像中带有人员目标的图像筛选之后，带有人员目标的深度图像同样以深度图像拍摄设备的图像采集器到场景中各点的距离作为像素值，并反映图像中人员目标可见表面的几何形状。为了能够根据获取的深度图像进行人员距离的准确计算，需要检测到人体中具有位置代表性的身体部位信息，即人体头部。人体头部相较于人体其它身体部分，能够更为准确地代表人员目标所在的空间位置，从而能够更为准确的进行人员距离的计算。例如，当获取到的人员深度图像中仅包括人体局部身体，如仅包含人体手部或人体腿部，图像对应仅呈现出相应的人体手部或腿部的深度信息以及表面几何形状。根据此时的深度图像信息，无法进行人体具体空间位置的准确判断。此时，该深度图像无法用于计算场景中人员目标到拍摄设备的距离。因此，在进行通过YoLov3目标检测模型进行检测时，需要对获取的深度图像中的人员目标头部区域进行检测。这样，能够更为精准地计算出深度图像中的人员与拍摄设备之间的距离。
进一步的，在本申请提供的一种优选的实施方式中，所述YoLov3目标检测模型通过以下步骤优化获得：
获取训练用深度图像数据集合；
根据所述训练用深度图像数据集合并通过神经网络算法，半监督学习训练YoLov3目标检测模型；
其中，获取训练用深度图像数据集合，具体包括：
获取由若干已分类标注人体头部位置的深度图像数据元素以及若干未分类标注人体头部位置的深度图像数据元素组成的训练用深度图像数据集合。
虽然YoLov3网络算法具有清晰的结构以及优越的实时性，但是由于其算法中的初始参数均为默认值。此时，该算法直接用于深度图像的检测分类，会使得检测结果准确率较低，且耗时较长。因此，为了提高检测结果准确率以及检测效率，需要根据实要求检测效果对YoLov3网络算法中的相关参数进行优化。
具体的，在进行YoLov3目标检测模型优化时，需要首先获取训练用的深度图像数据集合。其中，所述数据集合中应包含已分类标注的深度图像数据元素。其中，所述分类标注为对深度图像中的是否还包含人体头部位置进行人工分类，并加以标注以便进行区分，从而得到已分类标注的深度图像数据元素。但对所有的训练用深度图像进行是包含人体头部位置的人工分类标注，需要的人力以及时间成本较大，所以只需要对部分训练用深度图像进行分类标注即可。因此，获取到的训练用深度图像数据集合包含若干已分类标注的深度图像数据元素以及若干未分类标注的深度图像数据元素。之后根据若干已分类标注的深度图像数据元素并通过神经网络算法，能够将若干未分类标注的深度图像数据元素进行第一次分类标注。即，形成伪标签数据。这时，将第一次分类标注后的数据元素以及获取到的已分类标注的数据元素输入至初始的YoLov3算法进行模型的训练。另外，在模型训练过程中，YoLov3算法可以自适应地调整优化权重。经训练之后，模型中各参数会得到更新。此时，根据模型的输出结果误差，对若干已分类标注的图像数据元素之外的若干未分类标注深度图像数据元素重新分类标注。之后，重新进行检测模型的训练。所述模型训练过程会重复至模型训练完毕。即，进行YoLov3目标检测模型的半监督学习优化。
进一步的，在本申请提供的一种优选的实施方式中，获取训练用深度图像数据集合之前，还包括：
获取公开的多人场景图像数据集；
通过人体姿态估计算法，在所述数据集中提取人体姿态关键点数据；
根据所述提取的人体姿态关键点数据并通过参数化人体生成模型SMPL，生成三维人体数据库；
根据所述三维人体数据库并通过深度图像转换算法，生成训练用深度图像数据集合。
获取到的训练用深度图像数据集合包含若干已分类标注人体头部位置的深度图像数据元素以及若干未分类标注人体头部位置的深度图像数据元素。其中，所述分类标注为对深度图像中是否包含人体头部位置区域进行人工分类之后对包含人体头部位置的深度图像进行人体头部位置区域的标注，以便进行图像的区分和定位，从而得到已分类标注的深度图像数据元素。另外，在对深度图像中的人体头部位置进行分类标注时，还可以将人体头部在图像中呈现的具体区域进行分类以及标注。例如，图像中呈现出的是人体头部的后脑区域、正脸区域或侧脸区域。因此，在获取训练用深度图像数据集合之前，还要进行深度图像中人体头部位置进行分类标注。
具体的，通过获取公开的多人场景图像数据集，可以提供大量的图像数据基础。其中，所述图像为彩色图像，并非深度图像。因此，需要将彩色图像进行处理。值得注意的是，此时需对获取到的公开的多人场景图像中的人体头部区域进行分类标注。例如，对获取到的图像中的人体头部位置进行框选或数字分类标注。通过人体姿态估计(Human PoseEstimation)算法进行人体姿态的估计，能够将获取到的彩色图像中的人体姿态关键点数据进行提取。根据所述提取的关键点数据并通过参数化人体模型(Parametric HumanModel)能够将人体姿态进行三维还原。提取的人体姿态关键点数据越多，所还原的三维人体姿越准确。此时，形成三维人体数据库。其中，由于获取到的公开的多人场景图像中的人体头部区域已分类标注，因此三维人体数据库中人体头部区域的关键点数据同样分类标注。详细的，由于SMPL模型(多人线性蒙皮人体模型，ASkinned Multi-Person LinearModel，简称SMPL)能够在人体姿态三维还原过程中结合人体的姿态参数以及形状参数，因此其不仅能够将人体的蒙皮进行还原，还能更为直观准确地显示出图像中人体的高矮、胖瘦等参数指标。因此，选用SMPL模型进行人体三维姿态的还原。这样，使得还原的人体姿态更为准确，从而能够更为精准地进行检测模型的训练。通过深度图像转换模型对所述还原的人体三维姿态进行渲染处理，即可得到图像中人员的深度图像。值得注意的是，为了增加彩色图像转换为深度图像的效率，可以仅针对彩色图像中的人体区域进行渲染处理。人体之外的其他物体、设备可根据实际需要选择是否进行建模渲染。其中，由于SMPL模型复原的三维人体姿态模型中的人体头部所处的网格位置已知，因此通过将其映射在经深度图像转换模型转换得到的二维深度图像的头部位置，即可得到深度图像中人体头部位置的空间位置信息。即，得到已分类标注人员目标头部位置的训练数据。当获取的彩色图像中不包含人体头部区域时，经转换得到的深度图像无法得到人体头部的空间位置信息。另外，在获取到的公开图像中进行人体头部区域的标注时，还可以将图像中的人体头部的具体呈现区域进行分类标注。此时，形成的三维人体数据库中人体头部具体呈现区域的关键点数据同样被标注。这样，经SMPL模型复原的人体三维姿态模型中头部具体呈现区域已知，使得最终转换得到的深度图像中人体头部具体呈现区域被标注。值得注意的是，对获取到的公开的多人场景图像数据集所有图像中的人体头部区域进行人工分类标注，需要的人力、时间成本较大，因此仅需对其中部分的图像进行分类标注。此时，得到由若干已分类标注人体头部位置的深度图像数据元素以及若干未分类标注人体头部位置的深度图像数据元素所组成的合成训练用深度图像数据库。可以理解的是，这里人工分类标注的深度图像的具体数量，然不构成对本申请具体保护范围的限制。
进一步的，在本申请提供的一种优选的实施方式中，根据所述训练用深度图像数据集合并通过神经网络算法，半监督学习训练YoLov3目标检测模型，具体包括：
根据训练用深度图像数据集合中若干已分类标注人体头部位置的深度图像数据元素并通过神经网络，对若干未分类标注人体头部位置的深度图像数据元素进行头部位置预测计算，生成若干预测标注人体头部位置的深度图像数据元素；
根据训练用深度图像数据集合中若干已分类标注人体头部位置的深度图像数据元素以及所述若干预测标注的人体头部位置的深度图像数据元素，半监督学习训练YoLov3目标检测模型。
进行YoLov3目标检测模型的优化时，训练用深度图像数据库中仅有部分深度图像进行分类标注。其中，所述分类标注为对深度图像中是否包含人体头部位置区域进行人工分类之后对包含人体头部位置的深度图像进行人体头部位置区域的标注。根据若干已分类标注人体头部位置的图像数据元素，通过神经网络算法能够将其余若干未分类标注人体头部位置深度图像数据元素进行人体头部位置第一次分类标注。即，经预测形成伪标签数据。此时，所有的深度图像已经分类标记完成。将第一次分类标注后的数据元素以及获取到的已分类标注的数据元素输入至初始的YoLov3算法进行模型的第一次训练，模型中各参数会得到更新。根据模型的第一次训练的输出结果的误差，对若干已分类标注的图像数据元素之外的若干未分类标注深度图像数据元素进行第二次分类标注。之后，重新进行检测模型的训练。所述模型训练过程会重复至模型训练完毕。即，进行YoLov3目标检测模型的半监督学习优化。在进行目标检测模型的依次训练时，会产生不同的训练参数。其中，当训练用深度图像数据库中人体头部位置区域标注的同时将头部具体呈现区域分类标注时，半监督学习优化得到的YoLov3目标检测模型同样也能够进行人体头部具体呈现区域的检测。值得注意的是，在模型训练过程中，已分类标注数据元素与未分类标注的数据元素的损失函数能够自适应加权，即自适应地调整优化权重。例如，当未分类标注的数据元素经第二次分类标注进行YoLov3网络的验证，验证结果误差增大。这时，在对YoLov3网络进行下一次训练时，可自适应降低伪标签训练数据的权重。当所有训练参数生成之后，通过网络搜索(GridSearch)即可确定最佳的待配置训练参数。另外，所述YoLov3目标检测模型经半监督学习优化后，其对应的算法应当满足平滑假设(The Smoothness Assumption)、簇假设(TheCluster Assumption)与流形假设(The Manifold Assumption)。这样，训练后的检测模型对局部区域特征能够更精准地检测。
S300：当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离。
通过深度图像拍摄设备获取到的深度图像经YoLov3目标检测模型检测，当其中没有存在人员目标时，需要重新进行深度图像的获取，直至获取到带有人员目标的深度图像。当获取到的深度图像经检测存在人员目标时，即可通过距离计算模型进行人员目标与拍摄设备之间距离的计算。值得注意的是，当获取到的深度图像中人体头部的数量有两个或更多时，通过距离计算模型并根据获取到的深度图像中人员头部位置信息，仍可准确计算出相应人员与深度图像拍摄设备之间的距离。值得注意的是，通过计算模型计算人员目标与拍摄设备之间的距离时，还能够根据获取到的深度图像中人员头部位置信息进行人员目标与拍摄设备之间相对位置。例如，根据获取到的图像中的人体头部位置信息，通过计算模型中空间坐标信息计算函数，即可得到人员目标相对于拍摄设备的具体方位。可以理解的是，这里所述人员目标的具体数量以及人员目标与拍摄设备之间相对位置的具体计算方式，然不构成对本申请具体保护范围的限制。
S400：输出所述人员目标与拍摄设备之间的距离的计算结果。
人员目标与拍摄设备之间距离计算完成，即可将相应的结果进行输出。可以理解的是，当获取的深度图像中只有一个人员目标时，对应只能输出一个距离值。但是，若获取的深度图像中人员目标有两个或更多时，需要将计算的结果与相应人员进行匹配。值得注意的是，根据获取到的深度图像中人员头部位置信息通过计算模型，能够进行人员目标与拍摄设备之间相对位置的计算。因此，在输出人员目标与拍摄设备之间距离的计算结果时，还能够输出人员目标相对于拍摄设备的空间位置。此时，在输出人员目标与拍摄设备之间距离或相对空间位置的计算结果时，可将计算结果匹配于对应的人员的位置信息下。例如，将距离值分别标注于图像中人体头部区域或相应的信息栏内。可以理解的是，这里所述人员目标人员与拍摄设备之间距离以及人员目标相对于拍摄设备空间位置的计算结果的具体标示方式，显然不构成对本申请具体保护范围的限制。
进一步的，在本申请提供的一种优选的实施方式中，所述人员距离探测方法还包括：
根据第一人员目标与拍摄设备之间的距离的计算结果与第二人员目标与拍摄设备之间的距离的计算结果，并通过距离计算模型，计算第一人员目标与第二人员目标之间的距离；
输出第一人员目标与第二人员目标之间的距离的计算结果。
当通过深度图像拍摄设备获取到的深度图像中有不同的人员目标时，通过距离计算模型可分别计算每一人员目标与拍摄设备之间的距离。这样，根据第一人员目标与拍摄设备之间的距离的计算结果与第二人员目标与拍摄设备之间的距离的计算结果并通过距离计算模型，即可计算得到第一人员目标与第二人员目标之间的距离。另外，由于计算不同人员目标与拍摄设备之间的距离时可同步计算各人员目标相对于拍摄设备的空间位置，因此根据不同人员目标各自相对于拍摄设备之间的方位，并通过计算模型计算即可得到不同人员目标之间相对空间位置。此时，不仅得到了人员目标相对于拍摄设备的距离以及空间位置，还能够得到不同人员目标之间的距离以及相对空间位置。将计算得到的不同人员目标之间距离或相对空间位置信息输出，即可直观地了解到不同人员目标之间的距离以及具体相对空间位置，从而能够更好进行不同人员目标之间距离合理性的分析。
请参照图2，本申请实施例提供一种人员距离探测装置100。
具体的，一种人员距离探测装置100，包括：
获取模块11，用于通过深度图像拍摄设备，获取深度图像；
检测模块12，用于通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测；
计算模块13，用于当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离；
输出模块14，用于输出所述人员目标与拍摄设备之间的距离的计算结果。
获取模块11，用于通过深度图像拍摄设备，获取深度图像。这里的深度图像拍摄设备，在具体应用中，可以是基于双目立体视觉技术、激光雷达技术、结构光的深度探测技术或TOF(Time of Flight)技术而开发的深度图像拍摄设备。获取模块11通过获取所述拍摄设备所拍摄的深度图像，可以得到深度图像中环境的深度信息。所述拍摄设备根据实际使用场景以及实际使用需求，可以设计不同的尺寸以及不同固定方式。这样，获取模块11能够根据实际使用需求将深度图像拍摄设备选择性的应用于不同的场景以及对象。例如，可将所述拍摄设备固定方式设计为可穿戴式固定。这样，通过将其设计为相应的尺寸且被不同移动对象佩戴时，能够获取到不同场景或不同视角的深度图像。其中，所述深度图像是以深度图像拍摄设备的图像采集器到场景中各点的距离作为像素值，能够直接反映图像中景物可见表面的几何形状。另外，深度图像数据经过坐标转换可以计算转换为点云数据，同时有规则及包括必要信息的点云数据也可以反算准换为深度图像数据。可以理解的是，这里深度拍摄设备所使用的具体开发技术，显然不构成对本申请具体保护范围的限制。
进一步的，在本申请提供的一种优选的实施方式中，所述获取模块11用于通过深度图像拍摄设备，获取深度图像，具体用于：
通过可穿戴式深度图像拍摄设备，获取深度图像；或
通过固定式深度图像拍摄设备，获取深度图像。
由于深度图像拍摄设备根据实际的使用需求能够设计不同的固定方式，因此通过可穿戴式深度图像拍摄设备或固定式深度图像拍摄设备，获取模块11均能够进行深度图像的获取。其中，所述可穿戴式深度图像拍摄设备通过设计为相应的尺寸可以被不同移动对象佩戴。当佩戴对象移动时，深度图像拍摄设备随之移动。例如，将
Figure BDA0002996606430000131
RealSenseTMDepth Module D430立体视觉深度相机佩戴于人体头部。这样，当佩戴人员移动时，通过佩戴于人体头部的深度相机获取模块11能够获取到不同场景以及不同视角下连续的深度图像。所述固定式深度图像拍摄设备通过固定于某一空间位置，获取模块11能够获取到基于同一空间位置不同时刻的深度图像。其中，所述固定式深度图像拍摄设备还可将其获取视角进行可旋转设计。这样，获取模块11能够基于同一空间位置获取到不同视角的深度图像，从而能够在同一空间位置根据实际需求进行不同的视角范围内的深度图像的选取。
检测模块12，用于通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测。
通过深度图像拍摄设备获取到深度图像之后，需要检测模块12根据实际的图像需求对获取到的深度图像进行目的性筛选。特别是获取的深度图像数量较多时，经过检测模块12筛选只需对满足筛选条件的深度图像进行后续处理。这样，能够在提高工作效率的同时降低深度图像占用的内存大小。因此，需要检测模块12对获取到的深度图像进行检测，从而将带有人员目标的图像筛选出来。即，在深度图像中进行人员的检测。在用于检测分类的算法中，YoLov3网络算法具有清晰的结构以及优越的实时性。因此，选用YoLov3算法作为目标检测模型，在获取的深度图像中进行人员目标的检测。检测模块12通过YoLov3目标检测模型检测，当获取的深度图像中包含有人员目标时，可进行后续的计算。当获取的深度图像中不包含有人员目标时，需要重新进行深度图像的获取。
进一步的，在本申请提供的一种优选的实施方式中，所述检测模块12用于通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测，具体用于：
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的头部区域检测。
检测模块12将获取到的深度图像中带有人员目标的图像筛选之后，带有人员目标的深度图像同样以深度图像拍摄设备的图像采集器到场景中各点的距离作为像素值，并反映图像中人员目标可见表面的几何形状。为了能够根据获取的深度图像进行人员距离的准确计算，需要检测模块12检测到人体中具有位置代表性的身体部位信息，即人体头部。人体头部相较于人体其它身体部分，能够更为准确地代表人员目标所在的空间位置，从而能够更为准确的进行人员距离的计算。例如，当获取模块11获取到的人员深度图像中仅包括人体局部身体，如仅包含人体手部或人体腿部，图像对应仅呈现出相应的人体手部或腿部的深度信息以及表面几何形状。根据此时的深度图像信息，无法进行人体具体空间位置的准确判断。此时，该深度图像无法用于计算场景中人员目标到拍摄设备的距离。因此，检测模块12在进行通过YoLov3目标检测模型进行检测时，需要对获取的深度图像中的人员目标头部区域进行检测。这样，能够更为精准地计算出深度图像中的人员与拍摄设备之间的距离。
计算模块13，用于当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离。
通过深度图像拍摄设备获取到的深度图像经YoLov3目标检测模型检测，当其中没有存在人员目标时，需要获取模块11重新进行深度图像的获取，直至获取到带有人员目标的深度图像。当获取模块11获取到的深度图像经检测存在人员目标时，计算模块13即可通过距离计算模型进行人员目标与拍摄设备之间距离的计算。值得注意的是，当获取模块11获取到的深度图像中人体头部的数量有两个或更多时，计算模块13通过距离计算模型并根据获取到的深度图像中人员头部位置信息，仍可准确计算出相应人员与深度图像拍摄设备之间的距离。值得注意的是，计算模块13通过计算模型计算人员目标与拍摄设备之间的距离时，还能够根据获取到的深度图像中人员头部位置信息进行人员目标与拍摄设备之间相对位置。例如，根据获取模块11获取到的图像中的人体头部位置信息，计算模块13通过计算模型中空间坐标信息计算函数，即可得到人员目标相对于拍摄设备的具体方位。可以理解的是，这里所述人员目标的具体数量以及人员目标与拍摄设备之间相对位置的具体计算方式，然不构成对本申请具体保护范围的限制。
输出模块14，用于输出所述人员目标与拍摄设备之间的距离的计算结果。
人员目标与拍摄设备之间距离计算完成，输出模块14即可将相应的结果进行输出。可以理解的是，当获取模块11获取的深度图像中只有一个人员目标时，输出模块14对应只能输出一个距离值。但是，若获取模块11获取的深度图像中人员目标有两个或更多时，需要将计算的结果与相应人员进行匹配。值得注意的是，根据获取到的深度图像中人员头部位置信息通过计算模型，能够进行人员目标与拍摄设备之间相对位置的计算。因此，在输出人员目标与拍摄设备之间距离的计算结果时，输出模块14还能够输出人员目标相对于拍摄设备的空间位置。此时，在输出人员目标与拍摄设备之间距离或相对空间位置的计算结果时，可将计算结果匹配于对应的人员的位置信息下。例如，将距离值分别标注于图像中人体头部区域或相应的信息栏内。可以理解的是，这里所述人员目标人员与拍摄设备之间距离以及人员目标相对于拍摄设备空间位置的计算结果的具体标示方式，显然不构成对本申请具体保护范围的限制。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种人员距离探测方法，其特征在于，包括以下步骤：
通过深度图像拍摄设备，获取深度图像；
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测；
当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离；
输出所述人员目标与拍摄设备之间的距离的计算结果。
2.如权利要求1所述的人员距离探测方法，其特征在于，通过深度图像拍摄设备，获取深度图像，具体包括：
通过可穿戴式深度图像拍摄设备，获取深度图像；或
通过固定式深度图像拍摄设备，获取深度图像。
3.如权利要求1所述的人员距离探测方法，其特征在于，通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测，具体包括：
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的头部区域检测。
4.如权利要求3所述的人员距离探测方法，其特征在于，所述YoLov3目标检测模型通过以下步骤优化获得：
获取训练用深度图像数据集合；
根据所述训练用深度图像数据集合并通过神经网络算法，半监督学习训练YoLov3目标检测模型；
其中，获取训练用深度图像数据集合，具体包括：
获取由若干已分类标注人体头部位置的深度图像数据元素以及若干未分类标注人体头部位置的深度图像数据元素组成的训练用深度图像数据集合。
5.如权利要求4所述的人员距离探测方法，其特征在于，获取训练用深度图像数据集合之前，还包括：
获取公开的多人场景图像数据集；
通过人体姿态估计算法，在所述数据集中提取人体姿态关键点数据；
根据所述提取的人体姿态关键点数据并通过参数化人体生成模型SMPL，生成三维人体数据库；
根据所述三维人体数据库并通过深度图像转换算法，生成训练用深度图像数据集合。
6.如权利要求4所述的人员距离探测方法，其特征在于，根据所述训练用深度图像数据集合并通过神经网络算法，半监督学习训练YoLov3目标检测模型，具体包括：
根据训练用深度图像数据集合中若干已分类标注人体头部位置的深度图像数据元素并通过神经网络，对若干未分类标注人体头部位置的深度图像数据元素进行头部位置预测计算，生成若干预测标注人体头部位置的深度图像数据元素；
根据训练用深度图像数据集合中若干已分类标注人体头部位置的深度图像数据元素以及所述若干预测标注的人体头部位置的深度图像数据元素，半监督学习训练YoLov3目标检测模型。
7.如权利要求1所述的人员距离探测方法，其特征在于，所述人员距离探测方法还包括：
根据第一人员目标与拍摄设备之间的距离的计算结果与第二人员目标与拍摄设备之间的距离的计算结果，并通过距离计算模型，计算第一人员目标与第二人员目标之间的距离；
输出第一人员目标与第二人员目标之间的距离的计算结果。
8.一种人员距离探测装置，其特征在于，包括：
获取模块，用于通过深度图像拍摄设备，获取深度图像；
检测模块，用于通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测；
计算模块，用于当检测到人员目标时，通过距离计算模型，计算人员目标与拍摄设备之间的距离；
输出模块，用于输出所述人员目标与拍摄设备之间的距离的计算结果。
9.如权利要求8所述的人员距离探测装置，其特征在于，所述获取模块用于通过深度图像拍摄设备，获取深度图像，具体用于：
通过可穿戴式深度图像拍摄设备，获取深度图像；或
通过固定式深度图像拍摄设备，获取深度图像。
10.如权利要求8所述的人员距离探测装置，其特征在于，所述检测模块用于通过YoLov3目标检测模型，在所述深度图像中进行人员目标的检测，具体用于：
通过YoLov3目标检测模型，在所述深度图像中进行人员目标的头部区域检测。
CN202110334126.2A 2021-03-29 2021-03-29 人员距离探测方法及装置 Pending CN113111743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334126.2A CN113111743A (zh) 2021-03-29 2021-03-29 人员距离探测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334126.2A CN113111743A (zh) 2021-03-29 2021-03-29 人员距离探测方法及装置

Publications (1)

Publication Number Publication Date
CN113111743A true CN113111743A (zh) 2021-07-13

Family

ID=76712480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334126.2A Pending CN113111743A (zh) 2021-03-29 2021-03-29 人员距离探测方法及装置

Country Status (1)

Country Link
CN (1) CN113111743A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418903A (zh) * 2022-01-21 2022-04-29 支付宝(杭州)信息技术有限公司 基于隐私保护的人机交互方法及人机交互装置
CN116403284A (zh) * 2023-04-07 2023-07-07 北京奥康达体育产业股份有限公司 一种基于蓝牙传输技术的智慧跑步考核训练系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111723687A (zh) * 2020-06-02 2020-09-29 北京的卢深视科技有限公司 基于神经网路的人体动作识别方法和装置
CN111814634A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种实时距离确定方法、装置、设备及介质
CN112070736A (zh) * 2020-09-01 2020-12-11 上海电机学院 一种结合目标检测和深度计算的物体体积视觉测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111723687A (zh) * 2020-06-02 2020-09-29 北京的卢深视科技有限公司 基于神经网路的人体动作识别方法和装置
CN111814634A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种实时距离确定方法、装置、设备及介质
CN112070736A (zh) * 2020-09-01 2020-12-11 上海电机学院 一种结合目标检测和深度计算的物体体积视觉测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱海龙: "《模式识别-动态人群场景分析研究》", vol. 1, 31 May 2017, 黑龙江大学出版社, pages: 23 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418903A (zh) * 2022-01-21 2022-04-29 支付宝(杭州)信息技术有限公司 基于隐私保护的人机交互方法及人机交互装置
CN116403284A (zh) * 2023-04-07 2023-07-07 北京奥康达体育产业股份有限公司 一种基于蓝牙传输技术的智慧跑步考核训练系统
CN116403284B (zh) * 2023-04-07 2023-09-12 北京奥康达体育产业股份有限公司 一种基于蓝牙传输技术的智慧跑步考核训练系统

Similar Documents

Publication Publication Date Title
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
JP4742168B2 (ja) ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
US8179440B2 (en) Method and system for object surveillance and real time activity recognition
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN101443817B (zh) 用于确定场景的三维重建时的对应关系的方法和装置
CN102833486B (zh) 一种实时调节视频图像中人脸显示比例的方法及装置
US20130250050A1 (en) Video surveillance systems, devices and methods with improved 3d human pose and shape modeling
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
US20140064602A1 (en) Method and apparatus for object positioning by using depth images
CN101189638A (zh) 膝关节形态的特征描述方法和系统
JP2014211719A (ja) 情報処理装置およびその方法
JP2017033197A (ja) 変化領域検出装置、方法、及びプログラム
CN113111743A (zh) 人员距离探测方法及装置
CN106529399A (zh) 人体信息采集方法、装置及系统
CN104268880A (zh) 基于特征和区域匹配相结合的深度信息获取方法
CN105224065A (zh) 一种视线估计设备和方法
CN107374638A (zh) 一种基于双目视觉模块的身高测量系统及方法
Brenner et al. RGB-D and thermal sensor fusion: a systematic literature review
CN111881888A (zh) 基于姿态识别的智能桌控制方法及装置
Raudies et al. Modeling heading and path perception from optic flow in the case of independently moving objects
CN110456904A (zh) 一种无需标定的增强现实眼镜眼动交互方法及系统
CN104732586B (zh) 一种三维人体动态形体和三维运动光流快速重建方法
CN110796699B (zh) 多目相机系统的最优视角选择方法和三维人体骨骼检测方法
Kanaujia et al. 3D human pose and shape estimation from multi-view imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination