CN112070840B - 一种多深度相机融合的人体空间定位与跟踪方法 - Google Patents

一种多深度相机融合的人体空间定位与跟踪方法 Download PDF

Info

Publication number
CN112070840B
CN112070840B CN202010953394.8A CN202010953394A CN112070840B CN 112070840 B CN112070840 B CN 112070840B CN 202010953394 A CN202010953394 A CN 202010953394A CN 112070840 B CN112070840 B CN 112070840B
Authority
CN
China
Prior art keywords
point cloud
target
target object
point
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010953394.8A
Other languages
English (en)
Other versions
CN112070840A (zh
Inventor
吴强
季晓枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Magic Digital Creative Technology Co ltd
Original Assignee
Shanghai Magic Digital Creative Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Magic Digital Creative Technology Co ltd filed Critical Shanghai Magic Digital Creative Technology Co ltd
Priority to CN202010953394.8A priority Critical patent/CN112070840B/zh
Publication of CN112070840A publication Critical patent/CN112070840A/zh
Application granted granted Critical
Publication of CN112070840B publication Critical patent/CN112070840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多深度相机融合的人体空间定位与跟踪方法，具体包括以下步骤：S1.获取RGB‑D相机拍摄的连续的RGB图像、深度图像以及RGB‑D图像，转换为点云并融合，得到图像点云；S2.根据PCL点云库进行检测，提取出目标对象的点云作为目标点云；S3.根据目标点云，通过点云匹配和粒子滤波算法进行空间定位；S4.空间定位内的点云作为搜索区域点云，目标点云作为目标模版点云输入Point‑to‑Box网络，训练得到跟踪器模型，通过跟踪器模型检测连续的RGB‑D图像中的目标对象，实现对目标对象的跟踪。与现有技术相比，本发明具有减少多行人重叠遮挡下的检测与跟踪误差、提高目标对象检测跟踪的稳定性等优点。

Description

一种多深度相机融合的人体空间定位与跟踪方法
技术领域
本发明涉及计算机图像处理技术领域，尤其是涉及一种多深度相机融合的人体空间定位与跟踪方法。
背景技术
视觉跟踪问题是当前计算机视觉领域中的热点问题，而在动态环境中对运动目标进行实时、鲁棒的跟踪是其重要的组成部分，视觉跟踪在自动监控、人机交互、医学图像处理、虚拟现实等领域有着广泛的应用口。常用的用于目标跟踪平台有OpenCV和点云库(Point Cloud Library，PCL)，均为用于计算机视觉和图像处理的开源平台，但是侧重点不同，OpenCV主要针对2D信息获取与处理，PCL主要用于在3D信息获取与处理。三维图像包含颜色信息和深度信息，对光照的敏感性较低，Kinect是常用的深度相机，可以获取红外图像、深度图像、彩色图像以及点云数据。目前大多数算法把目标跟踪问题细化为目标检测、数据关联以及目标模型更新共3个子问题，传统的目标跟踪采用先检测后跟踪的两步法跟踪策略，跟踪稳定的必要条件是能准确持续地检测目标。然而，点云数据因频繁受到遮挡，或观测视角变化的影响，常出现过分割和欠分割，目标点云检测结果具有不确定性，并且目前3D基于Kinect深度摄像机的目标检测与跟踪框架延迟高，达到实时性相对也较难，导致检测跟踪的稳定性较差。
发明内容
本发明的目的就是为了克服上述现有技术存在的目标点云检测结果具有不确定性、检测跟踪的稳定性较差的缺陷而提供一种多深度相机融合的人体空间定位与跟踪方法。
本发明的目的可以通过以下技术方案来实现：
一种多深度相机融合的人体空间定位与跟踪方法，具体包括以下步骤：
S1.获取RGB-D相机拍摄的连续的RGB图像、深度图像以及RGB图像转换到深度图像的变换矩阵的RGB-D图像，所述RGB图像、深度图像和RGB-D图像转换为点云并融合，得到图像点云；
S2.根据PCL点云库对所述图像点云进行检测，提取出目标对象的点云作为目标点云；
S3.根据所述目标点云，通过点云匹配和粒子滤波算法在新获取的RGB-D图像中对目标对象进行空间定位；
S4.将所述空间定位内的点云作为搜索区域点云，所述目标点云作为目标模版点云输入到Point-to-Box网络，所述Point-to-Box网络根据搜索区域点云和目标模版点云训练得到跟踪器模型，通过所述跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪。
所述步骤S2具体包括以下步骤：
S21.将所述图像点云分为正样本和负样本，提取所述正样本和负样本的方向梯度直方图特征；
S22.所述正样本和负样本的方向梯度直方图特征输入SVM分类器，得到目标对象的检测模型；
S23.根据所述目标对象的检测模型生成检测子；
S24.根据所述检测子检测负样本，得到标对象的困难样本；
S25.提取困难样本的方向梯度直方图特征，与正样本和负样本的方向梯度直方图特征输入SVM分类器进行训练，得到最终检测子，根据所述最终检测子对图像点云进行检测，提取出目标对象的点云作为目标点云。
所述RGB-D相机中的深度相机为Kinect深度相机。
进一步地，所述Kinect深度相机的数量为2个或2个以上。
所述步骤S3中粒子滤波具体包括以下步骤：
S31.计算所述目标点云中粒子的权重，形成粒子集合；
S32.根据权重对上一时刻的粒子集合中的粒子进行抽样，根据状态转移概率和抽样得到的粒子的权重计算当前时刻的粒子，并将计算得到的当前时刻的粒子添加到粒子集合中；
S33.计算粒子集合中所有粒子的权值之和；
S34.根据所有粒子的权值之和对所有的粒子的权值进行归一化处理；
S35.输出当前时刻的粒子及其归一化处理后的权值。
进一步地，所述步骤S32中从粒子集合中抽样的粒子的数量的影响因素包括目标点云的噪声方差。
进一步地，所述粒子的数量越少，对应粒子滤波的时间复杂度越低。
所述搜索区域点云的规模为搜索区域点云对应的数量乘以3，所述目标模版点云的规模为目标模版点云对应的数量乘以3。
所述步骤S4中根据搜索区域点云和目标模版点云训练得到跟踪器模型的过程具体包括以下步骤：
S401.所述目标模版点云根据Point-to-Box网络进行下采样，获得包括多个目标板块种子的目标模版特征，结合目标板块种子的3D坐标得到目标模版点云的特征组，所述搜索区域点云根据Point-to-Box网络进行下采样，获得包括多个搜索区域种子的搜索区域特征，结合搜索区域种子的3D坐标得到搜索区域点云的特征组；
S402.计算目标模版点云的特征组中目标板块种子与搜索区域点云的特征组中搜索区域种子之间的相似性，得到相似性矩阵；
S403.所述搜索区域点云中的每个搜索区域种子，根据相似性矩阵和目标模版点云的特征组，构建复合点云特征，根据所述复合点云特征训练得到跟踪器模型。
进一步地，所述步骤S4中通过所述跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪的过程具体包括以下步骤：
S411.所述复合点云特征中的每个复合点云种子分别使用共享的多层神经网络，计算出每个复合点云种子所属目标物体的中心点以及中心点特征；
S412.通过2分类器计算出每个复合点云种子落在所属目标物体的表面时对应的自信度；
S413.所述复合点云种子的中心点与自信度进行拼接；
S414.所述搜索区域点云中采样出多个采样点，根据中心点与自信度的拼接值和球形领域查询算法计算每个采样点的邻居点，所述采样点与邻居进行聚类形成复合特征簇；
S415.通过复合多层神经-最大池化-多层神经网络，计算得到复合特征簇的目标物体中心点的坐标、X-Y平面偏移量和综合自信度值，根据综合自信度值最高的复合特征簇来建立位置框架对目标对象进行跟踪。
与现有技术相比，本发明具有以下有益效果：
1.本发明基于PCL点云库对所述图像点云进行检测，通过计算正样本和负样本的方向梯度直方图，结合SVM分类器来提取目标对象的点云，提高了选择目标对象对应点云时的准确性。
2.本发明运用了点云与基于深度学习Point-to-Box网络的进行结合的方式，在训练出跟踪器模型后选择自信度值最高的簇来添加位置框，减少了多行人重叠遮挡下时的检测与跟踪误差，提高了目标对象检测跟踪的稳定性。
3.本发明通过多个Kinect深度相机去捕捉目标对象的深度图像，结合RGB图像，可以完整地展示大范围下的目标对象所在的整个三维空间场景。
附图说明
图1为本发明的流程示意图；
图2为本发明PCL粒子滤波算法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
如图1所示，一种多深度相机融合的人体空间定位与跟踪方法，提高了目标对象检测跟踪的稳定性，具体包括以下步骤：
步骤S1：获取RGB-D相机拍摄的连续的RGB图像、深度图像以及RGB图像转换到深度图像的变换矩阵的RGB-D图像，RGB图像、深度图像和RGB-D图像转换为点云并融合，得到图像点云；
步骤S2：根据PCL点云库对图像点云进行检测，提取出目标对象的点云作为目标点云；
步骤S3：根据目标点云，通过点云匹配和粒子滤波算法在新获取的RGB-D图像中对目标对象进行空间定位；
步骤S4：将空间定位内的点云作为搜索区域点云，目标点云作为目标模版点云输入到Point-to-Box网络，Point-to-Box网络根据搜索区域点云和目标模版点云训练得到跟踪器模型，通过跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪。
步骤S2具体包括以下步骤：
步骤S21：将图像点云分为正样本和负样本，提取正样本和负样本的方向梯度直方图特征；
步骤S22：正样本和负样本的方向梯度直方图特征输入SVM分类器，得到目标对象的检测模型；
步骤S23：根据目标对象的检测模型生成检测子；
步骤S24：根据检测子检测负样本，得到标对象的困难样本；
步骤S25：提取困难样本的方向梯度直方图特征，与正样本和负样本的方向梯度直方图特征输入SVM分类器进行训练，得到最终检测子，根据最终检测子对图像点云进行检测，提取出目标对象的点云作为目标点云。
RGB-D相机中的深度相机为Kinect深度相机。
Kinect深度相机的数量为2个或2个以上。
如图2所示，步骤S3中粒子滤波具体包括以下步骤：
步骤S31：计算目标点云中粒子的权重，形成粒子集合；
步骤S32：根据权重对上一时刻的粒子集合中的粒子进行抽样，根据状态转移概率和抽样得到的粒子的权重计算当前时刻的粒子，并将计算得到的当前时刻的粒子添加到粒子集合中；
步骤S33：计算粒子集合中所有粒子的权值之和；
步骤S34：根据所有粒子的权值之和对所有的粒子的权值进行归一化处理；
步骤S35：输出当前时刻的粒子及其归一化处理后的权值。
步骤S32中从粒子集合中抽样的粒子的数量的影响因素包括目标点云的噪声方差。
粒子的数量越少，对应粒子滤波的时间复杂度越低。
搜索区域点云中包括N1个点云，搜索区域点云的规模为N1*3，目标模版点云中包括N2个点云，目标模版点云的规模为N2*3。
步骤S4中根据搜索区域点云和目标模版点云训练得到跟踪器模型的过程具体包括以下步骤：
步骤S401：目标模版点云根据Point-to-Box网络进行下采样，获得包括M1个目标板块种子的目标模版特征M1*d1，结合目标板块种子的3D坐标得到目标模版点云的特征组M1*(d1+3)，搜索区域点云根据Point-to-Box网络进行下采样，获得包括M2个搜索区域种子的搜索区域特征M2*d2，结合搜索区域种子的3D坐标得到搜索区域点云的特征组M2*(d2+3)；
步骤S402：计算目标模版点云的特征组中目标板块种子与搜索区域点云的特征组中搜索区域种子之间的相似性，得到相似性矩阵M1xM2；
步骤S403：搜索区域点云中的每个搜索区域种子，根据相似性矩阵和目标模版点云的特征组，构建复合点云特征M2*(3+d2)，根据复合点云特征训练得到跟踪器模型。
步骤S4中通过跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪的过程具体包括以下步骤：
步骤S411：复合点云特征中的每个复合点云种子分别使用共享的多层神经网络，计算出每个复合点云种子所属目标物体的中心点以及中心点特征；
步骤S412：通过2分类器计算出每个复合点云种子落在所属目标物体的表面时对应的自信度M2*1；
步骤S413：复合点云种子的中心点与自信度进行拼接，得到拼接值M2*(1+3+d2)；
步骤S414：搜索区域点云的M2个点云中采样出K个采样点，根据中心点与自信度的拼接值和球形领域查询算法计算每个采样点的邻居点，采样点与邻居进行聚类形成复合特征簇；
步骤S415：通过复合多层神经-最大池化-多层神经网络，计算得到K个复合特征簇的目标物体中心点的坐标、X-Y平面偏移量和综合自信度值，根据综合自信度值最高的复合特征簇来建立位置框架对目标对象进行跟踪。
步骤S411中，先计算出复合点云种子与其所属目标物体的中心点以及中心点特征的偏移量，通过偏移量计算出中心点的坐标和中心点特征，最后测出M2个中心点和中心点特征M2*(3+d2)。在计算损失值时，只对落在目标物体上的复合点云的3D坐标计算相应的损失值。
此外，需要说明的是，本说明书中所描述的具体实施例子，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，具体包括以下步骤：
S1.获取RGB-D相机拍摄的连续的RGB图像、深度图像以及RGB图像转换到深度图像的变换矩阵的RGB-D图像，所述RGB图像、深度图像和RGB-D图像转换为点云并融合，得到图像点云；
S2.根据PCL点云库对所述图像点云进行检测，提取出目标对象的点云作为目标点云；
S3.根据所述目标点云，通过点云匹配和粒子滤波算法在新获取的RGB-D图像中对目标对象进行空间定位；
S4.将所述空间定位内的点云作为搜索区域点云，所述目标点云作为目标模版点云输入到Point-to-Box网络，所述Point-to-Box网络根据搜索区域点云和目标模版点云训练得到跟踪器模型，通过所述跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪；
所述步骤S4中根据搜索区域点云和目标模版点云训练得到跟踪器模型的过程具体包括以下步骤：
S401.所述目标模版点云根据Point-to-Box网络进行下采样，获得包括多个目标板块种子的目标模版特征，结合目标板块种子的3D坐标得到目标模版点云的特征组，所述搜索区域点云根据Point-to-Box网络进行下采样，获得包括多个搜索区域种子的搜索区域特征，结合搜索区域种子的3D坐标得到搜索区域点云的特征组；
S402.计算目标模版点云的特征组中目标板块种子与搜索区域点云的特征组中搜索区域种子之间的相似性，得到相似性矩阵；
S403.所述搜索区域点云中的每个搜索区域种子，根据相似性矩阵和目标模版点云的特征组，构建复合点云特征，根据所述复合点云特征训练得到跟踪器模型；
所述步骤S4中通过所述跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪的过程具体包括以下步骤：
S411.所述复合点云特征中的每个复合点云种子分别使用共享的多层神经网络，计算出每个复合点云种子所属目标物体的中心点以及中心点特征；
S412.通过二分类器计算出每个复合点云种子落在所属目标物体的表面时对应的自信度；
S413.所述复合点云种子的中心点与自信度进行拼接；
S414.所述搜索区域点云中采样出多个采样点，根据中心点与自信度的拼接值和球形领域查询算法计算每个采样点的邻居点，所述采样点与邻居点进行聚类形成复合特征簇；
S415.通过复合多层神经-最大池化-多层神经网络，计算得到复合特征簇的目标物体中心点的坐标、X-Y平面偏移量和综合自信度值，根据综合自信度值最高的复合特征簇来建立位置框架对目标对象进行跟踪。
2.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S2具体包括以下步骤：
S21.将所述图像点云分为正样本和负样本，提取所述正样本和负样本的方向梯度直方图特征；
S22.所述正样本和负样本的方向梯度直方图特征输入SVM分类器，得到目标对象的检测模型；
S23.根据所述目标对象的检测模型生成检测子；
S24.根据所述检测子检测负样本，得到目标对象的困难样本；
S25.提取困难样本的方向梯度直方图特征，与正样本和负样本的方向梯度直方图特征输入SVM分类器进行训练，得到最终检测子，根据所述最终检测子对图像点云进行检测，提取出目标对象的点云作为目标点云。
3.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述RGB-D相机中的深度相机为Kinect深度相机。
4.根据权利要求3所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述Kinect深度相机的数量为2个或2个以上。
5.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S3中粒子滤波具体包括以下步骤：
S31.计算所述目标点云中粒子的权重，形成粒子集合；
S32.根据权重对上一时刻的粒子集合中的粒子进行抽样，根据状态转移概率和抽样得到的粒子的权重计算当前时刻的粒子，并将计算得到的当前时刻的粒子添加到粒子集合中；
S33.计算粒子集合中所有粒子的权值之和；
S34.根据所有粒子的权值之和对所有的粒子的权值进行归一化处理；
S35.输出当前时刻的粒子及其归一化处理后的权值。
6.根据权利要求5所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S32中从粒子集合中抽样的粒子的数量的影响因素包括目标点云的噪声方差。
7.根据权利要求6所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述粒子的数量越少，对应粒子滤波的时间复杂度越低。
8.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述搜索区域点云的规模为搜索区域点云对应的数量乘以3，所述目标模版点云的规模为目标模版点云对应的数量乘以3。
CN202010953394.8A 2020-09-11 2020-09-11 一种多深度相机融合的人体空间定位与跟踪方法 Active CN112070840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010953394.8A CN112070840B (zh) 2020-09-11 2020-09-11 一种多深度相机融合的人体空间定位与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953394.8A CN112070840B (zh) 2020-09-11 2020-09-11 一种多深度相机融合的人体空间定位与跟踪方法

Publications (2)

Publication Number Publication Date
CN112070840A CN112070840A (zh) 2020-12-11
CN112070840B true CN112070840B (zh) 2023-10-10

Family

ID=73697078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953394.8A Active CN112070840B (zh) 2020-09-11 2020-09-11 一种多深度相机融合的人体空间定位与跟踪方法

Country Status (1)

Country Link
CN (1) CN112070840B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658449B (zh) * 2021-07-27 2022-09-23 上海交通大学 停车场车辆定位系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902968A (zh) * 2014-02-26 2014-07-02 中国人民解放军国防科学技术大学 一种基于AdaBoost分类器的行人检测模型训练方法
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法
CN109035305A (zh) * 2018-08-10 2018-12-18 中北大学 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法
CN111369597A (zh) * 2020-03-09 2020-07-03 南京理工大学 一种基于多特征融合的粒子滤波目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2407082B1 (en) * 2009-03-11 2017-04-26 Olympus Corporation Image processing system, external device and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902968A (zh) * 2014-02-26 2014-07-02 中国人民解放军国防科学技术大学 一种基于AdaBoost分类器的行人检测模型训练方法
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法
CN109035305A (zh) * 2018-08-10 2018-12-18 中北大学 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法
CN111369597A (zh) * 2020-03-09 2020-07-03 南京理工大学 一种基于多特征融合的粒子滤波目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P2B：Point-to-Box Network for 3D Object Tracking in Point Clouds;Haozhe Qi et al;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;第6328-6337页 *

Also Published As

Publication number Publication date
CN112070840A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN109949341B (zh) 一种基于人体骨架结构化特征的行人目标跟踪方法
CN104115192B (zh) 三维近距离交互的改进或与其有关的改进
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN105913456A (zh) 基于区域分割的视频显著性检测方法
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN110555408B (zh) 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法
CN112686928B (zh) 一种基于多源信息融合的运动目标视觉跟踪方法
Wang et al. An overview of 3d object detection
CN106503170B (zh) 一种基于遮挡维度的图像库构建方法
CN115035260A (zh) 一种室内移动机器人三维语义地图构建方法
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN109086350B (zh) 一种基于WiFi的混合图像检索方法
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
CN108921064B (zh) 基于多特征融合的行人重识别方法
Guo et al. Research on optimization of static gesture recognition based on convolution neural network
CN112396655A (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN112070840B (zh) 一种多深度相机融合的人体空间定位与跟踪方法
CN108564043B (zh) 一种基于时空分布图的人体行为识别方法
CN106934339B (zh) 一种目标跟踪、跟踪目标识别特征的提取方法和装置
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.13, Lane 777, Guangzhong West Road, Jing'an District, Shanghai 200072

Applicant after: Shanghai magic Digital Creative Technology Co.,Ltd.

Address before: No.13, Lane 777, Guangzhong West Road, Jing'an District, Shanghai 200072

Applicant before: MOTION MAGIC DIGITAL ENTERTAINMENT Inc.

GR01 Patent grant
GR01 Patent grant