CN114862908A - 一种基于深度相机的动态目标追踪方法与系统 - Google Patents

一种基于深度相机的动态目标追踪方法与系统 Download PDF

Info

Publication number
CN114862908A
CN114862908A CN202210429884.7A CN202210429884A CN114862908A CN 114862908 A CN114862908 A CN 114862908A CN 202210429884 A CN202210429884 A CN 202210429884A CN 114862908 A CN114862908 A CN 114862908A
Authority
CN
China
Prior art keywords
point cloud
dynamic target
cloud data
target
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210429884.7A
Other languages
English (en)
Inventor
黄腾超
杨钰邦
钱璐静
孙澍宇
车双良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210429884.7A priority Critical patent/CN114862908A/zh
Publication of CN114862908A publication Critical patent/CN114862908A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度相机的动态目标追踪方法与系统,涉及目标检测和目标追踪领域,该方法包括利用若干深度相机采集覆盖动态目标360度方向的原始点云数据,并进行时间配准;对每台深度相机获取的原始点云数据进行预处理;判断预处理后的点云数据中是否包含目标信息,并将包含有目标信息的预处理后的点云数据进行位置配准和坐标转换,得到融合后的动态目标实时位置信息;基于融合后的动态目标实时位置信息,对动态目标进行跟踪。发明扩展了深度相机的适用场景,提高了动态目标追踪的精度。

Description

一种基于深度相机的动态目标追踪方法与系统
技术领域
本发明涉及目标检测和目标追踪领域,特别是涉及一种基于深度相机的动态目标追踪方法与系统。
背景技术
在自主导航、城市建模、机器人以及虚拟现实领域,通常需要识别和定位动态目标物体。传统摄像头的数据获取容易受到天气、光照等影响,而深度相机能在光照不足的情况下获取到空间信息丰富清晰的三维点云数据,这使得对深度相机三维点云数据的处理愈发重要。基于深度相机的动态目标检测与追踪方法能够更加精确地定位并表征出动态目标的形状,通常作为环境感知手段的首选。
目前,深度相机在目标追踪的应用主要有两个难点:一是单个相机需要不断移动相机采集物体表面数据。由于相机位置配准算法的限制,每帧数据之间的差异不能过大,导致相机只能缓慢移动,降低了采集效率。若对柔性物体进行追踪,物体形状可能发生变化,这会导致相机围绕物体移动时,前后采集的数据不一致,引起目标追踪的误差。二是由于相机视场角的限制,采集的点云数据不完整。针对这两个难点,本发明提供了一种多相机的目标追踪方法与系统,获取动态目标的多角度信息。
发明内容
本发明的目的是提供一种基于深度相机的动态目标追踪方法与系统,扩展了深度相机系统的适应场景,提高了动态目标识别的精度和动态目标追踪的准确性。
为实现上述目的,本发明提供了如下方案:
一种基于深度相机的动态目标追踪方法,包括以下步骤:
步骤1:利用若干深度相机采集覆盖动态目标360度方向的原始点云数据,并进行时间配准;
步骤2:对每台深度相机获取的原始点云数据进行预处理;
步骤3:判断预处理后的点云数据中是否包含目标信息,并将包含有目标信息的预处理后的点云数据进行位置配准和坐标转换,得到融合后的动态目标实时位置信息;
步骤4:基于融合后的动态目标实时位置信息,对动态目标进行跟踪。
进一步地,所述的步骤2具体为:
步骤2.1:通过直通滤波、半径滤波、高斯滤波对每台相机采集到的原始点云数据进行滤波处理;
步骤2.2:对每一台相机对应的滤波后的点云进行分割,将目标点云从环境中分割出来;
步骤2.3:采用最小二乘法对分割后的目标点云进行平滑处理,得到三维重建后的目标点云。
进一步地,所述的步骤3具体为:
步骤3.1:判断预处理后的点云数据中是否包含目标信息,剔除不包含目标信息的点云数据;
步骤3.2:采用ICP算法,将其余点云数据中存在范围重叠区域的点云数据进行配准;
步骤3.3:建立统一世界坐标系,将配准后的点云数据进行坐标转换,得到融合后的目标点云数据。
本发明还提出一种基于深度相机的动态目标追踪系统,用于实现上述的基于深度相机的动态目标追踪方法;所述的动态目标追踪系统包括:
深度相机组,其用于安装在动态目标四周,且能够覆盖动态目标360度方向的原始点云数据;
数据采集模块,其用于获取深度相机采集的原始点云数据;
数据融合模块,其用于对数据采集模块获取的原始点云数据进行融合处理,得到融合后的动态目标信息;
跟踪模块,其用于根据融合后的动态目标信息,对动态目标进行跟踪。
进一步地,所述的数据融合模块包括:
预处理单元,其用于对每台相机对应的原始点云数据进行预处理;
判断单元,其用于判断每台相机对应的预处理后的点云数据中是否含有动态目标信息;
点云配准单元,其用于对含有动态目标信息的点云数据进行配准及坐标转换,输出融合后的点云数据。
发明的有益效果如下:
(1)本发明提出了基于多相机的目标追踪方案,提高了采集数据的效率,可用于柔性物体的目标追踪,拓宽了深度相机在目标追踪领域的应用范围。
(2)本发明从多角度采集目标数据,解决了由于目标物体自遮挡和光照不足导致数据缺失的问题,提高了点云数据处理的效率,完善了点云融合的效果。
(3)本发明提出了对深度相机采集的点云数据进行滤波、平滑和曲面重建等一系列预处理,然后采用ICP算法进行点云配准,采用区域增长算法进行点云分割,并进行点云融合,提高了目标识别的能力和目标追踪的精度。
附图说明
图1为本发明的四个深度相机的安装位置整体示意图;其中,1表示动态目标,2表示深度相机。
图2为四个深度相机安装位置俯视图;
图3为本发明示出的动态目标跟踪算法流程图;
图4为本发明示出的一种基于深度相机的动态目标追踪方法的流程图;
图5为本发明示出的一种基于深度相机的动态目标追踪系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
鉴于背景技术的介绍,目前阶段需要多传感器融合以适用于低视觉场景和获得更精确的感知信息。由于深度相机的视角只有40°~70°。基于此,本发明提供了一种基于深度相机的动态目标追踪方法及装置,扩展了深度相机的适应场景,提高了动态目标追踪的精度。
实施例一
本实施例提供了一种基于深度相机的动态目标追踪方法,主要解决接触检测对动态目标状态的影响和实时追踪的准确性。本实施例搭建了传感器安装平台,利用四个深度相机解决不同传感器水平视角不一致问题。将多个深度相机融合后的检测信息作为输入,然后对检测到的动态目标进行跟踪进而得到更精确的动态目标信息,从而实现对动态目标进行稳定准确的检测和跟踪。
为实现上述功能,本实施例采用的技术方案如下,如图1-3所示:
步骤一:深度相机安装。
按照固定位置安装好四个深度相机,并设置好网络通信,使外部主机能够接收到深度相机的数据。
一个示例为:在动态目标外部四个方向各安装一个支架,将四个深度相机安装在支架上,如图1所示,逆时针编号为1、2、3、4,并且4个深度相机均通过网线与外的处理系统交换数据。本实施例中,采用TOF相机作为深度相机。
由于每个TOF相机的近距离水平视角为40~70°,四个TOF相机水平视角叠加可覆盖到周围360°水平视角的动态目标信息,从而扩大了传感器探测的重叠范围,如图2所示。
步骤二:对深度相机采集的原始点云数据分别进行预处理。
通过高斯滤波、直通滤波和半径滤波对点云数据进行背景去除和滤波处理。具体的,首先采用直通滤波法实现第一级滤波,通过设定点云在x,y,z方向上的范围定位动态目标,将目标和环境点云初步分割开;之后采用半径滤波法实现第二级滤波,计算给定的以某点为中心的圆内所包含的点的数量,若数量高于预设值,则保留圆内所有点;否则,删除圆内所有点,对点云的边缘离散点进行过滤;最后采用高斯滤波法实现第三级滤波,利用标准差去噪,对点云表面进行初步平滑。
对每一个相机采集的点云进行分割,将目标点云从环境中分割出来。本实施例中,采用区域增长算法实现点云分割。
使用最小二乘法进行点云的平滑、重采样处理,得到三维重建后的目标点云,以便进行动态目标追踪。所述的最小二乘法弥补了点云密度变化不均匀的不足,该方法获得的表面更加平滑,减少孔洞的产生,从而使得最后计算结果更加准确。
步骤三:实现数据的融合。
4台深度相机分别编号为1、2、3、4,将其获取的点云动态目标分别记为A、B、C、D。
判断深度相机采集到的数据是否含有动态目标信息;
若是,则使用ICP算法,将数据采集系统中相邻的深度相机采集到的点云两两进行配准,得到相邻深度相机的位置变化关系。例如,在相机1的位置建立世界坐标系,并依次计算相机2、3、4相对其的位置,就得到了每一个相机在统一的世界坐标系下的位置和姿态,接着使用TSDF模型对点云数据A和点云数据B、C、D进行点云融合;所述B、C、D为深度相机2、3、4检测到的动态目标;
若否,则将检测到动态目标点云的相机数据信息确定为融合后的动态目标信息。
在本发明的一项具体实施中,设θ为深度相机2、3、4相对于相机1的安装角度,x0、y0、z0分别为动态目标在世界坐标系下的x、y、z轴坐标;xTOF、yTOF、zTOF分别表示动态目标在深度相机坐标系下的x、y、z轴坐标;Txyz为平移向量,则坐标变换公式为:
Figure BDA0003609695880000051
由于深度相机探测距离不一致,探测范围也不是恒定的,这也取决于周围环境问题的反射率。所以真正需要融合的是探测范围重叠的区域,本发明为了使重叠区域能够完全覆盖探测范围,利用四个深度相机从而得到重叠区域内更精确的动态目标信息。
步骤四:基于融合后的动态目标信息,对动态目标进行跟踪。
本实施例中,基于粒子滤波算法和融合后的动态目标信息,对动态目标进行跟踪。
实施例二
如图所示,本实施例提供了一种基于深度相机的动态目标追踪方法,如图4所示,包括:
步骤100:深度相机采集原始点云数据并进行时间配准。
步骤200:对点云数据进行预处理;
步骤300:实时检测动态目标的存在性;
步骤400:对四台深度相机获取的点云数据进行配准和融合;
步骤500:基于融合后的动态目标信息,对动态目标进行持续追踪。
其中,步骤400具体包括:
对所述原始点云数据进行预处理,预处理主要包括去噪、点云分割和曲面重建,得到在相机坐标系下A、B、C、D的位置信息;
判断深度相机采集到的数据是否含有动态目标信息;
若是,则使用ICP算法,将数据采集系统中相邻的深度相机采集到的点云两两进行配准,得到了相邻深度相机的位置变化关系。再在相机1的位置建立世界坐标系,并依次计算相机2、3、4相对其的位置,就得到了每一个相机在统一的世界坐标系下的位置和姿态,接着使用TSDF模型对点云数据A和点云数据B、C、D进行点云融合;所述B、C、D为深度相机2、3、4检测到的动态目标;
若否,则将检测到动态目标点云的相机数据信息确定为融合后的动态目标信息。
实施例三
如图5所示,本实施例提供了一种基于深度相机的动态目标追踪系统,包括:安装在动态目标四周的深度相机、以及点云数据处理模块。
所述深度相机数量为4,用于采集不同视角下的原始点云数据;
所述的点云数据处理模块,包括:
数据采集模块,用于获取深度相机采集的原始点云数据;
数据融合模块,用于对所述原始点云数据进行融合处理,得到融合后的动态目标信息;
跟踪模块,其基于融合后的动态目标信息,对动态目标进行跟踪。
本实施例中,数据融合模块具体包括:
预处理单元,用于对所述原始点云数据进行预处理,得到深度相机1、2、3、4的检测结果;
判断单元,用于判断所述深度相机采集的点云数据中是否含有动态目标信息;
点云配准单元,其用于对含有动态目标信息的点云数据进行配准及坐标转换,不含有动态目标信息的点云数据不参与配准过程;输出融合后的点云数据。
以上列举的仅是本发明的具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。

Claims (9)

1.一种基于深度相机的动态目标追踪方法,其特征在于,包括以下步骤:
步骤1:利用若干深度相机采集覆盖动态目标360度方向的原始点云数据,并进行时间配准;
步骤2:对每台深度相机获取的原始点云数据进行预处理;
步骤3:判断预处理后的点云数据中是否包含目标信息,并将包含有目标信息的预处理后的点云数据进行位置配准和坐标转换,得到融合后的动态目标实时位置信息;
步骤4:基于融合后的动态目标实时位置信息,对动态目标进行跟踪。
2.根据权利要求1所述的基于深度相机的动态目标追踪方法,其特征在于,所述的深度相机的数量为4,安装在动态目标的四周。
3.根据权利要求1所述的基于深度相机的动态目标追踪方法,其特征在于,所述的步骤2具体为:
步骤2.1:通过直通滤波、半径滤波、高斯滤波对每台相机采集到的原始点云数据进行滤波处理;
步骤2.2:对每一台相机对应的滤波后的点云进行分割,将目标点云从环境中分割出来;
步骤2.3:采用最小二乘法对分割后的目标点云进行平滑处理,得到三维重建后的目标点云。
4.根据权利要求3所述的基于深度相机的动态目标追踪方法,其特征在于,所述的步骤2.1中,首先采用直通滤波法实现第一级滤波,通过设定点云在x,y,z方向上的范围定位动态目标,将目标和环境点云初步分割开;之后采用半径滤波法实现第二级滤波,计算给定的以某点为中心的圆内所包含的点的数量,若数量高于预设值,则保留圆内所有点;否则,删除圆内所有点,对点云的边缘离散点进行过滤;最后采用高斯滤波法实现第三级滤波,利用标准差去噪,对点云表面进行初步平滑。
5.根据权利要求3所述的基于深度相机的动态目标追踪方法,其特征在于,所述的步骤2.2中,采用区域增长算法实现点云分割。
6.根据权利要求1所述的基于深度相机的动态目标追踪方法,其特征在于,所述的步骤3具体为:
步骤3.1:判断预处理后的点云数据中是否包含目标信息,剔除不包含目标信息的点云数据;
步骤3.2:采用ICP算法,将其余点云数据中存在范围重叠区域的点云数据进行配准;
步骤3.3:建立统一世界坐标系,将配准后的点云数据进行坐标转换,得到融合后的目标点云数据。
7.根据权利要求6所述的基于深度相机的动态目标追踪方法,其特征在于,步骤3.3中的坐标转换公式为:
Figure FDA0003609695870000021
其中,xTOF、yTOF、zTOF分别表示相机测得的动态目标在深度相机坐标系下的x、y、z轴坐标;θ表示相机相对统一世界坐标系的安装角度,Txyz为平移向量,x0、y0、z0分别为动态目标在世界坐标系下的x、y、z轴坐标。
8.一种基于深度相机的动态目标追踪系统,用于实现权利要求1所述的基于深度相机的动态目标追踪方法;其特征在于,所述的动态目标追踪系统包括:
深度相机组,其用于安装在动态目标四周,且能够覆盖动态目标360度方向的原始点云数据;
数据采集模块,其用于获取深度相机采集的原始点云数据;
数据融合模块,其用于对数据采集模块获取的原始点云数据进行融合处理,得到融合后的动态目标信息;
跟踪模块,其用于根据融合后的动态目标信息,对动态目标进行跟踪。
9.根据权利要求8所述的一种基于深度相机的动态目标追踪系统,其特征在于,所述的数据融合模块包括:
预处理单元,其用于对每台相机对应的原始点云数据进行预处理;
判断单元,其用于判断每台相机对应的预处理后的点云数据中是否含有动态目标信息;
点云配准单元,其用于对含有动态目标信息的点云数据进行配准及坐标转换,输出融合后的点云数据。
CN202210429884.7A 2022-04-22 2022-04-22 一种基于深度相机的动态目标追踪方法与系统 Pending CN114862908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210429884.7A CN114862908A (zh) 2022-04-22 2022-04-22 一种基于深度相机的动态目标追踪方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210429884.7A CN114862908A (zh) 2022-04-22 2022-04-22 一种基于深度相机的动态目标追踪方法与系统

Publications (1)

Publication Number Publication Date
CN114862908A true CN114862908A (zh) 2022-08-05

Family

ID=82632870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210429884.7A Pending CN114862908A (zh) 2022-04-22 2022-04-22 一种基于深度相机的动态目标追踪方法与系统

Country Status (1)

Country Link
CN (1) CN114862908A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152210A (zh) * 2023-09-19 2023-12-01 深圳优立全息科技有限公司 基于动态观测视场角的图像动态追踪方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152210A (zh) * 2023-09-19 2023-12-01 深圳优立全息科技有限公司 基于动态观测视场角的图像动态追踪方法及相关装置
CN117152210B (zh) * 2023-09-19 2024-07-02 深圳优立全息科技有限公司 基于动态观测视场角的图像动态追踪方法及相关装置

Similar Documents

Publication Publication Date Title
CN111337941B (zh) 一种基于稀疏激光雷达数据的动态障碍物追踪方法
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
CN112767490B (zh) 一种基于激光雷达的室外三维同步定位与建图方法
CN110458161B (zh) 一种结合深度学习的移动机器人门牌定位方法
CN111640158B (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN111968224A (zh) 船舶3d扫描点云数据处理方法
CN114937130B (zh) 一种地形图测绘方法、装置、设备及存储介质
CN115861968A (zh) 一种基于实时点云数据的动态障碍物剔除方法
CN115017578A (zh) 一种建筑的智能实测实量方法、装置、ugv及存储介质
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及系统
CN115690138A (zh) 一种融合车载影像与点云的道路边界提取与矢量化方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN114862908A (zh) 一种基于深度相机的动态目标追踪方法与系统
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
Collins et al. Site model acquisition and extension from aerial images
CN113536959A (zh) 一种基于立体视觉的动态障碍物检测方法
CN113781639B (zh) 一种大场景道路基础设施数字化模型快速构建方法
CN114445415A (zh) 可行驶区域的分割方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination