CN110428372B - 深度数据与2d激光数据融合方法及装置、存储介质 - Google Patents

深度数据与2d激光数据融合方法及装置、存储介质 Download PDF

Info

Publication number
CN110428372B
CN110428372B CN201910609214.1A CN201910609214A CN110428372B CN 110428372 B CN110428372 B CN 110428372B CN 201910609214 A CN201910609214 A CN 201910609214A CN 110428372 B CN110428372 B CN 110428372B
Authority
CN
China
Prior art keywords
depth
data
point cloud
pixel matrix
dimensional pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910609214.1A
Other languages
English (en)
Other versions
CN110428372A (zh
Inventor
董文锋
侍启山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiamusi aoyi Intelligent Technology Co., Ltd
Original Assignee
Jiamusi Aoyi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiamusi Aoyi Intelligent Technology Co ltd filed Critical Jiamusi Aoyi Intelligent Technology Co ltd
Priority to CN201910609214.1A priority Critical patent/CN110428372B/zh
Publication of CN110428372A publication Critical patent/CN110428372A/zh
Application granted granted Critical
Publication of CN110428372B publication Critical patent/CN110428372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Laser Beam Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开一种深度数据与2D激光数据融合方法及装置、存储介质，其中方法包括如下步骤：对深度图像数据进行深度数据预处理得到三维像素矩阵，根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据，在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。进而可以将融合后的信息根据俯仰角投影在水平面上，对机器人进行导航。采用本发明，通过结合深度摄像头的相关参数将深度图像数据与激光数据融合在同一空间，并机器人进行导航，可以提高感知平面障碍的精准性，弥补机器人感知空间3D障碍的能力。

Description

深度数据与2D激光数据融合方法及装置、存储介质
技术领域
本发明涉及导航避障技术领域，尤其涉及一种深度数据与2D激光数据融合方法及装置、存储介质。
背景技术
随着机器人使用激光定位导航在业界使用越来越广泛，尤其是在室内机器人导航更是得到了快速的发展，提高机器人导航的灵敏度和准确度变得越来越重要。
在导航过程中，存在一个重要问题是2D激光只能扫描一个平面，导致机器人对于不在该平面但高于或低于该平面的物体将无法感知也无法躲避。
发明内容
本发明实施例提供一种深度数据与2D激光数据融合方法及装置、存储介质，通过结合深度摄像头的相关参数将深度图像数据与激光数据融合在同一空间，并机器人进行导航，可以提高感知平面障碍的精准性，弥补机器人感知空间3D障碍的能力。
本发明实施例第一方面提供了一种深度数据与2D激光数据融合方法，可包括：
对深度图像数据进行深度数据预处理得到三维像素矩阵；
根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据；
在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。
进一步的，上述对深度图像数据进行深度数据预处理得到三维像素矩阵，包括：
将深度图像数据转化为二维数组，二维数组的每一个元素为深度图像数据一个像素点的深度距离；
结合深度摄像头的视场角和当前数据处理能力对像素点进行抽样提取得到特征最明显的三维像素矩阵。
进一步的，上述结合深度摄像头的视场角和当前数据处理能力对像素点进行抽样提取得到特征最明显的三维像素矩阵，包括：
结合深度摄像头的视场角和当前数据处理能力将不满足深度阈值或者处于视场角边缘阈值内的像素点滤除，得到特征最明显的三维像素矩阵。
进一步的，满足视场角边缘阈值的像素点为距离深度图像数据边缘N个像素点以内的所有像素点，其中N为大于零的正整数。
进一步的，上述方法还包括：
根据深度摄像头的性能参数设置深度阈值和N的大小。
进一步的，上述根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据，包括：
根据深度摄像头的安装位置和俯仰角度确定点云转化方向和角度；
基于方向和角度将三维像素矩阵转化为3D点云数据。
进一步的，上述方法还包括：
根据俯仰角将叠加后的点云数据投影至水平面，对机器人进行导航。
本发明实施例第二方面提供了一种深度数据与2D激光数据融合装置，可包括：
深度数据预处理模块，用于对深度图像数据进行深度数据预处理得到三维像素矩阵；
点云数据转化模块，用于根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据；
点云数据融合模块，用于在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。
进一步的，上述深度数据预处理模块包括：
深度数据转化单元，用于将深度图像数据转化为二维数组，二维数组的每一个元素为深度图像数据一个像素点的深度距离；
深度数据提取单元，用于结合深度摄像头的视场角和当前数据处理能力对像素点进行抽样提取得到特征最明显的三维像素矩阵。
进一步的，上述深度数据提取单元具体用于，结合深度摄像头的视场角和当前数据处理能力将不满足深度阈值或者处于视场角边缘阈值内的像素点滤除，得到特征最明显的三维像素矩阵。
进一步的，满足视场角边缘阈值的像素点为距离深度图像数据边缘N个像素点以内的所有像素点，其中N为大于零的正整数。
进一步的，上述装置还包括：
参数设置模块，用于根据深度摄像头的性能参数设置深度阈值和N的大小。
进一步的，上述点云数据转化模块包括：
转化参数设置单元，用于根据深度摄像头的安装位置和俯仰角度确定点云转化方向和角度；
点云数据转化单元，用于基于方向和角度将三维像素矩阵转化为3D点云数据。
进一步的，上述装置还包括：
融合点云导航模块，用于根据俯仰角将叠加后的点云数据投影至水平面，对机器人进行导航。
本发明实施例第三方面提供了一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行以下步骤：
对深度图像数据进行深度数据预处理得到三维像素矩阵；
根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据；
在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。
在本发明实施例中，通过对深度图像数据进行深度数据预处理得到三维像素矩阵，根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据，在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。通过结合深度摄像头的相关参数将深度图像数据与激光数据融合在同一空间后，对机器人进行导航，提高了感知平面障碍的精准性，弥补了机器人感知空间3D障碍的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种深度数据与2D激光数据融合方法的流程示意图；
图2是本发明实施例提供的深度图像示意图；
图3是本发明实施例提供的另一种深度数据与2D激光数据融合方法的流程示意图；
图4是本发明实施例提供的一种深度数据与2D激光数据融合装置的结构示意图；
图5是本发明实施例提供的深度数据预处理模块的结构示意图；
图6是本发明实施例提供的点云数据转化模块的结构示意图；
图7是本发明实施例提供的另一种深度数据与2D激光数据融合装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例涉及的深度数据与2D激光数据融合装置可以是PC端也可是具备数据分析处理能力的机器人本身。
如图1所示，深度数据与2D激光数据融合方法至少可以包括以下几个步骤：
S101，对深度图像数据进行深度数据预处理得到三维像素矩阵。
可以理解的是，上述装置可以获取深度摄像头拍摄的如图2所示的深度图像数据，进一步的，可以对该图像数据进行深度数据预处理得到三维像素矩阵，该像素矩阵可以是稀疏深度数据矩阵。
在可选实施例中，上述装置可以将所获取的深度图像数据转化为二维数组，该数组的每一个元素代表深度图像数据一个像素点的深度距离。进一步的，上述装置可以结合深度摄像头的视场角和装置的数据处理能力，对像素点进行抽样提取得到特征最明显的三维像素矩阵，可以理解的是，上述视场角是深度摄像头固定的设备参数，数据处理能力为数据融合装置本身的微处理器处理数据的能力。
优选的，在进行预处理时，装置可以预先根据深度摄像头的性能参数设置一个深度阈值，在数据与处理过程中可以滤除掉不满足该深度阈值的像素点。同样的，为防止图像数据的边缘像素不清楚，上述装置还可以将处于视场角边缘阈值内的像素点滤除，例如，可以将距离深度图像数据边缘N(N为大于零的正整数)个像素点以内的所有像素点滤除掉，优选的，N可以为10。可以理解的是，N的大小也可以有深度摄像头的性能参数决定。
在可选实施例中，在进行数据预处理时，上述装置还可以对超出测量距离的噪声数据进行剪裁，其中，测量距离可以是图像的深度距离。
S102，根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据。
需要说明的是，深度摄像都的安装位置和拍摄时的俯仰角度关系到所拍图像是否标准，进而影响预处理后的三维像素矩阵，为调整该三维像素矩阵，上述装置可以根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为标准的3D点云数据。
可以理解的是，上述装置可以首先根据深度摄像头的安装位置和俯仰角度确定点云转化方向和角度，进一步的，可以根据该方向和角度将三维像素矩阵转化为3D点云数据。
S103，在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。
需要说明的是，在进行信息融合前，上述装置可以对机器人获取的2D激光点云进行预处理，例如，可以滤除激光中的噪声或者其他针对激光数据的预处理。进一步的，可以在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。可以理解的是，融合后的在2D激光点云下机器人可以感知空间的深度。
进一步的，数据融合装置可以根据上述俯仰角将叠加后的点云数据投影至水平面，对机器人进行导航。
在本发明实施例中，通过对深度图像数据进行深度数据预处理得到三维像素矩阵，根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据，在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。通过结合深度摄像头的相关参数将深度图像数据与激光数据融合在同一空间后，对机器人进行导航，提高了感知平面障碍的精准性，弥补了机器人感知空间3D障碍的能力。
在本发明实施例的一种具体实现方式中，深度数据与2D激光数据融合与导航流程如图3所示，需要说明的是，在该实现方式中，数据的预处理及融合过程可以参将上述方法实施例的具体描述，此处不再赘述。
下面将结合附图4-附图6，对本发明实施例提供的深度数据与2D激光数据融合装置进行详细介绍。需要说明的是，附图4-附图6所示的深度数据与2D激光数据融合装置，用于执行本发明图1-图3所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图3所示的实施例。
请参见图4，为本发明实施例提供了一种深度数据与2D激光数据融合装置的结构示意图。如图4所示，本发明实施例的数据融合装置10可以包括：深度数据预处理模块101、点云数据转化模块102、点云数据融合模块103、参数设置模块104和融合点云导航模块105。其中，深度数据预处理模块101如图5所示，包括深度数据转化单元1011和深度数据提取单元1012，点云数据转化模块102如图6所示，包括转化参数设置单元1021和点云数据转化单元1022。
深度数据预处理模块101，用于对深度图像数据进行深度数据预处理得到三维像素矩阵。
可以理解的是，上述装置10可以获取深度摄像头拍摄的如图2所示的深度图像数据，进一步的，深度数据预处理模块101可以对该图像数据进行深度数据预处理得到三维像素矩阵，该像素矩阵可以是稀疏深度数据矩阵。
在可选实施例中，深度数据转化单元1011可以将所获取的深度图像数据转化为二维数组，该数组的每一个元素代表深度图像数据一个像素点的深度距离。进一步的，深度数据提取单元1012可以结合深度摄像头的视场角和装置的数据处理能力，对像素点进行抽样提取得到特征最明显的三维像素矩阵，可以理解的是，上述视场角是深度摄像头固定的设备参数，数据处理能力为数据融合装置本身的微处理器处理数据的能力。
优选的，在进行预处理时，参数设置模块104可以预先根据深度摄像头的性能参数设置一个深度阈值，在数据与处理过程中深度数据提取单元1012可以滤除掉不满足该深度阈值的像素点。同样的，为防止图像数据的边缘像素不清楚，深度数据提取单元1012还可以将处于视场角边缘阈值内的像素点滤除，例如，可以将距离深度图像数据边缘N(N为大于零的正整数)个像素点以内的所有像素点滤除掉，优选的，N可以为10。可以理解的是，N的大小也可以有深度摄像头的性能参数决定。
在可选实施例中，在进行数据预处理时，上述装置10还可以对超出测量距离的噪声数据进行剪裁，其中，测量距离可以是图像的深度距离。
点云数据转化模块102，用于根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据。
需要说明的是，深度摄像都的安装位置和拍摄时的俯仰角度关系到所拍图像是否标准，进而影响预处理后的三维像素矩阵，为调整该三维像素矩阵，点云数据转化模块102可以根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为标准的3D点云数据。
可以理解的是，转化参数设置单元1021可以首先根据深度摄像头的安装位置和俯仰角度确定点云转化方向和角度，进一步的，点云数据转化单元1022可以根据该方向和角度将三维像素矩阵转化为3D点云数据。
点云数据融合模块103，用于在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。
需要说明的是，在进行信息融合前，上述装置10可以对机器人获取的2D激光点云进行预处理，例如，可以滤除激光中的噪声或者其他针对激光数据的预处理。进一步的，点云数据融合模块103可以在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。可以理解的是，融合后的在2D激光点云下机器人可以感知空间的深度。
进一步的，融合点云导航模块105可以根据上述俯仰角将叠加后的点云数据投影至水平面，对机器人进行导航。
在本发明实施例中，通过对深度图像数据进行深度数据预处理得到三维像素矩阵，根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据，在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。通过结合深度摄像头的相关参数将深度图像数据与激光数据融合在同一空间后，对机器人进行导航，提高了感知平面障碍的精准性，弥补了机器人感知空间3D障碍的能力。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图3所示实施例的方法步骤，具体执行过程可以参见图1-图3所示实施例的具体说明，在此不进行赘述。
本申请实施例还提供了另外一种深度数据与2D激光数据融合装置。如图7所示，深度数据与2D激光数据融合装置20可以包括：至少一个处理器201，例如CPU，至少一个网络接口204，用户接口203，存储器205，至少一个通信总线202，可选地，还可以包括显示屏206。其中，通信总线202用于实现这些组件之间的连接通信。其中，用户接口203可以包括触摸屏、键盘或鼠标等等。网络接口204可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通过网络接口204可以与服务器建立通信连接。存储器205可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，存储器205包括本发明实施例中的flash。存储器205可选的还可以是至少一个位于远离前述处理器201的存储系统。如图7所示，作为一种计算机存储介质的存储器205中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
需要说明的是，网络接口204可以连接接收器、发射器或其他通信模块，其他通信模块可以包括但不限于WiFi模块、蓝牙模块等，可以理解，本发明实施例中深度数据与2D激光数据融合装置也可以包括接收器、发射器和其他通信模块等。
处理器201可以用于调用存储器205中存储的程序指令，并使深度数据与2D激光数据融合装置20执行以下操作：
对深度图像数据进行深度数据预处理得到三维像素矩阵；
根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据；
在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。
在一些实施例中，装置20在对深度图像数据进行深度数据预处理得到三维像素矩阵时，具体执行以下操作：
将深度图像数据转化为二维数组，二维数组的每一个元素为深度图像数据一个像素点的深度距离；
结合深度摄像头的视场角和当前数据处理能力对像素点进行抽样提取得到特征最明显的三维像素矩阵。
在一些实施例中，装置20结合深度摄像头的视场角和当前数据处理能力对像素点进行抽样提取得到特征最明显的三维像素矩阵时，具体执行以下操作：
结合深度摄像头的视场角和当前数据处理能力将不满足深度阈值或者处于视场角边缘阈值内的像素点滤除，得到特征最明显的三维像素矩阵。
在一些实施例中，满足视场角边缘阈值的像素点为距离深度图像数据边缘N个像素点以内的所有像素点，其中N为大于零的正整数。
在一些实施例中，装置20还用于根据深度摄像头的性能参数设置深度阈值和N的大小。
在一些实施例中，装置20在根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据时，具体执行以下操作：
根据深度摄像头的安装位置和俯仰角度确定点云转化方向和角度；
基于方向和角度将三维像素矩阵转化为3D点云数据。
在一些实施例中，装置20还用于根据俯仰角将叠加后的点云数据投影至水平面，对机器人进行导航。
在本发明实施例中，通过对深度图像数据进行深度数据预处理得到三维像素矩阵，根据深度摄像头的安装位置和俯仰角度将三维像素矩阵转化为3D点云数据，在同一坐标系下将激光2D点云与3D点云数据叠加至同一空间完成信息融合。通过结合深度摄像头的相关参数将深度图像数据与激光数据融合在同一空间后，对机器人进行导航，提高了感知平面障碍的精准性，弥补了机器人感知空间3D障碍的能力。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种深度数据与2D激光数据融合方法，其特征在于，包括：
对深度图像数据进行深度数据预处理得到三维像素矩阵；
根据深度摄像头的安装位置和俯仰角度将所述三维像素矩阵转化为3D点云数据；
将2D激光点云进行预处理；
在同一坐标系下将激光2D点云与所述3D点云数据叠加至同一空间完成信息融合；
其中，所述对深度图像数据进行深度数据预处理得到三维像素矩阵，包括：
将深度图像数据转化为二维数组，所述二维数组的每一个元素为所述深度图像数据一个像素点的深度距离；
结合深度摄像头的视场角和当前数据处理能力对所述像素点进行抽样提取得到特征最明显的三维像素矩阵；
其中，所述结合深度摄像头的视场角和当前数据处理能力对所述像素点进行抽样提取得到特征最明显的三维像素矩阵，包括：
结合深度摄像头的视场角和当前数据处理能力将不满足深度阈值或者处于视场角边缘阈值内的像素点滤除，得到特征最明显的三维像素矩阵；
其中，所述对深度图像数据进行深度数据预处理得到三维像素矩阵还包括：
对超出测量距离的噪声数据进行裁剪，其中测量距离为图像的深度距离。
2.根据权利要求1所述的方法，其特征在于：
满足所述视场角边缘阈值的像素点为距离所述深度图像数据边缘N个像素点以内的所有像素点，其中N为大于零的正整数。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述深度摄像头的性能参数设置所述深度阈值和N的大小。
4.根据权利要求1所述的方法，其特征在于，所述根据深度摄像头的安装位置和俯仰角度将所述三维像素矩阵转化为3D点云数据，包括：
根据所述深度摄像头的安装位置和俯仰角度确定点云转化方向和角度；
基于所述方向和角度将所述三维像素矩阵转化为3D点云数据。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述俯仰角将叠加后的点云数据投影至水平面，对机器人进行导航。
6.一种深度数据与2D激光数据融合装置，其特征在于，包括：
深度数据预处理模块，用于对深度图像数据进行深度数据预处理得到三维像素矩阵；
点云数据转化模块，用于根据深度摄像头的安装位置和俯仰角度将所述三维像素矩阵转化为3D点云数据；
点云数据融合模块，用于在同一坐标系下将激光2D点云与所述3D点云数据叠加至同一空间完成信息融合；
其中，所述深度数据预处理模块包括：
深度数据转化单元，用于将深度图像数据转化为二维数组，所述二维数组的每一个元素为所述深度图像数据一个像素点的深度距离；
深度数据提取单元，用于结合深度摄像头的视场角和当前数据处理能力对所述像素点进行抽样提取得到特征最明显的三维像素矩阵；
其中，所述深度数据提取单元结合深度摄像头的视场角和当前数据处理能力将不满足深度阈值或者处于视场角边缘阈值内的像素点滤除，得到特征最明显的三维像素矩阵；
其中，所述深度数据预处理模块还用于对超出测量距离的噪声数据进行裁剪，其中测量距离为图像的深度距离；
其中，所述装置还用于对2D激光点云进行预处理。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行以下步骤：
对深度图像数据进行深度数据预处理得到三维像素矩阵；
根据深度摄像头的安装位置和俯仰角度将所述三维像素矩阵转化为3D点云数据；
将2D激光点云进行预处理；
在同一坐标系下将激光2D点云与所述3D点云数据叠加至同一空间完成信息融合；
其中，所述对深度图像数据进行深度数据预处理得到三维像素矩阵，包括：
将深度图像数据转化为二维数组，所述二维数组的每一个元素为所述深度图像数据一个像素点的深度距离；结合深度摄像头的视场角和当前数据处理能力对所述像素点进行抽样提取得到特征最明显的三维像素矩阵；
其中，所述结合深度摄像头的视场角和当前数据处理能力对所述像素点进行抽样提取得到特征最明显的三维像素矩阵，包括：
结合深度摄像头的视场角和当前数据处理能力将不满足深度阈值或者处于视场角边缘阈值内的像素点滤除，得到特征最明显的三维像素矩阵；
其中，所述对深度图像数据进行深度数据预处理得到三维像素矩阵还包括：对超出测量距离的噪声数据进行裁剪，其中测量距离为图像的深度距离。
CN201910609214.1A 2019-07-08 2019-07-08 深度数据与2d激光数据融合方法及装置、存储介质 Active CN110428372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910609214.1A CN110428372B (zh) 2019-07-08 2019-07-08 深度数据与2d激光数据融合方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910609214.1A CN110428372B (zh) 2019-07-08 2019-07-08 深度数据与2d激光数据融合方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110428372A CN110428372A (zh) 2019-11-08
CN110428372B true CN110428372B (zh) 2021-12-10

Family

ID=68410335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910609214.1A Active CN110428372B (zh) 2019-07-08 2019-07-08 深度数据与2d激光数据融合方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN110428372B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021092805A1 (zh) * 2019-11-13 2021-05-20 中新智擎科技有限公司 一种多模态数据融合方法、装置及智能机器人
CN112312113B (zh) * 2020-10-29 2022-07-15 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112561824B (zh) * 2020-12-21 2023-04-07 中国科学院自动化研究所 2d激光与深度图像融合的数据对齐修复方法及系统
CN115412721B (zh) * 2021-05-26 2024-05-28 荣耀终端有限公司 一种点云二维规则化平面投影方法及装置
CN115980298B (zh) * 2023-03-20 2023-07-21 山东思睿环境设备科技有限公司 一种基于多参数适应性水质检测分析方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308925A (zh) * 2013-05-31 2013-09-18 中国科学院合肥物质科学研究院 一种一体化三维彩色激光雷达数据点云产生方法及其装置
US10026017B2 (en) * 2015-10-16 2018-07-17 Thomson Licensing Scene labeling of RGB-D data with interactive option

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308925A (zh) * 2013-05-31 2013-09-18 中国科学院合肥物质科学研究院 一种一体化三维彩色激光雷达数据点云产生方法及其装置
US10026017B2 (en) * 2015-10-16 2018-07-17 Thomson Licensing Scene labeling of RGB-D data with interactive option

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kinect与二维激光雷达结合的机器人障碍检测;肖宇峰等;《电子科技大学学报》;20180530;第337-342页 *

Also Published As

Publication number Publication date
CN110428372A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110428372B (zh) 深度数据与2d激光数据融合方法及装置、存储介质
CN110974088B (zh) 扫地机器人控制方法、扫地机器人及存储介质
US10810734B2 (en) Computer aided rebar measurement and inspection system
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
EP3008694B1 (en) Interactive and automatic 3-d object scanning method for the purpose of database creation
JP2021534481A (ja) 障害物又は地面の認識及び飛行制御方法、装置、機器及び記憶媒体
CN114637023A (zh) 用于激光深度图取样的系统及方法
US9361731B2 (en) Method and apparatus for displaying video on 3D map
JP5535025B2 (ja) 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
EP3413266A1 (en) Image processing device, image processing method, and image processing program
CN111815781A (zh) 增强现实数据呈现方法、装置、设备和计算机存储介质
CN112561941A (zh) 一种悬崖检测方法、装置和机器人
US9734429B2 (en) Method, system and computer program product for detecting an obstacle with a camera
KR101234917B1 (ko) 가중치 적용된 임계값에 의한 영상 보정을 이용하는 3차원 공간 데이터 생성 방법 및 시스템
CN113344906A (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
CN108564626B (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
KR101590257B1 (ko) 소나 이미지 템플릿을 이용한 수중 물체 인식 방법 및 장치
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质
CN113776517B (zh) 地图生成方法、装置、系统、存储介质及电子设备
CN112097742A (zh) 一种位姿确定方法及装置
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
KR101332093B1 (ko) 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템
CN107703954B (zh) 用于无人机的目标位置勘测方法、装置及无人机
CN111784659A (zh) 图像检测的方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191129

Address after: No. 15, Xizhan community, Xiangyang District, Jiamusi City, Heilongjiang Province

Applicant after: Jiamusi aoyi Intelligent Technology Co., Ltd

Address before: 100083 Beijing Haidian District Xueqing Road Shengxi 8 Office Building D Five Floor C 515

Applicant before: Higgs Power Technology (Zhuhai) Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant