CN106526605A - 激光雷达与深度相机的数据融合方法及系统 - Google Patents
激光雷达与深度相机的数据融合方法及系统 Download PDFInfo
- Publication number
- CN106526605A CN106526605A CN201610971711.2A CN201610971711A CN106526605A CN 106526605 A CN106526605 A CN 106526605A CN 201610971711 A CN201610971711 A CN 201610971711A CN 106526605 A CN106526605 A CN 106526605A
- Authority
- CN
- China
- Prior art keywords
- pixel
- laser radar
- depth
- distance
- depth camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供了激光雷达与深度相机的数据融合方法及系统，涉及数据融合技术领域，包括通过激光雷达获取激光点，根据激光点获取第一组极坐标串；通过深度相机获取深度图像，其中，深度图像包括第一像素点；根据第一像素点计算第一像素点到激光雷达的第一角度；读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；将第一组极坐标串和第二组极坐标串按角度进行序列融合。本发明通过数据融合可以扩大探测范围和提高信息精度。
Description
技术领域
本发明涉及数据融合技术领域，尤其是涉及激光雷达与深度相机的数据融合方法及系统。
背景技术
深度相机和激光雷达都可用于移动装置的导航和避障。但是深度相机视野窄，对很近的距离存在盲区，而且精度较低，对移动装置的定位和避障应用很不利；激光雷达只能获取一个或几个平面的点，水平放置时，对其他高度的物体是检测不到的，因此无法独立实现避障功能。
发明内容
有鉴于此，本发明的目的在于提供激光雷达与深度相机的数据融合方法及系统，以扩大探测范围和提高信息精度。
第一方面，本发明实施例提供了激光雷达与深度相机的数据融合方法，包括：
通过激光雷达获取激光点，根据所述激光点获取第一组极坐标串；
通过深度相机获取深度图像，其中，所述深度图像包括第一像素点；
根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度；
读取所述第一像素点的深度信息，并根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离；
将所述第一距离和所述第一角度组成点的集合，从而获取第二组极坐标串；
将所述第一组极坐标串和所述第二组极坐标串按角度进行序列融合。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述激光雷达为单线激光雷达或多线激光雷达，所述根据所述激光点获取第一组极坐标串包括：
当所述激光雷达为所述单线激光雷达时，根据所述激光点直接获取所述第一组极坐标串；
当所述激光雷达为所述多线激光雷达时，采用三角函数法将所述激光点投影到水平面；
在预设的角度范围内选取第一激光点，并记录所述第一激光点对应的第二距离和第二角度；
根据所述第二距离和第二角度组成的点的集合，获取所述第一组极坐标串。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度包括：
获取点密度，根据所述点密度对所述第一像素点按列进行抽样得到第二像素点；
从所述第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点；
计算每列的所述第三像素点到所述激光雷达的所述第一角度。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离包括：
通过比例换算得到所述第一像素点到所述深度相机传感器的实际距离；
根据所述实际距离获得每列所述第一像素点到所述激光雷达的所述第一距离。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述根据所述实际距离获得每列所述第一像素点到激光雷达的所述第一距离包括：
根据所述第一像素点的二维坐标、所述深度信息和所述深度相机的参数，将所述二维坐标转换为相对于所述深度相机的空间三维坐标；
将所述空间三维坐标投影到所述水平面，并根据所述实际距离计算每列所述第一像素点到所述激光雷达的距离；
从每列中选取所述第一像素点到所述激光雷达的最短的距离作为所述第一距离。
第二方面，本发明实施例还提供激光雷达与深度相机的数据融合系统，包括：激光雷达、深度相机和数据融合模块；
所述激光雷达，用于获取激光点，根据所述激光点获取第一组极坐标串；
所述深度相机，用于获取深度图像，其中，所述深度图像包括第一像素点，根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度，读取所述第一像素点的深度信息，并根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离，将所述第一距离和所述第一角度组成点的集合，从而获取第二组极坐标串；
所述数据融合模块：用于将所述第一组极坐标串和所述第二组极坐标串按角度进行序列融合。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述激光雷达为单线激光雷达或多线激光雷达；
所述单线激光雷达，用于根据所述激光点直接获取所述第一组极坐标串；
所述多线激光雷达，用于采用三角函数法将所述激光点投影到水平面，在预设的角度范围内选取第一激光点，并记录所述第一激光点对应的第二距离和第二角度，根据所述第二距离和第二角度组成的点的集合，获取所述第一组极坐标串。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述深度相机还用于，获取点密度，根据所述点密度对所述第一像素点按列进行抽样得到第二像素点，从所述第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点，计算每列的所述第三像素点到所述激光雷达的所述第一角度。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述深度相机还用于，通过比例换算得到所述第一像素点到所述深度相机传感器的实际距离，根据所述实际距离获得每列所述第一像素点到所述激光雷达的所述第一距离。
结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述深度相机还用于，根据所述第一像素点的二维坐标、所述深度信息和所述深度相机的参数，将所述二维坐标转换为相对于所述深度相机的空间三维坐标，将所述空间三维坐标投影到所述水平面，并根据所述实际距离计算每列所述第一像素点到所述激光雷达的距离，从每列中选取所述第一像素点到所述激光雷达的最短的距离作为所述第一距离。
本发明提供的激光雷达与深度相机的数据融合方法及系统，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；通过深度相机获取深度图像，其中，深度图像包括第一像素点；根据第一像素点计算第一像素点到激光雷达的第一角度；读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；将第一组极坐标串和第二组极坐标串按角度进行序列融合。本发明通过将激光雷达数据和深度相机数据进行有效的融合，可以扩大探测范围和提高信息精度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的激光雷达与深度相机的数据融合方法流程图；
图2为本发明实施例一提供的获取第一组极坐标串的方法流程图；
图3为本发明实施例一提供的获取第一角度的方法流程图；
图4为本发明实施例一提供的获取第一距离的方法流程图；
图5为本发明实施例二提供的激光雷达与深度相机的数据融合系统示意图。
图标：
100-激光雷达；200-数据融合模块；300-深度相机。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
深度相机和激光雷达都可用于移动装置的导航和避障。但是深度相机视野窄，而且对很近的距离存在盲区，对移动装置的定位和避障应用很不利；激光雷达只能获取一个或几个平面的点，水平放置时，对其他高度的物体是检测不到的，因此无法独立实现避障功能。
基于此，本发明实施例提供的激光雷达与深度相机的数据融合方法及系统，可以扩大探测范围和提高信息精度。
为便于对本实施例进行理解，首先对本发明实施例所公开的激光雷达与深度相机的数据融合方法进行详细介绍。
实施例一：
图1为本发明实施例一提供的激光雷达与深度相机的数据融合方法流程图。
参照图1，该方法包括：
步骤S110，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；
具体的，激光雷达用旋转单点扫描的方式时，可以得到周围360°的一个水平面或多个水平面的一串点；用静止扫描的方式时，可以得到一个水平面或多个水平面的一串点，角度无法达到360°，但精度更高；激光雷达安装时要跟水平面保持平行，确保获取的激光点平行于水平面；第一组极坐标串用Q1，Q2，Q3，……Qn表示；另外本发明中出现的水平面也可以替换为其他合适的平面。
步骤S120，通过深度相机获取深度图像，其中，深度图像包括第一像素点；
具体的，深度相机安装时要和水平面保持平行，但注意深度相机和激光雷达避免相互遮挡；第一像素点是一个二维数据点，其中第一像素点的像素值对应深度信息，第一像素点在深度图像中的位置对应空间信息。
步骤S130，根据第一像素点计算第一像素点到激光雷达的第一角度；
具体的，将第一像素点从列的角度进行计算，则可知每列的第一像素点的第一角度是相同的。
步骤S140，读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；
具体的，通过对深度信息的比例换算得到实际距离，根据实际距离获得第一距离。
步骤S150，将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；
具体的，可以用ri表示第一距离，用θi表示第一角度，则点的集合可以表示为Pi(ri,θi)，其中i＝1，2，3，4，……n，获取的第二组极坐标串为P1，P2，P3，……Pn。
步骤S160，将第一组极坐标串和第二组极坐标串按角度进行序列融合。
具体的，将P1，P2，P3，……Pn和Q1，Q2，Q3，……Qn按角度进行序列融合。
根据本发明实施例，激光雷达为单线激光雷达或多线激光雷达；
当激光雷达为单线激光雷达时，根据激光点直接获取第一组极坐标串；
当激光雷达为多线激光雷达时，参照图2，根据激光点获取第一组极坐标串，具体包括：
步骤S210，采用三角函数法将激光点投影到水平面；
具体的，这种情况下激光点为多行，需要采用三角函数法把多行激光点投影到水平面。
步骤S220，在预设的角度范围内选取第一激光点，并记录第一激光点对应的第二距离和第二角度；
具体的，预设的角度范围可以是同一角度或相近角度，在该范围内只保留最近的点，即选取的第一激光点；在同一个角度的多个距离相当于不同高度的障碍物在水平面上的位置的投影，所以为了防止碰撞只需要选取第一激光点；记录第一激光点的第一距离di和第一角度
步骤S230，根据第二距离和第二角度组成的点的集合，获取第一组极坐标串。
具体的，由上可知，点的集合为其中i＝1，2，3，4，……n，获取的第一组极坐标串为Q1，Q2，Q3，……Qn。
根据本发明实施例，根据第一像素点计算第一像素点到激光雷达的第一角度具体可参照图3，如图3所示：
步骤S310，获取点密度，根据点密度对第一像素点按列进行抽样得到第二像素点；
具体的，点密度是根据工作需求自行定义的，可以设置成跟激光雷达一样，每圈360个点，也可以更密或更稀疏，根据点密度对第一像素点按列进行抽样得到第二像素点，比如深度相机的水平视野是50度，分辨率是640*480，水平方向有640列像素带你，则抽出50列就是第二像素点；按列抽样可以大大减少计算量，省略按列抽样不影响结果。
步骤S320，从第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点；
具体的，误差阈值包括深度为零和深度太大两种，排除每列中深度为零的像素点和深度太大的像素点，深度相机越远的点误差越大，对太远的误差超过了激光雷达允许范围的点，也进行排除，最终得到第三像素点。
步骤S330，计算每列的第三像素点到激光雷达的第一角度。
具体的，根据激光雷达的角度规则计算第一角度。这里，角度规则是指旋转式的激光雷达的点，每两点间的角度差一般相等。扫描式激光雷达的点，一般每帧点的角度都是固定的。另外，由于第三像素点是在第一像素点中抽取的，所以第三像素点的第一角度即为第一像素点的第一角度。
根据本发明实施例，根据深度信息得到每列第一像素点到激光雷达的第一距离包括：
通过对深度信息的比例换算得到第一像素点到深度相机传感器的实际距离；
根据实际距离获得每列第一像素点到激光雷达的第一距离。
具体的，参照图4，获取第一距离包括：
步骤S410，根据第一像素点的二维坐标、深度信息和深度相机的参数，将二维坐标转换为相对于深度相机的空间三维坐标；
其中，深度相机的参数包括视野角度和传感器尺寸等；
步骤S420，将空间三维坐标投影到水平面，并根据实际距离计算每列第一像素点到激光雷达的距离；
其中，根据深度相机相对于水平面的位姿，将空间三维坐标投影到水平面。
步骤S430，从每列中选取第一像素点到激光雷达的最短的距离作为第一距离。
本发明提供的激光雷达与深度相机的数据融合方法，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；通过深度相机获取深度图像，其中，深度图像包括第一像素点；根据第一像素点计算第一像素点到激光雷达的第一角度；读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；将第一组极坐标串和第二组极坐标串按角度进行序列融合。本发明通过将激光雷达和深度相机的结合，可以扩大探测范围和提高信息精度。
实施例二：
图5为本发明实施例二提供的激光雷达与深度相机的数据融合系统示意图。
参照图5，激光雷达与深度相机的数据融合系统，包括：激光雷达100、深度相机300和数据融合模块200；
激光雷达100，用于获取激光点，根据激光点获取第一组极坐标串；
深度相机300，用于获取深度图像，其中，深度图像包括第一像素点，根据第一像素点计算第一像素点到激光雷达100的第一角度，读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达100的第一距离，将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；
数据融合模块200，用于将第一组极坐标串和第二组极坐标串按角度进行序列融合。
根据本发明实施例，激光雷达100为单线激光雷达或多线激光雷达；
单线激光雷达，用于根据激光点直接获取第一组极坐标串；
多线激光雷达，用于采用三角函数法将激光点投影到水平面，在预设的角度范围内选取第一激光点，并记录第一激光点对应的第二距离和第二角度，根据第二距离和第二角度组成的点的集合，获取第一组极坐标串。
根据本发明实施例，深度相机300还用于，获取点密度，根据点密度对第一像素点按列进行抽样得到第二像素点，从第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点，计算每列的第三像素点到激光雷达100的第一角度。
根据本发明实施例，深度相机300还用于，通过比例换算得到第一像素点到深度相机传感器的实际距离，根据实际距离获得每列第一像素点到激光雷达100的第一距离。
根据本发明实施例，深度相机300还用于，根据第一像素点的二维坐标、深度信息和深度相机300的参数，将二维坐标转换为相对于深度相机300的空间三维坐标，将空间三维坐标投影到水平面，并根据实际距离计算每列第一像素点到激光雷达100的距离，从每列中选取第一像素点到激光雷达100的最短的距离作为第一距离。
本发明提供的激光雷达与深度相机的数据融合系统，包括激光雷达、深度相机和数据融合模块，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；通过深度相机获取深度图像，其中，深度图像包括第一像素点；根据第一像素点计算第一像素点到激光雷达的第一角度；读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；将第一组极坐标串和第二组极坐标串按角度进行序列融合。本发明通过将激光雷达数据和深度相机数据进行有效的融合，可以扩大探测范围和提高信息精度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种激光雷达与深度相机的数据融合方法，其特征在于，包括：
通过激光雷达获取激光点，根据所述激光点获取第一组极坐标串；
通过深度相机获取深度图像，其中，所述深度图像包括第一像素点；
根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度；
读取所述第一像素点的深度信息，并根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离；
将所述第一距离和所述第一角度组成点的集合，从而获取第二组极坐标串；
将所述第一组极坐标串和所述第二组极坐标串按角度进行序列融合。
2.根据权利要求1所述的激光雷达与深度相机的数据融合方法，其特征在于，所述激光雷达为单线激光雷达或多线激光雷达，所述根据所述激光点获取第一组极坐标串包括：
当所述激光雷达为所述单线激光雷达时，根据所述激光点直接获取所述第一组极坐标串；
当所述激光雷达为所述多线激光雷达时，采用三角函数法将所述激光点投影到水平面；
在预设的角度范围内选取第一激光点，并记录所述第一激光点对应的第二距离和第二角度；
根据所述第二距离和第二角度组成的点的集合，获取所述第一组极坐标串。
3.根据权利要求1所述的激光雷达与深度相机的数据融合方法，其特征在于，所述根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度包括：
获取点密度，根据所述点密度对所述第一像素点按列进行抽样得到第二像素点；
从所述第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点；
计算每列的所述第三像素点到所述激光雷达的所述第一角度。
4.根据权利要求1所述的激光雷达与深度相机的数据融合方法，其特征在于，所述根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离包括：
通过比例换算得到所述第一像素点到所述深度相机传感器的实际距离；
根据所述实际距离获得每列所述第一像素点到所述激光雷达的所述第一距离。
5.根据权利要求4所述的激光雷达与深度相机的数据融合方法，其特征在于，所述根据所述实际距离获得每列所述第一像素点到激光雷达的所述第一距离包括：
根据所述第一像素点的二维坐标、所述深度信息和所述深度相机的参数，将所述二维坐标转换为相对于所述深度相机的空间三维坐标；
将所述空间三维坐标投影到所述水平面，并根据所述实际距离计算每列所述第一像素点到所述激光雷达的距离；
从每列中选取所述第一像素点到所述激光雷达的最短的距离作为所述第一距离。
6.一种激光雷达与深度相机的数据融合系统，其特征在于，包括：激光雷达、深度相机和数据融合模块；
所述激光雷达，用于获取激光点，根据所述激光点获取第一组极坐标串；
所述深度相机，用于获取深度图像，其中，所述深度图像包括第一像素点，根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度，读取所述第一像素点的深度信息，并根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离，将所述第一距离和所述第一角度组成点的集合，从而获取第二组极坐标串；
所述数据融合模块：用于将所述第一组极坐标串和所述第二组极坐标串按角度进行序列融合。
7.根据权利要求6所述的激光雷达与深度相机的数据融合系统，其特征在于，所述激光雷达为单线激光雷达或多线激光雷达；
所述单线激光雷达，用于根据所述激光点直接获取所述第一组极坐标串；
所述多线激光雷达，用于采用三角函数法将所述激光点投影到水平面，在预设的角度范围内选取第一激光点，并记录所述第一激光点对应的第二距离和第二角度，根据所述第二距离和第二角度组成的点的集合，获取所述第一组极坐标串。
8.根据权利要求6所述的激光雷达与深度相机的数据融合系统，其特征在于，所述深度相机还用于，获取点密度，根据所述点密度对所述第一像素点按列进行抽样得到第二像素点，从所述第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点，计算每列的所述第三像素点到所述激光雷达的所述第一角度。
9.根据权利要求6所述的激光雷达与深度相机的数据融合系统，其特征在于，所述深度相机还用于，通过比例换算得到所述第一像素点到所述深度相机传感器的实际距离，根据所述实际距离获得每列所述第一像素点到所述激光雷达的所述第一距离。
10.根据权利要求9所述的激光雷达与深度相机的数据融合系统，其特征在于，所述深度相机还用于，根据所述第一像素点的二维坐标、所述深度信息和所述深度相机的参数，将所述二维坐标转换为相对于所述深度相机的空间三维坐标，将所述空间三维坐标投影到所述水平面，并根据所述实际距离计算每列所述第一像素点到所述激光雷达的距离，从每列中选取所述第一像素点到所述激光雷达的最短的距离作为所述第一距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610971711.2A CN106526605B (zh) | 2016-10-28 | 2016-10-28 | 激光雷达与深度相机的数据融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610971711.2A CN106526605B (zh) | 2016-10-28 | 2016-10-28 | 激光雷达与深度相机的数据融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106526605A true CN106526605A (zh) | 2017-03-22 |
| CN106526605B CN106526605B (zh) | 2019-05-14 |
Family
ID=58326720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610971711.2A Active CN106526605B (zh) | 2016-10-28 | 2016-10-28 | 激光雷达与深度相机的数据融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106526605B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107255821A (zh) * | 2017-06-07 | 2017-10-17 | 旗瀚科技有限公司 | 一种基于多台深度相机拼接模拟激光雷达数据的方法 |
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
| CN108564615A (zh) * | 2018-04-20 | 2018-09-21 | 驭势（上海）汽车科技有限公司 | 模拟激光雷达探测的方法、装置、系统及存储介质 |
| CN109059927A (zh) * | 2018-08-21 | 2018-12-21 | 南京邮电大学 | 复杂环境下多传感器的移动机器人slam建图方法和系统 |
| CN110082739A (zh) * | 2019-03-20 | 2019-08-02 | 深圳市速腾聚创科技有限公司 | 数据同步方法和设备 |
| CN110133744A (zh) * | 2018-02-09 | 2019-08-16 | 北京康力优蓝机器人科技有限公司 | 一种移动机器人路面路况检测方法 |
| CN110809723A (zh) * | 2018-12-28 | 2020-02-18 | 深圳市大疆创新科技有限公司 | 雷达仿真方法、装置及系统 |
| CN111137283A (zh) * | 2019-12-27 | 2020-05-12 | 奇瑞汽车股份有限公司 | 传感器数据融合方法、装置、高级辅助驾驶系统及车辆 |
| CN111757021A (zh) * | 2020-07-06 | 2020-10-09 | 浙江大学 | 面向移动机器人远程接管场景的多传感器实时融合方法 |
| CN111830049A (zh) * | 2020-07-24 | 2020-10-27 | 深圳市道通科技股份有限公司 | 一种刹车盘磨损区的识别方法及磨损识别系统 |
| CN112258590A (zh) * | 2020-12-08 | 2021-01-22 | 杭州迦智科技有限公司 | 一种基于激光的深度相机外参标定方法、设备及其存储介质 |
| WO2021092805A1 (zh) * | 2019-11-13 | 2021-05-20 | 中新智擎科技有限公司 | 一种多模态数据融合方法、装置及智能机器人 |
| CN113050113A (zh) * | 2021-03-10 | 2021-06-29 | 广州南方卫星导航仪器有限公司 | 一种激光点定位方法和装置 |
| CN113253297A (zh) * | 2021-06-21 | 2021-08-13 | 中国人民解放军国防科技大学 | 融合激光雷达和深度相机的地图构建方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103026395A (zh) * | 2010-11-15 | 2013-04-03 | 图像传感系统有限公司 | 混合交通传感器系统和相关的方法 |
| CN104134188A (zh) * | 2014-07-29 | 2014-11-05 | 湖南大学 | 一种基于二维和三维摄像机融合的三维视觉信息获取方法 |
| CN104463880A (zh) * | 2014-12-12 | 2015-03-25 | 中国科学院自动化研究所 | 一种rgb-d图像获取方法 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和系统 |
-
2016
- 2016-10-28 CN CN201610971711.2A patent/CN106526605B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103026395A (zh) * | 2010-11-15 | 2013-04-03 | 图像传感系统有限公司 | 混合交通传感器系统和相关的方法 |
| CN104134188A (zh) * | 2014-07-29 | 2014-11-05 | 湖南大学 | 一种基于二维和三维摄像机融合的三维视觉信息获取方法 |
| CN104463880A (zh) * | 2014-12-12 | 2015-03-25 | 中国科学院自动化研究所 | 一种rgb-d图像获取方法 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和系统 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107255821A (zh) * | 2017-06-07 | 2017-10-17 | 旗瀚科技有限公司 | 一种基于多台深度相机拼接模拟激光雷达数据的方法 |
| CN107610084B (zh) * | 2017-09-30 | 2020-09-01 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
| CN110133744A (zh) * | 2018-02-09 | 2019-08-16 | 北京康力优蓝机器人科技有限公司 | 一种移动机器人路面路况检测方法 |
| CN108564615A (zh) * | 2018-04-20 | 2018-09-21 | 驭势（上海）汽车科技有限公司 | 模拟激光雷达探测的方法、装置、系统及存储介质 |
| CN108564615B (zh) * | 2018-04-20 | 2022-04-29 | 驭势（上海）汽车科技有限公司 | 模拟激光雷达探测的方法、装置、系统及存储介质 |
| CN109059927A (zh) * | 2018-08-21 | 2018-12-21 | 南京邮电大学 | 复杂环境下多传感器的移动机器人slam建图方法和系统 |
| WO2020133230A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳市大疆创新科技有限公司 | 雷达仿真方法、装置及系统 |
| CN110809723A (zh) * | 2018-12-28 | 2020-02-18 | 深圳市大疆创新科技有限公司 | 雷达仿真方法、装置及系统 |
| CN110082739A (zh) * | 2019-03-20 | 2019-08-02 | 深圳市速腾聚创科技有限公司 | 数据同步方法和设备 |
| WO2021092805A1 (zh) * | 2019-11-13 | 2021-05-20 | 中新智擎科技有限公司 | 一种多模态数据融合方法、装置及智能机器人 |
| CN111137283A (zh) * | 2019-12-27 | 2020-05-12 | 奇瑞汽车股份有限公司 | 传感器数据融合方法、装置、高级辅助驾驶系统及车辆 |
| CN111137283B (zh) * | 2019-12-27 | 2022-02-01 | 芜湖雄狮汽车科技有限公司 | 传感器数据融合方法、装置、高级辅助驾驶系统及车辆 |
| CN111757021A (zh) * | 2020-07-06 | 2020-10-09 | 浙江大学 | 面向移动机器人远程接管场景的多传感器实时融合方法 |
| CN111757021B (zh) * | 2020-07-06 | 2021-07-20 | 浙江大学 | 面向移动机器人远程接管场景的多传感器实时融合方法 |
| CN111830049A (zh) * | 2020-07-24 | 2020-10-27 | 深圳市道通科技股份有限公司 | 一种刹车盘磨损区的识别方法及磨损识别系统 |
| CN111830049B (zh) * | 2020-07-24 | 2023-09-22 | 深圳市道通科技股份有限公司 | 一种刹车盘磨损区的识别方法及磨损识别系统 |
| CN112258590B (zh) * | 2020-12-08 | 2021-04-27 | 杭州迦智科技有限公司 | 一种基于激光的深度相机外参标定方法、设备及其存储介质 |
| CN112258590A (zh) * | 2020-12-08 | 2021-01-22 | 杭州迦智科技有限公司 | 一种基于激光的深度相机外参标定方法、设备及其存储介质 |
| CN113050113A (zh) * | 2021-03-10 | 2021-06-29 | 广州南方卫星导航仪器有限公司 | 一种激光点定位方法和装置 |
| CN113050113B (zh) * | 2021-03-10 | 2023-08-01 | 广州南方卫星导航仪器有限公司 | 一种激光点定位方法和装置 |
| CN113253297A (zh) * | 2021-06-21 | 2021-08-13 | 中国人民解放军国防科技大学 | 融合激光雷达和深度相机的地图构建方法及装置 |
| CN113253297B (zh) * | 2021-06-21 | 2021-09-17 | 中国人民解放军国防科技大学 | 融合激光雷达和深度相机的地图构建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106526605B (zh) | 2019-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106526605A (zh) | 激光雷达与深度相机的数据融合方法及系统 | |
| Choi et al. | KAIST multi-spectral day/night data set for autonomous and assisted driving | |
| CN101617197B (zh) | 测量装置、测量方法及地物识别装置 | |
| US11176704B2 (en) | Object pose estimation in visual data | |
| CN112180373B (zh) | 一种多传感器融合的智能泊车系统和方法 | |
| US11783443B2 (en) | Extraction of standardized images from a single view or multi-view capture | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| US12026960B2 (en) | Dynamic driving metric output generation using computer vision methods | |
| CN109978820A (zh) | 基于激光点云的无人机航线获取方法、系统以及设备 | |
| CN113052066B (zh) | 三维目标检测中基于多视图和图像分割的多模态融合方法 | |
| CN112823328A (zh) | 使用被绘制在外部显示器上的同步图像用于hmd相机校准的方法 | |
| CN103996220A (zh) | 一种智能交通中的三维重建方法及系统 | |
| JP2012008867A (ja) | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム | |
| WO2019033673A1 (zh) | 海域全景监控方法、装置、服务器及系统 | |
| US20210225038A1 (en) | Visual object history | |
| CN111046725A (zh) | 一种基于监控视频的人脸识别和点云融合的空间定位方法 | |
| CN106560835A (zh) | 一种路牌识别方法及装置 | |
| CN103617631B (zh) | 一种基于中心检测的跟踪方法 | |
| CN107464258A (zh) | 一种从图像中提取三维平面的方法 | |
| Shi et al. | Multivariate probabilistic monocular 3D object detection | |
| CN112802114A (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
| CN106780613A (zh) | 多摄像头标定结果的可视化方法及其系统 | |
| CN117274036A (zh) | 一种基于多视角和时序融合的泊车场景检测方法 | |
| CN113989765A (zh) | 一种轨道障碍物的检测方法、检测装置及可读存储介质 | |
| CN113362458A (zh) | 模拟多视角成像的三维模型解译方法、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20220914 Granted publication date: 20190514 |