CN110689572A - 一种三维空间中移动机器人定位系统及方法 - Google Patents
一种三维空间中移动机器人定位系统及方法 Download PDFInfo
- Publication number
- CN110689572A CN110689572A CN201910744943.8A CN201910744943A CN110689572A CN 110689572 A CN110689572 A CN 110689572A CN 201910744943 A CN201910744943 A CN 201910744943A CN 110689572 A CN110689572 A CN 110689572A
- Authority
- CN
- China
- Prior art keywords
- event
- depth
- camera
- image frame
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000010365 information processing Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 5
- 238000012937 correction Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种三维空间中移动机器人定位系统及方法。其中，事件信息处理模块从事件相机读取事件流，并将事件流中的光照强度变化事件按照一定的时间窗组成事件图像帧；深度图像采集模块从深度相机中读取深度图像，并对其进行去噪等处理，从而生成深度图像帧；处理后的图像帧传输到信息融合模块，信息融合模块根据两个相机的内参以及它们之间的外参，计算出事件图像帧中每一个事件的深度信息，从而得到带深度的事件图像帧；VO模块利用带深度的事件图像帧实现三维空间中的定位。本发明利用事件相机的特性，可以适应黑暗环境、高动态范围环境等极端环境，并且该系统中传感器体积小、功耗低、易于安装等优点，适合搭载到移动机器人或自动驾驶系统上。
Description
技术领域
本发明涉及机器人技术领域，更具体地，涉及一种三维空间中移动机器人定位系统及方法。
背景技术
近年来，移动机器人领域得到了长足的发展，自动驾驶、自主导航、无人巡检、无人物流等应用纷纷出现。而这些应用的基础技术，便是移动机器人的定位技术。激光雷达的定位方案误差小，但设备成本高；GPS的定位方案成本较低，但在室内等卫星信号受遮挡的环境无法使用。视觉里程计具有成本低，易部署的优点，并且能适应室内外等多种环境。但受传统相机工作原理本身的限制，传统相机的动态范围较小，在高动态范围(亮暗比非常大)的环境下传统相机会丢失图像细节，导致视觉里程计算法失效；同时，由于相机需要曝光时间，传统相机通常存在高延迟、容易产生运动模糊的缺陷，也会影响视觉里程计算法的性能。
发明内容
本发明为克服上述现有技术中传统视觉里程计延迟高、无法应对高动态范围的环境、无法应对机器人快速运动的缺陷，提供一种三维空间中移动机器人定位系统及方法，基于事件相机和深度相机信息融合，组成简单高效的视觉里程计系统，使得视觉里程计能适应更多的极端环境。
为解决上述技术问题，本发明采用的技术方案是：一种三维空间中移动机器人定位系统，包括：
事件信息处理模块：按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧，输出给信息融合模块；
深度图像采集模块：用于实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；
信息融合模块：用于从事件信息处理模块和深度图像处理模块获取可用的事件图像帧和深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧，输出给VO模块；
VO模块：用于在获取带深度的事件图像帧后，使用FAST特征点算法提取图像中的特征点，并利用LK光流法计算出上一个事件图像帧与当前事件图像帧中的特征点的对应关系；利用事件图像帧中的深度信息，计算出特征点在相机坐标系下的三维坐标，进而使用PnP算法求解出当前事件图像帧相对于上一个事件图像帧的相机相对位姿。
进一步的，在系统中分别采用事件相机传感器和深度相机传感器。在奔赴马中使用的事件相机为CelePixel公司生产的，型号为CeleX-IV的DVS事件相机；使用的深度相机为Kinect v1。
进一步的，所述的事件信息处理模块中，事件相机输出的是事件流，事件流由多个异步的光照变化事件组成；每个事件的信息包括该事件发生的像素地址、时间以及极性。
进一步的，事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定。
本发明还提供一种三维空间中移动机器人定位方法，包括以下步骤：
S1.对所述事件相机以及深度相机进行内外参标定；事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定；
S2.事件信息处理模块从事件相机中读取事件流，按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧；
S3.深度图像采集模块实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；
S4.信息融合模块获取可用的事件图像帧和可用的深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧；
S5.VO模块获取去带深度的事件图像帧，用FAST特征算法提取图像中的特征点；
S6.VO模块使用LK光流法计算上一事件图像帧和当前事件图像帧中特征点的匹配关系；
S7.VO模块根据上一事件图像帧和当前事件图像帧中特征点的匹配关系，使用PnP算法求解当前帧相对于上一帧的相机相对位姿；
S8.重复步骤S2至步骤S7，将每次计算出的相对位姿累乘获得相机的绝对位姿。
进一步的，为了保证标定出来的事件相机与深度相机之间的外参误差较小，同时保证两个相机的视野范围相近，两个相机应靠近摆放并固定；事件相机和深度相机须使用同样或相近焦距的镜头，镜头保持平行并朝同一方向。
进一步的，所述事件信息处理模块中所采用的滑动时间窗口算法，时间窗口的长度可根据具体的应用需求进行调整，并且时间窗口之间可以有交叠。
进一步的，所述的事件信息处理模块和深度图像采集模块输出图像帧的频率是可调的，两者输出图像帧的频率保持一致。
与现有技术相比，有益效果是：
1.本发明利用事件相机的特性，可以应对高动态范围的环境，而基于传统相机的视觉定位系统无法做到这一点；
2.本发明的视觉定位系统可以承受机器人自身的快速运动，而基于传统相机的视觉定位系统在快速运动的情况下会严重受到运动模糊的影响；
3.本发明利用事件相机的特性，可以适应黑暗环境、高动态范围环境、光照变化环境等极端环境，并且该系统中传感器体积小、功耗低、易于安装等优点，适合搭载到移动机器人或自动驾驶系统上；
4.本发明成本低、功耗低、稳定性高、适用范围广，在多种需要视觉定位系统的应用中，如自动驾驶、飞行器自主导航、巡检机器人等，都可以应用。
附图说明
图1是本发明系统的结构关系示意图。
图2是本发明方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
实施例1：
如图1所示，一种三维空间中移动机器人定位系统，包括：
事件信息处理模块：按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧，输出给信息融合模块；
深度图像采集模块：用于实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；
信息融合模块：用于从事件信息处理模块和深度图像处理模块获取可用的事件图像帧和深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧，输出给VO模块；
VO模块：用于在获取带深度的事件图像帧后，使用FAST特征点算法提取图像中的特征点，并利用LK光流法计算出上一个事件图像帧与当前事件图像帧中的特征点的对应关系；利用事件图像帧中的深度信息，计算出特征点在相机坐标系下的三维坐标，进而使用PnP算法求解出当前事件图像帧相对于上一个事件图像帧的相机相对位姿。
具体的，在系统中分别采用事件相机传感器和深度相机传感器。在奔赴马中使用的事件相机为CelePixel公司生产的，型号为CeleX-IV的DVS事件相机；使用的深度相机为Kinect v1。
其中，事件信息处理模块中，事件相机输出的是事件流，事件流由多个异步的光照变化事件组成；每个事件的信息包括该事件发生的像素地址、时间以及极性。
在本实施例中，事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定。
实施例2
如图2所示，一种三维空间中移动机器人定位方法，包括以下步骤：
步骤S1.对所述事件相机以及深度相机进行内外参标定；事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定；
步骤S2.事件信息处理模块从事件相机中读取事件流，按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧；
步骤S3.深度图像采集模块实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；
步骤S4.信息融合模块获取可用的事件图像帧和可用的深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧；
步骤S5.VO模块获取去带深度的事件图像帧，用FAST特征算法提取图像中的特征点；
步骤S6.VO模块使用LK光流法计算上一事件图像帧和当前事件图像帧中特征点的匹配关系；
步骤S7.VO模块根据上一事件图像帧和当前事件图像帧中特征点的匹配关系，使用PnP算法求解当前帧相对于上一帧的相机相对位姿；
步骤S8.重复步骤S2至步骤S7，将每次计算出的相对位姿累乘获得相机的绝对位姿。
为了保证标定出来的事件相机与深度相机之间的外参误差较小，同时保证两个相机的视野范围相近，两个相机应靠近摆放并固定。事件相机和深度相机须使用同样(或相近)焦距的镜头，镜头尽可能平行朝同一方向。两个相机应用硬质架子尽可能地固定，防止两个相机在机器人快速运动中松动，造成两个相机相对位姿地改变，从而导致预先标定地外参失效。同时，固定两个相机用的架子也应该牢固地固定在机器人上，防止估算出来的位姿不准确。
具体的，所述事件信息处理模块中所采用的滑动时间窗口算法，时间窗口的长度可根据具体的应用需求进行调整，并且时间窗口之间可以有交叠。以室内快速运动的场景为例，时间窗口可以设置为10毫秒，交叠为5毫秒。以室外慢速运动的场景为例，时间窗口可以设置为30毫秒，交叠为10毫秒。
其中，事件信息处理模块和深度图像采集模块输出图像帧的频率是可调的，出于系统效率的考虑，两者输出图像帧的频率应尽可能一致。VO模块是实时运行的，即每收到信息融合模块输出的带深度的事件图像帧，VO模块都进行一次当前位姿的计算。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种三维空间中移动机器人定位系统，其特征在于，包括：
事件信息处理模块：按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧，输出给信息融合模块；
深度图像采集模块：用于实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；
信息融合模块：用于从事件信息处理模块和深度图像处理模块获取可用的事件图像帧和深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧，输出给VO模块；
VO模块：用于在获取带深度的事件图像帧后，使用FAST特征点算法提取图像中的特征点，并利用LK光流法计算出上一个事件图像帧与当前事件图像帧中的特征点的对应关系；利用事件图像帧中的深度信息，计算出特征点在相机坐标系下的三维坐标，进而使用PnP算法求解出当前事件图像帧相对于上一个事件图像帧的相机相对位姿。
2.根据权利要求1所述的三维空间中移动机器人定位系统，其特征在于，在系统中分别采用事件相机传感器和深度相机传感器。
3.根据权利要求2所述的三维空间中移动机器人定位系统，其特征在于，所述的事件信息处理模块中，事件相机输出的是事件流，事件流由多个异步的光照变化事件组成；每个事件的信息包括该事件发生的像素地址、时间以及极性。
4.根据权利要求3所述的三维空间中移动机器人定位系统，其特征在于，事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定。
5.一种三维空间中移动机器人定位方法，其特征在于，包括以下步骤：
S1.对所述事件相机以及深度相机进行内外参标定；事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定；
S2.事件信息处理模块从事件相机中读取事件流，按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧；
S3.深度图像采集模块实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；
S4.信息融合模块获取可用的事件图像帧和可用的深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧；
S5.VO模块获取去带深度的事件图像帧，用FAST特征算法提取图像中的特征点；
S6.VO模块使用LK光流法计算上一事件图像帧和当前事件图像帧中特征点的匹配关系；
S7.VO模块根据上一事件图像帧和当前事件图像帧中特征点的匹配关系，使用PnP算法求解当前帧相对于上一帧的相机相对位姿；
S8.重复步骤S2至步骤S7，将每次计算出的相对位姿累乘获得相机的绝对位姿。
6.根据权利要求5所述的三维空间中移动机器人定位方法，其特征在于，为了保证标定出来的事件相机与深度相机之间的外参误差较小，同时保证两个相机的视野范围相近，两个相机应靠近摆放并固定；事件相机和深度相机须使用同样或相近焦距的镜头，镜头保持平行并朝同一方向。
7.根据权利要求5所述的三维空间中移动机器人定位方法，其特征在于，所述事件信息处理模块中所采用的滑动时间窗口算法，时间窗口的长度可根据具体的应用需求进行调整，并且时间窗口之间可以有交叠。
8.根据权利要求5所述的三维空间中移动机器人定位方法，其特征在于，所述的事件信息处理模块和深度图像采集模块输出图像帧的频率是可调的，两者输出图像帧的频率保持一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910744943.8A CN110689572B (zh) | 2019-08-13 | 2019-08-13 | 一种三维空间中移动机器人定位系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910744943.8A CN110689572B (zh) | 2019-08-13 | 2019-08-13 | 一种三维空间中移动机器人定位系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110689572A true CN110689572A (zh) | 2020-01-14 |
| CN110689572B CN110689572B (zh) | 2023-06-16 |
Family
ID=69108241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910744943.8A Active CN110689572B (zh) | 2019-08-13 | 2019-08-13 | 一种三维空间中移动机器人定位系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689572B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113066127A (zh) * | 2021-04-02 | 2021-07-02 | 视辰信息科技(上海)有限公司 | 一种在线标定设备参数的视觉惯性里程计方法和系统 |
| CN114071114A (zh) * | 2022-01-17 | 2022-02-18 | 季华实验室 | 事件相机、深度事件点图获取方法、装置、设备及介质 |
| WO2022088039A1 (en) * | 2020-10-30 | 2022-05-05 | Harman International Industries, Incorporated | Unified calibration between dvs and camera |
| CN114708478A (zh) * | 2022-06-06 | 2022-07-05 | 季华实验室 | 事件相机与标准相机的数据融合方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025668A (zh) * | 2017-03-30 | 2017-08-08 | 华南理工大学 | 一种基于深度相机的视觉里程计的设计方法 |
| CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
| US20180308253A1 (en) * | 2017-04-25 | 2018-10-25 | Samsung Electronics Co., Ltd. | Method and system for time alignment calibration, event annotation and/or database generation |
| US20190204084A1 (en) * | 2017-09-29 | 2019-07-04 | Goertek Inc. | Binocular vision localization method, device and system |
-
2019
- 2019-08-13 CN CN201910744943.8A patent/CN110689572B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025668A (zh) * | 2017-03-30 | 2017-08-08 | 华南理工大学 | 一种基于深度相机的视觉里程计的设计方法 |
| US20180308253A1 (en) * | 2017-04-25 | 2018-10-25 | Samsung Electronics Co., Ltd. | Method and system for time alignment calibration, event annotation and/or database generation |
| US20190204084A1 (en) * | 2017-09-29 | 2019-07-04 | Goertek Inc. | Binocular vision localization method, device and system |
| CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
Non-Patent Citations (1)
| Title |
|---|
| L. CHEN ET.AL: "A Fast and Efficient Double-Tree RRT ∗ -Like Sampling-Based Planner Applying on Mobile Robotic Systems", 《IEEE/ASME TRANSACTIONS ON MECHATRONICS》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022088039A1 (en) * | 2020-10-30 | 2022-05-05 | Harman International Industries, Incorporated | Unified calibration between dvs and camera |
| CN113066127A (zh) * | 2021-04-02 | 2021-07-02 | 视辰信息科技(上海)有限公司 | 一种在线标定设备参数的视觉惯性里程计方法和系统 |
| CN113066127B (zh) * | 2021-04-02 | 2024-04-19 | 视辰信息科技(上海)有限公司 | 一种在线标定设备参数的视觉惯性里程计方法和系统 |
| CN114071114A (zh) * | 2022-01-17 | 2022-02-18 | 季华实验室 | 事件相机、深度事件点图获取方法、装置、设备及介质 |
| CN114708478A (zh) * | 2022-06-06 | 2022-07-05 | 季华实验室 | 事件相机与标准相机的数据融合方法、装置、设备及介质 |
| CN114708478B (zh) * | 2022-06-06 | 2022-09-02 | 季华实验室 | 事件相机与标准相机的数据融合方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110689572B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689572B (zh) | 一种三维空间中移动机器人定位系统及方法 | |
| Zhu et al. | The multivehicle stereo event camera dataset: An event camera dataset for 3D perception | |
| CN105758426B (zh) | 移动机器人的多传感器的联合标定方法 | |
| US10194135B2 (en) | Three-dimensional depth perception apparatus and method | |
| CN104243959B (zh) | 基于偏振定向和组合定位的智能复合眼镜 | |
| CN103886107B (zh) | 基于天花板图像信息的机器人定位与地图构建系统 | |
| CN109559355B (zh) | 一种基于相机组的无公共视场的多相机全局标定装置及方法 | |
| CN102072706B (zh) | 一种多相机定位与跟踪方法及系统 | |
| EP3332387B1 (en) | Method for calibration of a stereo camera | |
| CN107453811B (zh) | 一种基于可见光视觉通信的无人机协同slam的方法 | |
| CN112461210A (zh) | 一种空地协同建筑测绘机器人系统及其测绘方法 | |
| CN113888639B (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
| CN109407115B (zh) | 一种基于激光雷达的路面提取系统及其提取方法 | |
| JP2014186004A (ja) | 計測装置、方法及びプログラム | |
| Jiao et al. | Fusionportable: A multi-sensor campus-scene dataset for evaluation of localization and mapping accuracy on diverse platforms | |
| CN110956657A (zh) | 深度图像获取方法及装置、电子设备及可读存储介质 | |
| TW201317544A (zh) | 地面目標定位系統與方法 | |
| CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
| CN114370871A (zh) | 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法 | |
| CN105807083A (zh) | 一种无人飞行器实时测速方法及系统 | |
| CN115307646B (zh) | 一种多传感器融合的机器人定位方法、系统及装置 | |
| CN112444245A (zh) | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 | |
| CN116205961A (zh) | 多镜头组合影像和激光雷达点云的自动配准方法及其系统 | |
| CN116026323A (zh) | 一种用于发动机油加注机定位与区域防错方法 | |
| CN116027351A (zh) | 一种手持/背包式slam装置及定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |