CN111833333B - 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统 - Google Patents

一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统 Download PDF

Info

Publication number
CN111833333B
CN111833333B CN202010683907.8A CN202010683907A CN111833333B CN 111833333 B CN111833333 B CN 111833333B CN 202010683907 A CN202010683907 A CN 202010683907A CN 111833333 B CN111833333 B CN 111833333B
Authority
CN
China
Prior art keywords
binocular
image
determining
dimensional pixel
infrared led
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010683907.8A
Other languages
English (en)
Other versions
CN111833333A (zh
Inventor
张旭辉
张超
杨文娟
谢楠
张楷鑫
周创
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202010683907.8A priority Critical patent/CN111833333B/zh
Priority to AU2020101932A priority patent/AU2020101932A4/en
Publication of CN111833333A publication Critical patent/CN111833333A/zh
Application granted granted Critical
Publication of CN111833333B publication Critical patent/CN111833333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统。所述位姿测量方法包括：对所述双目相机进行标定，并根据内参数确定重投影矩阵；利用区域生长方法对红外LED光源图像的光斑区域进行分割，并确定每个光斑分割图像的光斑中心点二维像素坐标；获取前后时刻的两帧双目图像；利用时域特征点匹配法对前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标；根据匹配后的光斑中心点二维像素坐标确定每一帧双目图像的光斑中心点三维像素坐标；根据每一帧双目图像的光斑中心点三维像素坐标确定悬臂式掘进装备的位姿。采用本发明能够实现精准定位，且实现长距离长时间连续测量。

Description

一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
技术领域
本发明涉及矿用掘进装备位姿测量领域，特别是涉及一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统。
背景技术
目前煤矿井下掘进装备位姿检测方法有全站仪、惯性传感器和超宽带(Ultra-Wideband，UWB)定位等技术，采用全站仪实现位姿检测，不能实现跟机测量且对测量要求较高，难以实现自主检测。对于惯性传感器来说，使用加速度计和陀螺仪进行测量，从测量原理上来说就存在着误差随时间增大的缺点，不能长时间工作；此外UWB定位技术往往系统结构过于复杂，很难在实际掘进过程中应用。
双目视觉测量具有视场大，精度高，结构简单的优点，在工业生产生活中常被用来进行物体检测和导航，但是在煤矿井下巷道掘进中，高粉尘、低照度的工况环境下，巷道特征不明显甚至会出现特征缺失的情况，如果以巷道环境为特征，很难实现稳定的特征提取，也就很难实现稳定的特征匹配，采用常规方法难以实现定位。
发明内容
本发明的目的是提供一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统，以解决现有的双目视觉测量方法在煤矿井下巷道掘进中，高粉尘、低照度的工况环境采用常规方法难以实现定位的问题。
为实现上述目的，本发明提供了如下方案：
一种基于双目视觉的悬臂式掘进装备位姿测量方法，所述掘进装备的机上设有窄波滤镜的双目相机，距离所述掘进装备的后方距离阈值处对称设有两组红外LED光源组，所述双目相机用于采集所述红外LED光源组的双目图像，所述双目相机包括左相机以及右相机，每组所述红外LED光源组包括多个红外LED光源；所述位姿测量方法包括：
对所述双目相机进行标定，确定标定参数；所述标定参数包括所述双目相机各自的内参数、所述双目相机之间的平移矩阵以及旋转矩阵；所述内参数包括相机的焦距、主像素点坐标及图像畸变系数；
根据所述内参数确定重投影矩阵；
利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标；一个所述光斑分割图像对应一个红外LED光源；所述光斑中心点二维像素坐标为一个红外LED光源的坐标；
获取前后时刻的两帧双目图像；每一帧双目图像包括左图像以及右图像；
利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标；所述环形匹配的匹配顺序为前一时刻的左图像与后一时刻的左图像相匹配，所述后一时刻的左图像与后一时刻的右图像相匹配，所述后一时刻的右图像与前一时刻的右图像相匹配，所述前一时刻的右图像与所述前一时刻的左图像相匹配；
根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标；
根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿。
可选的，所述根据所述内参数确定重投影矩阵，具体包括：
所述重投影矩阵为：其中，(cx,cy)为主点在所述左图像上的坐标；f为焦距；Tx为双目间距；c′x为主点在右图像的横坐标。
可选的，所述利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标，具体包括：
创建一个全黑的空白图像J，即灰度值J(x,y)＝0；
以原始双目图像I(x,y)>T&&J(x,y)＝0为种子的自动判定条件，确定多种子点的起始生长点坐标；其中T是阈值，(x,y)是光斑中心点二维像素坐标；
判断种子点的起始生长点坐标(x0,y0)周围8邻域像素坐标(x,y)与种子像素灰度值之差的绝对值是否小于绝对值阈值；若是，将(x,y)与(x0,y0)合并为统一区域，将所述光斑中心点二维像素坐标的灰度值写入图像J，并压入堆栈；
从所述堆栈中取出一个像素点，作为新的种子点的起始生长点坐标，并返回到“以原始双目图像I(x,y)>T&&J(x,y)＝0为种子的自动判定条件，确定多种子点的起始生长点坐标”的步骤，直到所述堆栈为空，确定一个光斑分割图像分割完成；
直到所述原始双目图像中每个光斑对应一个光斑分割图像，生长结束，并确定每个所述光斑分割图像的光斑中心点二维像素坐标。
可选的，所述利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标，具体包括：
在每一帧的双目图像的左图像以及右图像中，确定所有光斑中心点二维像素坐标在x方向上坐标值的最大值和最小值和y方向上坐标值的最大值和最小值；
根据x方向上坐标值的最大值和最小值计算横坐标的平均值；
根据y方向上坐标值的最大值和最小值计算纵坐标的平均值；
根据所述横坐标的平均值以及所述纵坐标的平均值确定每一帧的双目图像内每一幅图像的匹配中心点坐标；
以所述匹配中心点坐标为原心，建立匹配坐标系，并确定每个光斑中心点二维像素坐标与匹配中心点坐标的特征向量；
按照所述环形匹配的匹配顺序，根据每一帧的双目图像内每一幅图像的特征向量以及所述每一幅图像对应的上一幅图像中的特征向量，确定每一帧双目图像匹配后的光斑中心点二维像素坐标。
可选的，所述根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标，具体包括：
利用三角测量原理，根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标。
可选的，所述根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿，具体包括：
基于最小二乘法，根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵构建最优位姿目标函数；
利用线性代数法对所述位姿目标函数进行求解，确定任一帧双目图像的位姿；所述任一帧双目图像的位姿为所述悬臂式掘进装备的当前时刻的位姿；
可选的，所述利用线性代数法对所述位姿目标函数进行求解，确定任一帧双目图像的位姿，之后还包括：
按照时间顺序，根据相邻的两帧双目图像的位姿确定所述悬臂式掘进装备连续的运动轨迹。
一种基于双目视觉的悬臂式掘进装备位姿测量系统，所述掘进装备的机上设有窄波滤镜的双目相机，距离所述掘进装备的后方距离阈值处对称设有两组红外LED光源组，所述双目相机用于采集所述红外LED光源组的双目图像，所述双目相机包括左相机以及右相机，每组所述红外LED光源组包括多个红外LED光源；所述位姿测量系统包括：
标定模块，用于对所述双目相机进行标定，确定标定参数；所述标定参数包括所述双目相机各自的内参数、所述双目相机之间的平移矩阵以及旋转矩阵；所述内参数包括相机的焦距、主像素点坐标及图像畸变系数；
重投影矩阵确定模块，用于根据所述内参数确定重投影矩阵；
分割模块，用于利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标；一个所述光斑分割图像对应一个红外LED光源；所述光斑中心点二维像素坐标为一个红外LED光源的坐标；
两帧双目图像获取模块，用于获取前后时刻的两帧双目图像；每一帧双目图像包括左图像以及右图像；
环形匹配模块，用于利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标；所述环形匹配的匹配顺序为前一时刻的左图像与后一时刻的左图像相匹配，所述后一时刻的左图像与后一时刻的右图像相匹配，所述后一时刻的右图像与前一时刻的右图像相匹配，所述前一时刻的右图像与所述前一时刻的左图像相匹配；
光斑中心点三维像素坐标确定模块，用于根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标；
位姿确定模块，用于根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿。
可选的，在测量过程中，当所述红外LED光源组与所述双目相机之间的距离大于测量距离时，固定第一组红外LED光源组且第一红外LED光源组正常工作，并切断第二组红外LED光源组的电源，将所述第二组红外LED光源组移动至所述双目相机的最小测量距离处后，打开所述第二组红外LED光源组的电源。
可选的，打开所述第二组红外LED光源组的电源后，固定第二组红外LED光源组且第二红外LED光源组正常工作，并切断第一组红外LED光源组的电源，将所述第一组红外LED光源组移动至所述双目相机的最小测量距离处后，打开所述第一组红外LED光源组的电源。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统，以红外LED光源组作为图像特征，利用红外LED光源组有效的解决了煤矿井下低照度、高粉尘工况环境下视觉测量图像特征提取问题，同时，基于红外LED光源组的图像特征的环形匹配方法相较于常用立体匹配方法，大大的提高了计算速度，且累积误差小，可长时间测量，实现了100％的匹配准确率，可以实现矿用掘进装备的自主精确定位；
本发明所提供的基于双目视觉的悬臂式掘进装备位姿测量系统采用双标靶(即第一组红外LED光源组以及第二组红外LED光源组)交替前移的测量策略有效的解决了双目视觉测量距离有限的问题，实现了长距离长时间连续测量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于双目视觉的悬臂式掘进装备位姿测量方法流程图；
图2为本发明所提供的双目视觉测量原理示意图；
图3为本发明所提供的红外LED光源组在双目相机中的成像图；图3(a)为本发明所提供的左图像示意图；图3(b)为本发明所提供的右图像示意图；
图4为本发明所提供的环形匹配方法示意图；
图5为本发明所提供的双目视觉位姿测量的连续轨迹推算图；
图6为本发明所提供的在实际应用中基于双目视觉的悬臂式掘进装备位姿测量方法的具体处理流程图；
图7为本发明所提供的基于双目视觉的悬臂式掘进装备位姿测量系统结构图；
图8为本发明所提供的基于双目视觉的悬臂式掘进装备位姿测量系统的位姿检测示意图；
图9为本发明所提供的初始状态下红外LED光源组位置示意图；
图10为本发明所提供的红外LED光源组A断电前移示意图；
图11为本发明所提供的红外LED光源组B断电前移示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统，能够实现精准定位，且实现长距离长时间连续测量。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的基于双目视觉的悬臂式掘进装备位姿测量方法流程图，如图1所示，一种基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述掘进装备的机上设有窄波滤镜的双目相机，距离所述掘进装备的后方距离阈值处对称设有两组红外LED光源组，所述双目相机用于采集所述红外LED光源组的双目图像，所述双目相机包括左相机以及右相机，每组所述红外LED光源组包括多个红外LED光源；所述位姿测量方法包括：
步骤101：对所述双目相机进行标定，确定标定参数；所述标定参数包括所述双目相机各自的内参数、所述双目相机之间的平移矩阵以及旋转矩阵；所述内参数包括相机的焦距、主像素点坐标及图像畸变系数。
双目相机标定的主要目的是获得两相机的内参数，包括主像素点、焦距和畸变系数，同时计算出左右相机之间的相对变换矩阵。在实际使用过程中，图像会因为镜头的原因出现不同程度的畸变。图2为本发明所提供的双目视觉测量原理示意图，如图2所示，要求左右图像主像素点一致且图像行对齐，因此在进行测量之前需要先对双目图像进行立体校正，使左右图像行对齐且光心一致。
步骤102：根据所述内参数确定重投影矩阵。
利用标定计算得到的双目相机内参数使用立体校正Bouguet算法对双目图像进行立体校正，保证左右视图的成像原点一致、两相机光轴平行及成像平面的极线行对齐，并计算出重投影矩阵Q:
其中，(cx,cy)为主点在左图像上的坐标，f为焦距，Tx为双目间距,c′x为主点在右图像的x坐标。
步骤103：利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标；一个所述光斑分割图像对应一个红外LED光源；所述光斑中心点二维像素坐标为一个红外LED光源的坐标。
本发明采用红外LED光源组作为图像特征，如图3所示。首先利用区域生长方法实现光斑区域分割，再结合高斯拟合算法对每个光斑中心点进行精确定位，获得图像坐标系下每个光斑中心点二维像素坐标。自动确定种子生长点的光斑区域分割具体实现步骤如下：
创建一个全黑的空白图像J，即灰度值J(x,y)＝0；
(2)以原图像I(x,y)>T&&J(x,y)＝0为种子的自动判定条件，确定多种子点起始生长点坐标,其中T是阈值，(x,y)是像素坐标。
(3)判断种子点(x0,y0)周围8邻域像素(x,y)与种子像素灰度值之差的绝对值小于某个阈值，如果满足条件，将(x,y)与(x0,y0)合并为统一区域，并将其灰度值写入图像J，并压入堆栈。
(4)从堆栈中取出一个像素，把它当做新的种子点(x0,y0)返回到(2)，直到堆栈为空，此时一个光斑区域分割结束；
(5)重复(1)-(4)直到图像中每个点都有归属，生长结束，并确定每个所述光斑分割图像的光斑中心点二维像素坐标。
步骤104：获取前后时刻的两帧双目图像；每一帧双目图像包括左图像以及右图像。
步骤105：利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标；所述环形匹配的匹配顺序为前一时刻的左图像与后一时刻的左图像相匹配，所述后一时刻的左图像与后一时刻的右图像相匹配，所述后一时刻的右图像与前一时刻的右图像相匹配，所述前一时刻的右图像与所述前一时刻的左图像相匹配。
利用双目相机获得前后两帧的双目图像，计算出了其各自光斑中心点坐标。通过如图4所示的特征点环形匹配策略实现特征点时域匹配，分别得到每一帧双目左右图像匹配好的特征点坐标，同时前后两帧特征点坐标也是一一对应的。具体实现步骤如下：
(1)建立匹配坐标系。在每幅图像中，取所有特征点像素坐标中x和y方向坐标值的最大和最小值，计算各自的平均值组成新的坐标A(xav,yav)，以此为原心，x和y方向不变建立匹配坐标系。并求取每个特征点与坐标A(xav,yav)的特征向量。
以Pl1图像中为例，假设特征点Pi，坐标为(xi,yi)，其中(i＝1,2,3…n)。计算xi中的最大值xmax和最小值xmin，并计算两者的平均值，记为xav；同理计算出yi中的最大值ymax和最小值ymin，并计算两者的平均值，记为yav。组成新的坐标点A(xav,yav)。
其平均值为：
同理：
其平均值为：
计算每一特征点的方向向量
(2)以t2时刻左图像第一个特征点P0(x0,y0)为匹配起点，计算特征向量与t2时刻右图像中所有特征点Pj(xj,yj),j＝1,2,…,的特征向量之间的欧式距离dj，并求解欧式距离中的最小值dmin，
其对应的点为以A′表示t2时刻右图像的匹配中心点坐标，则t2时刻右图像疑似对应点的方向向量为/>并满足/>其中μ是设定的阈值。
那么就是与t2时刻左图像匹配成功的t2时刻右图像中对应的特征点，否则就返回t2时刻左图像选择新的特征点重新匹配。
匹配成功后，继续匹配t1时刻右图像中对应的特征点。t2时刻右图像中的匹配成功的特征点按(2)找到t1时刻右图像中的匹配点，若不满足，返回t2时刻左图像选择新的特征点进行匹配。
(4)匹配成功后，继续匹配t1时刻左图像中对应的特征点。t1时刻右图像中的匹配成功的特征点按(2)找到t1时刻左图像中的匹配点，若不满足，返回匹配t2时刻左图像选择新的特征点进行匹配。
(5)匹配成功后，继续匹配t2时刻左图像中对应的特征点。将t1时刻左图像中的匹配得到的特征点对应的特征向量按照(2)对t2时刻左图像进行匹配，若匹配得到的特征点与起始匹配点一致，匹配成功；否则匹配失败。
(6)选择t2时刻左图像新的特征点按(2)～(5)循环执行，直至t2时刻左图像中所有特征点已执行匹配过程。
步骤106：根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标。
根据重投影矩阵元素中的光心坐标(cx,cy)、焦距f、基线距离Tx等参数，利用将前一帧双目图像匹配好的特征点利用和/>带入匹配好左图像坐标(xl，yl)和右图像坐标(xr,xr)计算出光斑中心点坐标(Xw、Yw、Zw)。
计算得到前一帧时刻红外LED光源组在左相机坐标系下的三维空间坐标，同理计算出当前帧时刻红外LED光源组在左相机坐标系下的三维空间坐标。
步骤107：根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿。
获得两组匹配好的三维空间坐标后，即可计算出相邻两帧间的载体，即掘进装备的位姿变换，若结合掘进装备的初始位姿，即可获得连续的位姿参数，如图5所示。具体计算步骤如下：
(1)假设两组3D点表示为：
P＝p1,…，pn,P′＝p′1,…,p′n
求解变换矩阵R，t满足：
式中，R,t就是双目相机运动的旋转矩阵和平移矩阵。
(2)定义第i对点的误差项为：
ei＝pi-Rp′i+t
构建最小二乘问题，求解R,t使得误差平方和达到极小。
(3)将采集的第一帧图像时的载体位姿作为初始姿态，记为P0，包括旋转矩阵R0和平移矩阵T0，则
(4)通常初始位姿P0由煤矿地测科利用全站仪测量得到。设Pk为第k个位姿，则具体每个时刻的位姿计算如下：
由相邻两帧即可得到位移量和姿态角的变化量，将一小段离散化的位移按照时间顺序进行迭代计算，便可得到悬臂式掘进机连续的运动轨迹。
在实际应用中，双目相机只标定一次即可，通过标定后的参数计算重投影矩阵；进而执行后续的操作：获取图像-双目图像校正-特征提取-特征匹配-三维坐标求解-运动估计-连续位姿，具体处理流程如图6所示。
图7为本发明所提供的基于双目视觉的悬臂式掘进装备位姿测量系统结构图，如图7所示，一种基于双目视觉的悬臂式掘进装备位姿测量系统，如图8所示，所述掘进装备的机上设有窄波滤镜的双目相机，距离所述掘进装备的后方距离阈值处对称设有两组红外LED光源组，所述双目相机用于采集所述红外LED光源组的双目图像，所述双目相机包括左相机以及右相机，每组所述红外LED光源组包括多个红外LED光源；所述位姿测量系统包括：
标定模块701，用于对所述双目相机进行标定，确定标定参数；所述标定参数包括所述双目相机各自的内参数、所述双目相机之间的平移矩阵以及旋转矩阵；所述内参数包括相机的焦距、主像素点坐标及图像畸变系数。
重投影矩阵确定模块702，用于根据所述内参数确定重投影矩阵。
分割模块703，用于利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标；一个所述光斑分割图像对应一个红外LED光源；所述光斑中心点二维像素坐标为一个红外LED光源的坐标。
两帧双目图像获取模块704，用于获取前后时刻的两帧双目图像；每一帧双目图像包括左图像以及右图像。
环形匹配模块705，用于利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标；所述环形匹配的匹配顺序为前一时刻的左图像与后一时刻的左图像相匹配，所述后一时刻的左图像与后一时刻的右图像相匹配，所述后一时刻的右图像与前一时刻的右图像相匹配，所述前一时刻的右图像与所述前一时刻的左图像相匹配。
光斑中心点三维像素坐标确定模块706，用于根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标。
位姿确定模块707，用于根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿。
如图9所示，初始状态下，红外LED光源组A和B均在本发明所提测量方法的有效测量距离内。
如图10所示，在测量过程中，当红外LED光源组A和B与双目相机之间的距离大于测量距离而不能满足测量精度时，保证B标靶保持不动正常工作，同时切断A的供电使其前移至双目位姿测量的最小测量距离处，打开电源使其正常工作。移动期间，双目视觉位姿检测连续工作没有中断，这样就保证了测量的连续性。
如图11所示，将A移动至前方后，保证A标靶保持不动正常工作，同时切断B的供电使其前移至双目位姿测量的最小测量距离处，打开电源使其正常工作。如此循环交替移动即可实现连续测量，弥补了其测量距离不足的缺陷。
本发明针对煤矿井下高粉尘、低照度工况环境下悬臂式掘进机位姿检测，以多个880nm红外LED光源组成光源组作为双目视觉图像特征，采集其图像来进行测量与定位，包括双目相机的标定和双目图像校正、特征提取与时域匹配、位姿求解等步骤；采用的红外LED图像特征有效的避免了复杂工况的影响，同时提高了计算速度，实现了100％的匹配准确率，可以实现矿用掘进装备的自主精确定位。
同时，本发明采用双标靶交替前移的测量策略有效的解决了双目视觉测量距离有限的问题，实现了长距离长时间连续测量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述掘进装备的机上设有窄波滤镜的双目相机，距离所述掘进装备的后方距离阈值处对称设有两组红外LED光源组，所述双目相机用于采集所述红外LED光源组的双目图像，所述双目相机包括左相机以及右相机，每组所述红外LED光源组包括多个红外LED光源；所述位姿测量方法包括：
对所述双目相机进行标定，确定标定参数；所述标定参数包括所述双目相机各自的内参数、所述双目相机之间的平移矩阵以及旋转矩阵；所述内参数包括相机的焦距、主像素点坐标及图像畸变系数；
根据所述内参数确定重投影矩阵；
利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标；一个所述光斑分割图像对应一个红外LED光源；所述光斑中心点二维像素坐标为一个红外LED光源的坐标；
获取前后时刻的两帧双目图像；每一帧双目图像包括左图像以及右图像；
利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标；所述环形匹配的匹配顺序为前一时刻的左图像与后一时刻的左图像相匹配，所述后一时刻的左图像与后一时刻的右图像相匹配，所述后一时刻的右图像与前一时刻的右图像相匹配，所述前一时刻的右图像与所述前一时刻的左图像相匹配；
根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标；
根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿。
2.根据权利要求1所述的基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述根据所述内参数确定重投影矩阵，具体包括：
所述重投影矩阵为：其中，(cx，cy)为主点在所述左图像上的坐标；f为焦距；Tx为双目间距；c′x为主点在右图像的横坐标。
3.根据权利要求1所述的基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标，具体包括：
创建一个全黑的空白图像J，即灰度值J(x，y)＝0；
以原始双目图像I(x，y)＞T&&J(x，y)＝0为种子的自动判定条件，确定多种子点的起始生长点坐标；其中T是阈值，(x，y)是光斑中心点二维像素坐标；
判断种子点的起始生长点坐标(x0，y0)周围8邻域像素坐标(x，y)与种子像素灰度值之差的绝对值是否小于绝对值阈值；若是，将(x，y)与(x0，y0)合并为统一区域，将所述光斑中心点二维像素坐标的灰度值写入图像J，并压入堆栈；
从所述堆栈中取出一个像素点，作为新的种子点的起始生长点坐标，并返回到“以原始双目图像I(x，y)＞T&&J(x，y)＝0为种子的自动判定条件，确定多种子点的起始生长点坐标”的步骤，直到所述堆栈为空，确定一个光斑分割图像分割完成；
直到所述原始双目图像中每个光斑对应一个光斑分割图像，生长结束，并确定每个所述光斑分割图像的光斑中心点二维像素坐标。
4.根据权利要求1所述的基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标，具体包括：
在每一帧的双目图像的左图像以及右图像中，确定所有光斑中心点二维像素坐标在x方向上坐标值的最大值和最小值和y方向上坐标值的最大值和最小值；
根据x方向上坐标值的最大值和最小值计算横坐标的平均值；
根据y方向上坐标值的最大值和最小值计算纵坐标的平均值；
根据所述横坐标的平均值以及所述纵坐标的平均值确定每一帧的双目图像内每一幅图像的匹配中心点坐标；
以所述匹配中心点坐标为原心，建立匹配坐标系，并确定每个光斑中心点二维像素坐标与匹配中心点坐标的特征向量；
按照所述环形匹配的匹配顺序，根据每一帧的双目图像内每一幅图像的特征向量以及所述每一幅图像对应的上一幅图像中的特征向量，确定每一帧双目图像匹配后的光斑中心点二维像素坐标。
5.根据权利要求1所述的基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标，具体包括：
利用三角测量原理，根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标。
6.根据权利要求1所述的基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿，具体包括：
基于最小二乘法，根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵构建最优位姿目标函数；
利用线性代数法对所述位姿目标函数进行求解，确定任一帧双目图像的位姿；所述任一帧双目图像的位姿为所述悬臂式掘进装备的当前时刻的位姿。
7.根据权利要求6所述的基于双目视觉的悬臂式掘进装备位姿测量方法，其特征在于，所述利用线性代数法对所述位姿目标函数进行求解，确定任一帧双目图像的位姿，之后还包括：
按照时间顺序，根据相邻的两帧双目图像的位姿确定所述悬臂式掘进装备连续的运动轨迹。
8.一种基于双目视觉的悬臂式掘进装备位姿测量系统，其特征在于，所述掘进装备的机上设有窄波滤镜的双目相机，距离所述掘进装备的后方距离阈值处对称设有两组红外LED光源组，所述双目相机用于采集所述红外LED光源组的双目图像，所述双目相机包括左相机以及右相机，每组所述红外LED光源组包括多个红外LED光源；所述位姿测量系统包括：
标定模块，用于对所述双目相机进行标定，确定标定参数；所述标定参数包括所述双目相机各自的内参数、所述双目相机之间的平移矩阵以及旋转矩阵；所述内参数包括相机的焦距、主像素点坐标及图像畸变系数；
重投影矩阵确定模块，用于根据所述内参数确定重投影矩阵；
分割模块，用于利用区域生长方法对所述红外LED光源图像的光斑区域进行分割，并确定每个所述光斑分割图像的光斑中心点二维像素坐标；一个所述光斑分割图像对应一个红外LED光源；所述光斑中心点二维像素坐标为一个红外LED光源的坐标；
两帧双目图像获取模块，用于获取前后时刻的两帧双目图像；每一帧双目图像包括左图像以及右图像；
环形匹配模块，用于利用时域特征点匹配法对所述前后时刻的两帧双目图像的光斑中心点二维像素坐标进行环形匹配，并确定每一帧双目图像匹配后的光斑中心点二维像素坐标；所述环形匹配的匹配顺序为前一时刻的左图像与后一时刻的左图像相匹配，所述后一时刻的左图像与后一时刻的右图像相匹配，所述后一时刻的右图像与前一时刻的右图像相匹配，所述前一时刻的右图像与所述前一时刻的左图像相匹配；
光斑中心点三维像素坐标确定模块，用于根据所述匹配后的光斑中心点二维像素坐标、所述标定参数以及所述重投影矩阵确定每一帧双目图像的光斑中心点三维像素坐标；
位姿确定模块，用于根据所述每一帧双目图像的光斑中心点三维像素坐标、所述双目相机之间的平移矩阵以及旋转矩阵确定悬臂式掘进装备的位姿。
9.根据权利要求8所述的基于双目视觉的悬臂式掘进装备位姿测量系统，其特征在于，在测量过程中，当所述红外LED光源组与所述双目相机之间的距离大于测量距离时，固定第一组红外LED光源组且第一红外LED光源组正常工作，并切断第二组红外LED光源组的电源，将所述第二组红外LED光源组移动至所述双目相机的最小测量距离处后，打开所述第二组红外LED光源组的电源。
10.根据权利要求9所述的基于双目视觉的悬臂式掘进装备位姿测量系统，其特征在于，打开所述第二组红外LED光源组的电源后，固定第二组红外LED光源组且第二红外LED光源组正常工作，并切断第一组红外LED光源组的电源，将所述第一组红外LED光源组移动至所述双目相机的最小测量距离处后，打开所述第一组红外LED光源组的电源。
CN202010683907.8A 2020-07-16 2020-07-16 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统 Active CN111833333B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010683907.8A CN111833333B (zh) 2020-07-16 2020-07-16 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
AU2020101932A AU2020101932A4 (en) 2020-07-16 2020-08-21 Binocular vision–based method and system for pose measurement of cantilever tunneling equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010683907.8A CN111833333B (zh) 2020-07-16 2020-07-16 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统

Publications (2)

Publication Number Publication Date
CN111833333A CN111833333A (zh) 2020-10-27
CN111833333B true CN111833333B (zh) 2023-10-03

Family

ID=72608277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010683907.8A Active CN111833333B (zh) 2020-07-16 2020-07-16 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统

Country Status (2)

Country Link
CN (1) CN111833333B (zh)
AU (1) AU2020101932A4 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288815B (zh) * 2020-11-06 2023-10-17 山东产研信息与人工智能融合研究院有限公司 一种目标模位置测量方法、系统、存储介质及设备
CN112508999B (zh) * 2020-11-20 2024-02-13 西北工业大学深圳研究院 一种基于协作观测图像序列的空间目标运动状态辨识方法
CN112465899A (zh) * 2020-11-25 2021-03-09 国网福建省电力有限公司电力科学研究院 基于双目视觉的导线自动剥皮定位方法
CN112489140B (zh) * 2020-12-15 2024-04-05 北京航天测控技术有限公司 姿态测量方法
CN112819770B (zh) * 2021-01-26 2022-11-22 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及系统
CN113012236B (zh) * 2021-03-31 2022-06-07 武汉理工大学 一种基于交叉式双目视觉引导的机器人智能打磨方法
CN113192122B (zh) * 2021-04-28 2023-07-28 西安电子科技大学 大型装备装配位姿视觉检测过程中的光心提取方法
CN113407030B (zh) * 2021-06-25 2023-08-25 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备和存储介质
CN113688847A (zh) * 2021-08-25 2021-11-23 徐州徐工矿业机械有限公司 一种挖掘机运行模式切换的控制方法、装置和挖掘机
CN113701633A (zh) * 2021-09-06 2021-11-26 安徽深核信息技术有限公司 一种掘进机位姿监测设备
CN113865834B (zh) * 2021-11-23 2023-11-14 中国航空工业集团公司洛阳电光设备研究所 一种飞机光电设备快速调校装置
CN114750147B (zh) * 2022-03-10 2023-11-24 深圳甲壳虫智能有限公司 机器人的空间位姿确定方法、装置和机器人
CN114812558B (zh) * 2022-04-19 2024-03-15 中山大学 一种结合激光测距的单目视觉无人机自主定位方法
CN115112024B (zh) * 2022-05-31 2023-09-26 江苏濠汉信息技术有限公司 线材长度测量过程中纹理定位的算法
CN114942009A (zh) * 2022-06-20 2022-08-26 山东信通电子股份有限公司 一种基于输电线路的隐患预警方法、装置、设备及介质
CN115115707B (zh) * 2022-06-30 2023-10-10 小米汽车科技有限公司 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN115170665B (zh) * 2022-07-08 2023-08-01 北京航空航天大学 一种基于图像的球形物体位姿确定方法及系统
CN115272491A (zh) * 2022-08-12 2022-11-01 哈尔滨工业大学 双目ptz相机动态自标定方法
CN115100267A (zh) * 2022-08-29 2022-09-23 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和系统
CN115205356B (zh) * 2022-09-08 2022-12-30 广州易道智慧信息科技有限公司 一种基于双目立体视觉的实训平台快速调试方法
CN117152274B (zh) * 2023-11-01 2024-02-09 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质
CN117315033B (zh) * 2023-11-29 2024-03-19 上海仙工智能科技有限公司 一种基于神经网络的识别定位方法及系统、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160491A1 (zh) * 2010-06-23 2011-12-29 北京航空航天大学 一种基于摄像机坐标系位置自适应的显微视觉测量方法
CA2950791A1 (en) * 2013-08-19 2015-02-26 State Grid Corporation Of China Binocular visual navigation system and method based on power robot
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN110162036A (zh) * 2019-04-09 2019-08-23 中国矿业大学 一种掘进机自主导航定位系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160491A1 (zh) * 2010-06-23 2011-12-29 北京航空航天大学 一种基于摄像机坐标系位置自适应的显微视觉测量方法
CA2950791A1 (en) * 2013-08-19 2015-02-26 State Grid Corporation Of China Binocular visual navigation system and method based on power robot
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN110162036A (zh) * 2019-04-09 2019-08-23 中国矿业大学 一种掘进机自主导航定位系统及其方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
一种简易的单目视觉位姿测量方法研究;谷凤伟;高宏伟;姜月秋;;光电技术应用(04);全文 *
基于双目立体视觉的目标物定位研究;张曙;华云松;;软件导刊(02);全文 *
基于双目立体视觉的目标物测距研究;杨晨曦;华云松;;软件(01);全文 *
基于机器视觉的掘进机截割头姿态检测系统;刘勇;;煤矿机械(03);全文 *
矿用悬臂式掘进机截割头姿态视觉测量系统;张旭辉;刘永伟;杨文娟;毛清华;王冬曼;周颖;;工矿自动化(08);全文 *

Also Published As

Publication number Publication date
AU2020101932A4 (en) 2020-10-01
CN111833333A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111833333B (zh) 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
Ishikawa et al. Lidar and camera calibration using motions estimated by sensor fusion odometry
CN109544636B (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN108257161B (zh) 基于多相机的车辆环境三维重构和运动估计系统及方法
CN111210477B (zh) 一种运动目标的定位方法及系统
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
CN109648558B (zh) 机器人曲面运动定位方法及其运动定位系统
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN109559355B (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
JP6165745B2 (ja) 車載搭載型のコンピュータ・ベース視覚システムの校正方法
JP2013186816A (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
CN111521195B (zh) 一种智能机器人
CN103886107A (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN112233179B (zh) 一种视觉里程计测量方法
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN114608561B (zh) 一种基于多传感器融合的定位与建图方法及系统
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN113359154A (zh) 一种室内外通用的高精度实时测量方法
CN114638897A (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant