CN112558602B - 基于影像特征的机器人定位的方法 - Google Patents
基于影像特征的机器人定位的方法 Download PDFInfo
- Publication number
- CN112558602B CN112558602B CN202011305833.0A CN202011305833A CN112558602B CN 112558602 B CN112558602 B CN 112558602B CN 202011305833 A CN202011305833 A CN 202011305833A CN 112558602 B CN112558602 B CN 112558602B
- Authority
- CN
- China
- Prior art keywords
- robot
- image
- data
- image data
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001360 synchronised effect Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 50
- 238000012937 correction Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于影像特征的机器人定位方法和系统，该方法运用扩展性卡尔曼滤波器，整合里程编码器信息与向上镜头相机的影像资料，同时借助SURF算法来对影像特征点进行描述匹配，实现机器人的同步定位与建图；通过将同步定位与建图过程中的机器人位置与影像特征点信息存储为资料库，针对机器人定位失败或者重新运行的情况，借助该资料库结果与影像定位方法可定位出机器人位置，从而达到机器人位置复原与路径拼接的目的。此方法能有效解决某些因素导致的定位失效，改善机器人同步定位与建图无法延续的问题，具有广泛的工程应用价值。
Description
技术领域
本发明涉及自动化控制技术领域，具体涉及一种基于影像特征的机器人定位的方法和系统。
背景技术
随着时代与科技的发展，机器人逐渐走进人们的生活，而不再局限于工厂里的生产工具，日常生活中包括扫地、安保、送餐、看护等场合都能看到机器人的身影，而当机器人开始行走时，其导航定位就成为十分重要的课题，进而发展出同步定位与建图技术(SLAM)。
目前SLAM的方法，有的使用范围传感器，有的使用雷达测距仪、红外线测距仪，这些传感器的优点在于精确度比较高且较迅速，但成本较高且范围传感器只能提供一维信息，加上机器人的左右轮，利用里程传感器最多能够提供两维环境信息，或者是利用视觉传感器，相比较与范围传感器，成本比较低廉，且能够获取到三维空间信息，此外还有组合两者的复合传感器，例如kinect；在1991年John J.leonard和Hugh Durrant-Whyt完成了利用扩展性卡尔曼滤波器，结合声呐传感器的运动状态估计，达到了SLAM功能的机器人；2003年开始，A.J.Davision等人提出利用单镜头相机完成同步定位与建图功能，即运用相机在不同位置，取得影像平面上环境特征点坐标的相对变化作为测量向量值；
在特征点选取与匹配的方法，从早期C.Harris与M.Stephens提出的Harris角点与边缘检测，还有由David.G.Lowe提出的SIFT算法与H.Bay提出的SURF算法。在SLAM可行后，开始出现利用影像资料进行机器人路径复原与拼接的研究，在1999年Dellaert,F.等人提出利用蒙特卡洛方法进行机器人路径复原，但此方法使用的前提是必须在已知空间内。
发明内容
本发明的目的是提供一种基于影像特征的机器人定位的方法，利用向上镜头相机作为感测器，能够达到较低成本的同步定位与建图，同时克服传统向前相机定位稳定性差、误差大的问题，而且能够有效解决在机器人运动时，由某些因素造成机器人脱离主要路径，从而导致定位失败；或是因为某些特殊工作需求，使得初始绝对位置与原始路径不同，从而造成同步定位与建图无法延续的问题。
为解决上述问题，本发明的提供了一种基于影像特征的机器人定位的方法，包括：实时采集所述机器人的影像数据和里程编码器测量数据；对影像数据进行镜头形变校正处理，存储镜头形变校正处理后的影像数据于影像数据库和存储里程编码器测量数据。
根据所述机器人的空间坐标转化成影像平面坐标，根据所述影像平面坐标和所述里程编码器测量数据定义所述机器人的运动模型；
根据所述影像数据的影像特征点更新同步定位与建图SLAM数据库。
匹配每次所述SLAM计算的影像特征数据与其前一次SLAM计算的影像特征数据，得到匹配值。根据所述匹配值计算所述机器人下一时刻的位置和旋转角度，得到机器人的移动路径。
根据本发明的一个实施例，所述根据所述影像平面坐标和所述里程编码器测量数据定义所述机器人的运动模型，包括：
根据所述里程编码器测量数据定义所述机器人的左轮速度、右轮速度、中心速度和角速度。
根据所述机器人的影像平面坐标、所述里程编码器测量数据定义所述所述机器人位移向量和位移角度。
根据本发明的一个实施例，所述实时采集所述机器人的影像数据和里程编码器测量数据的时间间隔为Δt。
根据本发明的一个实施例，所述对影像数据进行镜头形变校正处理，包括根据设定的相机模型对影像数据进行镜头形变校正处理。
根据本发明的一个实施例，所述相机模型与相机内部参数、相机外部参数相关；所述相机内部参数与所述相机种类特性相关，所述相机外部参数用于表示空间坐标与影像平面坐标之间关系。
根据本发明的一个实施例，所述根据所述影像数据的影像特征点更新同步定位与建图SLAM数据库，包括：
S301：分别对当下采集的影像数据与影像数据库中的影像数据进行特征提取与匹配，剔除错误匹配数据。
S302：判断当下采集的影像数据与影像数据库中的影像数据中匹配成功的数据是否为新的特征点；所述新的特征点为首次匹配不成功且第二次匹配成功的特征点。
S303：如果所述特征点为新的特征点，则初始化其逆深度参数；更新测量向量值；所述测量向量值与所述特征点的上一时刻的状态变量、里程编码器测量数据相关。
S304：判断所述更新后的测量向量值是否有效，如果所述测量向量值无效则将其删除；如果所述测量向量值有效，则将其机器人位置数据、特征点数据更新到SLAM资料库。
根据本发明的一个实施例，所述S303中所述如果所述特征点为新的特征点，则初始化其逆深度参数，更新测量值，包括：所述新的特征点位置状态利用逆深度参数坐标进行表示。设定特征点的状态表示。根据新的特征点投影影像平面的坐标与实际观察的影像平面特征点坐标更新测量向量值。
根据本发明的一个实施例，在根据所述影像数据的影像特征点更新同步定位与建图SLAM数据库步骤后，还包括判断是否此次影像数据是否为首次更新SLAM数据库，并存储此影像数据更新SLAM数据库的次数。
根据本发明的一个实施例，所述根据所述匹配值计算所述机器人下一时刻的位置和旋转角度，得到机器人的移动路径步骤之后，还包括，将此次更新的路径与此影像数据前几次更新的路径进行相似度比较，根据比较结果得到此次移动路径。
本发明的上述技术方案具有如下有益的技术效果：该方法运用扩展性卡尔曼滤波器，整合里程编码器信息与向上镜头相机的影像资料，同时借助SURF算法来对影像特征点进行描述匹配，实现机器人的同步定位与建图；通过将同步定位与建图过程中的机器人位置与影像特征点信息存储为资料库，针对机器人定位失败或者重新运行的情况，借助该资料库结果与影像定位方法可定位出机器人位置，从而达到机器人位置复原与路径拼接的目的。此方法能有效解决某些因素导致的定位失效，改善机器人同步定位与建图无法延续的问题，具有广泛的工程应用价值。
附图说明
图1是本发明实施例公开的基于影像特征的机器人定位的方法流程图；
图2是本发明实施例公开的SLAM计算子流程图；
图3本发明实施例公开的路径拼接方法流程；
图4是本发明实施例公开的又一基于影像特征的机器人定位的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明公开了一种基于影像特征的机器人定位的方法，如图1所示，包括：
S1：实时采集所述机器人的影像数据和里程编码器测量数据；对影像数据进行镜头形变校正处理，存储镜头形变校正处理后的影像数据于影像数据库和存储里程编码器测量数据。
对影像数据进行镜头形变校正处理，包括根据设定的相机模型对影像数据进行镜头形变校正处理。
所述相机模型与相机内部参数、相机外部参数相关；所述相机内部参数与所述相机种类特性相关，所述相机外部参数用于表示空间坐标与影像平面坐标之间关系。
所述相机模型定义如下：空间中任一点表示为Pi＝[Xi,Yi,Zi,1]，pi＝[ui,vi,1]为空间点P在影像平面的投影点，其中u0、v0分别为影像平面坐标轴原点在u方向与v方向分量，u代表p点中在u方向分量，v代表p点中在v方向分量，如式(1)、式(2)所示。
dx为在u方向每单位像素的大小，dy表示在v方向每单位像素的大小，得到关系式式(3)。
其中，矩阵K即为相机的内部参数，p点在x方向上的分量、p点在y方向上的分量为式(4)、式(5)。
相机外部参数用于表示空间坐标与影像平面坐标之间关系，由3×3旋转矩阵R与3×1平移矩阵t组成，描述相机的位置与姿势为式(6)。
合并相机内外参数表达式即为相机模型为式(7)。
利用相机参数的投影矩阵将特征点投影到影像平面上，其转换关系式为式(8)。
其中，λ为一比例常数，Pi＝[Xi,Yi,Zi,1]为空间中点坐标，pi＝[ui,vi,1]为空间点P在影像平面的投影点如式(9)、式(10)所示。
上述式9、式10通过利用奇异值分解法即可求出投影矩阵H＝[h1,h2,h3]；再利用已知的内部参数求出外部参数矩阵：H＝K[R|t]→[R|t]＝sK-1P，上式中H代表投影矩阵，[R|t]代表外部参数矩阵；公式(8)中s为比例常数，将[R|t]取反即可得到相机坐标相对于世界坐标的旋转以及平移矩阵，而此时的平移矩阵即代表机器人目前的位置，Xcam与Ycam分别代表空间水平与垂直坐标，而旋转矩阵/>代表机器人相机的旋转角度θ，从而完成机器人的定位如下式(11)所示。
S2：根据所述机器人的位置坐标和所述里程编码器测量数据定义所述机器人的运动模型。
根据所述里程编码器测量数据定义所述机器人的左轮速度、右轮速度、中心速度和角速度。根据所述机器人的位置坐标、所述里程编码器测量数据定义所述机器人位移向量和位移角度，如下式所示。
其中，Encoder(L)为左轮里程编码器在时间Δt内的测量值，Encoder(R)为右轮里程编码器在时间Δt内的测量值，D为轮子直径，L为两轮之间的距离，VL为机器人左轮速度，VR为机器人右轮速度，V为机器人中心的速度，ωROB为机器人的角速度；所述时间Δtk为第(k-1)时刻到第k时刻的时间间隔；
假设初始位置为(x0,y0)，(k-1)时刻的下一时刻的机器人位置的坐标，如下式所示：
Sk＝Vk×Δtk (17)
θRCB(k)＝θRCB(k-1)+ωRCB(k)Δtk (18)
其中，(xn，yn)为第n时刻所述机器人的位置坐标。Sn为时间Δtn内的所述机器人位移向量，Sk与θRCB(k)为时间Δtk内的所述机器人位移向量和角度，θRCB(k-1)为时间Δtk-1内的位移角度；所述Δtk-1为第(k-2)时刻到第(k-1)时刻的时间间隔，所述时间Δtk为第(k-1)时刻到第k时刻的时间间隔。
所述实时采集所述机器人的影像数据和里程编码器测量数据的时间间隔为Δt。
S3：根据所述机器人位置信息、影像特征点更新同步定位与建图SLAM数据库，如图2所示，包括：
S301：分别对当下采集的影像数据与影像数据库中的影像数据进行特征提取与匹配，剔除错误匹配数据；
S302：判断当下采集的影像数据与影像数据库中的影像数据中匹配成功的数据是否为新的特征点；所述新的特征点为首次匹配不成功，第二次匹配成功的特征点；
S303：如果所述特征点为新的特征点，则初始化其逆深度参数；更新测量向量值；所述测量向量值与所述特征点的上一时刻的状态变量、里程编码器测量数据相关。
特征点位置状态利用逆深度参数坐标表示法表示为：其中j＝1,2,3,…,n为存在的特征点数目，[xi,yi]T为相机观察到特征点i时刻的相机位置，θi为相机观察特征点的方位角，/>为相机观察特征点的仰角，ρi为特征点沿着光线的距离倒数。
由式(16)、(17)、(18)可推导出机器人的运动表达式为式(19)所示：
Δx(k)＝VkΔt×cos(θ(k))
Δy(k)＝VkΔt×sin(θ(k)) (19)
Δθ(k)＝ωkΔt
其中，xν代表机器人位置状态向量[x,y,θ]T，u代表轮上里程编码器的相对偏移位置，n代表运行过程测量误差。
设定特征点的状态表示，而整体系统状态表示为式(20)：
其中，xv代表机器人位置状态，u为机器人量程编码器测量位移值，n代表测量误差。
利用影像特征点投影到影像平面的坐标与实际观察到的影像平面特征点来进行测量向量值的更新，实际观测到的特征点位置为而投影坐标为式(21)。
其中，(xk,yk)为任一相机位置,为特征点lj第一次观察时的参数，fx、fy、u0、v0为相机参数，θc为相机相对初始状态的逆时针旋转角度。
由于测量状态与估计状态的维度不同，所以必须进行线性化，而线性化过程的Jacobian矩阵H表示为式(22)。
其中，hm代表影像特征点投影坐标，相机xn、yn为相机观察到特征点n时刻的相机位置坐标，θn为相机观察特征点的方位角，为相机观察特征点的仰角，ρn为特征点沿着光线的距离倒数。
利用上述系统状态方程式的时间更新与测量方程式的状态修正，便可以对机器人的位置与姿势进行实时计算。
利用扩展性卡尔曼滤波器同时处理系统的状态方程式与测量方程式，将两个方程式做结合，更新及修正误差，其非线性离散状态方程式及测量方程式为如式(23)、式(24)。
xk＝f(xk-1,uk-1,wk-1) (23)
zk＝h(xk,vk) (24)
其中，xk为在tk时刻的系统状态变量，f为tk时刻的系统状态转移函数，wk为在tk时刻系统噪声，uk为tk时刻的机器人量程编码器测量值；zk为tk时刻的系统测量向量，h为tk时刻的非线性系统测量函数，vk为tk时刻的系统测量噪声。
其线性化表示为，如式(25)、式(26)。
其中，A是f对x偏微的Jacobian矩阵，如式(27)。
H是h对x偏微的Jacobian矩阵，如式(28)。
S304：判断所述更新后的测量值是否有效，如果所述测量向量值无效则将其删除；如果所述测量值有效，则将其机器人位置数据、特征点数据更新到SLAM资料库。
S4：匹配每次所述SLAM计算的影像特征数据与其前一次SLAM计算的影像特征数据，得到匹配值；根据所述匹配值、计算所述机器人下一时刻的位置和旋转角度，得到机器人的移动路径。如图3所示，具体步骤包括：
将机器人最新SLAM计算中每一步的影像特征，与先前SLAM计算资料库中所有的特征数据进行匹配，然后判断匹配数量是否超过指定阈值。
利用匹配成功的特征点进行影像定位，得出对应机器人的位置与旋转角度，进行路径的拼接。
本发明第二方面公开了一种基于影像特征的机器人定位的方法，与第一方面不同之处在于，如图4所示，在所述S3根据所述机器人位置信息、影像特征点更新同步定位与建图SLAM数据库步骤后判断是否为首次更新SLAM数据库，并存储由此影像数据更新SLAM数据库的次数。
所述S4根据所述匹配值计算所述机器人下一时刻的位置和旋转角度，得到机器人的移动路径步骤之后，还包括，将此次更新的路径与此影像数据前几次更新的路径进行相似度比较，根据比较结果得到此次移动路径。其他方法均与第一方面公开的基于影像特征的机器人定位的方法相同或相似，这里不再赘述。
本发明在进行机器人同步定位与成图时，借助向上镜头相机在不同位置取得影像内环境特征点的位置或相对变化，通过运用扩展型卡尔曼滤波器，结合里程编码器与相机影像数据，由机器人运动模型推导出其状态方程式，利用里程编码器的测量数据作为位置的估计值，再借助SURF算法所表达影像特征点在影像平面的差值来进行测量向量值更新，从而可以不断修正特征点的实际位置，达到同步定位与成图的目的，该方法能够有效解决在机器人运动时，由某些因素造成机器人脱离主要路径，从而导致定位失败；或是因为某些特殊工作需求，使得初始绝对位置与原始路径不同，从而造成同步定位与建图无法延续的问题，具有广泛的工程应用价值。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (8)
1.基于影像特征的机器人定位的方法，其特征在于，包括：
实时采集所述机器人的影像数据和里程编码器测量数据；对影像数据进行镜头形变校正处理，存储镜头形变校正处理后的影像数据于影像数据库和存储里程编码器测量数据；
根据所述机器人的空间坐标转化成影像平面坐标，根据所述影像平面坐标和所述里程编码器测量数据定义所述机器人的运动模型；
根据所述影像数据的影像特征点更新同步定位与建图SLAM数据库；
匹配每次所述SLAM计算的影像特征数据与其前一次SLAM计算的影像特征数据，得到匹配值；根据所述匹配值计算所述机器人下一时刻的位置和旋转角度，得到机器人的移动路径；
所述根据所述影像数据的影像特征点更新同步定位与建图SLAM数据库，包括：
S301：分别对当下采集的影像数据与影像数据库中的影像数据进行特征提取与匹配，剔除错误匹配数据；
S302：判断当下采集的影像数据与影像数据库中的影像数据中匹配成功的数据是否为新的特征点；所述新的特征点为首次匹配不成功且第二次匹配成功的特征点；
S303：如果所述特征点为新的特征点，则初始化其逆深度参数；更新测量向量值；所述测量向量值与所述特征点的上一时刻的状态变量、里程编码器测量数据相关；
S304：判断所述更新后的测量向量值是否有效，如果所述测量向量值无效则将其删除；如果所述测量向量值有效，则将其机器人位置数据、特征点数据更新到SLAM资料库。
2.根据权利要求1所述的方法，其特征在于，所述根据所述影像平面坐标和所述里程编码器测量数据定义所述机器人的运动模型，包括：
根据所述里程编码器测量数据定义所述机器人的左轮速度、右轮速度、中心速度和角速度；
根据所述机器人的影像平面坐标、所述里程编码器测量数据定义所述机器人位移向量和位移角度。
3.根据权利要求1所述的方法，其特征在于，所述实时采集所述机器人的影像数据和里程编码器测量数据的时间间隔为Δt。
4.根据权利要求1所述的方法，其特征在于，所述对影像数据进行镜头形变校正处理，包括根据设定的相机模型对影像数据进行镜头形变校正处理。
5.根据权利要求4所述的方法，其特征在于，所述相机模型与相机内部参数、相机外部参数相关；所述相机内部参数与所述相机种类特性相关，所述相机外部参数用于表示空间坐标与影像平面坐标之间关系。
6.根据权利要求1所述的方法，其特征在于，所述S303中所述如果所述特征点为新的特征点，则初始化其逆深度参数，更新测量值，包括：
所述新的特征点位置状态利用逆深度参数坐标进行表示；
设定特征点的状态表示；
根据新的特征点投影影像平面的坐标与实际观察的影像平面特征点坐标更新测量向量值。
7.根据权利要求1所述的方法，其特征在于，在根据所述影像数据的影像特征点更新同步定位与建图SLAM数据库步骤后，还包括判断是否此次影像数据是否为首次更新SLAM数据库，并存储此影像数据更新SLAM数据库的次数。
8.根据权利要求1所述的方法，其特征在于，所述根据所述匹配值计算所述机器人下一时刻的位置和旋转角度，得到机器人的移动路径步骤之后，还包括，将此次更新的路径与此影像数据前几次更新的路径进行相似度比较，根据比较结果得到此次移动路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305833.0A CN112558602B (zh) | 2020-11-19 | 2020-11-19 | 基于影像特征的机器人定位的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305833.0A CN112558602B (zh) | 2020-11-19 | 2020-11-19 | 基于影像特征的机器人定位的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112558602A CN112558602A (zh) | 2021-03-26 |
| CN112558602B true CN112558602B (zh) | 2024-06-14 |
Family
ID=75044017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011305833.0A Active CN112558602B (zh) | 2020-11-19 | 2020-11-19 | 基于影像特征的机器人定位的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112558602B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106871904A (zh) * | 2017-03-02 | 2017-06-20 | 南阳师范学院 | 一种基于机器视觉的移动机器人码盘定位修正方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7145478B2 (en) * | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
| KR100792221B1 (ko) * | 2006-09-29 | 2008-01-07 | 학교법인 포항공과대학교 | 스테레오 비전의 시각 특징점과 초음파 센서의 선 형상의결합을 통한 동시 위치인식 및 지도형성 방법 |
| CN109558879A (zh) * | 2017-09-22 | 2019-04-02 | 华为技术有限公司 | 一种基于点线特征的视觉slam方法和装置 |
| CN107990899B (zh) * | 2017-11-22 | 2020-06-30 | 驭势科技（北京）有限公司 | 一种基于slam的定位方法和系统 |
| CN109671120A (zh) * | 2018-11-08 | 2019-04-23 | 南京华捷艾米软件科技有限公司 | 一种基于轮式编码器的单目slam初始化方法及系统 |
| CN110160543A (zh) * | 2019-04-22 | 2019-08-23 | 广东工业大学 | 实时定位和地图构建的机器人 |
| CN110458863B (zh) * | 2019-06-25 | 2023-12-01 | 广东工业大学 | 一种基于rgbd与编码器融合的动态slam系统 |
| CN110706248B (zh) * | 2019-08-20 | 2024-03-12 | 广东工业大学 | 一种基于slam的视觉感知建图方法及移动机器人 |
-
2020
- 2020-11-19 CN CN202011305833.0A patent/CN112558602B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106871904A (zh) * | 2017-03-02 | 2017-06-20 | 南阳师范学院 | 一种基于机器视觉的移动机器人码盘定位修正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于扩展Kalman滤波器算法的移动机器人同步定位与建图;楼晓春;;中国机械工程(第24期);第2927-2930页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112558602A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111207774B (zh) | 一种用于激光-imu外参标定的方法及系统 | |
| CN111561923B (zh) | 基于多传感器融合的slam制图方法、系统 | |
| CN108827315B (zh) | 基于流形预积分的视觉惯性里程计位姿估计方法及装置 | |
| CN110116407B (zh) | 柔性机器人位姿测量方法及装置 | |
| CN111076733B (zh) | 一种基于视觉与激光slam的机器人室内建图方法及系统 | |
| US9386209B2 (en) | Method and apparatus for estimating position | |
| CN110146099B (zh) | 一种基于深度学习的同步定位与地图构建方法 | |
| CN112254729B (zh) | 一种基于多传感器融合的移动机器人定位方法 | |
| CN111795686A (zh) | 一种移动机器人定位与建图的方法 | |
| CN112183171A (zh) | 一种基于视觉信标建立信标地图方法、装置 | |
| CN116222543B (zh) | 用于机器人环境感知的多传感器融合地图构建方法及系统 | |
| CN110260861A (zh) | 位姿确定方法及装置、里程计 | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| CN115218889A (zh) | 一种基于点线特征融合的多传感器室内定位方法 | |
| CN113503873A (zh) | 一种多传感器融合的视觉定位方法 | |
| CN116258744A (zh) | 基于可见光、红外和激光雷达数据融合的目标跟踪方法 | |
| CN113124854A (zh) | 一种视觉定位方法、以及地图构建方法、装置 | |
| CN117109638B (zh) | 一种在线单舵轮agv参数标定方法、系统、设备及介质 | |
| CN116681733B (zh) | 一种空间非合作目标近距离实时位姿跟踪方法 | |
| CN112558602B (zh) | 基于影像特征的机器人定位的方法 | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及系统 | |
| CN112762929A (zh) | 一种智能导航方法、装置和设备 | |
| Fuchs et al. | Advanced 3-D trailer pose estimation for articulated vehicles | |
| JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
| CN116500595A (zh) | 激光雷达、相机和惯性传感器相互约束的外参标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |