CN112396611B - 一种点线视觉里程计自适应优化方法、装置及存储介质 - Google Patents

一种点线视觉里程计自适应优化方法、装置及存储介质 Download PDF

Info

Publication number
CN112396611B
CN112396611B CN202011162882.3A CN202011162882A CN112396611B CN 112396611 B CN112396611 B CN 112396611B CN 202011162882 A CN202011162882 A CN 202011162882A CN 112396611 B CN112396611 B CN 112396611B
Authority
CN
China
Prior art keywords
area
image
threshold
similarity
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011162882.3A
Other languages
English (en)
Other versions
CN112396611A (zh
Inventor
王强
李博谦
陈骁驰
任子菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202011162882.3A priority Critical patent/CN112396611B/zh
Publication of CN112396611A publication Critical patent/CN112396611A/zh
Application granted granted Critical
Publication of CN112396611B publication Critical patent/CN112396611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种点线视觉里程计自适应优化方法、装置及计算机可读存储介质，所述方法包括以下步骤：获取机器人视野范围的图像，将所述图像进行栅格化，根据栅格化图像的信息熵确定栅格化图像的全局阈值；根据所述全局阈值确定背景区域在整个栅格化图像中的占比，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略；获取参考区域、目标区域的半径及锚点，根据参考区域、目标区域的半径及锚点，确定参考区域与目标区域；获取参考区域与目标区域的相似度，根据所述相似度及背景区域中的特征提取策略进行特征匹配。本发明所述方法，提高了基于特征的视觉里程计的准确性和鲁棒性。

Description

一种点线视觉里程计自适应优化方法、装置及存储介质
技术领域
本发明涉及视觉里程计技术领域，尤其涉及一种点线视觉里程计自适应优化方法、装置及计算机可读存储介质。
背景技术
SLAM(即时定位与建图)的主要工作是确定机器人在空间中的位置并创建环境地图，为路径规划提供所需信息；VO(视觉里程计)可以从环境中获取大量的纹理信息，并且具有出色的场景识别功能，这些优点同样对VO系统的计算能力提出了更高的要求；为了保证建图与定位的实时性和准确性需要在特征选取时需要作出取舍。
基于特征的视觉里程计主要通过提取点特征和线特征进行匹配来生成地图，对于使用不同特征的视觉里程计，其自适应优化的目标和方法是不同的，单一特征的视觉里程计总有其局限性，基于点或线特征的视觉里程计系统在低纹理场景中的整体性能未达到预期的准确性和速度。
与单独使用任何特征类型相比，点和线的融合在低纹理环境中表现更稳定，但是，长时间维持融合特征提取策略将增加计算负担并导致整个效率降低；若以固定频率检测环境中的纹理信息从而选择不同的特征进行匹配，对环境具有一定的自适应能力，但环境判断阈值是通过固定场景下的实验获得的经验值，只能适用于目标场景，在纹理环境发生变换的场景下，有较大几率使用不恰当的特征进行匹配，当机器人运动至在低纹理环境中时，若仅提取点特征会导致匹配失败；因此，现有技术中基于特征的视觉里程计会存在准确性和鲁棒性较低的问题。有效地组合那些所需的特征属性并在合适的环境中使用它们将提高里程计的准确性和鲁棒性。
发明内容
有鉴于此，有必要提供一种点线视觉里程计自适应优化方法、装置及计算机可读存储介质，用以解决现有基于特征的视觉里程计存在的准确性和鲁棒性较低的问题。
本发明提供一种点线视觉里程计自适应优化方法，包括以下步骤：
获取机器人视野范围的图像，将所述图像进行栅格化，根据栅格化图像的信息熵确定栅格化图像的全局阈值；
根据所述全局阈值确定背景区域在整个栅格化图像中的占比，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略；
获取参考区域、目标区域的半径及锚点，根据参考区域、目标区域的半径及锚点，确定参考区域与目标区域；
获取参考区域与目标区域的相似度，根据所述相似度及背景区域中的特征提取策略进行特征匹配。
进一步地，根据栅格化图像的信息熵确定栅格化图像的全局阈值，具体包括，设置分割阈值，用分割阈值将灰度范围分为两个区间，在灰度差梯度图的灰度范围内遍历每个分割阈值，计算两个区间对应的熵值，获取两个区间对应熵值之和的最大值，以所述熵值之和的最大值相应灰度级作为全局阈值。
进一步地，用分割阈值将灰度范围分为两个区间，在灰度差梯度图的灰度范围内遍历每个分割阈值，计算两个区间对应的熵值，具体包括，用分割阈值t将灰度范围[0，L]划分为[0，t]、[t+1，L]两个区间，计算两个区间对应的熵值分别为
其中，Pi为每个灰度级所对应的频率，
进一步地，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略，具体包括，当所述背景区域在整个栅格化图像中的占比大于最大设定阈值ε时，则机器人进入低纹理环境，提取点、线特征，当所述背景区域在整个栅格化图像中的占比小于或等于最大设定阈值ε，且大于或等于最小设定阈值ρ，则提取点特征，否则不提取特征。
进一步地，获取参考区域、目标区域的半径，具体包括，当在摄像机有效距离上有深度值时，则参考区域、目标区域的半径为r＝m1L1，当在摄像机有效距离上没有深度值时，则参考区域、目标区域的半径为r＝ m1L0，m1为安全阈值，L1是摄像机在机器人运动方向的最大深度值，L0为最大检测距离。
进一步地，获取参考区域、目标区域的锚点，具体包括，以暴力匹配在参考区域、目标区域中建立点之间的关联，以获得控制点，将控制点在二维图像中的坐标转换为摄像机坐标系中三维坐标，若根据三维坐标控制点的重心数据能分解得到旋转转矩，确定对应控制点是锚点，否则对应控制不是锚点。
进一步地，获取参考区域与目标区域的相似度，具体包括，利用相似度计算公式获取参考区域与目标区域的相似度，所述相似度计算公式为
其中，I(i,j)是输入区域，i和j是该区域的位置索引，ds＝2r/s 是输入区域的尺寸，s是图像的分辨率，如果目标区域中的点U0(i,j) 和参考区域中的点R0′(i,j)都被占用，则G(i,j)＝1，否则G(i,j)＝0，若 I(i,j)被占用，则H(I,i,j)＝1，否则H(I,i,j)＝0，I为U0或R0′。
进一步地，根据所述相似度及背景区域中的特征提取策略进行特征匹配，具体包括，若所述相似度达到设定相似度阈值时，则以所述特征提取策略提取特征，以提取的特征进行特征匹配。
本发明还提供一种点线视觉里程计自适应优化装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述任一技术方案所述的点线视觉里程计自适应优化方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如上述任一技术方案所述的点线视觉里程计自适应优化方法。
与现有技术相比，本发明的有益效果包括：通过获取机器人视野范围的图像，将所述图像进行栅格化，根据栅格化图像的信息熵确定栅格化图像的全局阈值；根据所述全局阈值确定背景区域在整个栅格化图像中的占比，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略；获取参考区域、目标区域的半径及锚点，根据参考区域、目标区域的半径及锚点，确定参考区域与目标区域；获取参考区域与目标区域的相似度，根据所述相似度及背景区域中的特征提取策略进行特征匹配；提高了基于特征的视觉里程计的准确性和鲁棒性。
附图说明
图1为本发明提供的点线视觉里程计自适应优化方法的流程示意图；
图2为本发明提供的机器人测距过程示意图；
图3为本发明提供的机器人搜索和匹配过程示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明实施例提供了一种点线视觉里程计自适应优化方法，所述方法的流程示意图，如图1所示，其方法包括以下步骤：
S1、获取机器人视野范围的图像，将所述图像进行栅格化，根据栅格化图像的信息熵确定栅格化图像的全局阈值；
S2、根据所述全局阈值确定背景区域在整个栅格化图像中的占比，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略；
S3、获取参考区域、目标区域的半径及锚点，根据参考区域、目标区域的半径及锚点，确定参考区域与目标区域；
S4、获取参考区域与目标区域的相似度，根据所述相似度及背景区域中的特征提取策略，获取最优的特征匹配策略。
一个具体实施例中，将输入图像栅格化栅格数量为I，在信息熵处理之后，计算出低纹理栅格的数量i和低纹理栅格所占比例；当低纹理栅格的比率达到x(经验值)时，则认为机器人已进入低纹理环境；选择使用点线融合特征进行匹配(否则使用点特征)并记录所选用的匹配特征；为了给图像配准过程提供足够的参照信息，当处理帧数f>n时，进入图像配准过程；在机器人通过深度信息获得机器人的视野范围，判断行进路线是否存在障碍物，计算出不改变运动状态的情况下最大行驶距离和所需采集图像的帧数；在已生成地图中搜索参考区域，当目标区域和参考区域之间的相似度达到阈值时，将先前记录的特征提取类型与先前计算出的帧数信息结合使用，以获得最优的特征匹配策略；
优选的，根据栅格化图像的信息熵确定栅格化图像的全局阈值，具体包括，设置分割阈值，用分割阈值将灰度范围分为两个区间，在灰度差梯度图的灰度范围内遍历每个分割阈值，计算两个区间对应的熵值，获取两个区间对应熵值之和的最大值，以所述熵值之和的最大值相应灰度级作为全局阈值；
需要说明的是，在OV的匹配过程中，为同时保证系统精度及实时性需求，需要选择位置歧义低鲁棒性强的特征进行提取；
为获得自适应的环境判断阈值以及能有效表征图像的特征点，利用信息熵的定义，对特征进行环境自适应特征提取；
优选的，用分割阈值将灰度范围分为两个区间，在灰度差梯度图的灰度范围内遍历每个分割阈值，计算两个区间对应的熵值，具体包括，用分割阈值t将灰度范围[0，L]划分为[0，t]、[t+1，L]两个区间，计算两个区间对应的熵值分别为
其中，Pi为每个灰度级所对应的频率，
一个具体实施例中，设置分割阈值t将灰度范围为[0，L]划分为[0， t]和[t+1，L]两个区间，以来获取包含信息熵最大的目标区域。S1和S2分别是[0，t]和[t+1，L]所对应的灰度频率分布。即：
S1＝{p1,p2,p3,...,pt}，
S2＝{pt+1,pt+2,pt+3,...,pL}
其中，pi是每个灰度级所对应的频率，使则S1和S2所对应的熵值E1、E2分别为
E(t)＝E1(t)+E2(t)
当E达到最大值时，表明通过与灰度级相对应的分割阈值t可以很好地区分图像的目标区域和背景区域；
在灰度差梯度图的灰度范围内遍历每个t，并且计算两个部分区间的熵值，在熵值上具有最大值的相应灰度级即最佳阈值T；
T＝arg maxE(t)
t为灰度级数，E(t)为图像目标区域与背景区域熵的和；
优选的，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略，具体包括，当所述背景区域在整个栅格化图像中的占比大于最大设定阈值ε(例如70％)时，则机器人进入低纹理环境，提取点、线特征，当所述背景区域在整个栅格化图像中的占比小于或等于最大设定阈值ε，且大于或等于最小设定阈值ρ(例如10％)，则提取点特征，否则不提取特征；
一个具体实施例中，用最佳阈值T作为全局阈值来计算图像分割后背景区域的百分比，当背景区域占栅格总数一定比例ε时，则认为机器人进入了低纹理环境；
图像中缺乏纹理或结构信息会使得点特征不足导致相邻帧特征匹配失败，此时需要对点特征及线特征进行提取；背景区域是信息熵较少的区域，即该区域对图像匹配的贡献很小；通过对图像栅格进行信息特征统计，当低纹理栅格数量小于一定比率ρ时，低纹理区域将不参与特征匹配；当低纹理栅格比例在二者之间时，仅使用点特征可以很好的完成相邻帧的匹配过程；本实施例方案在动态的选择阈值的同时，对图像信息进行了一定的优化，改善了OV系统对环境亮度的敏感性；
优选的，获取参考区域、目标区域的半径，具体包括，当在摄像机有效距离上有深度值时，则参考区域、目标区域的半径为r＝m1L1，当在摄像机有效距离上没有深度值时，则参考区域、目标区域的半径为r＝ m1L0，m1为安全阈值，L1是摄像机在机器人运动方向的最大深度值，L0为最大检测距离；
一个具体实施例中，为了实现机器人对未通过区域的环境预判，使用视野范围内的图像信息与已生成地图进行图像配准；首先，计算机器人视野范围的可用距离；
当固定摄像头运动时，利用机器人移动方向与摄像头指向的一致性，可知其移动方向即摄像头坐标系中的z轴方向；当该方向深度数据未能达到最大值时证明在机器人运动方向上存在障碍物；因此，在z轴方向上的值L1可以作为下一个连续运动的最大距离；为了保证机器人不发生碰撞设置一个安全阈值m1；使得r＝m1L1，其中r就是机器人在碰到障碍物前的运动距离；当在摄像机有效距离上没有深度值时，该机器人在r ＝m1L0范围内预测环境稳定性最好；机器人测距过程示意图，如图2所示，c是相机的光学中心，L1是从机器人运动方向的最大深度值，Kinect 相机的最大检测距离为L0；
然后，搜索相似的结构，搜索的目的是找到包含特殊结构的区域，这些区域为下一步相似性计算提供了素材，使用暴力匹配在两个图像中建立点之间的关联以获得控制点，使用ORB算法在预判范围(目标区域) 中提取点特征；特征提取的数量通常与环境的大小成正比，且人工环境中的场景通常是连续的，为减少计算难度，通过设置固定的搜索范围以获得次优的解决方案，机器人搜索和匹配过程示意图，如图3所示；
优选的，获取参考区域、目标区域的锚点，具体包括，以暴力匹配在参考区域、目标区域中建立点之间的关联，以获得控制点，将控制点在二维图像中的坐标转换为摄像机坐标系中三维坐标，若根据三维坐标控制点的重心数据能分解得到旋转转矩，确定对应控制点是锚点，否则对应控制不是锚点；
一个具体实施例中，设2D图像中的特征点的坐标为q＝[u，v]T，而摄像机坐标系中的3D坐标的控制点为p＝[x，y，z]Tq和p之间的转换关系由下面的公式确定
其中，d是与深度图像中2D点相对应的距离信息，而K是摄像机的内部参数矩阵；然后，计算出控制点之间的矩阵关系；通过以下公式计算重心向原点平移的数据；
其中p0和p0'是pi和pi'的重心；令 计算矩阵X0Y0 T并使用SVD分解获得旋转矩阵R。使用公式p0′＝Rp0+t得到平移向量t:
t＝p0′-Rp0
之后使用同构坐标变换矩阵进行对齐，得到转换矩阵Ψ：
利用转换矩阵Ψ和一对控制点来为相似的测量提供一个可能的参考值Ro'；如果没有形成相应的转换矩阵，将不会开始配准过程，以防止不必要的搜索过程；
优选的，获取参考区域与目标区域的相似度，具体包括，利用相似度计算公式获取参考区域与目标区域的相似度，所述相似度计算公式为
其中，I(i,j)是输入区域，i和j是该区域的位置索引，ds＝2r/s 是输入区域的尺寸，s是图像的分辨率，如果目标区域中的点U0(i,j) 和参考区域中的点R0′(i,j)都被占用，则G(i,j)＝1，否则G(i,j)＝0，若 I(i,j)被占用，则H(I,i,j)＝1，否则H(I,i,j)＝0，I为U0或R0′；
一个具体实施例中，在获得可能的参考区域之后需要计算参考区域Ro’与目标区域Uo的相似度；为了避免过多的空白栅格造成所有区域都具有较高相似性的结果，使用过滤器G(*)和H(*)将空白栅格筛除，仅使用与环境匹配的已占用栅格来计算；
优选的，根据所述相似度及背景区域中的特征提取策略进行特征匹配，具体包括，若所述相似度达到设定相似度阈值时，则以所述特征提取策略提取特征，以提取的特征进行特征匹配；
需要说明的是，初始化过程中，即素材积累阶段，会对每帧图像进行处理识别，并记录所在区域使用的特征提取策略；当积累足够素材后，进入第二阶段，该阶段会对未通过区域进行预测，在预测范围内，提取并使用初始化阶段生成地图中相似区域的策略；并结合相机运动状态，计算出通过该区域所需帧数；对未通过区域的特征提取选择及该特征匹配执行帧数进行提前决策，减少了计算负担和匹配失败的可能性。
一个具体实施例中，将机器人的移动速度设置为固定值V，结合机器人的视线信息，可以轻松地计算出机器人在类似情况下进行最优特征匹配的持续时间，并以帧的形式表示(计算机以每秒3 0帧的速度进行计算)：
t＝30r/v
为了使系统具有较好地鲁棒性，需要使得目标区域与参考区域的相似性Y达到阈值才会进行下一步工作；
如果参照区域的相似性未能达到阈值，则终止预测过程，直到确定下一个目标，在满足相似的情况下，就形成了包括特征选择和运行时长在内的特征提取策略；需要注意的是，机器人急转弯进入新的未探测区域时，环境不再具有连续性；这将导致不正确的预测并引起额外的误差，因此，当旋转角度大于90°时，将不再使用预测模块并重新对其进行初始化。
实施例2
本发明实施例提供了一种点线视觉里程计自适应优化装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如实施例1所述的点线视觉里程计自适应优化方法
实施例3
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如实施例1所述的点线视觉里程计自适应优化方法。
本发明公开了一种点线视觉里程计自适应优化方法、装置及计算机可读存储介质，通过获取机器人视野范围的图像，将所述图像进行栅格化，根据栅格化图像的信息熵确定栅格化图像的全局阈值；根据所述全局阈值确定背景区域在整个栅格化图像中的占比，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略；获取参考区域、目标区域的半径及锚点，根据参考区域、目标区域的半径及锚点，确定参考区域与目标区域；获取参考区域与目标区域的相似度，根据所述相似度及背景区域中的特征提取策略进行特征匹配；提高了基于特征的视觉里程计的准确性和鲁棒性；
本发明技术方案通过信息熵使得阈值可以根据环境自调节，从而做到在多种场景下拥有较高的稳定性；利用机器人视野的信息对机器人尚未通过环境进行了感知和预测，并以预测信息帮助机器人在进行SLAM 过程中进行决策，使每次算法选用后的维持时间不再是一个预先设定值，避免了由于过长时间使用线特征造成的计算资源浪费，以及在低纹理环境中长时间使用点特征导致匹配失败；实现了机器人在多种干扰或复杂环境下能够自适应调整且拥有良好的鲁棒性；
将本发明技术方案应用于机器人决策过程，使机器人的定位精度与建图效率进行了提升，为机器人进一步进行复杂的工作打下了良好的基础；将本发明技术方案集成于自适应控制器，该控制器包含环境阈值自适应与环境预判两部分，使视觉slam的自适应能力不仅局限于特征的自动选取，其对不同特征提取策略的维持时长也能够根据环境进行自动调整。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种点线视觉里程计自适应优化方法，其特征在于，包括以下步骤：
获取机器人视野范围的图像，将所述图像进行栅格化，根据栅格化
图像的信息熵确定栅格化图像的全局阈值；
根据所述全局阈值确定背景区域在整个栅格化图像中的占比，根据
所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略；
获取参考区域、目标区域的半径及锚点，根据参考区域、目标区域的半径及锚点，确定参考区域与目标区域；
获取参考区域与目标区域的相似度，根据所述相似度及背景区域中的特征提取策略进行特征匹配；
根据栅格化图像的信息熵确定栅格化图像的全局阈值，具体包括，设置分割阈值，用分割阈值将灰度范围分为两个区间，在灰度差梯度图的灰度范围内遍历每个分割阈值，计算两个区间对应的熵值，获取两个区间对应熵值之和的最大值，以所述熵值之和的最大值相应灰度级作为全局阈值；
用分割阈值将灰度范围分为两个区间，在灰度差梯度图的灰度范围内遍历每个分割阈值，计算两个区间对应的熵值，具体包括，用分割阈值t将灰度范围[0，L]划分为[0，t]、[t +1，L]两个区间，计算两个区间对应的熵值分别为
其中，为每个灰度级所对应的频率，/>。
2.根据权利要求1所述的点线视觉里程计自适应优化方法，其特征在于，根据所述背景区域在整个栅格化图像中的占比确定背景区域中的特征提取策略，具体包括，当所述背景区域在整个栅格化图像中的占比大于最大设定阈值时，则机器人进入低纹理环境，提取点、线特征，当所述背景区域在整个栅格化图像中的占比小于或等于最大设定阈值/>，且大于或等于最小设定阈值ρ，则提取点特征，否则不提取特征。
3.根据权利要求1所述的点线视觉里程计自适应优化方法，其特征在于，获取参考区域、目标区域的半径，具体包括，当在摄像机有效距离上有深度值时，则参考区域、目标区域的半径为r = m 1 L 1，当在摄像机有效距离上没有深度值时，则参考区域、目标区域的半径为r = m 1 L 0，m 1为安全阈值，L 1是摄像机在机器人运动方向的最大深度值，L 0为最大检测距离。
4.根据权利要求1所述的点线视觉里程计自适应优化方法，其特征在于，获取参考区域、目标区域的锚点，具体包括，以暴力匹配在参考区域、目标区域中建立点之间的关联，以获得控制点，将控制点在二维图像中的坐标转换为摄像机坐标系中三维坐标，若根据三维坐标控制点的重心数据能分解得到旋转转矩，确定对应控制点是锚点，否则对应控制不是锚点。
5.根据权利要求1所述的点线视觉里程计自适应优化方法，其特征在于，获取参考区域与目标区域的相似度，具体包括，利用相似度计算公式获取参考区域与目标区域的相似度，所述相似度计算公式为
其中，是输入区域，i和j是该区域的位置索引，ds=2r/s是输入区域的尺寸，s是图像的分辨率，如果目标区域中的点/>和参考区域中的点/>都被占用，则/>=1，否则/>=0，若/>被占用，则/>=1，否则/>=0，/>为/>或/>。
6.根据权利要求1所述的点线视觉里程计自适应优化方法，其特征在于，根据所述相似度及背景区域中的特征提取策略进行特征匹配，具体包括，若所述相似度达到设定相似度阈值时，则以所述特征提取策略提取特征，以提取的特征进行特征匹配。
7.一种点线视觉里程计自适应优化装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-6任一所述的点线视觉里程计自适应优化方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-6任一所述的点线视觉里程计自适应优化方法。
CN202011162882.3A 2020-10-27 2020-10-27 一种点线视觉里程计自适应优化方法、装置及存储介质 Active CN112396611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011162882.3A CN112396611B (zh) 2020-10-27 2020-10-27 一种点线视觉里程计自适应优化方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011162882.3A CN112396611B (zh) 2020-10-27 2020-10-27 一种点线视觉里程计自适应优化方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112396611A CN112396611A (zh) 2021-02-23
CN112396611B true CN112396611B (zh) 2024-02-13

Family

ID=74596742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011162882.3A Active CN112396611B (zh) 2020-10-27 2020-10-27 一种点线视觉里程计自适应优化方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112396611B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN106227212A (zh) * 2016-08-12 2016-12-14 天津大学 基于栅格地图和动态校准的精度可控室内导航系统及方法
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN111523419A (zh) * 2020-04-13 2020-08-11 北京巨视科技有限公司 一种机动车尾气排放视频检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
CN106227212A (zh) * 2016-08-12 2016-12-14 天津大学 基于栅格地图和动态校准的精度可控室内导航系统及方法
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN111523419A (zh) * 2020-04-13 2020-08-11 北京巨视科技有限公司 一种机动车尾气排放视频检测方法和装置

Also Published As

Publication number Publication date
CN112396611A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN108550318B (zh) 一种构建地图的方法及装置
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
CN113409410B (zh) 一种基于3d激光雷达的多特征融合igv定位与建图方法
Kümmerle et al. Large scale graph-based SLAM using aerial images as prior information
CN113483747B (zh) 基于具有墙角信息的语义地图改进amcl定位方法及机器人
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
EP3070430B1 (en) Moving body position estimation device and moving body position estimation method
CN108876861B (zh) 一种地外天体巡视器的立体匹配方法
CN112880694B (zh) 确定车辆的位置的方法
CN112115980A (zh) 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
CN113916243A (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN112287824A (zh) 基于双目视觉的三维目标检测方法、装置及系统
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost
CN108550134B (zh) 建图效果指标的确定方法和建图效果指标的确定装置
CN111292369A (zh) 激光雷达的伪点云数据生成方法
US11992950B2 (en) Mobile robot control apparatus for three dimensional modeling, three dimensional modeling system having the same and method of three dimensional modeling using the same
CN110989619A (zh) 用于定位对象的方法、装置、设备和存储介质
CN116105721B (zh) 地图构建的回环优化方法、装置、设备及存储介质
CN116203972B (zh) 一种未知环境探索路径规划方法、系统、设备及介质
CN110864670B (zh) 目标障碍物位置的获取方法和系统
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN112396611B (zh) 一种点线视觉里程计自适应优化方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant