CN109448045A - 基于slam的平面多边形物体测量方法及机器可读存储介质 - Google Patents

基于slam的平面多边形物体测量方法及机器可读存储介质 Download PDF

Info

Publication number
CN109448045A
CN109448045A CN201811240748.3A CN201811240748A CN109448045A CN 109448045 A CN109448045 A CN 109448045A CN 201811240748 A CN201811240748 A CN 201811240748A CN 109448045 A CN109448045 A CN 109448045A
Authority
CN
China
Prior art keywords
image
slam
vertex
measuring method
polygon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811240748.3A
Other languages
English (en)
Other versions
CN109448045B (zh
Inventor
耿志远
黄骏
周晓军
杜逢博
李骊
王行
盛赞
李朔
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201811240748.3A priority Critical patent/CN109448045B/zh
Publication of CN109448045A publication Critical patent/CN109448045A/zh
Application granted granted Critical
Publication of CN109448045B publication Critical patent/CN109448045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于SLAM的平面多边形物体测量方法及机器可读存储介质，利用V‑SLAM提供的位姿信息和深度信息，结合视频帧图像的轮廓信息将顶点映射到世界坐标系中，从而计算出平面多边形物体的长度及面积，实现在线实时测量，更适用于移动终端，可用于移动终端的增强现实及虚拟建模中，能够为用户带来更好的AR体验，更加方便人们在日常生活中对测量的需求。并且，还能够运用三角化方法提高深度信息的鲁棒性，且两种轮廓提取方式且引入迭代的方法获得更广的适用范围，满足不同光照场景下图片的检测需求，并且测量精度高、测量结果准确。

Description

基于SLAM的平面多边形物体测量方法及机器可读存储介质
技术领域
本发明涉及摄影测量术，尤其是一种基于SLAM的平面多边形物体测量方法及机器可读存储介质。
背景技术
SLAM(simultaneous localization and mapping，同时定位与地图构建)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。SFM(Structure from Motion)技术是由图像生成三维点云以及相机姿态，早期一般是离线处理的，后来随着技术的发展出现实时的SFM技术，可以归于SLAM的范围。V-SLAM技术根据拍摄的视频信息推断出摄像头在未知环境中的方位，并同时构建环境地图，其基本原理为多视图几何原理。V-SLAM的目标为同时恢复出每帧图像对应的相机运动参数C1...Cm，以及场景三维结构X1...Xn；其中每个相机运动参数Ci包含了相机的位置和朝向信息，通常表达为一个3×3的旋转矩阵Ri和一个三维位置变量Pi。
在生产和生活中，经常需要对现实中的物体进行长度、面积的测量，而携带专业的测量工具进行手动测量的方式依赖工具且方法陈旧繁琐、效率也低下。在现有的技术中，有在SLAM基础上引入AR技术对物体进行测量的技术，例如用户人为控制摄像头采集待测物体的图像，进入测量模式后，图像静止，用户需手动选择待测点，处理后显示待测点之间的距离。这种AR测量方法是一种离线操作，耗时久、用户体验不佳，且不包含面积的计算，遇到需要测量多边形物体的面积时还需要用户根据待测点间粗略的边长信息自行计算，费时费力，误差也大。
中国专利申请CN108020135A公开了“一种平面四边形尺寸自动测量方法”，该方法利用平面直角坐标系为基础，通过无接触的四边形边缘检测点分别在四边形的四条边上各检测两个点的坐标，利用常规几何方法通过已知的两点计算出四边的直线方程，再通过四边的直线方程算出四边形四个顶点的坐标，通过四个顶点坐标和四边的方程计算出四边形的边长、夹角角度和四边形面积等尺寸参数。该测量方法具有以下不足：该专利一方面检测四边形顶点的流程较复杂，不利于实时测量，另一方面该方法忽略了尺度的问题，必须让相机在固定位置拍摄，然后按照一定的比例才能计算物体的实际测量值，耗时久、误差大、对使用环境要求高，因此使用面较窄。
发明内容
发明目的：针对上述现有技术存在的缺陷，本发明旨在提供一种基于SLAM的平面多边形物体测量方法及机器可读存储介质。
技术方案：一种基于SLAM的平面多边形物体测量方法，包括如下步骤：
(1)获取实时视频图像，选取待检测的一帧图像；
(2)对图像进行预处理；
(3)在预处理后的图像中提取出图像轮廓，对锚点所在的轮廓进行多边形逼近；
(4)获取多边形各顶点在图像坐标系中的坐标；
(5)将各顶点在图像坐标系中的坐标转化为在相机坐标系中的坐标；
(6)根据相机SLAM提供的位姿将各顶点在相机坐标系中的坐标转化为在世界坐标系中的坐标；
(7)根据各顶点在世界坐标系中的坐标计算多边形的各边长和/或面积；
(8)输出计算结果，结束。
为了去除噪声和光照对图像轮廓的影响，进一步的，步骤(2)的预处理具体包括：
(2.1)将图像转化为灰度图；
(2.2)对灰度图进行中值滤波去噪处理；
(2.3)使用大尺寸核矩阵模糊化估计背景；
(2.4)用图像差分的方法去除估计出的背景。
为了获得更优的轮廓，进一步的，步骤(3)具体包括：
(3.a1)采用canny边缘检测算子检测图像的边缘；
(3.a2)采用形态学闭运算填充边缘间隙；
(3.a3)提取图像轮廓；
(3.a4)确定锚点所在轮廓，对锚点所在轮廓进行多边形逼近。
为了对不同光照条件的图像都准确识别轮廓，进一步的，步骤(3.a1)-(3.a3)具体是采用canny边缘检测算子的低阈值迭代方式检测，即：设定canny边缘检测算子低阈值迭代的起始阈值、终止阈值和迭代步长，对步骤(3.a1)-(3.a3)进行迭代循环；
在提取到图像轮廓后终止循环，执行步骤(3.a4)；
为了防止canny边缘检测算子检测效果不佳，进一步的，步骤(3.a1)-(3.a3)进行的迭代循环，在迭代满足终止条件时若仍未提取到边缘，则进行如下步骤：
(3.b1)采用自适应阈值化识别图像的边缘；
(3.b2)采用形态学闭运算填充边缘间隙；
(3.b3)提取图像轮廓；
(3.b4)确定锚点所在轮廓，对锚点所在轮廓进行多边形逼近。
为了确定检测轮廓与待测多边形特征相符，提高输出结果准确度，进一步的，在步骤(1)之前，设定待检测多边形的顶点个数值或者顶点个数范围；
在步骤(3.a4)进行多边形逼近后进行顶点判断，即：
若在步骤(1)之前设定了待检测多边形的顶点个数值，则判断顶点的个数是否与设定的顶点个数值一致；
若在步骤(1)之前未设定待检测多边形的顶点个数值，则判断顶点的个数是否落入设定的顶点个数范围；
判断结果若为是，则执行步骤(4)；判断结果若为否，则执行步骤(3.b1)。
为了满足多种光照条件下的图片检测需求，提高阈值化效果准确度，进一步的，步骤(3.b1)-(3.b3)具体是采用自适应阈值化窗口尺寸迭代式识别检测图像的边缘，即：设定自适应阈值化的窗口尺寸迭代的起始尺寸、终止尺寸和迭代步长，对步骤(3.b1)-(3.b3)进行迭代循环；
在提取到图像轮廓后终止循环，执行步骤(3.b4)。
为了过滤掉错误检测结果，进一步的，在步骤(3.b4)多边形逼近后对该多边形进行顶点判断：
若在步骤(1)之前设定了待检测多边形的顶点个数值，则判断顶点的个数是否与设定的顶点个数值一致；
若在步骤(1)之前未设定待检测多边形的顶点个数值，则判断顶点的个数是否落入设定的顶点个数范围；
判断结果若为是，则执行步骤(4)；判断结果若为否，则选取下一帧图像并返回执行步骤(2)，若所有帧都检测完毕顶点判断结果均为否，则直接结束。
进一步的，在步骤(3.b4)所述顶点判断后还进行凸形判断，判断该多边形轮廓是否为凸形，若顶点判断及凸形判断结果均为是，则执行步骤(4)，否则选取下一帧图像并返回执行步骤(2)，若所有帧都检测完毕均不符合，则直接结束。
为了便于识别，进一步的，步骤(3)中所述锚点为图像中心点。
进一步的，所述步骤(5)中将图像坐标系中的位置坐标转化为相机坐标系中的坐标具体是根据相机内参和各个顶点在图像中的深度信息进行计算。
进一步的，步骤(5)中将图像坐标系中的位置坐标转化为相机坐标系中的坐标具体是：选取另一帧图像作为参考图像，对参考图像执行步骤(2)-(4)后，利用待检测图像与参考图像中相同顶点由于相机拍摄角度变化而产生的坐标变化，通过三角化计算出待检测图像中各顶点的深度信息，再结合相机内参进行计算。
进一步的，根据相机SLAM提供的位姿计算具体为：相机SLAM提供的位姿P取逆后与相机坐标系中的坐标的向量积即为世界坐标系中的坐标。
进一步的，步骤(7)具体是根据各顶点在世界坐标系中的坐标用欧氏距离方法计算各边长；将多边形分割为多个三角形，用海伦公式计算各三角形面积再求和即为多边形面积。
一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于SLAM的平面多边形物体测量方法。
有益效果：本发明利用V-SLAM提供的位姿信息和深度信息，结合视频帧图像的轮廓信息将顶点映射到世界坐标系中，从而计算出平面多边形物体的长度及面积，实现在线实时测量，更适用于移动终端，可用于移动终端的增强现实及虚拟建模中，能够为用户带来更好的AR体验，更加方便人们在日常生活中对测量的需求。并且，还能够运用三角化方法提高深度信息的鲁棒性，且两种轮廓提取方式且引入迭代的方法获得更广的适用范围，满足不同光照场景下图片的检测需求，并且测量精度高、测量结果准确。
附图说明
图1为本发明预处理流程示意图；
图2为本发明确定顶点位置流程示意图；
图3为本发明测量值计算流程示意图。
具体实施方式
下面通过实施例结合附图对本技术方案进行详细说明。
实施例1：
一种基于SLAM的平面多边形物体测量方法，V-SLAM是通过拍摄的视频信息计算出摄像头在未知环境中的方位，同时构建环境地图。在实时的视频信息中若要对平面多边形物体进行测量，首先要对其进行识别，提取出多边形的顶点位置信息，具体包括如下步骤：
本实施例在初始化时，首先设定待检测多边形的顶点个数值或者顶点个数范围，本实施例中设定的顶点个数范围为3-6个，此范围能够满足生活中大多数测量需求，并且通过限定范围能够过滤掉接下来进行轮廓提取后轮廓提取不准确顶点过多的情况；若只对某种多边形有检测需求(如三角形、或者四边形)也可直接设定检测多边形的顶点个数值。
一、图像预处理
(1)获取实时视频图像，选取待检测的一帧图像；本实施例中获取的视频图像是由深度相机拍摄的深度图像。
(2)对图像进行预处理，如图1所示，预处理具体包括：
(2.1)将图像转化为灰度图，去除噪声对轮廓的影响；
(2.2)对灰度图进行中值滤波去噪处理；
(2.3)使用大尺寸核矩阵模糊化估计背景；
(2.4)用图像差分的方法去除估计出的背景，去除光照对轮廓的影响。
二、顶点位置确定
(3)在预处理后的图像中提取出图像轮廓，本实施例采用边缘提取迭代式识别与自适应阈值迭代式识别相结合的方法，若自适应阈值迭代式识别找到了符合的轮廓，则跳过自适应阈值迭代式识别，提取出图像轮廓后再对锚点所在的轮廓进行多边形逼近，具体包括：
(3.a1)采用canny边缘检测算子检测图像的边缘；canny边缘检测算子采用双阈值技术，即设定一个高阈值(即阈值上界)和低阈值(即阈值下界)，图像中的像素点如果大于阈值上界则认为必然是边界(称为强边界，strong edge)，小于阈值下界则认为必然不是边界，两者之间的则认为是候选项(称为弱边界，weak edge)，需进行进一步处理。低阈值越小，提取的边缘就越精细，获得不同边缘程度的阈值图像。
(3.a2)采用形态学闭运算填充边缘间隙，更有效的表征出完整轮廓；
(3.a3)提取图像轮廓；
(3.a4)确定锚点所在轮廓，对锚点所在轮廓进行多边形逼近。其中，本实施例中的锚点即为图像中心点。需要配合的是，在拍摄视频时便将待测物品大致放置在图像的中心位置，也可以选择不同位置，则需要相应的调整锚点的选取规则与之适应。
本实施例中对canny边缘检测算子的高阈值直接人为设定，低阈值采用迭代的方式选取，能够获得更广的适用范围，满足不同光照场景下图片的检测需求，准确率更高。由于步骤(2.1)已经将图片转化为灰度图，因此本实施例中将高阈值直接设定为黑色所代表的像素幅值参数，具体实施时也可根据需要自行调整该设定值。
如图2所示，步骤(3.a1)-(3.a3)具体是采用canny边缘检测算子的低阈值迭代方式检测，即：设定canny边缘检测算子低阈值迭代的起始阈值、终止阈值和迭代步长，对步骤(3.a1)-(3.a3)进行迭代循环；
在提取到图像轮廓后终止循环，执行步骤(3.a4)；
在步骤(3.a4)进行所述多边形逼近后进行顶点判断，即：
若在步骤(1)之前设定了待检测多边形的顶点个数值，则判断顶点的个数是否与设定的顶点个数值一致；
若在步骤(1)之前未设定待检测多边形的顶点个数值，则判断顶点的个数是否落入设定的顶点个数范围；
判断结果若为是，则执行步骤(4)；判断结果若为否，则执行步骤(3.b1)。
在步骤(3.a1)-(3.a3)迭代循环迭代至满足终止条件时(如图2中所示，低阈值自起始值开始，进行边缘检测，检测不到边缘则在起始值基础上加迭代步长作为新一轮检测的阈值，循环检测直到低阈值取值≤终止阈值时停止检测)若仍未提取到边缘，则进行如下步骤：
(3.b1)采用自适应阈值化识别图像的边缘；自适应阈值是一种局部方法，原理是根据每个像素的邻域计算阈值，具体是将每个像素的值与邻域的平均值进行比较。邻域块的大小会影响阈值化的结果，自适应阈值化函数中邻域块的大小由函数中的窗口尺寸(blockSize)决定。
(3.b2)采用形态学闭运算填充边缘间隙；
(3.b3)提取图像轮廓；
(3.b4)确定锚点所在轮廓，对锚点所在轮廓进行多边形逼近。
所述步骤(3.b1)-(3.b3)具体是采用自适应阈值化窗口尺寸迭代式识别检测图像的边缘，即：设定自适应阈值化的窗口尺寸迭代的起始尺寸、终止尺寸和迭代步长，对步骤(3.b1)-(3.b3)进行迭代循环；
在提取到图像轮廓后终止循环，执行步骤(3.b4)。
在步骤(3.b4)所述多边形逼近后对该多边形进行顶点判断：
若在步骤(1)之前设定了待检测多边形的顶点个数值，则判断顶点的个数是否与设定的顶点个数值一致；
若在步骤(1)之前未设定待检测多边形的顶点个数值，则判断顶点的个数是否落入设定的顶点个数范围；
判断结果若为是，则执行步骤(4)；判断结果若为否，则选取下一帧图像并返回执行步骤(2)，若所有帧都检测完毕顶点判断结果均为否，则直接结束。
本实施例中还增加检测该多边形轮廓是否为凸形，若顶点判断及凸形判断结果均为是，则执行步骤(4)，否则选取下一帧图像并返回执行步骤(2)，若所有帧都检测完毕均不符合，则直接结束。如果实际使用中无需保证多边形是凸多边形，也可省略该判断。
(4)获取多边形各顶点在图像坐标系中的坐标。
三、测量值计算
如图3所示，获得了多边形的顶点位置，接着就要用V-SLAM中提供的位姿与深度相机提供的深度信息计算多边形物体的实际长度及面积。
(5)将各顶点在图像坐标系中的坐标转化为在相机坐标系中的坐标；具体是根据相机内参和各个顶点在深度图像中的深度信息进行计算。
具体计算方法为：若顶点位置坐标为(u，v)，该坐标处的深度值为d(由深度相机提供)，相机坐标为(x，y，z)，那么x＝(u-cx)*d/fx，y＝(v-cy)*d/fy，z＝d，其中fx、fy、cx、cy是相机内参，可通过相机标定获取；
(6)根据相机SLAM提供的位姿将各顶点在相机坐标系中的坐标转化为在世界坐标系中的坐标，具体为：相机SLAM提供的位姿P取逆后与相机坐标系中的坐标的向量积即为世界坐标系中的坐标。设世界坐标为(X，Y，Z)，该帧对应的位姿为P，SLAM提供的位姿是由世界坐标转为相机坐标的旋转与平移，而此时要计算相机坐标对应的世界坐标，因此需要将P取逆，再乘以相机坐标获得世界坐标。
(7)根据各顶点在世界坐标系中的坐标计算多边形的各边长和/或面积，还可以根据需要计算其他参数如周长、各个内角角度或质心等，计算方法可参考常规几何运算，本实施例中选用的最优方法具体是根据各顶点在世界坐标系中的坐标用欧氏距离方法计算各边长；将多边形分割为多个三角形，用海伦公式计算各三角形面积再求和即为多边形面积。
例如，在检测四边形时，四边形的四个顶点的世界坐标算出来后就可以用欧式距离计算出每条边的长度，将多边形分成两个三角形，然后运用海伦公式计算出三角形面积，再相加即可得到多边形面积，海伦公式为S＝公式中a、b、c分别为三角形三边长，p为半周长，S为三角形面积。
(8)输出计算结果，结束。具体是输出步骤(7)中计算的各种参数值，也可连同顶点个数(即多边形边数)一并输出，还可输出图像中提取到的轮廓，在轮廓图中标示各检测值便于观察。
本实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于SLAM的平面多边形物体测量方法。
实施例2：
本实施例与实施例1基本相同，不同之处在于步骤(5)将各顶点在图像坐标系中的坐标转化为在相机坐标系中的坐标的转发方法采用三角化的方法。
本实施例在深度信息不明时，例如从步骤(1)一开始便未采用深度相机或者采用了深度相机，但深度相机提供的深度信息有明显误差或拍摄物体超出深度相机可识别深度信息的范围时，步骤(5)通过三角化的方法增强深度信息的鲁棒性。
并且，在一台机器初次利用深度相机进行测量或疑似深度相机故障时，也可以利用该三角化计算方式计算顶点的深度信息并与深度相机提供的深度信息进行比对，用于检验深度相机的准确性，若比对结果二者差别较大，则有可能是深度相机出现故障，可以进行故障提示，并在后续测量中均采用三角化计算方式获取深度信息直到深度相机故障解除。如此一来能够暂时替代深度相机进行测量，不影响使用。而正常状态下还是优先选用深度相机提供的深度信息进行计算，能够节约计算时间，用户体验更佳。
具体是：由于不同视角的两帧中的一对顶点映射到世界坐标系中是同一个点，而这两帧的位姿是已知的，因此可以通过三角化计算出深度，用该深度来计算世界坐标。即：选取另一帧图像作为参考图像，对参考图像执行步骤(2)-(4)后，利用待检测图像与参考图像中相同顶点由于相机拍摄角度变化而产生的坐标变化，通过三角化计算出待检测图像中各顶点的深度信息，再结合相机内参进行计算。
以上仅是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种基于SLAM的平面多边形物体测量方法，其特征在于，包括如下步骤：
(1)获取实时视频图像，选取待检测的一帧图像；
(2)对图像进行预处理；
(3)在预处理后的图像中提取出图像轮廓，对锚点所在的轮廓进行多边形逼近；
(4)获取多边形各顶点在图像坐标系中的坐标；
(5)将各顶点在图像坐标系中的坐标转化为在相机坐标系中的坐标；
(6)根据相机SLAM提供的位姿将各顶点在相机坐标系中的坐标转化为在世界坐标系中的坐标；
(7)根据各顶点在世界坐标系中的坐标计算多边形的各边长和/或面积；
(8)输出计算结果，结束。
2.根据权利要求1所述的基于SLAM的平面多边形物体测量方法，其特征在于，步骤(2)所述的预处理具体包括：
(2.1)将图像转化为灰度图；
(2.2)对灰度图进行中值滤波去噪处理；
(2.3)使用大尺寸核矩阵模糊化估计背景；
(2.4)用图像差分的方法去除估计出的背景。
3.根据权利要求1所述的基于SLAM的平面多边形物体测量方法，其特征在于，所述步骤(3)具体包括：
(3.a1)采用canny边缘检测算子检测图像的边缘；
(3.a2)采用形态学闭运算填充边缘间隙；
(3.a3)提取图像轮廓；
(3.a4)确定锚点所在轮廓，对锚点所在轮廓进行多边形逼近。
4.根据权利要求3所述的基于SLAM的平面多边形物体测量方法，其特征在于，所述步骤(3.a1)-(3.a3)具体是采用canny边缘检测算子的低阈值迭代方式检测，即：设定canny边缘检测算子低阈值迭代的起始阈值、终止阈值和迭代步长，对步骤(3.a1)-(3.a3)进行迭代循环；
在提取到图像轮廓后终止循环，执行步骤(3.a4)。
5.根据权利要求4所述的基于SLAM的平面多边形物体测量方法，其特征在于，步骤(3.a1)-(3.a3)进行的所述迭代循环，在迭代满足终止条件时若仍未提取到边缘，则进行如下步骤：
(3.b1)采用自适应阈值化识别图像的边缘；
(3.b2)采用形态学闭运算填充边缘间隙；
(3.b3)提取图像轮廓；
(3.b4)确定锚点所在轮廓，对锚点所在轮廓进行多边形逼近。
6.根据权利要求5所述的基于SLAM的平面多边形物体测量方法，其特征在于，在所述步骤(1)之前，设定待检测多边形的顶点个数值或者顶点个数范围；
在步骤(3.a4)进行所述多边形逼近后进行顶点判断，即：
若在步骤(1)之前设定了待检测多边形的顶点个数值，则判断顶点的个数是否与设定的顶点个数值一致；
若在步骤(1)之前未设定待检测多边形的顶点个数值，则判断顶点的个数是否落入设定的顶点个数范围；
判断结果若为是，则执行步骤(4)；判断结果若为否，则执行步骤(3.b1)。
7.根据权利要求5所述的基于SLAM的平面多边形物体测量方法，其特征在于，所述步骤(3.b1)-(3.b3)具体是采用自适应阈值化窗口尺寸迭代式识别检测图像的边缘，即：设定自适应阈值化的窗口尺寸迭代的起始尺寸、终止尺寸和迭代步长，对步骤(3.b1)-(3.b3)进行迭代循环；
在提取到图像轮廓后终止循环，执行步骤(3.b4)。
8.根据权利要求6所述的基于SLAM的平面多边形物体测量方法，其特征在于，在步骤(3.b4)所述多边形逼近后对该多边形进行顶点判断：
若在步骤(1)之前设定了待检测多边形的顶点个数值，则判断顶点的个数是否与设定的顶点个数值一致；
若在步骤(1)之前未设定待检测多边形的顶点个数值，则判断顶点的个数是否落入设定的顶点个数范围；
判断结果若为是，则执行步骤(4)；判断结果若为否，则选取下一帧图像并返回执行步骤(2)，若所有帧都检测完毕顶点判断结果均为否，则直接结束。
9.根据权利要求8所述的基于SLAM的平面多边形物体测量方法，其特征在于，在步骤(3.b4)所述顶点判断后还进行凸形判断，判断该多边形轮廓是否为凸形，若顶点判断及凸形判断结果均为是，则执行步骤(4)，否则选取下一帧图像并返回执行步骤(2)，若所有帧都检测完毕均不符合，则直接结束。
10.根据权利要求1所述的基于SLAM的平面多边形物体测量方法，其特征在于，步骤(3)中所述锚点为图像中心点。
11.根据权利要求1所述的基于SLAM的平面多边形物体测量方法，其特征在于，所述步骤(5)中将图像坐标系中的位置坐标转化为相机坐标系中的坐标具体是根据相机内参和各个顶点在图像中的深度信息进行计算。
12.根据权利要求1所述的基于SLAM的平面多边形物体测量方法，其特征在于，所述步骤(5)中将图像坐标系中的位置坐标转化为相机坐标系中的坐标具体是：选取另一帧图像作为参考图像，对参考图像执行步骤(2)-(4)后，利用待检测图像与参考图像中相同顶点由于相机拍摄角度变化而产生的坐标变化，通过三角化计算出待检测图像中各顶点的深度信息，再结合相机内参进行计算。
13.根据权利要求1所述的基于SLAM的平面多边形物体测量方法，其特征在于，所述根据相机SLAM提供的位姿计算具体为：相机SLAM提供的位姿P取逆后与相机坐标系中的坐标的向量积即为世界坐标系中的坐标。
14.根据权利要求1所述的基于SLAM的平面多边形物体测量方法，其特征在于，所述步骤(7)具体是根据各顶点在世界坐标系中的坐标用欧氏距离方法计算各边长；将多边形分割为多个三角形，用海伦公式计算各三角形面积再求和即为多边形面积。
15.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-14中任一项所述的基于SLAM的平面多边形物体测量方法。
CN201811240748.3A 2018-10-23 2018-10-23 基于slam的平面多边形物体测量方法及机器可读存储介质 Active CN109448045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811240748.3A CN109448045B (zh) 2018-10-23 2018-10-23 基于slam的平面多边形物体测量方法及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811240748.3A CN109448045B (zh) 2018-10-23 2018-10-23 基于slam的平面多边形物体测量方法及机器可读存储介质

Publications (2)

Publication Number Publication Date
CN109448045A true CN109448045A (zh) 2019-03-08
CN109448045B CN109448045B (zh) 2021-02-12

Family

ID=65547209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811240748.3A Active CN109448045B (zh) 2018-10-23 2018-10-23 基于slam的平面多边形物体测量方法及机器可读存储介质

Country Status (1)

Country Link
CN (1) CN109448045B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671115A (zh) * 2017-10-16 2019-04-23 三星电子株式会社 使用深度值估计的图像处理方法和装置
CN110031880A (zh) * 2019-04-16 2019-07-19 杭州易绘科技有限公司 基于地理位置定位的高精度增强现实方法及设备
CN110926334A (zh) * 2019-11-29 2020-03-27 深圳市商汤科技有限公司 测量方法、装置、电子设备及存储介质
CN111127534A (zh) * 2019-11-05 2020-05-08 深圳市三宝创新智能有限公司 一种障碍物的检测方法
CN111311674A (zh) * 2020-01-13 2020-06-19 王彬 医院淋浴间房顶喷淋头数量解析平台
CN112215884A (zh) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 一种平面标志物的位姿确定方法和装置
CN113826376A (zh) * 2019-05-24 2021-12-21 Oppo广东移动通信有限公司 用户设备和斜视校正方法
WO2022194061A1 (zh) * 2021-03-15 2022-09-22 北京字跳网络技术有限公司 目标跟踪方法、装置、设备及介质
CN117191011A (zh) * 2023-08-17 2023-12-08 北京自动化控制设备研究所 基于惯性/视觉信息融合的目标尺度恢复方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778716A (zh) * 2015-05-05 2015-07-15 西安电子科技大学 基于单幅图像的卡车车厢体积测量方法
CN107067431A (zh) * 2017-01-16 2017-08-18 河海大学常州校区 一种基于Kinect的物体体积计算方法
CN107609451A (zh) * 2017-09-14 2018-01-19 斯坦德机器人（深圳）有限公司 一种基于二维码的高精度视觉定位方法及系统
CN107766855A (zh) * 2017-10-25 2018-03-06 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN107818563A (zh) * 2017-10-26 2018-03-20 西安工程大学 一种输电线路分裂导线间距空间测量与定位方法
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机
CN108627092A (zh) * 2018-04-17 2018-10-09 南京阿凡达机器人科技有限公司 一种包裹体积的测量方法、系统、储存介质及移动终端
CN108682031A (zh) * 2018-05-21 2018-10-19 深圳市酷开网络科技有限公司 基于增强现实技术的测量方法、智能终端及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778716A (zh) * 2015-05-05 2015-07-15 西安电子科技大学 基于单幅图像的卡车车厢体积测量方法
CN107067431A (zh) * 2017-01-16 2017-08-18 河海大学常州校区 一种基于Kinect的物体体积计算方法
CN107609451A (zh) * 2017-09-14 2018-01-19 斯坦德机器人（深圳）有限公司 一种基于二维码的高精度视觉定位方法及系统
CN107766855A (zh) * 2017-10-25 2018-03-06 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN107818563A (zh) * 2017-10-26 2018-03-20 西安工程大学 一种输电线路分裂导线间距空间测量与定位方法
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机
CN108627092A (zh) * 2018-04-17 2018-10-09 南京阿凡达机器人科技有限公司 一种包裹体积的测量方法、系统、储存介质及移动终端
CN108682031A (zh) * 2018-05-21 2018-10-19 深圳市酷开网络科技有限公司 基于增强现实技术的测量方法、智能终端及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671115A (zh) * 2017-10-16 2019-04-23 三星电子株式会社 使用深度值估计的图像处理方法和装置
CN110031880A (zh) * 2019-04-16 2019-07-19 杭州易绘科技有限公司 基于地理位置定位的高精度增强现实方法及设备
CN113826376A (zh) * 2019-05-24 2021-12-21 Oppo广东移动通信有限公司 用户设备和斜视校正方法
CN113826376B (zh) * 2019-05-24 2023-08-15 Oppo广东移动通信有限公司 用户设备和斜视校正方法
CN112215884A (zh) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 一种平面标志物的位姿确定方法和装置
CN111127534A (zh) * 2019-11-05 2020-05-08 深圳市三宝创新智能有限公司 一种障碍物的检测方法
CN110926334A (zh) * 2019-11-29 2020-03-27 深圳市商汤科技有限公司 测量方法、装置、电子设备及存储介质
CN110926334B (zh) * 2019-11-29 2022-02-22 深圳市商汤科技有限公司 测量方法、装置、电子设备及存储介质
CN111311674A (zh) * 2020-01-13 2020-06-19 王彬 医院淋浴间房顶喷淋头数量解析平台
WO2022194061A1 (zh) * 2021-03-15 2022-09-22 北京字跳网络技术有限公司 目标跟踪方法、装置、设备及介质
CN117191011A (zh) * 2023-08-17 2023-12-08 北京自动化控制设备研究所 基于惯性/视觉信息融合的目标尺度恢复方法

Also Published As

Publication number Publication date
CN109448045B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN109448045A (zh) 基于slam的平面多边形物体测量方法及机器可读存储介质
CN104981105B (zh) 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
KR101519940B1 (ko) 3-차원 물체 모델링, 피팅 및 트래킹
Lowe Object recognition from local scale-invariant features
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN108564616A (zh) 快速鲁棒的rgb-d室内三维场景重建方法
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
CN103425988B (zh) 一种具有圆弧几何基元的实时定位与匹配方法
CN109658515A (zh) 点云网格化方法、装置、设备及计算机存储介质
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN104809738A (zh) 一种基于双目视觉的安全气囊轮廓尺寸检测方法
CN115018846B (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN111862315A (zh) 一种基于深度相机的人体多尺寸测量方法及系统
CN111402330A (zh) 一种基于平面靶标的激光线关键点提取方法
CN110110687A (zh) 基于颜色信息和三维轮廓信息的树上水果自动识别方法
Wang et al. Point based registration of terrestrial laser data using intensity and geometry features
CN110517323A (zh) 基于机械手单相机多目视觉的三维定位系统及方法
CN106845535B (zh) 基于点云的典型零部件识别方法
CN116721156A (zh) 工件位置定位方法、装置、计算机设备及存储介质
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
Peng et al. Real time and robust 6D pose estimation of RGBD data for robotic bin picking
CN113223189B (zh) 机械臂抓取物体三维点云模型孔洞修复及规则体拟合方法
CN114862969A (zh) 一种智能巡检机器人的机载云台像机角度自适应调整方法及装置
Jørgensen et al. Geometric Edge Description and Classification in Point Cloud Data with Application to 3D Object Recognition.
KR20090042558A (ko) Ａａｍ을 이용한 얼굴검출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant