CN114719759B - 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法 - Google Patents

Abstract

本发明公开了一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法，具体为：使用带有单目相机和惯性测量元件(InertialMeasurementUnit，IMU)的手机，利用SLAM技术对被测量物体进行尺度测量，计算出相机拍摄的照片被测物体附近像素点的代表的实际尺度；使用深度学习的卷积神经网络技术，分割待测照片，遮盖住原图像中不相关内容，得到主体图像之后再进行二值化处理，选定需要测量的物体主体；计算该二值图的主体包含的像素个数和检测主体的边缘像素点个数，结合每个像素代表的长度数值，换算出该物体的表面周长和面积。本发明实现了仅通过手机就能迅速、准确地得到相机视野中物体的单个面边缘周长、这个面投影到平面的面积和弯曲线形物体长度。

Description

一种基于SLAM算法和图像实例分割技术的物体表面周长和面 积测量方法

技术领域

本发明属于电子信息领域，更具体地说为一种涉及基于移动终端摄像头和SLAM算法的AR测量技术和基于图像分割技术来测量物体某个面的周长和面积的方法。

背景技术

在很多现实场景中都需要对客观物体进行测量，包括物体长度、周长、面积等，在对规则物体长度的测量中一般采用软尺、刻度尺等工具，周长和面积则需要对长度进行再次测量累加或对测量值进行计算。其缺点在于效率低下，只能对简单的规则物体进行测量，并且可能需要复杂计算，此外还需要测量工具的辅助。由于种种限制，传统的测量方法已经不能满足现代人们生活和生产的要求，因此需要一种操作简单方便，操作设备使用便捷并且能够大规模广泛使用的测量方法。

目前国内外有多个厂商研发出了基于智能手机平台的AR测量软件，如苹果公司使用ARKit、谷歌公司使用ARCore测量物体的尺寸、面积和体积。以上技术便捷、测量准确率高，但目前仅限于测量物体直线长度和形状较规则物体的面积和体积。

随着计算机技术和计算机视觉算法的不断壮大发展，各种新颖的计算机辅助测量方法大量涌现，解决了不能对含有曲线和复杂结构的物体进行测量的缺点，在经典测量场景中展现了更高的效率。然而，以往的基于计算机的测量方法要求测量人员配备臃肿的外设和自身的经验足够丰富，这不利于广泛和便携式的应用。针对这一问题，可以应用机器视觉来降低外设需求，简单化操作流程。

基于机器视觉的测量方法一般分为单目视觉测量和双目视觉测量。双目视觉法的虽然精度更高，但仍旧需要附加一定的外设，操作复杂。单目视觉的硬件依赖极少操作便捷但是测量精度较低，在复杂场景下由于参考点不足难以进行目标检测，针对这一问题可以应用王鑫龙在2020年提出的SOLOv2算法对拍摄图像进行处理(Wang X,Zhang R,KongT,etal.SOLOv2:Dynamic,Faster and Stronger.2020.)。在SLAM的众多传感器解决方案中，IMU是公认的具有很大的潜力实现低成本高精度的定位与建模的技术(Zhenfei,Yang,Shaojie,et al.Monocular Visual–Inertial State Estimation With OnlineInitialization and Camera–IMU Extrinsic Calibration[J].IEEE Transactions onAutomation Science&Engineering,2017.)。单目视觉下应用SLAM技术具有尺度不确定性的缺陷，针对这一问题Mur-Artal R提出了IMU初始化的方法来获得场景的尺度和重力的方向(Mur-Artal R,Tardos J D.Visual-Inertial Monocular SLAM with Map Reuse[J].IEEE Robotics and Automation Letters,2016,PP(99):796-803.)。单目视觉的SLAM技术应用在快速运动场景下视觉尺度、重力、陀螺仪和加速度计的偏差会越来越大，每次都需消耗大量性能以初始化，难以稳定高效地工作，针对这一问题Huang W提出了计算量更小的初始化方法(Huang W,Liu H.Online Initialization and Automatic Camera-IMUExtrinsic Calibration for Monocular Visual-Inertial SLAM[C]//2018:5182-5189.)。

发明内容

本发明的目的是提供一种利用智能手机来测量物体曲线长度、不规则物体投影面周长、面积的测量方法，以解决传统手工测量和计算机测量的不便捷性和不准确性问题，实现对物体进行便捷的、快速、准确的测量的目的。

本发明的目的是通过以下技术方案实现的，一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法，包括以下步骤：

步骤S1，手机尽可能地先与需要测量物体保持平行，在进行平面检测时，选取合适的参照点，平行移动设备；

步骤S2，平行移动过程中手机所携带的IMU传感器的加速度计检测目标物体的加速度信号a，陀螺仪检测角速度信号ω，对加速度a数据进行积分和二次积分得到手机在现实坐标下的速度v和位移d等信息，计算出手机移动前后相较于自身的位置变化；

步骤S3，利用摄像头拍摄的前后不同图像帧中特征点在图像中的视差图和摄像头的焦距信息，进行特征点的三角化，计算出被测物体距离相机移动线段的垂直距离(特征点的深度信息)。对比手机移动时拍摄的图像帧中的特征点相对位置，计算出特征点每次的移动像素数，由手机计算出的自身移动距离和特征点移动像素数计算得出每个像素代表的长度和面积信息；

步骤S4，得到的包含以上信息的图片上传给服务器，使用卷积神经网络的分类能力计算出图片中存在的多个主体的边界，对多个主体做纯色遮盖；

步骤S5，由用户选定其中一个主体，从而对图像做进一步的二值化处理，得到一张二值图；

步骤S6，扫描整张二值图，检测出选定主体的表面边缘的像素点和总个数点，通过参照每个像素点的实际长度转换出每个像素点代表的实际长度和面积，累加出最终结果。

本发明中，步骤S1要尽量得到精确有用的参照点，使参照点移动形成的参照线段与摄像头的移动线段尽量平行。

本发明中，步骤S2要求的设备在现实世界中的移动距离d的计算方式如下：

上式中：a——设备移动时IMU实时输出的加速度信息；

t₀——设备开始移动的时间；

t——设备移动结束的时间。

本发明中，步骤S3的设备焦点和特征点的距离计算公式为：

上式中：MO₁——特征点和设备焦点的距离；

b——特征点在前后两次拍摄中的视差，其中：b＝|I₂-I₁|；I₁,I₂为移动前后图像中心点位置；

d——设备的移动距离；

M₁O₁——像点和设备焦点的距离。

本发明中，步骤S3的设备和特征点的距离计算公式(景深)Z为：

上式中：b——特征点在前后两次拍摄中的视差；

d——设备的移动距离；

O₁I₁——相机拍摄右图像时的焦距。

本发明中，步骤S3的特征点相对于设备的水平坐标计算公式X为：

本发明中，步骤S3的特征点相对于设备的垂直坐标计算公式Y为：

本发明中，步骤S3的每个像素代表的距离D_i为：

上式中：

d——特征点相对于设备的移动距离；

m——特征点在移动前后的视差总像素数。

本发明中，步骤S4使用的实例分割算法具体为SOLOv2网络，算法训练了多种常见物体的训练集，可以区分出图片中的不同主体和边界，标识主体含义并且做颜色掩盖方便用户选择。

本发明中，步骤S4需要手机再一次与服务器交互，选出需要的测量主体，再做一次掩盖，并返回测量主体的长度、面积信息。

本发明的有益效果是：

本发明使用带有单目相机和惯性测量元件(Inertial Measurement Unit，IMU)的手机，利用SLAM技术对被测量物体进行尺度测量，计算出相机拍摄的照片被测物体附近像素点的代表的实际尺度；使用深度学习的卷积神经网络技术，分割待测照片，遮盖住原图像中不相关内容，得到主体图像之后再进行二值化处理，选定需要测量的物体主体；计算该二值图的主体包含的像素个数和检测主体的边缘像素点个数，结合每个像素代表的长度数值，换算出该物体的表面周长和面积。本发明实现了仅通过手机就能迅速、准确地得到相机视野中物体的单个面边缘周长、这个面投影到平面的面积和弯曲线形物体长度。

附图说明

图1是双目摄像机对点目标成像原理图；

图2是单点目标在双目摄像机左右视平面的成像；

图3是照相机成像坐标系与光心所在世界坐标系间的坐标变换关系演示图；

图4是X坐标三维恢复示意图；

图5是Y坐标三维恢复示意图；

图6是SOLOv2算法的图像实例分割流程图；

图7是本发明实例的总体流程图；

图8是演示本发明应用效果的目标物图片(统一为4000*3000大小)，目标物包括标准1M长的网线，斧形玩具，绿色方格板；

图9是相应的三个实例经过SOLOv2学习和计算的纯色遮盖图；

图10是进一步二值化处理和计算了像素个数和代换实际周长及面积的二值图。

具体实施方式

下面结合附图和本发明的实施例，对本发明提出的技术方案进行仔细清楚的描述，我们的实施例具有充分的灵活性，可以根据不同需求升级和替换方案中的组件，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法，如图7所示，具体按照以下步骤实施：

步骤S1，通过手机拍摄采集包含实际长度信息的像素点，其具体为：手机尽可能地先与需要测量物体保持平行，在进行平面检测时，选取合适的参照点，平行移动设备。

步骤S2，平行移动过程中手机所携带的IMU传感器的加速度计检测目标物体的加速度信号a，陀螺仪检测角速度信号ω，对加速度a数据进行积分和二次积分得到手机在现实坐标下的速度v和位移d等信息，计算出手机移动前后相较于自身的位置变化。

步骤S3，利用摄像头拍摄的前后不同图像帧中特征点在图像中的视差图和摄像头的焦距信息，进行特征点的三角化，计算出被测物体距离相机移动线段的垂直距离(特征点的深度信息)。对比手机移动时拍摄的图像帧中的特征点相对位置，计算出特征点每次的移动像素数，由手机计算出的自身移动距离和特征点移动像素数计算得出每个像素代表的长度和面积信息。

步骤S4，得到的包含以上信息的图片上传给服务器，使用卷积神经网络的分类能力计算出图片中存在的多个主体的边界，对多个主体做纯色遮盖。本发明选择SOLOv2算法，该算法具有简单、直接、快速的特点，能够准确分割图像中的每一个实例。其核心思想是将分割问题转换为位置分类问题，根据实例的位置和大小，将类别分配给每个像素实例达到分割实例对象的效果，从而不需要借助锚点和边界框。如图6所示，SOLOv2算法框架包括分类分支和掩膜分支这两个核心分支，其中第一个分支用于预测目标语义类别，而第二个分支再细分为学习卷积核的分支和学习卷积特征分支，两个分支的输出整合为实例分割结果。框架包含了核心的分类分支和掩膜分支，将它们作为SOLOv2的head，分别完成类别预测和掩膜生成。具体为服务器用SOLOv2训练好的数据库和模型，像素级定位图片包含的多个主体的位置，并且生成一个列表，按列表元素和位置信息给图片中相应的像素加上纯色遮盖和序号标注，将处理图片返回给手机用户供其选择，一旦得到用户的选定信息，就对图片再做一次处理。

步骤S5，得到选定的主体信息，选定主体区域的像素值设置为0(黑色点)，其余区域像素值设置为255(白色点)，得到一张能区分目标物体和其他事物的二值图；

步骤S6，在二值图上使用轮廓提取算法找出待测物体的最外侧轮廓。周长计算的算法思路是首先按从上到下，从左到右的顺序搜索，找到的第一个黑点必定是最左上方的边界点，记为A。它的右，右下，下，左下四个邻点中至少有一个是边界点，记为B。从开始B找起，按右，右下，下，左下，左，左上，上，右上的顺序找相邻点中的边界点C。若是C就是A点，则代表已经转了一圈，程序结束；否则从C点继续找，直到找到A为止。按查找顺序记录下每个轮廓点的行列坐标，存在数组中。面积的计算方法是从左上角第一个点开始，从上到下，从左到右扫描二值图像，遇到黑色像素点累计和加一，直至扫描到图形右下角最后一个点结束，得到待测物体在图片中占有的总像素点数。

步骤S2中要求的设备在现实世界中的移动距离d的计算方式如下：

上式中：a——设备移动时IMU实时输出的加速度信息；

t₀——设备开始移动的时间；

t——设备移动结束的时间。

步骤S3的设备和特征点的距离计算原理如图1所示。

步骤S3中的设备焦点和特征点的距离计算公式为：

上式中：MO₁——特征点和设备焦点的距离；

b——特征点在前后两次拍摄中的视差，计算原理如图2所示，其中：b＝|I₂-I₁|；I₁,I₂为移动前后图像中心点位置；

d——设备的移动距离；

M₁O₁——像点和设备焦点的距离。

步骤S3的设备和特征点的距离计算(景深)计算原理如图3所示。

步骤S3中的设备和特征点的距离计算公式(景深)Z为：

上式中：b——特征点在前后两次拍摄中的视差；

d——设备的移动距离；

O₁I₁——相机拍摄右图像时的焦距。

步骤S3的特征点相对于设备的水平坐标计算原理如图4所示。

步骤S3中的特征点相对于设备的水平坐标计算公式X为：

步骤S3的特征点相对于设备的垂直坐标计算原理如图5所示。

步骤S3中的特征点相对于设备的垂直坐标计算公式Y为：

步骤S3中的每个像素代表的距离D_i为：

上式中：d——特征点相对于设备的移动距离；

m——特征点在移动前后的视差总像素数。

步骤S6具体计算方法如下：将上述轮廓数据中的点，按照顺序计算出当前点与下一点的距离

(x_i，y_i)，(x_j，y_j)为对应的像素点,面积的计算公式为

其中S_i为步骤S3中计算出的每个像素点代表的面积,Z周长的计算公式为C＝∑d。当被测量物体为弯曲线形物体时，其长度的近似为该物体周长的二分之一。

现以三个实例进行说明，如图8所示分别为规格为一米的网线、不规则形状的玩具模型、形状规则的玩具模型；将实例放置在水平桌面上，在进行校准后，将拍摄设备相对实例尽量保持水平移动采集数据，然后图片和采集到的像素点数据被上传到服务器，通过深度学习方法对实例进行主体分割，返回给设备实例分割图，如图9所示。用户进行确认后进行采样和计算图像实际长度和面积。如图10所示计算结果展示在右下角，分别为周长像素个数、实际周长长度、面积像素个数、实际面积大小。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法，其特征在于，包括以下步骤：

步骤S1，通过手机摄像头连续拍摄被测量物体；手机先与被测量物体保持平行，使手机摄像头光轴与被测物体待测表面垂直，在进行平面检测时，选取合适的参照点，平行移动设备，使参照点移动形成的参照线段与摄像头的移动线段平行；

步骤S2，获取相机拍摄区域的特征点并计算像素代表的长度和面积；特征点由关键点和描述子组成，关键点指的是该特征点在图像中的位置，描述子是一个向量，描述了关键点周围的像素信息；采用ORB算法作为特征的提取算法；通过移动和旋转手机，对手机IMU的输出加速度a进行积分和二次积分得到手机在世界坐标系下的速度v和位移d；利用摄像头拍摄的前后不同图像帧中特征点在图像中的视差图和摄像头的焦距信息，进行特征点的三角化，计算出被测物体距离相机移动线段的垂直距离；对比手机移动时拍摄的图像帧中的特征点相对位置，计算出特征点每次的移动像素数，由手机计算出的自身移动距离和特征点移动像素数计算得出每个像素代表的长度和面积信息；

步骤S3，分割图像中的实体；将图片以及图片中每个像素代表的实际距离数据上传给服务器，使用卷积神经网络的分类能力计算出图片中存在的多个主体的边界，对多个主体做纯色遮盖；选择SOLOv2算法，分割图像中的每一个实例；其核心思想是将分割问题转换为位置分类问题，根据实例的位置和大小，将类别分配给每个像素实例达到分割实例对象的效果，从而不需要借助锚点和边界框；SOLOv2算法框架包括分类分支和掩膜分支这两个核心分支，其中第一个分支用于预测目标语义类别，而第二个分支再细分为学习卷积核的分支和学习卷积特征分支，两个分支的输出整合为实例分割结果；框架包含了核心的分类分支和掩膜分支，将它们作为SOLOv2的head，分别完成类别预测和掩膜生成；

步骤S4，图像输入后，被划分为S×S个网格；在分类分支中，每个网格均进行类别预测，如果一个目标中心在该网格内并且满足阈值条件，就将它划为正例；同时在掩膜分支中生成对应类别的掩码；服务器用SOLOv2训练好的数据库和模型，像素级定位图片包含的多个主体的位置，并且生成一个列表，按列表元素和位置信息给图片中相应的像素加上纯色遮盖和序号标注，将处理图片返回给手机用户供其选择，一旦得到用户的选定信息，就对图片再做一次处理；

步骤S5，选定其中一个主体，从而对图像做进一步的二值化处理，得到一张二值图；

步骤S6，扫描整张二值图，检测出选定主体的表面边缘的像素点和总个数点，通过参照像素点的实际长度转换出每个像素点代表的实际长度和面积，累加出最终结果。

2.根据权利要求1所述的物体表面周长和面积测量方法，其特征在于，所述步骤S1要得到精确有用的参照点，使参照线段在图片中心位置且与摄像头平行。

3.根据权利要求1所述的物体表面周长和面积测量方法，其特征在于，所述步骤S3使用的实例分割算法具体为SOLOv2网络，用清晰纯净的常见物体图片作为训练集，区分出图片中的不同主体，标识主体含义并且做颜色掩盖方便用户选择。

4.根据权利要求1所述的物体表面周长和面积测量方法，其特征在于，所述步骤S3需要手机再一次与服务器交互，选出需要的测量主体，再做一次掩盖。

Images