CN110517312A - 基于深度学习的缝隙定位方法、装置和存储介质 - Google Patents

Abstract

本申请涉及一种基于深度学习的缝隙定位方法、装置、计算机设备和存储介质。所述方法包括：获取图像采集装置采集的包含缝隙的图像将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标，获取图像采集装置的坐标系转换参数，根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。通过训练后的缝隙端点预测模型直接检测缝隙的端点坐标，根据检测到的端点坐标转换到世界坐标系中，计算缝隙的宽度信息，计算得到的缝隙宽度信息用于匹配对应的操作，避免了对缝隙进行分类带来的操作不便，操作简单方便。

Description

基于深度学习的缝隙定位方法、装置和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于深度学习的缝隙定位方法、装置、计算机设备和存储介质。

背景技术

现有缝隙定位算法需要对缝隙类型进行分类，不同的缝隙类型使用不同的缝隙定位算法，而现实情况下缝隙类型多种多样。为了能够实现对各种类型的缝隙自动焊接和上胶等等修补缝隙的操作时，需要向定义各种类型的缝隙，在对缝隙进行操作时，需要根据定义好的缝隙类型对缝隙进行分类，且定义的缝隙有限，无法完全与定义好的缝隙类型完全匹配，导致操作过程复杂。

发明内容

为了解决上述技术问题，本申请提供了一种基于深度学习的缝隙定位方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种基于深度学习的缝隙定位方法，包括：

获取图像采集装置采集的包含缝隙的图像；

将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标；

获取所述图像采集装置的坐标系转换参数；

根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

第二方面，本申请提供了一种基于深度学习的缝隙定位装置，包括：

数据获取模块，用于获取图像采集装置采集的包含缝隙的图像，图像为3D相机拍摄的；

预测模块，用于输入图像至已训练的缝隙端点预测模型，输出缝隙的端点对的目标坐标；

参数获取模块，用于获取所述图像采集装置的坐标系转换参数；

宽度计算模块，用于根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取图像采集装置采集的包含缝隙的图像，图像为3D相机拍摄的；

将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标；

获取所述图像采集装置的坐标系转换参数；

根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取图像采集装置采集的包含缝隙的图像；

将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标；

获取所述图像采集装置的坐标系转换参数；

根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

上述基于深度学习的缝隙定位方法、装置、计算机设备和存储介质，所述方法包括：获取图像采集装置采集的包含缝隙的图像，将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标，获取图像采集装置的坐标系转换参数，根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。通过训练后的缝隙端点预测模型直接检测缝隙的端点坐标，根据检测到的端点坐标转换到世界坐标系中，计算缝隙的宽度信息，计算得到的缝隙宽度信息用于匹配对应的操作，避免了对缝隙进行分类带来的操作不便，操作简单方便。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中基于深度学习的缝隙定位方法的应用环境图；

图2为一个实施例中基于深度学习的缝隙定位方法的流程示意图；

图3为一个实施例中包含激光线和缝隙的图像示意图；

图4为一个实施例中基于深度学习的缝隙定位装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为一个实施例中基于深度学习的缝隙定位方法的应用环境图。参照图1，该基于深度学习的缝隙定位方法应用于基于深度学习的缝隙定位系统。该基于深度学习的缝隙定位系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端或服务器获取图像采集装置采集的包含缝隙的图像，将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标，获取图像采集装置的坐标系转换参数，根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种基于深度学习的缝隙定位方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2，该基于深度学习的缝隙定位方法具体包括如下步骤：

步骤S201，获取图像采集装置采集的包含缝隙的图像。

具体地，图像采集装置是用于采集图像的装置，图像采集装置可以为深度相机、3D线激光相机、2D相机等等。其中3D线激光相机是指包括激光组件和相机组件的相机，激光组件用于发射激光，相机组件用于拍摄包含激光的图像，得到图像。图像中包含的缝隙是指根据激光线确定的。如在图像中的激光线所在的位置中的断裂处为缝隙。参照图3，图3为一个包含激光线和缝隙的图像，图像的激光线020和缝隙040。缝隙是指建筑、设备等表面产生的裂痕。

步骤S202，将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标。

具体地，已训练的缝隙端点预测模型是通过大量的携带缝隙端点对的坐标标签信息的图像进行训练得到的。已训练的缝隙端点预测模型可以对输入包含缝隙的图像进行缝隙端点的预测，其中缝隙的端点对的目标坐标是指缝隙的两个对应的端点在图像中的位置坐标。

在一个实施例中，在图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标之前，还包括：构建初始缝隙端点预测模型，获取包含多个训练图像的训练集合，训练图像包含缝隙和对应的端点对的标注坐标，输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标，判断各个训练图像的端点对的标注坐标和端点对的预测坐标是否匹配，统计训练集合的正确匹配率，当正确匹配率大于或等于预设正确匹配率时，初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

具体地，初始缝隙端点预测模型可以为常见的用于进行图像识别的模型，如深度学习卷积网络模型、循环神经网络模型等等，也可以为技术人员根据需求自定义的可以图像中的缝隙的端点进行识别的模型。训练图像是是包缝隙和对应的端点对的标注坐标的图像，该图像为3D相机采集的图像。训练集合是由多个训练图像组成的集合。输入训练图像至初始缝隙端点检测模型，初始缝隙端点检测模型提取图像中的图像特征，根据提取到的图像特征输出各个训练图像的对应的端点对的预测坐标。判断各个训练图像的端点对的标注坐标和端点对的预测坐标是否匹配，匹配是指端点对的标注坐标和对应的预测坐标的差异度小于预先设置的预设差异度。差异度的计算方法可以自定义设置，如直接计算坐标点的差值、比值、差值的对数或差值平方等等。统计训练集合中的正确匹配的训练图像的数量，根据统计的正确匹配的数量和训练集合的训练图像的数量计算正确匹配率。判断正确匹配率是否大于或等于预先设置的预设正确匹配率，当大于或等于时，表示初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

在一个实施例中，当正确匹配率小于预设正确匹配率时，根据正确匹配率更新初始缝隙端点预测模型的模型参数，将更新了模型参数的初始缝隙端点预测模型作为初始缝隙端点预测模型，执行输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标，直至初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

具体地，当正确匹配率小于预设正确匹配率时，表示初始缝隙端点预测模型未收敛，更新初始缝隙端点预测模型的模型参数。初始缝隙端点预测模型为深度学习网络模型时，更新各个网络层的参数，调整各个网络层的权重参数时，可以采用梯度下降法回传各个训练图像的端点对的标准坐标和预测坐标的差异度，根据回传到各个网络层的回传值更新各个网络层的参数。将更新了模型参数的初始缝隙端点预测模型作为初始缝隙端点预测模型，执行输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标，直至初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。采用了更新了模型参数的初始缝隙端点预测模型，对训练集合中的训练图像进行再次学习，再次得到各个训练图像的缝隙的端点对的预测坐标，再次判断得到的预测坐标与对应的标注坐标的匹配度，根据匹配度确定正确匹配率，判断更新了模型参数的初始缝隙端点预测模型是否收敛，若收敛，得到已训练的缝隙端点预测模型，若未收敛，则再次更新初始缝隙端点预测模型的模型参数，直至得到已训练的缝隙端点预测模型。通过携带缝隙的端点对的标注坐标对模型进行训练，得到能够快速识别图像中的缝隙的端点对的坐标的模型。

在一个实施例中，获取包含多个训练图像的训练集合之前，还包括：获取包含激光线的原始图像，利用直线特征提取算法提取原始图像中激光线，得到激光线的原始图像坐标，从激光线的原始图像坐标中筛选出缝隙的端点对的筛选坐标，得到缝隙和对应的端点对的标注坐标，将包含缝隙和对应的标注端点坐标的原始图像，作为训练图像。

具体地，原始图像是指3D相机直接拍摄得到的图像。原始图像中包含激光线，由激光线的断裂构成缝隙。直线特征提取算法是用于提取图像中的直线特征的算法，直线特征提取算法包括形态学、霍夫变换(Hough Transform)和小波变换等等。采用直线特征提取算法提取原始图像的激光线和对应的原始图像坐标。从激光线的原始图像坐标中筛选出缝隙的端点对的筛选坐标，将筛选得到的端点对的筛选坐标作为缝隙的端点对的标注坐标。筛选缝隙的端点对的坐标时，可以通过不同位置的坐标之间的梯度。还可以采用端点特征提取算法提取得到的端点特征确定缝隙的端点对的标注坐标，常见的角点提取算法包括但不限于SIFT(Scale-invariant feature transform，尺度不变特征转换)、FAST(Featurefrom Accelerated Segment Test)、ORB(Oriented FAST and Rotated BRIEF)等等。将对缝隙的端点对进行了标注的原始图像作为训练图像。

在一个实施例中，步骤S202，包括：输入图像至所述卷积层，通过卷积层的卷积核实现对图像的卷积运行，得到多个卷积特征图，输入各个卷积特征图至池化层，对各个卷积特征图进行池化运算，得到对应的池化特征图，输入各个池化特征图至预测层，通过预测层预测图像的端点对的坐标。

具体地，缝隙端点预测模型包括：卷积层、池化层和预测层，其中卷积层与池化层连接，池化层与预测层连接，卷积层是通过卷积核对输入数据进行卷积运算，不同的卷积核提取得到的图像特征不相同，通过卷积层中的各个卷积核提取图像中各种特征，得到图像对应的多个卷积特征图。卷积层可以为一个或多个子卷积层，当包含多个子卷积层时，各个子卷积层中设置的卷积核的数目可以相同也可以不相同。

池化层是用于对输入的卷积特征图进行池化运算的网络层，池化层中的池化算法可以为常见的池化算法，如极大值池化算法、平均池化算法和随机池化算法等等中的一种或多种，不同的池化算法提取的特征不同，具体采用什么的池化算法可以根据需求自定义。通过池化层中的预先配置的池化算法对输入的卷积特征图进行池化运算，得到对应的池化特征图。输入池化特征图值预测层，预测层是用于对缝隙的端点坐标进行预测的网络层。预测层可以对池化特征图的池化特征进行组合，并对组合的特征图进行识别，得到缝隙的端点对的目标坐标。

步骤S203，获取图像采集装置的坐标系转换参数。

步骤S204，根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

具体地，坐标系转换参数是指图像坐标系与世界坐标系之间的转换参数，坐标系转换参数包括内参和外参，内参用于对图像坐标系和图像采集设备对应的设备坐标系进行坐标转换，内参包括u0、v0为图像坐标系中光轴投影坐标，1/dx表示在x方向上每个像素的物理尺寸，1/dy表示在y方向上每个像素的物理尺寸、f表示图像采集设备的焦距。外参是用于设备坐标系和世界坐标系进行坐标转换，外参包括旋转参数R和平移参数T。根据坐标系转换参数对缝隙的端点对的目标坐标进行坐标转换，即将图像坐标系中的目标坐标转换成世界坐标系的世界坐标，根据两个端点的世界坐标计算两个端点之间的距离，距离即为缝隙的宽度。具体的图像坐标系和世界坐标系的转换公式如式(1)所示，

缝隙的任意一个端点的坐标(u，v)，则对应的世界坐标为(z，y，z)。设缝隙端点对的坐标分别为(z1，y1，z1)和(x2，y2，z2)，则宽度信息D的具体计算公司如公式(2)所示：

上述基于深度学习的缝隙定位方法，包括：获取图像采集装置采集的包含缝隙的图像，图像为3D相机拍摄的，将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标，获取所述图像采集装置的坐标系转换参数，根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。通过训练后的缝隙端点预测模型直接检测缝隙的端点坐标，根据检测到的端点坐标转换到世界坐标系中，计算缝隙的宽度信息，计算得到的缝隙宽度信息用于匹配对应的操作，避免了对缝隙进行分类带来的操作不便，操作简单方便。

在一个具体的实施例中，上述基于深度学习的缝隙定位方法，包括：

收集数据，使用3D相机尽可能多的采集各种各样的包含缝隙的原始图像。对包含缝隙的原始图像进行缝隙的端点对的标注，得到标注了缝隙两个端点的真实坐标的训练图像。

通过初始深度卷积神经网络模型对训练图像进行学习。输入训练图像至初始深度卷积神经网络模型(初始缝隙端点预测模型)，输出各个训练图像的缝隙的端点对的预测坐标，根据训练图像中的缝隙的端点对的真实坐标和对应的预测坐标进行比对，使用二范作为误差惩罚，训练得到已训练的深度卷积神经网络模型(已训练的缝隙端点预测模型)。

对已训练的深度卷积神经网络模型进行部署。输入一张3D相机获取的包含焊缝的图片，输出缝隙的端点对的目标坐标。将缝隙的两个端点的目标坐标转换至世界坐标系中的世界坐标，通过缝隙的两个端点的坐标计算得到的缝隙的宽度。

上述能快速精准的定位出各种缝隙端点的位置，且无需定义焊缝类型，操作简单。使用深度卷积神经网络，对光照、姿态、运动模糊等噪声鲁邦性强，对缝隙类型兼容性强。

图2为一个实施例中基于深度学习的缝隙定位方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种基于深度学习的缝隙定位装置，包括：

数据获取模块201，用于获取图像采集装置采集的包含缝隙的图像。

预测模块202，用于将图像输入已训练的缝隙端点预测模型，输出缝隙的端点对的目标坐标。

参数获取模块203，用于获取图像采集装置的坐标系转换参数。

宽度计算模块204，用于根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

在一个实施例中，上述基于深度学习的缝隙定位装置，还包括：

模型生成模块，用于生成已训练的缝隙端点预测模型，其中模型生成模块，包括：

模型构建单元，用于构建初始缝隙端点预测模型。

数据获取单元，用于获取包含多个训练图像的训练集合，训练图像包含缝隙和对应的端点对的标注坐标。

预测单元，用于输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标。

判断单元，用于判断各个训练图像的端点对的标注坐标和端点对的预测坐标是否匹配。

模型确定单元，用于统计训练集合的正确匹配率，当正确匹配率大于或等于预设正确匹配率时，初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

在一个实施例中，模型确定单元还用于当正确匹配率小于预设正确匹配率时，根据正确匹配率更新初始缝隙端点预测模型的模型参数，将更新了模型参数的初始缝隙端点预测模型作为初始缝隙端点预测模型，执行输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标，直至初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

在一个实施例中，上述基于深度学习的缝隙定位装置，还包括：

数据与处理单元，用于获取包含激光线的原始图像，利用直线特征提取算法提取原始图像中激光线，得到激光线的原始图像坐标，从激光线的原始图像坐标中筛选出缝隙的端点对的筛选坐标，得到缝隙和对应的端点对的标注坐标，将包含缝隙和对应的标注端点坐标的原始图像作为训练图像。

在一个实施例中，预测模块，包括：

卷积单元，用于输入图像至卷积层，通过卷积层的卷积核实现对图像的卷积运行，得到多个卷积特征图，其中，缝隙端点预测模型包括：卷积层、池化层和预测层，其中卷积层与池化层连接，池化层与预测层连接。

池化单元，用于输入各个卷积特征图至池化层，对各个卷积特征图进行池化运算，得到对应的池化特征图。

端点预测单元，用于输入各个池化特征图至预测层，通过预测层预测图像的端点对的坐标。

在一个实施例中，宽度计算模块具体用于，包括：根据坐标系转换参数将端点对的坐标转换到世界坐标系，得到端点对的世界坐标，计算端点对的世界坐标的距离，将距离作为宽度信息。

图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图5所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于深度学习的缝隙定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于深度学习的缝隙定位方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于深度学习的缝隙定位装置可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于深度学习的缝隙定位装置的各个程序模块，比如，图4所示的数据获取模块201、预测模块202、参数获取模块203和宽度计算模块204。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于深度学习的缝隙定位方法中的步骤。

例如，图5所示的计算机设备可以通过如图4所示的基于深度学习的缝隙定位装置中的数据获取模块201执行获取图像采集装置采集的包含缝隙的图像。计算机设备可以通过预测模块202执行将图像输入已训练的缝隙端点预测模型，输出缝隙的端点对的目标坐标。计算机设备可以通过参数获取模块203，用于获取所述图像采集装置的坐标系转换参数。计算机设备可以通过宽度计算模块204，用于根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取图像采集装置采集的包含缝隙的图像；将图像输入已训练的缝隙端点预测模型，输出缝隙的端点对的目标坐标；获取所述图像采集装置的坐标系转换参数；根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：生成已训练的缝隙端点预测模型，包括：构建初始缝隙端点预测模型；获取包含多个训练图像的训练集合，训练图像包含缝隙和对应的端点对的标注坐标；输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标；判断各个训练图像的端点对的标注坐标和端点对的预测坐标是否匹配；统计训练集合的正确匹配率，当正确匹配率大于或等于预设正确匹配率时，初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当正确匹配率小于预设正确匹配率时，根据正确匹配率更新初始缝隙端点预测模型的模型参数；将更新了模型参数的初始缝隙端点预测模型作为初始缝隙端点预测模型；执行输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标，直至初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

在一个实施例中，获取包含多个训练图像的训练集合，训练图像包含缝隙和对应的端点对的标注坐标之前，处理器执行计算机程序时还实现以下步骤：获取包含激光线的原始图像；利用直线特征提取算法提取原始图像中激光线，得到激光线的原始图像坐标；从激光线的原始图像坐标中筛选出缝隙的端点对的筛选坐标，得到缝隙和对应的端点对的标注坐标，将包含缝隙和对应的标注端点坐标的原始图像作为训练图像。

在一个实施例中，缝隙端点预测模型包括：卷积层、池化层和预测层，其中卷积层与池化层连接，池化层与预测层连接，将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标，包括：输入图像至卷积层，通过卷积层的卷积核实现对图像的卷积运行，得到多个卷积特征图；输入各个卷积特征图至池化层，对各个卷积特征图进行池化运算，得到对应的池化特征图；输入各个池化特征图至预测层，通过预测层预测图像的端点对的坐标。

在一个实施例中，根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息，包括：根据坐标系转换参数将端点对的坐标转换到世界坐标系，得到端点对的世界坐标，计算端点对的世界坐标的距离，将距离作为宽度信息。

在一个实施例中，坐标系转换参数包括内参和外参，内参为图像坐标系和图像采集装置对应的设备坐标系的转换参数，外参为设备坐标系和世界坐标系之间的转换参数。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取图像采集装置采集的包含缝隙的图像；将图像输入已训练的缝隙端点预测模型，输出缝隙的端点对的目标坐标；获取所述图像采集装置的坐标系转换参数；根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：构建初始缝隙端点预测模型；获取包含多个训练图像的训练集合，训练图像包含缝隙和对应的端点对的标注坐标；输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标；判断各个训练图像的端点对的标注坐标和端点对的预测坐标是否匹配；统计训练集合的正确匹配率，当正确匹配率大于或等于预设正确匹配率时，初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当正确匹配率小于预设正确匹配率时，根据正确匹配率更新初始缝隙端点预测模型的模型参数；将更新了模型参数的初始缝隙端点预测模型作为初始缝隙端点预测模型；执行输入训练图像至初始缝隙端点预测模型，输出各个训练图像对应的端点对的预测坐标，直至初始缝隙端点预测模型收敛，得到已训练的缝隙端点预测模型。

在一个实施例中，获取包含多个训练图像的训练集合，训练图像包含缝隙和对应的端点对的标注坐标之前，处理器执行计算机程序时还实现以下步骤：获取包含激光线的原始图像；利用直线特征提取算法提取原始图像中激光线，得到激光线的原始图像坐标；从激光线的原始图像坐标中筛选出缝隙的端点对的筛选坐标，得到缝隙和对应的端点对的标注坐标，将包含缝隙和对应的标注端点坐标的原始图像作为训练图像。

在一个实施例中，缝隙端点预测模型包括：卷积层、池化层和预测层，其中卷积层与池化层连接，池化层与预测层连接，将图像输入已训练的缝隙端点预测模型，输出图像中的缝隙的端点对的目标坐标，包括：输入图像至卷积层，通过卷积层的卷积核实现对图像的卷积运行，得到多个卷积特征图；输入各个卷积特征图至池化层，对各个卷积特征图进行池化运算，得到对应的池化特征图；输入各个池化特征图至预测层，通过预测层预测图像的端点对的坐标。

在一个实施例中，根据坐标系转换参数和缝隙的端点对的目标坐标，计算得到缝隙在世界坐标系中的宽度信息，包括：根据坐标系转换参数将端点对的坐标转换到世界坐标系，得到端点对的世界坐标，计算端点对的世界坐标的距离，将距离作为宽度信息。

在一个实施例中，坐标系转换参数包括内参和外参，内参为图像坐标系和图像采集装置对应的设备坐标系的转换参数，外参为设备坐标系和世界坐标系之间的转换参数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度学习的缝隙定位方法，其特征在于，所述方法包括：

获取图像采集装置采集的包含缝隙的图像；

输入所述图像至已训练的缝隙端点预测模型，输出所述缝隙的端点对的目标坐标；

获取所述图像采集装置的坐标系转换参数；

根据所述坐标系转换参数和所述缝隙的端点对的目标坐标，计算得到所述缝隙在世界坐标系中的宽度信息。

2.根据权利要求1所述的方法，其特征在于，生成所述已训练的缝隙端点预测模型，包括：

构建初始缝隙端点预测模型；

获取包含多个训练图像的训练集合，所述训练图像包含缝隙和对应的端点对的标注坐标；

输入所述训练图像至所述初始缝隙端点预测模型，输出各个所述训练图像对应的端点对的预测坐标；

判断各个所述训练图像的端点对的标注坐标和端点对的预测坐标是否匹配；

统计所述训练集合的正确匹配率，当所述正确匹配率大于或等于预设正确匹配率时，所述初始缝隙端点预测模型收敛，得到所述已训练的缝隙端点预测模型。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当所述正确匹配率小于所述预设正确匹配率时，根据所述正确匹配率更新所述初始缝隙端点预测模型的模型参数；

将更新了所述模型参数的初始缝隙端点预测模型作为所述初始缝隙端点预测模型；

执行输入所述训练图像至所述初始缝隙端点预测模型，输出各个所述训练图像对应的端点对的预测坐标，直至所述初始缝隙端点预测模型收敛，得到所述已训练的缝隙端点预测模型。

4.根据权利要求2所述的方法，其特征在于，所述获取包含多个训练图像的训练集合，还包括：

获取包含激光线的原始图像；

利用直线特征提取算法提取所述原始图像中激光线，得到激光线的原始图像坐标；

从所述激光线的原始图像坐标中筛选出缝隙的端点对的筛选坐标，得到所述缝隙和对应的端点对的标注坐标，将包含所述缝隙和对应的标注端点坐标的所述原始图像，作为所述训练图像。

5.根据权利要求1所述的方法，其特征在于，所述缝隙端点预测模型包括：卷积层、池化层和预测层，其中所述卷积层与所述池化层连接，所述池化层与所述预测层连接，所述输入所述图像至已训练的缝隙端点预测模型，输出所述图像中的所述缝隙的端点对的目标坐标，包括：

输入所述图像至所述卷积层，通过所述卷积层的卷积核实现对所述图像的卷积运行，得到多个卷积特征图；

输入各个所述卷积特征图至所述池化层，对各个所述卷积特征图进行池化运算，得到对应的池化特征图；

输入各个所述池化特征图至所述预测层，通过所述预测层预测所述图像的端点对的坐标。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述坐标系转换参数和所述缝隙的端点对的目标坐标，计算得到所述缝隙在世界坐标系中的宽度信息，包括：

根据所述坐标系转换参数将所述端点对的坐标转换到所述世界坐标系，得到端点对的世界坐标；

计算所述端点对的世界坐标的距离，将所述距离作为所述宽度信息。

7.根据权利要求1所述的方法，其特征在于，所述坐标系转换参数包括内参和外参，所述内参为图像坐标系和所述图像采集装置对应的设备坐标系的转换参数，所述外参为所述设备坐标系和所述世界坐标系之间的转换参数。

8.一种基于深度学习的缝隙定位装置，其特征在于，所述装置包括：

数据获取模块，用于获取图像采集装置采集的包含缝隙的图像；

预测模块，用于输入所述图像至已训练的缝隙端点预测模型，输出所述缝隙的端点对的目标坐标；

参数获取模块，用于获取所述图像采集装置的坐标系转换参数；

宽度计算模块，用于根据所述坐标系转换参数和所述缝隙的端点对的目标坐标，计算得到所述缝隙在世界坐标系中的宽度信息。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。