CN115222744B - 基于深度估计的刀具磨损程度判定方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于深度估计的刀具磨损程度判定方法，对刀具的后刀面图像进行磨损区域的检测，以得到后刀面的磨损区域面积；采集刀具的后刀面深度图像，对后刀面棱角的三条边界进行检测得到后刀面棱角的边界深度图像，将后刀面深度图像和对应的边界深度图像输入复原神经网络得到未磨损状态下后刀面的标准深度图像，根据标准深度图像和后刀面深度图像中对应像素点的深度值差异得到后刀面的平均磨损深度，结合平均磨损深度和磨损区域面积得到刀具的磨损程度。通过自适应获取未磨损刀具的标准深度图像，保证了标准图像获取的便利，且能够更加准确分析刀具磨损的程度。

Description

基于深度估计的刀具磨损程度判定方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于深度估计的刀具磨损程度判定方法。

背景技术

刀具磨损是加工过程中常见的现象，而对于磨损的刀具，在进行回收时，需要根据其磨损程度进行价值评估等分析，通常对于刀具磨损程度的分析方法是将未磨损的刀具图像作为标准图像，将实时采集的磨损刀具图像与标准图像进行对比获取刀具的磨损程度，然而由于刀具的磨损程度不同，且当刀具磨损非常严重，且无法判别其刀具类型时，难以获取其未磨损状态下的标准图像，进而无法准确计算刀具的磨损程度。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于深度估计的刀具磨损程度判定方法，所采用的技术方案具体如下：

采集刀具的后刀面图像以得到刀具灰度图像，对所述刀具灰度图像进行阈值分割得到刀具的磨损区域二值图，对所述磨损区域二值图进行磨损区域轮廓提取，得到后刀面的磨损区域面积；

采集刀具的后刀面深度图像，对所述后刀面深度图像进行直线检测得到后刀面棱角的两个上边缘所对应的边缘直线，对边缘直线上每个像素点的深度值进行优化，得到理论基础矫正深度值，基于所述理论基础矫正深度值进行相对应边界的直线拟合；结合两个上边缘的拟合直线对后刀面棱角的竖直边界进行直线拟合，得到后刀面棱角的边界深度图像；将所述后刀面深度图像和所述边界深度图像输入复原神经网络得到未磨损状态下后刀面的标准深度图像；根据所述标准深度图像和所述后刀面深度图像中对应像素点的深度值差异得到后刀面的平均磨损深度；

结合所述平均磨损深度和所述磨损区域面积得到刀具的磨损程度。

进一步地，所述对边缘直线上每个像素点的深度值进行优化，得到理论基础矫正深度值的方法，包括：

获取当前边缘直线上每个像素点的深度值，按照像素点顺序将深度值组成一组数列，使用Bernaola Galvan分割算法找到该数列中的突变值，并将突变值排除；将突变值排除后的数列中的深度值按照从小到大的顺序排列，取排列后的前百分之一的深度值的平均深度值和最小深度值；

获取平均深度值和最小深度值的差值，将每个像素点的深度值减去差值对应得到像素点的理论基础矫正深度值。

进一步地，所述基于所述理论基础矫正深度值进行相对应边界的直线拟合的方法，包括：

基于像素点的八邻域范围，获取边缘直线上当前像素点在该边缘直线上的多个直线像素点，根据当前像素点分别与每个直线像素点对应所述理论基础矫正深度值的深度值差值得到当前像素点的深度变化值；

将该边缘直线上所有像素点的深度变化值构成一个深度变化序列，对深度变化序列进行突变点检测，所述突变点是指边缘直线上深度发生显著变化的像素点；由所述突变点对该边缘直线所对应的边界进行直线拟合。

进一步地，所述由所述突变点对该边缘直线所对应的边界进行直线拟合的方法，包括：

当检测到一个突变点时，将保留深度变化序列中的第一个像素点和突变点之间的像素点，以构成目标像素点序列；当检测到两个突变点时，去除这两个突变点之间的所有像素点，将剩下的像素点构成目标像素点序列；当检测到多个突变点时，去除突变点之间的像素点，将剩余的像素点构成目标像素点序列；根据目标像素点序列中每个像素点的位置信息进行边界的直线拟合。

进一步地，所述结合两个上边缘的拟合直线对后刀面棱角的竖直边界进行直线拟合的方法，包括：

根据两个上边缘的拟合直线获取其交点，基于图像坐标系，以交点的横坐标为基准，获取其竖直方向上的所有像素点，构成一个像素点集合；

根据像素点集合中每个像素点的深度值获取目标像素点集合，由目标像素点集合的位置信息进行竖直边界的直线拟合。

进一步地，所述结合所述平均磨损深度和所述磨损区域面积得到刀具的磨损程度的方法，包括：

对所述磨损区域面积和所述平均磨损深度进行加权求和得到刀具的磨损程度。

本发明实施例至少具有如下有益效果：通过自适应获取未磨损刀具的标准深度图像，保证了标准图像获取的便利，且能够更加准确分析刀具磨损的程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例提供的一种基于深度估计的刀具磨损程度判定方法的步骤流程图；

图2为本发明实施例中提供的一种关于磨损区域的最小外接矩形的示意图；

图3为本发明实施例中提供的一种后刀面棱角的边界深度图像示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于深度估计的刀具磨损程度判定方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于深度估计的刀具磨损程度判定方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于深度估计的刀具磨损程度判定方法的步骤流程图，该方法包括以下步骤：

步骤S001，采集刀具的后刀面图像以得到刀具灰度图像，对刀具灰度图像进行阈值分割得到刀具的磨损区域二值图，对磨损区域二值图进行磨损区域轮廓提取，得到后刀面的磨损区域面积。

具体的，利用工业相机采集刀具的后刀面图像，对后刀面图像进行加权平均化灰度变化算法处理后得到对应的刀具灰度图像，为了降低噪声对刀具磨损检测的影响，对刀具灰度图像进行滤波去噪，具体为：使用5

5邻域的中值滤波器对刀具灰度图像进行滤波预处理。

对滤波去噪后的刀具灰度图像使用自适应最大类间方差法进行阈值分割处理，得到初始二值图像，即磨损区域的像素点为1，其他像素点为0，然后对初始二值图像进行形态学处理得到磨损区域二值图。

需要说明的是，形态学处理初始二值图像的过程中，尤其是对初始二值图像的边界提取、空洞填充、噪声消除、连通分量提取和图像梯度的求取都有很好的效果，且使用大小为5

5的结构元素进行闭操作，在平滑边缘的基础上基本填充了区域内所有的小孔隙，边缘轮廓完整，最大程度保留了刀具磨损区域的大小和形状。

使用Two-pass连通域标记算法对磨损区域二值图进行连通域标记和几何参数识别：输入磨损区域二值图，将磨损区域二值图从首行像素点开始进行扫描，逆时针扫描目标像素点的邻域，通过逐步扫描实现连通域标记。磨损区域二值图经过轮廓标记后，可以分为两个部分，一个是磨损区域，另一个是非磨损区域。在标记的连通域之上，可以获得连通域的质心、不变矩和轮廓等特征，为获取刀具磨损轮廓的特征参数，进一步使用轮廓检测算法提取刀具的磨损区域的轮廓。如图2所示，获取磨损区域的轮廓的最小外接矩形，根据最小外接矩形的长宽能够得到最小外接矩形的面积，将该面积作为后刀面的磨损区域面积

。

步骤S002，采集刀具的后刀面深度图像，根据后刀面深度图像中像素点的深度值对后刀面棱角的三条边界进行直线拟合得到后刀面棱角的边界深度图像；将后刀面深度图像和边界深度图像输入复原神经网络得到未磨损状态下后刀面的标准深度图像；根据标准深度图像和后刀面深度图像中对应像素点的深度值差异得到后刀面的平均磨损深度。

具体的，使用Kinect设备获取刀具的后刀面深度图像对其进行边缘检测，可使用Canny算子，Canny算子提取边缘效果优越且边缘的连接效果也突出。为了得到刀具的后刀面棱角所对应的三条完整边界，先对边缘检测后的后刀面深度图像进行Hough直线检测得到后刀面棱角的两个上边缘所对应的边缘直线，而之所以进行直线检测，是因为往往磨损区域的边界为非直线区域，通过直线检测可以将非后刀面棱角对应边缘的直线进行排除，然后基于检测到的两条边缘直线得到后刀面棱角的三个完整边界，进而得到后刀面的边界深度图像，则边界深度图像的获取过程为：

（1）任意选取一条边缘直线，对于该边缘直线上的像素点A，获取其八邻域内该边缘直线上的其他直线像素点

和

，根据像素点A分别与直线像素点

和直线像素点

之间的深度值差值得到像素点A的深度变化值。

具体的，由于磨损程度较为严重的位置对应的边缘直线并不明显，而刀具未磨损位置对应的直线边缘清晰，所以上述根据Hough直线检测得到了未磨损位置对应的边缘直线。但往往刀头各部分都在作业过程中造成了磨损，所以后刀面深度图像中实际得到的未磨损的原始数据通常过少，受环境或轻微异常值影响较大，故为获得更多相关数据，使得边缘直线上每个像素点的深度值更加准确，对像素点的深度值进行优化。

获取该边缘直线上每个像素点的深度值，按照像素点顺序将对应的深度值排列成一组数列，使用Bernaola Galvan分割算法找到该数列中的突变值，并将突变值排除。将突变值排除后的数列中的深度值按照从小到大的顺序排列，取排列后的前1%的深度值的平均深度值

和最小深度值

，将

记为深度的理论值，

记为深度基础值。利用深度的理论值和深度基础值对该边缘直线上的每个像素点的深度值进行优化，以获取理论基础矫正深度值，则理论基础矫正深度值的获取方法为：获取平均深度值

和最小深度值

的差值，将每个像素点的深度值减去差值对应得到像素点的理论基础矫正深度值。

分别计算像素点A和直线像素点

之间对应理论基础矫正深度值的第一深度值差值绝对值、像素点A和直线像素点

之间对应理论基础矫正深度值的第二深度值差值绝对值，将第一深度值差值绝对值和第二深度值差值绝对值之间的平均值作为像素点A的深度变化值

。

（2）根据步骤（1）的方法能够得到该边缘直线上每个像素点的深度变化值，从而构成一个深度变化序列。

（3）对深度变化序列采用突变点检测方法获取该边缘直线上的突变点，而突变点是指边缘直线上深度发生显著变化的像素点，通常这样的像素点为开始磨损的边缘点。根据检测到的突变点对该边缘直线所对应的边界进行直线拟合，以得到该边缘直线对应的完整棱角边界。

具体的，当检测到一个突变点时，将保留深度变化序列中的第一个像素点和突变点之间的像素点，以构成目标像素点序列；当检测到两个突变点时，去除这两个突变点之间的所有像素点，将剩下的像素点构成目标像素点序列；当检测到多个突变点时，去除突变点之间的像素点，将剩余的像素点构成目标像素点序列；然后，根据目标像素点序列中每个像素点的位置信息进行直线拟合得到完整棱角边界，且直线拟合采用最小二乘法。

需要说明的是，本发明实施例中突变点检测方法采用Mann-Kendall突变检测方法。

（4）利用步骤（1）至步骤（3）的方法，能够对后刀面棱角的两个上边缘进行边界的直线拟合，进而分别获取对应的完整棱角边界。

（5）由于后刀面棱角的竖直边界无法通过直线检测得到，因此根据获取的两条完整棱角边界所对应的拟合直线得到这两条拟合直线的交点。基于图像坐标系，以交点的横坐标为基准，获取其竖直方向上所有像素点，构成一个像素点集合，然后利用步骤（1）至步骤（3）的方法获取像素点集合中每个像素点的深度变化值，从而构成一个深度变化序列，对该深度变化序列进行突变点检测，同样根据检测到的突变点获取目标像素点集合，由目标像素点集合的位置信息进行竖直边界的直线拟合，以得到后刀面棱角的完整竖直边界。

（6）由步骤（1）至步骤（5）得到后刀面棱角的三个边界信息，进而得到如图3所示的后刀面的边界深度图像。

进一步地，本发明实施例中复原神经网络采用Unet，利用复原神经网络对刀具的深度信息进行学习从而获得刀具未磨损情况下的标准深度图像，其中，复原神经网络训练细节如下：

（1）复原神经网络是一个全卷积神经网络，包括编码器、解码器两个部分。

（2）将后刀面深度图像和边界深度图像作为编码器的输入，编码器负责进行特征提取和池化操作，编码器的输出作为解码器的输入，解码器负责对特征提取部分进行融合，做多尺度预测，然后输出磨损刀具的复原深度图像。

（3）复原神经网络的标签数据即刀具的深度信息，通过深度相机拍摄多种刀具未磨损情况下的标准深度图像，其中，拍摄时要保持相机位姿与拍摄磨损刀具时的相机位姿一致。将多种刀具未磨损情况下的标准深度图像作为复原神经网络的标签数据，尽可能多的获取多种刀具的深度信息，大量的未磨损刀具的深度信息可以让复原神经网络得到充分的学习，提高网络复原磨损刀具的泛化能力，泛化能力就是复原神经网络预测新的input的能力，如使用10种刀具的深度图像作标签进行训练，可实现在未知第11种刀具的未磨损刀具深度信息情况下也可还原该刀具未磨损情况下的标准深度图像。

（4）复原神经网络采用均方差损失函数。

（5）神经网络的优化使用梯度下降算法更新网络中的每一个参数。

（6）复原神经网络最终输出的是刀具未磨损情况下的标准深度图像。

根据复原神经网络能够得到磨损刀具对应的刀具的标准深度图像，进而结合标准深度图像和对应后刀面深度图像中对应像素点的深度值差异得到后刀面的平均磨损深度，则平均磨损程度的计算公式为：

其中，

为平均磨损深度；

为后刀面深度图像中像素点

的理论基础矫正深度值；

为标准深度图像中像素点

的深度值；

为图像的尺寸。

步骤S003，结合平均磨损深度和磨损区域面积得到刀具的磨损程度。

具体的，为了更准确的分析刀具的后刀面磨损情况，可综合考虑后刀面的磨损区域面积和平均磨损深度以获取刀具的磨损程度，则磨损程度的获取方法为：对磨损区域面积和平均磨损深度进行加权求和得到刀具的磨损程度。

作为一个示例，磨损程度的计算公式为：

，其中，

为磨损程度，

为磨损区域面积的权重，

为平均磨损深度的权重，且

，

。

综上所述，本发明实施例提供了一种基于深度估计的刀具磨损程度判断方法，对刀具的后刀面图像进行磨损区域的检测，以得到后刀面的磨损区域面积；采集刀具的后刀面深度图像，对后刀面棱角的三条边界进行检测得到后刀面棱角的边界深度图像，将后刀面深度图像和对应的边界深度图像输入复原神经网络得到未磨损状态下后刀面的标准深度图像，根据标准深度图像和后刀面深度图像中对应像素点的深度值差异得到后刀面的平均磨损深度，结合平均磨损深度和磨损区域面积得到刀具的磨损程度。通过自适应获取未磨损刀具的标准深度图像，保证了标准图像获取的便利，且能够更加准确分析刀具磨损的程度。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度估计的刀具磨损程度判定方法，其特征在于，该方法包括以下步骤：

采集刀具的后刀面图像以得到刀具灰度图像，对所述刀具灰度图像进行阈值分割得到刀具的磨损区域二值图，对所述磨损区域二值图进行磨损区域轮廓提取，得到后刀面的磨损区域面积；

采集刀具的后刀面深度图像，对所述后刀面深度图像进行直线检测得到后刀面棱角的两个上边缘所对应的边缘直线，对边缘直线上每个像素点的深度值进行优化，得到理论基础矫正深度值，基于所述理论基础矫正深度值进行相对应边界的直线拟合；结合两个上边缘的拟合直线对后刀面棱角的竖直边界进行直线拟合，得到后刀面棱角的边界深度图像；将所述后刀面深度图像和所述边界深度图像输入复原神经网络得到未磨损状态下后刀面的标准深度图像；根据所述标准深度图像和所述后刀面深度图像中对应像素点的深度值差异得到后刀面的平均磨损深度；

结合所述平均磨损深度和所述磨损区域面积得到刀具的磨损程度；

所述对边缘直线上每个像素点的深度值进行优化，得到理论基础矫正深度值的方法，包括：

获取当前边缘直线上每个像素点的深度值，按照像素点顺序将深度值组成一组数列，使用Bernaola Galvan分割算法找到该数列中的突变值，并将突变值排除；将突变值排除后的数列中的深度值按照从小到大的顺序排列，取排列后的前百分之一的深度值的平均深度值和最小深度值；

获取平均深度值和最小深度值的差值，将每个像素点的深度值减去差值对应得到像素点的理论基础矫正深度值；

所述基于所述理论基础矫正深度值进行相对应边界的直线拟合的方法，包括：

基于像素点的八邻域范围，获取边缘直线上当前像素点在该边缘直线上的多个直线像素点，根据当前像素点分别与每个直线像素点对应所述理论基础矫正深度值的深度值差值得到当前像素点的深度变化值；

将该边缘直线上所有像素点的深度变化值构成一个深度变化序列，对深度变化序列进行突变点检测，所述突变点是指边缘直线上深度发生显著变化的像素点；由所述突变点对该边缘直线所对应的边界进行直线拟合。

2.如权利要求1所述的一种基于深度估计的刀具磨损程度判定方法，其特征在于，所述由所述突变点对该边缘直线所对应的边界进行直线拟合的方法，包括：

当检测到一个突变点时，将保留深度变化序列中的第一个像素点和突变点之间的像素点，以构成目标像素点序列；当检测到两个突变点时，去除这两个突变点之间的所有像素点，将剩下的像素点构成目标像素点序列；当检测到多个突变点时，去除突变点之间的像素点，将剩余的像素点构成目标像素点序列；根据目标像素点序列中每个像素点的位置信息进行边界的直线拟合。

3.如权利要求1所述的一种基于深度估计的刀具磨损程度判定方法，其特征在于，所述结合两个上边缘的拟合直线对后刀面棱角的竖直边界进行直线拟合的方法，包括：

根据两个上边缘的拟合直线获取其交点，基于图像坐标系，以交点的横坐标为基准，获取其竖直方向上的所有像素点，构成一个像素点集合；

根据像素点集合中每个像素点的深度值获取目标像素点集合，由目标像素点集合的位置信息进行竖直边界的直线拟合。

4.如权利要求1所述的一种基于深度估计的刀具磨损程度判定方法，其特征在于，所述结合所述平均磨损深度和所述磨损区域面积得到刀具的磨损程度的方法，包括：

对所述磨损区域面积和所述平均磨损深度进行加权求和得到刀具的磨损程度。

Images