CN117058134A - 一种数字孪生智能工厂的图像处理方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种数字孪生智能工厂的图像处理方法，包括：采集金属物料图像，根据金属物料的移动距离和单个像素点的大小，得到金属物料的移动像素点数量，得到表面裂纹缺陷的参考宽度，根据表面裂纹缺陷的参考宽度得到若干金属物料分块图像和初始的种子生长点，得到初始的种子生长点的异常程度，根据异常像素点的邻域范围内像素点和异常像素点的灰度值，得到相似程度，根据相似程度对金属物料的表面裂纹缺陷进行快速检测。本发明通过金属物料在传送带上的移动方向放大金属物料表面裂纹的特征，并根据特征放大的特点改进区域生长算法，加快算法的运动效率。

Description

一种数字孪生智能工厂的图像处理方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种数字孪生智能工厂的图像处理方法。

背景技术

随着数字孪生技术的不断发展，所涉及的领域也逐渐广泛，尤其是在制造业和工业领域中发挥着重要作用。相关的技术应用于自动质检、缺陷检测、智能机械臂路径规划、设备故障检测、工人安全监控和实时监测等方面。通过计算机视觉技术和图像分析算法，能够实现自动化的质量控制、预测性维护、安全监控和生产过程优化。图像处理方法更是为数字孪生智能工厂提供了丰富的数据和方法，为制造业决策者提供数据驱动的优化和改进方向。随着领域内技术的不断发展，该领域将继续推动工业生产的智能化和自动化进程。

数字孪生智能工厂中，传送带为常见设备，传送带可以用于实现各种金属物料的运输和流程控制，在传送带工作过程中，通过对传送带上的金属物料图像进行处理，可以实时监测生产过程中目标金属物料的表面缺陷，区域分割算法可以将图像分成不同的区域，用于对目标金属物料的表面缺陷进行检测。而在数字孪生智能工厂的检测过程中，实时性和高效率是十分重要的，因此对于目标金属物料表面缺陷的检测过程，较为快速的检测速度是至关重要的，区域生长算法是一种常用的图像分割算法，但由于其算法本身的迭代性质和对多个像素进行比较和分类的需求，导致较慢的检测速度。

发明内容

本发明提供一种数字孪生智能工厂的图像处理方法，以解决现有的问题。

本发明的一种数字孪生智能工厂的图像处理方法采用如下技术方案：

本发明一个实施例提供了一种数字孪生智能工厂的图像处理方法，该方法包括以下步骤：

采集不同帧的金属物料图像，获取相机每秒钟拍摄的帧数和传送带的运动速度；

根据相机每秒钟拍摄的帧数和传送带的运动速度，得到相邻两帧金属物料图像中金属物料的移动距离；

获取拍摄设备的分辨率，根据拍摄设备的分辨率得到单个像素点的大小，根据相邻两帧金属物料图像中金属物料的移动距离和单个像素点的大小，得到相邻两帧金属物料图像中金属物料的移动像素点数量；

根据相邻两帧金属物料图像中金属物料的移动像素点数量、相机每秒钟拍摄的帧数，得到表面裂纹缺陷的参考宽度，根据表面裂纹缺陷的参考宽度得到若干金属物料分块图像，根据金属物料分块图像得到初始的种子生长点；

根据参考宽度得到第一范围、第二范围，根据初始的种子生长点的第一范围、第二范围内像素点的灰度值得到初始的种子生长点的异常程度，根据异常程度得到异常像素点，根据异常像素点的邻域范围内任意一个像素点和异常像素点的灰度值，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度；

根据相似程度对金属物料的表面裂纹缺陷进行快速检测。

进一步地，所述根据相机每秒钟拍摄的帧数和传送带的运动速度，得到相邻两帧金属物料图像中金属物料的移动距离，包括的具体步骤如下：

将传送带的运动速度与相机每秒钟拍摄的帧数的比值作为相邻两帧金属物料图像中金属物料的移动距离。

进一步地，所述根据拍摄设备的分辨率得到单个像素点的大小，包括的具体步骤如下：

；

式中，PT为拍摄设备的分辨率，M为英寸和毫米转换单位，lpx为单个像素点的大小。

进一步地，所述根据相邻两帧金属物料图像中金属物料的移动距离和单个像素点的大小，得到相邻两帧金属物料图像中金属物料的移动像素点数量，包括的具体步骤如下：

将相邻两帧金属物料图像中金属物料的移动距离与单个像素点的大小的比值作为相邻两帧金属物料图像中金属物料的移动像素点数量。

进一步地，所述根据相邻两帧金属物料图像中金属物料的移动像素点数量、相机每秒钟拍摄的帧数，得到表面裂纹缺陷的参考宽度，包括的具体步骤如下：

；

式中，nm为相邻两帧金属物料图像中金属物料的移动像素点数量，nfps为相机每秒钟拍摄的帧数，lw为表面裂纹缺陷的参考宽度。

进一步地，所述根据表面裂纹缺陷的参考宽度得到若干金属物料分块图像，包括的具体步骤如下：

将金属物料图像进行等间隔分割，等间隔分割的长度为lw，得到若干大小为lw×n的金属物料分块图像，其中n为金属物料图像的宽度。

进一步地，所述根据金属物料分块图像得到初始的种子生长点，包括的具体步骤如下：

在每一个金属物料分块图像中选取一个灰度值最大的像素点作为初始的种子生长点。

进一步地，所述根据参考宽度得到第一范围、第二范围，根据初始的种子生长点的第一范围、第二范围内像素点的灰度值得到初始的种子生长点的异常程度，包括的具体步骤如下：

对于任意一个金属物料分块图像，将初始的种子生长点周围邻域宽度为的范围记为第一范围，将初始的种子生长点周围邻域宽度为/>的范围内沿物料在传送带上的移动方向的范围记为第二范围，lw为表面裂纹缺陷的参考宽度；

；

式中，g_i为初始的种子生长点的第一范围内的第i个像素点的灰度值，ga为金属物料图像的灰度均值，g_j为初始的种子生长点的第二范围内的第j个像素点的灰度值，g为初始的种子生长点的灰度值，De为初始的种子生长点的异常程度，J表示初始的种子生长点的第二范围内的像素点个数，I表示初始的种子生长点的第一范围内的像素点个数，exp()为自然常数为底的指数函数，||为取绝对值，gu为预设第一参数。

进一步地，所述根据异常程度得到异常像素点，根据异常像素点的邻域范围内任意一个像素点和异常像素点的灰度值，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，包括的具体步骤如下：

当异常程度大于预设异常阈值时，异常程度大于预设异常阈值的对应像素点为异常像素点；

；

对于任意一个异常像素点，式中，ge为异常像素点的灰度值，ga为金属物料图像的灰度均值，g3为异常像素点的邻域范围内任意一个像素点的灰度值，exp()为自然常数为底的指数函数，DS为异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，gu为预设第一参数；所述异常像素点的邻域范围为，以异常像素点为中心，半径为RT的范围作为异常像素点的邻域范围，RT为预设第一数值。

进一步地，所述根据相似程度对金属物料的表面裂纹缺陷进行快速检测，包括的具体步骤如下：

将异常像素点的邻域范围内任意一个像素点记为第一邻域像素点，DS大于预设相似程度阈值时，第一邻域像素点与异常像素点相似，将异常像素点以及与异常像素点相似的第一邻域像素点进行标记，DS为异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度；

将所有异常像素点进行相似程度分析，得到若干标记的第一邻域像素点，完成一次区域生长；

将区域生长完成后得到的若干标记的第一邻域像素点先进行是否为异常像素点的判断，若是异常像素点则进行相似程度的判断，将所有异常像素点进行相似程度分析，再次完成区域生长，直至区域生长达到金属物料分块图像的边界时结束，最终得到多个标记的像素点，将所有标记的像素点构成的区域作为表面裂纹缺陷的区域。

本发明的技术方案的有益效果是：根据相邻两帧金属物料图像中金属物料的移动像素点数量、相机每秒钟拍摄的帧数，得到表面裂纹缺陷的参考宽度，参考宽度可以将金属物料表面裂纹的特征进行放大，便于裂纹的快速检测；根据表面裂纹缺陷的参考宽度得到若干金属物料分块图像，根据金属物料分块图像得到初始的种子生长点；根据参考宽度得到第一范围、第二范围，根据初始的种子生长点的第一范围、第二范围内像素点的灰度值得到初始的种子生长点的异常程度，第一范围和第二范围考虑了参考宽度特征，可以更准确的反应种子生长点的异常程度；根据异常程度得到异常像素点，异常像素点可以准确的反应表面裂纹缺陷的位置；根据异常像素点的邻域范围内任意一个像素点和异常像素点的灰度值，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度；根据相似程度对金属物料的表面裂纹缺陷进行快速检测，通过提升邻域范围的大小加快算法的检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种数字孪生智能工厂的图像处理方法的步骤流程图；

图2为本发明一个实施例所提供的一种数字孪生智能工厂的图像处理方法的参考面示意图；

图3为本发明一个实施例所提供的一种数字孪生智能工厂的图像处理方法的参考宽度示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种数字孪生智能工厂的图像处理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种数字孪生智能工厂的图像处理方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种数字孪生智能工厂的图像处理方法的步骤流程图，该方法包括以下步骤：

步骤S001、采集金属物料图像。

需要说明的是，本实施例的目的是，在数字孪生工厂中，对传送带上金属物料的表面裂纹缺陷进行检测，首先需要采集相关的图像并进行一定的预处理。

具体的，在传送带上方安装工业相机，采集传送带上金属物料的图像，记为金属物料图像，相机的视角为俯视视角，即在金属物料的正上方，采集金属物料图像时，相机每秒钟拍摄的帧数为nfps帧，即每每秒钟拍摄nfps张金属物料图像，本实施例中以nfps为30进行叙述，进一步地，对所有的金属物料图像进行灰度化，本实施例中将经过灰度化处理的金属物料图像仍记为金属物料图像，后续无特殊说明，金属物料图像都指代是经过灰度化后的金属物料图像。

需要说明的是，金属物料图像（经过灰度化后的）中包含金属物料区域、背景区域以及表面裂纹缺陷，且表面裂纹缺陷呈现线型分布。

至此，得到多帧金属物料图像。

步骤S002、根据相机每秒钟拍摄的帧数和传送带的运动速度，得到相邻两帧金属物料图像中金属物料的移动距离，根据拍摄设备的分辨率得到单个像素点的大小，根据相邻两帧金属物料图像中金属物料的移动距离和单个像素点的大小，得到相邻两帧金属物料图像中金属物料的移动像素点数量。

需要说明的是，根据金属物料在传送带上的传送速度，可以判断采集的帧图像间隔是多少。相机采集的帧速率是一致的，所以两帧图像之间的拍摄间隔是一致的。本实施例中，传送带的运动速度是稳定的，传送带位置是平行于水平地面的，将金属物料从当前传送带平稳出现的位置定义为金属物料开始发生运动的起点，并且金属物料在传送过程中是稳定的，相对于传送带是静止的，相对于水平地面是运动的，近似认为金属物料相对于水平地面的运动速度与传送带被设定的速度一致。

由于生产线不同，生产线内对应的传送带的设定速度可能是不同的，因此预设传送带的运动速度为Lmm/s，也即L毫米每秒，本实施例中以L=10进行叙述，在相机拍摄的视角下，金属物料也是以匀速Lmm/s进行移动，通过金属物料的移动速度和相机拍摄时的帧率，可以得到相邻两帧金属物料图像之间金属物料的移动距离。

具体的，根据相机每秒钟拍摄的帧数和传送带的运动速度，得到相邻两帧金属物料图像中金属物料的移动距离，具体如下：

；

式中，l为相邻两帧金属物料图像中金属物料的移动距离，nfps为相机每秒钟拍摄的帧数，L为传送带的运动速度。

需要说明的是，当计算结果l有多个小数时，l结果只保留3位有效数字，由于金属物料的移动速度是稳定的，所以金属物料在稳定的移动速度下的移动距离也是稳定的，移动距离结合相机拍摄图像的分辨率可以得到相邻两帧画面之间金属物料整体移动的像素点数量。

需要说明的是，为了获取移动距离，首先要得到单个像素点的大小，而单个像素点的大小与拍摄设备分辨率的大小有关。

具体的，获取拍摄设备（相机）的分辨率为PT，预设拍摄得到的金属物料图像大小为m×n，m为金属物料图像的长度，n为金属物料图像的宽度，本实施例中以m=2048，n=1024进行叙述，金属物料图像大小的单位为毫米，将单个像素点的大小记为lpx，则，M为英寸和毫米转换单位，即1英寸等于多少毫米，具体取值为M=25.4，lpx的单位也为毫米，当计算结果有多个小数时，lpx结果只保留3位有效数字；关于分辨率PT需要特别说明的是，虽然传统的分辨率是以横向像素点个数与纵向像素点个数相乘的形式进行表示的，但由于本实施例是要确定单个像素点的大小lpx，所以/>中对PT进行开方运算时的被开方数PT，实际上指的是分辨率所对应的横向像素点个数与纵向像素点个数两者的乘积结果，或者说就是分辨率所对应的像素点总数。

在得到金属物料图像中单个像素点的大小后，则相邻两帧金属物料图像中金属物料的移动像素点数量nm=1/lpx，当计算结果nm有多个小数时，nm结果向下取整只保留整数。

至此，得到相邻两帧金属物料图像中金属物料的移动像素点数量。

步骤S003、根据相邻两帧金属物料图像中金属物料的移动像素点数量、相机每秒钟拍摄的帧数，得到表面裂纹缺陷的参考宽度，根据表面裂纹缺陷的参考宽度得到若干金属物料分块图像，根据金属物料分块图像得到初始的种子生长点。

需要说明的是，传统的区域生长算法，会从种子点开始进行生长，生长的方向是沿种子点周围邻域，生长完成后变更种子点开始下一次生长。传统的区域生长算法存在两个明显的问题，一个是生长的速度每次只针对种子点周围一圈的像素点进行即八邻域的像素点，存在生长速度较慢的问题，另一个是生长的方向是向种子点四周去进行扩展，所以某些场景下没有趋于向理想的方向进行生长导致算法的效率下降。

这两个问题对于算法的运算增加了一定的计算量，与此对应的就是降低了算法的运行效率。通过将连续多帧的金属物料图像进行叠加，变相将呈现线型的表面裂纹缺陷通过近似于一种拉伸的方式构成了一个面，记为参考面，并且由于金属物料移动的方向是朝着一个方向的，所以在将表面裂纹缺陷拉伸成面的过程中拉伸的方向与金属物料的移动方向也是一致的，在后续中可以根据拉伸方向的特点去定义区域生长算法的生长方向。

请参阅图2，图2为本实施例的参考面示意图，其中包含表面缺陷在连续帧画面中的移动，即连续帧金属物料图像中表面裂纹缺陷移动形成的多条线状曲线、物料在传送带上的移动方向，即金属物料在传送带上的移动方向、物料在连续帧画面中的移动，即金属物料在连续帧中的移动。

具体的，上述步骤得到了相邻两帧金属物料图像中金属物料的移动像素点数量，并且相机每秒钟拍摄的帧数为nfps帧，则可以得到1秒钟金属物料图像的间隔数量，1秒钟金属物料图像的间隔数量为nfps-1。

进一步地，可以得到表面裂纹缺陷的参考宽度，记为lw，lw=nm×(nfps-1)。

需要说明的是，裂纹的位置、长度、方向在进行检测前都是未知的，但是通过将连续多帧的画面进行叠加之后，裂纹被拉伸的宽度一定是倾向于接近lw，请参阅图3，图3为本实施例的参考宽度示意图，其中，lw为表面裂纹缺陷的参考宽度。同时非缺陷部分的背景区域在进行叠加后的变化与之前相比并不明显，而表面裂纹缺陷部分在进行叠加后，裂纹曲线本身特征会通过叠加被放大。

具体的，将金属物料图像进行等间隔分割，等间隔分割的长度为lw，得到若干大小为lw×n的金属物料分块图像，其中金属物料分块图像的长度为lw，宽度为n，在每一个金属物料分块图像中选取一个灰度值最大的像素点作为初始的种子生长点。

至此，得到了初始的种子生长点。

步骤S004、根据初始的种子生长点的第一范围、第二范围内像素点的灰度值得到初始的种子生长点的异常程度，根据异常程度得到异常像素点，根据异常像素点的邻域范围内任意一个像素点和异常像素点的灰度值，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，根据相似程度完成对像素点的标记。

需要说明的是，从初始的种子生长点开始进行生长，生长时需要指定生长规则，由于背景区域的像素点之间灰度值是十分接近的，并且一个背景像素点与分布距离较远的像素点也存在较为接近的关系，而表面裂纹缺陷的像素点则可能只与分布距离较近的像素点存在较为接近的关系。由此可以对像素点量化异常程度。

具体的，对于任意一个金属物料分块图像，将初始的种子生长点周围邻域宽度为的范围记为第一范围，将初始的种子生长点周围邻域宽度为/>的范围内沿物料在传送带上的移动方向的范围记为第二范围，根据初始的种子生长点的第一范围、第二范围内像素点的灰度值得到初始的种子生长点的异常程度，具体如下：

；

式中，g_i为初始的种子生长点的第一范围内的第i个像素点的灰度值，ga为金属物料图像的灰度均值，g_j为初始的种子生长点的第二范围内的第j个像素点的灰度值，g为初始的种子生长点的灰度值，De为初始的种子生长点的异常程度，J表示初始的种子生长点的第二范围内的像素点个数，I表示初始的种子生长点的第一范围内的像素点个数，exp()为自然常数为底的指数函数，||为取绝对值，gu为预设第一参数。需要说明的是，当初始的种子生长点的灰度值与金属物料图像的灰度均值相等时，|g-ga|=0，为避免分母为零，从而使公式无意义，因此引入预设第一参数，本实施例中以预设第一参数为0.1进行叙述；其中，，I=(lw+1)²-1。

关于上述初始的种子生长点的异常程度De，本实施例之所以要根据上述特定的计算公式计算初始的种子生长点的第一范围内的像素点个数I以及初始的种子生长点的第二范围内的像素点个数J，是因为异常程度De中该部分的构建原理为：

本实施例是通过考量背景像素点在较远或者说较大范围上灰度值依然是相近的，但表面裂纹缺陷像素点则只可能在较近或者说较小范围上灰度值才会相近的该种特性，来实现的对初始的种子生长点的异常程度的量化。换句话说就是，如果初始的种子生长点是处于背景区域也即正常区域且处于背景区域的深处的话，那么不论是其小范围内的像素点，还是大范围内的像素点，由于都几乎是背景区域的像素点，所以两种范围内像素点的灰度值与金属物料图像的灰度均值ga的差异应该都是很小的。

但如果初始的种子生长点是裂纹缺陷像素点的话，那么由于裂纹缺陷处的灰度值与正常区域也即背景区域的像素点的灰度值差异较大，所以此时初始的种子生长点的小范围内的像素点的灰度值，就会与金属物料图像的灰度均值ga的差异较大；不过由于裂纹缺陷相较于整体金属物料来说很小，所以在将此时初始的种子生长点的邻域范围扩大，也即由小范围变为大范围后，那么随着这种扩大过程，额外包括进来的几乎都是正常区域的像素点，从而大范围内裂纹缺陷像素点的占比相较于小范围内裂纹缺陷像素点的占比就会明显降低，此时大范围内像素点的灰度值，在整体来看就会变的与金属物料图像的灰度均值ga的差异很小。

由此，初始的种子生长点的异常程度De中该部分，计算的就是上述小范围对应灰度差异的绝对值大小/>，与大范围对应灰度差异的绝对值大小的比值。

为了凸显分子该部分对应的是初始种子生长点的小范围邻域而分母该部分对应的是初始种子生长点的大范围邻域，且又因为金属物料分块图像是由分割长度lw分割得到的，所以本实施例即以(lw+1)²也即(lw+1)×(lw+1)来体现上述大范围，也就是本实施例的第一范围I，并以/>该种相较于大范围的近似一半的范围来体现上述小范围，也就是本实施例的第二范围J；其中相乘计算时的长宽与(lw+1)之所以要在参考宽度也即分割长度lw的基础上加1，则可以理解成是一种为了保证完全包裹期望划分邻域区域的一种冗余设置，至于相乘后不论是第一范围I还是第二范围J都再减去1，是因为此处参与计算的是初始种子生长点的邻域像素点而并不包括初始种子生长点本身，所以减去1。

在确定了上述的大范围也即本实施例的第一范围I以及上述的小范围也即本实施例的第二范围J后，如果第二范围内像素点灰度值与金属物料图像的灰度均值ga之间的差值绝对值，相较于第一范围内像素点灰度值与金属物料图像的灰度均值ga之间的差值绝对值/>越大，则代表此时的初始种子生长点越发符合裂纹缺陷像素点的特性，随之/>越大，对应的初始种子生长点的异常程度De也就越大。

需要说明的是，对于裂纹缺陷的像素点，在邻域宽度为的范围内的邻域像素点趋近于都属于是裂纹缺陷的像素点，并且这些像素点如果属于裂纹缺陷的区域，那么这些像素点的灰度值与整体像素点的灰度值均值差距是较大的，因为裂纹缺陷与正常金属物料相对比只是少数，所以整体像素点的灰度值均值是接近于金属物料正常区域的灰度值，即当一个像素点的灰度值与整体灰度均值相差的越远，越有可能是裂纹缺点的像素点，也即该像素点的异常程度越大。

需要说明的是，裂纹缺陷进行拉伸的方向与金属物料运动的方向一致，所以以金属物料的运动方向为参照，对移动方向上的邻域像素点的灰度值进行判断，与整体灰度均值的差距越大，则越趋近于是属于裂纹缺点的像素点，也即该像素点的异常程度越大。而像素点本身的灰度值与整体灰度均值差距越大，同样也说明该像素点本身与整体像素点的灰度值有越大的差异，对应的就是该像素点的异常程度越大。

进一步地，在计算出一个像素点的异常程度，即初始的种子生长点的异常程度，当异常程度大于预设异常阈值时，认为异常程度大于预设异常阈值的对应像素点为异常像素点，本实施例中以预设异常阈值为0.8进行叙述。

需要说明的是，当像素点被判断为异常像素点时，那么该像素点邻域像素点中金属物料移动方向对应的邻域方向上的像素点，根据这些像素点与异常像素点的相似程度，当相似程度超过相似程度阈值，则该邻域像素点也会被直接判断为异常像素点，也即该邻域像素点也属于裂纹缺陷上的像素点，邻域像素点与异常像素点的相似程度判断过程描述如下。

具体的，对于任意一个异常像素点，根据异常像素点的邻域范围内任意一个像素点和异常像素点的灰度值，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，具体如下：

；

式中，ge为异常像素点的灰度值，ga为金属物料图像的灰度均值，g3为异常像素点邻域范围内任意一个像素点的灰度值，exp为自然常数为底的指数函数，DS为异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，gu为预设第一参数。需要说明的是，异常像素点的邻域范围为，以异常像素点为中心，半径为RT的范围作为异常像素点的邻域范围，RT为预设第一数值，本实施例中以RT=5进行叙述，单位为像素。需要特别说明的是，若异常像素点的邻域范围内任意一个像素点的灰度值与异常像素点的灰度值相同，此时|g3-ge|=0，为避免分母为零，从而使公式无意义，这里引入预设第一参数。

需要说明的是，邻域像素点与整体灰度均值的差距越大，与异常像素点的灰度值差距越小，则该邻域像素点与异常像素点的相似程度越大。

进一步地，将异常像素点的邻域范围内任意一个像素点记为第一邻域像素点，将DS大于预设相似程度阈值时，第一邻域像素点与异常像素点相似，将异常像素点以及与异常像素点相似的第一邻域像素点进行标记，本实施例中以预设相似程度阈值为0.7进行叙述。

需要说明的是，本实施例中异常像素点的邻域范围为，以异常像素点为中心，半径为RT的范围作为异常像素点的邻域范围，相比于传统的区域生长一次只会对周围1个像素点邻域范围即八邻域范围内的像素点进行判断，本实施例中对邻域范围进行扩展可以增加一次判断的像素点数据量，加快区域生长速度。

至此，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度。

步骤S005、根据相似程度、异常像素点对金属物料的表面裂纹缺陷进行快速检测。

需要说明的是，上述是对于任意一个异常像素点进行分析的，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，并将相似的第一邻域像素点进行标记，同理将所有异常像素点进行相似程度分析，得到若干标记的第一邻域像素点，完成一次区域生长。

具体的，将区域生长完成后得到的若干标记的第一邻域像素点先进行是否为异常像素点的判断，若是异常像素点则进行相似程度的判断，若不是异常像素点则不进行处理，将所有异常像素点进行相似程度分析，再次完成区域生长，直至区域生长达到金属物料分块图像的边界时结束，最终得到多个标记的像素点，所有标记的像素点构成的区域为表面裂纹缺陷的区域，完成对金属物料的表面裂纹缺陷进行快速检测。

需要说明的是，具体判断方法同上述步骤提到的方法，在此不再进行赘述。

至此，本实施例完成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数字孪生智能工厂的图像处理方法，其特征在于，该方法包括以下步骤：

采集不同帧的金属物料图像，获取相机每秒钟拍摄的帧数和传送带的运动速度；

根据相机每秒钟拍摄的帧数和传送带的运动速度，得到相邻两帧金属物料图像中金属物料的移动距离；

获取拍摄设备的分辨率，根据拍摄设备的分辨率得到单个像素点的大小，根据相邻两帧金属物料图像中金属物料的移动距离和单个像素点的大小，得到相邻两帧金属物料图像中金属物料的移动像素点数量；

根据相邻两帧金属物料图像中金属物料的移动像素点数量、相机每秒钟拍摄的帧数，得到表面裂纹缺陷的参考宽度，根据表面裂纹缺陷的参考宽度得到若干金属物料分块图像，根据金属物料分块图像得到初始的种子生长点；

根据参考宽度得到第一范围、第二范围，根据初始的种子生长点的第一范围、第二范围内像素点的灰度值得到初始的种子生长点的异常程度，根据异常程度得到异常像素点，根据异常像素点的邻域范围内任意一个像素点和异常像素点的灰度值，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度；

根据相似程度对金属物料的表面裂纹缺陷进行快速检测。

2.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据相机每秒钟拍摄的帧数和传送带的运动速度，得到相邻两帧金属物料图像中金属物料的移动距离，包括的具体步骤如下：

将传送带的运动速度与相机每秒钟拍摄的帧数的比值作为相邻两帧金属物料图像中金属物料的移动距离。

3.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据拍摄设备的分辨率得到单个像素点的大小，包括的具体步骤如下：

；

式中，PT为拍摄设备的分辨率，M为英寸和毫米转换单位，lpx为单个像素点的大小。

4.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据相邻两帧金属物料图像中金属物料的移动距离和单个像素点的大小，得到相邻两帧金属物料图像中金属物料的移动像素点数量，包括的具体步骤如下：

将相邻两帧金属物料图像中金属物料的移动距离与单个像素点的大小的比值作为相邻两帧金属物料图像中金属物料的移动像素点数量。

5.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据相邻两帧金属物料图像中金属物料的移动像素点数量、相机每秒钟拍摄的帧数，得到表面裂纹缺陷的参考宽度，包括的具体步骤如下：

；

式中，nm为相邻两帧金属物料图像中金属物料的移动像素点数量，nfps为相机每秒钟拍摄的帧数，lw为表面裂纹缺陷的参考宽度。

6.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据表面裂纹缺陷的参考宽度得到若干金属物料分块图像，包括的具体步骤如下：

将金属物料图像进行等间隔分割，等间隔分割的长度为lw，得到若干大小为lw×n的金属物料分块图像，其中n为金属物料图像的宽度。

7.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据金属物料分块图像得到初始的种子生长点，包括的具体步骤如下：

在每一个金属物料分块图像中选取一个灰度值最大的像素点作为初始的种子生长点。

8.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据参考宽度得到第一范围、第二范围，根据初始的种子生长点的第一范围、第二范围内像素点的灰度值得到初始的种子生长点的异常程度，包括的具体步骤如下：

对于任意一个金属物料分块图像，将初始的种子生长点周围邻域宽度为的范围记为第一范围，将初始的种子生长点周围邻域宽度为/>的范围内沿物料在传送带上的移动方向的范围记为第二范围，lw为表面裂纹缺陷的参考宽度；

；

式中，g_i为初始的种子生长点的第一范围内的第i个像素点的灰度值，ga为金属物料图像的灰度均值，g_j为初始的种子生长点的第二范围内的第j个像素点的灰度值，g为初始的种子生长点的灰度值，De为初始的种子生长点的异常程度，J表示初始的种子生长点的第二范围内的像素点个数，I表示初始的种子生长点的第一范围内的像素点个数，exp()为自然常数为底的指数函数，||为取绝对值，gu为预设第一参数。

9.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据异常程度得到异常像素点，根据异常像素点的邻域范围内任意一个像素点和异常像素点的灰度值，得到异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，包括的具体步骤如下：

当异常程度大于预设异常阈值时，异常程度大于预设异常阈值的对应像素点为异常像素点；

；

对于任意一个异常像素点，式中，ge为异常像素点的灰度值，ga为金属物料图像的灰度均值，g3为异常像素点的邻域范围内任意一个像素点的灰度值，exp()为自然常数为底的指数函数，DS为异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度，gu为预设第一参数；所述异常像素点的邻域范围为，以异常像素点为中心，半径为RT的范围作为异常像素点的邻域范围，RT为预设第一数值。

10.根据权利要求1所述一种数字孪生智能工厂的图像处理方法，其特征在于，所述根据相似程度对金属物料的表面裂纹缺陷进行快速检测，包括的具体步骤如下：

将异常像素点的邻域范围内任意一个像素点记为第一邻域像素点，DS大于预设相似程度阈值时，第一邻域像素点与异常像素点相似，将异常像素点以及与异常像素点相似的第一邻域像素点进行标记，DS为异常像素点的邻域范围内任意一个像素点与异常像素点的相似程度；

将所有异常像素点进行相似程度分析，得到若干标记的第一邻域像素点，完成一次区域生长；

将区域生长完成后得到的若干标记的第一邻域像素点先进行是否为异常像素点的判断，若是异常像素点则进行相似程度的判断，将所有异常像素点进行相似程度分析，再次完成区域生长，直至区域生长达到金属物料分块图像的边界时结束，最终得到多个标记的像素点，将所有标记的像素点构成的区域作为表面裂纹缺陷的区域。