CN115861294A - 一种基于计算机视觉的混凝土生产异常检测方法及装置 - Google Patents
一种基于计算机视觉的混凝土生产异常检测方法及装置 Download PDFInfo
- Publication number
- CN115861294A CN115861294A CN202310084598.6A CN202310084598A CN115861294A CN 115861294 A CN115861294 A CN 115861294A CN 202310084598 A CN202310084598 A CN 202310084598A CN 115861294 A CN115861294 A CN 115861294A
- Authority
- CN
- China
- Prior art keywords
- surface images
- crack
- region
- area
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 230000007547 defect Effects 0.000 claims abstract description 132
- 239000000463 material Substances 0.000 claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 claims abstract description 49
- 238000005336 cracking Methods 0.000 claims abstract description 32
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002950 deficient Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 14
- 238000004458 analytical method Methods 0.000 description 12
- 238000005299 abrasion Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及生产异常检测技术领域，具体涉及一种基于计算机视觉的混凝土生产异常检测方法及装置，通过获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，对每组表面图像进行处理，得到每组表面图像中的各个缺陷区域；针对缺陷区域中的裂纹区域，计算其对应的开裂程度指标，针对缺陷区域中的磨损区域，计算其对应的磨损程度指标；根据各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，确定物料输送设备的异常状态。本发明通过计算机视觉实现了对混凝土生产过程中输送带的异常检测，具有较高的实时性，同时避免了人为检测而导致的错检误检现象，提高了检测效率，保证了混泥土生产质量。
Description
技术领域
本发明涉及生产异常检测技术领域，具体涉及一种基于计算机视觉的混凝土生产异常检测方法及装置。
背景技术
混凝土生产过程包括各种加工工序，各个加工工序都是由多个设备来完成，例如物料称重设备、输送设备、物料搅拌设备以及其他控制设施等。在混凝土生产过程中，如果设备出现老化或者故障，不仅会影响生产进度，同样还会对周边环境造成影响，甚至会引起安全事故。因此，对于混凝土生产过程中的设备进行异常检测是至关重要的一步。
目前，对于混凝土生产过程中的设备异常检测主要通过人工检测以及传感器检测为主。其中，人为检测方法不具有实时性，且生产过程中各设备多为大型设备，不易准确判断异常点，误检率较高。同时，混凝土生产过程中的环境较为恶劣，长期处于该环境下工作对于工人身体健康会造成重大危害。传感器检测需要成本较高，需在生产工厂内安装多种类型的硬件检测设备，且由于混凝土生产环境复杂，各传感器等硬件检测设备极易出现故障、损坏等情况，导致不能够及时对混凝土生产过程进行检测。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于计算机视觉的混凝土生产异常检测方法及装置，所采用的技术方案具体如下：
本发明提供了一种基于计算机视觉的混凝土生产异常检测方法，包括以下步骤：
获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，N组表面图像按照拍摄时间顺序排列，任意两组表面图像之间的拍摄时间间隔大于设定间隔阈值；
分别对N组表面图像进行预处理和阈值化处理，得到每组表面图像的阈值化图像，进而根据阈值化图像得到每组表面图像中的各个缺陷区域；
根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域；
计算每组表面图像中的各个裂纹区域的面积以及最后一组表面图像中的各个裂纹区域的方向线，进而计算最后一组表面图像中的各个裂纹区域的开裂程度指标；
分别将最后一组表面图像转换到HSV空间，进而得到最后一组表面图像中的各个磨损区域的亮度特征值，并根据最后一组表面图像中的各个磨损区域的面积和亮度特征值，计算各个磨损区域的磨损程度指标；
根据最后一组表面图像中的各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，计算物料输送设备的异常程度指标；
根据物料输送设备的异常程度指标，确定物料输送设备的异常状态。
进一步的，计算出最后一组表面图像中的各个裂纹区域的开裂程度指标的步骤包括：
根据每组表面图像中的各个裂纹区域的面积，计算最后一组表面图像中的各个裂纹区域的裂纹生长率；
计算最后一组表面图像中的各个裂纹区域的方向线，并根据各个裂纹区域的方向线，计算最后一组表面图像中的各个裂纹区域的形状特征指标；
根据最后一组表面图像中的各个裂纹区域的面积、裂纹生长率和形状特征指标，计算各个裂纹区域的开裂程度指标。
进一步的，计算最后一组表面图像中的各个裂纹区域的裂纹生长率对应的计算公式为：
其中，F i 为最后一组表面图像中的第i个裂纹区域的裂纹生长率，S N-x i为最后一组表面图像中的第i个裂纹区域在第N-x组表面图像中的面积，S N/2-x i为最后一组表面图像中的第i个裂纹区域在第N/2-x组表面图像中的面积，n为最后一组表面图像中的第i个裂纹区域的面积比较划分组数，
，N为表面图像的总组数。
进一步的，最后一组表面图像中的各个裂纹区域的开裂程度指标的计算公式为：
其中，
为最后一组表面图像中的第i个裂纹区域的开裂程度指标，/>
为最后一组表面图像中的第i个裂纹区域的形状特征指标，/>
为最后一组表面图像中的第i个裂纹区域的面积，/>
为最后一组表面图像中的第i个裂纹区域的裂纹生长率，/>
为第一权重值，/>
为第二权重值，/>
为调整系数，/>
为指数系数。
进一步的，计算最后一组表面图像中的各个裂纹区域的方向线，并根据各个裂纹区域的方向线，计算最后一组表面图像中的各个裂纹区域的形状特征指标的步骤包括：
确定最后一组表面图像中的各个裂纹区域的最小外接矩阵的短边中点的连线，并将该短边中点的连线作为对应裂纹区域的方向线；
计算各个裂纹区域的方向线与物料输送设备运行方向的夹角，并根据各个裂纹区域的方向与物料输送设备运行方向的夹角，计算各个裂纹区域的形状特征指标。
进一步的，根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域的步骤包括：
各个缺陷区域的最小外接多边形为最小外接矩阵，将各个缺陷区域的面积与该缺陷区域的最小外接矩阵的长和宽乘积的比值作为该缺陷区域的缺陷类型指标；
分别判段各个缺陷区域的缺陷类型指标是否大于区域划分指标阈值，若某个缺陷区域的缺陷类型指标大于区域划分指标阈值，将该缺陷区域划分为磨损区域；否则，将该缺陷区域划分为裂纹区域。
进一步的，物料输送设备的异常程度指标的计算公式为：
其中，
为物料输送设备的异常程度指标，/>
为最后一组表面图像中的第i个裂纹区域的开裂程度指标，c为最后一组表面图像中的裂纹区域的总数目，/>
为最后一组表面图像中的第j个磨损区域的磨损程度指标，k为最后一组表面图像中的缺陷区域的总数目，/>
为开裂程度权重，/>
为磨损程度权重。
进一步的，确定物料输送设备的异常状态的步骤包括：
判断物料输送设备的异常程度指标是否大于异常程度指标阈值，若大于异常程度指标阈值，则判定物料输送设备出现异常，并进行预警。
本发明还提供了一种基于计算机视觉的混凝土生产异常检测装置，包括：
数据采集模块，用于：获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，N组表面图像按照拍摄时间顺序排列，任意两组表面图像之间的拍摄时间间隔大于设定间隔阈值；
异常检测模块，用于：分别对N组表面图像进行预处理和阈值化处理，得到每组表面图像的阈值化图像，进而根据阈值化图像得到每组表面图像中的各个缺陷区域；根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域；计算每组表面图像中的各个裂纹区域的面积以及最后一组表面图像中的各个裂纹区域的方向线，进而计算最后一组表面图像中的各个裂纹区域的开裂程度指标；分别将最后一组表面图像转换到HSV空间，进而得到最后一组表面图像中的各个磨损区域的亮度特征值，并根据最后一组表面图像中的各个磨损区域的面积和亮度特征值，计算各个磨损区域的磨损程度指标；根据最后一组表面图像中的各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，计算物料输送设备的异常程度指标；根据物料输送设备的异常程度指标，确定物料输送设备的异常状态。
本发明实施例具有如下有益效果：通过对混泥土生产过程中的物料输送设备在空载运行时的N组表面图像进行处理，得到每组表面图像中的各个缺陷区域，从各个缺陷区域中筛选出裂纹区域和磨损区域，并分别计算各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，并根据各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，确定物料输送设备的异常状态。本发明通过计算机视觉实现了对混凝土生产过程中输送带的异常检测，具有较高的实时性，同时避免了人为检测而导致的错检误检现象，提高了检测效率，保证了混泥土生产质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的基于计算机视觉的混凝土生产异常检测方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本实施例提供了一种基于计算机视觉的混凝土生产异常检测方法，该方法主要针对混凝土生产中的物料输送设备进行监测，基于计算机视觉实现对混泥土生产中的异常情况进行无接触式检测，并对检测到的异常情况进行预警，提示检修人员及时对异常点进行维修，以解决现有技术中混凝土异常检测实时性低、传感设备故障导致检测不准确等问题。
具体的，该基于计算机视觉的混凝土生产异常检测方法对应的流程图如图1所示，包括以下步骤：
（1）获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，N组表面图像按照拍摄时间顺序排列，任意两组表面图像之间的拍摄时间间隔大于设定间隔阈值。
其中，为了获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，以便于为后续步骤提供数据分析的图像数据，在混泥土生产过程中的物料输送设备的一侧安装摄像头，这里的物料输送设备是指运送混泥土生产过程中的各种物料的输送带。当输送带处于空载状态时，即输送带上没有物料时，采用摄像头对输送带表面进行拍摄，设定摄像头拍摄间隔，以保证在输送带运转的一个周期内，摄像头拍摄的一组图像可以包含整个输送带的表面图像。为了保证摄像头能够完整的采集输送带的每个运转周期内的图像，可以在输送带上标记一个初始点，摄像头从初始点开始拍摄，再次拍摄到初始点，则说明输送带运转的一个周期。
在进行第一次拍摄得到输送带空载运行的第一组表面图像后，这里的表面图像是指RGB图像，至少间隔设定间隔阈值后，再次采用摄像头对处于空载状态的输送带表面进行拍摄，进而得到第二组表面图像，按照这个规律，就可以得到一段时间内的N组表面图像。这里的设定间隔阈值可以指2个小时、4个小时、8个小时、1天等，当设定间隔阈值太小时，考虑到输送带在很短的时间不会突然出现严重异常，这就会造成对输送带的异常检测频率较大，浪费资源，当设定间隔阈值太大时，又可能会导致不能够及时检测出输送带异常。因此，在本实施例中，设置设定间隔阈值为4个小时，一天获取6组表面图像，当检测到60组表面图像时，即N=60时，则将这60组表面图像按照拍摄时间顺序排列，并根据这个60组表面图像，通过后续的步骤（2）-（8）对当前的输送带异常情况进行分析。
（2）分别对N组表面图像进行预处理和阈值化处理，得到每组表面图像的阈值化图像，进而根据阈值化图像得到每组表面图像中的各个缺陷区域。
其中，记在输送带运转的一个周期内拍摄到的图像数据为{I1，I2，…，In}，n为输送带运转的一个周期内采集到的图像数量。对每个周期内拍摄到的各个图像分别进行图像预处理操作，也就是对N组表面图像中的每一组表面图像分别进行图像预处理操作，消除拍摄过程中的噪声影响。图像预处理包括灰度化，高斯滤波以及直方图均衡化，由于灰度化，高斯滤波以及直方图均衡化的具体实现过程均属于现有技术，此处不再赘述。
在对N组表面图像中的每一组表面图像分别进行图像预处理操作之后，再对预处理后的各个图像进行阈值化处理，该阈值化处理过程如下：
其中，
为图像中(x,y)坐标处的像素值，/>
为阈值化之后的像素值。
通过上述阈值化处理之后，得到各个图像对应的阈值化图像。在各个阈值化图像中，像素值为1的区域为缺陷区域，像素值为0的区域为非缺陷区域，我们将由像素点1所组成的一个连通域作为一个缺陷区域，这样通过对各个图像对应的阈值化图像中的像素值进行分析，就可以得到各个图像中的所有缺陷区域，也就是每组表面图像中的各个缺陷区域，这里的各个缺陷区域实际上是缺陷连通域。
（3）根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域，具体步骤如下：
（3-1）各个缺陷区域的最小外接多边形为最小外接矩阵，将各个缺陷区域的面积与该缺陷区域的最小外接矩阵的长和宽乘积的比值作为该缺陷区域的缺陷类型指标。
其中，为了便于理解，现以最后一组表面图像为例，对各个缺陷区域划分为裂纹区域和磨损区域的实现过程进行说明。记最后一组表面图像的各个缺陷区域集合为{M1，M2，…，Mk}，k为该组表面图像的所有缺陷区域的个数，计算各个缺陷区域的面积，对应的面积集合为{S1，S2，…，Sk}，其中，Si为该组表面图像中的第i个缺陷区域的面积。然后获取各个缺陷区域的最小外接多边形，在本实施例中该最小外接多边形是指最小外接矩形，对应最小外接矩形集合为{(W1,H1)，(W2,H2)，…，(Wk,Hk)}，其中，Wi、Hi分别为该组表面图像中的第i个缺陷区域的最小外接矩形的宽、高。本实施例根据各个缺陷区域的面积以及缺陷区域的最小外接矩形的尺寸，构建输送带缺陷类型分析模型，用于对各个缺陷区域的缺陷类型进行判定，该缺陷类型分析模型为：
其中，Pi为最后一组表面图像中的第i个缺陷区域的缺陷类型指标。
（3-2）分别判段各个缺陷区域的缺陷类型指标是否大于区域划分指标阈值，若某个缺陷区域的缺陷类型指标大于区域划分指标阈值，将该缺陷区域划分为磨损区域；否则，将该缺陷区域划分为裂纹区域。
由于本实施例中的物料输送设备为输送带，该输送带最常出现的异常情况就是出现裂纹或者磨损。对于裂纹，裂纹区域的面积与其外接矩阵的面积相差较大，而对于磨损，磨损区域的面积与其外接矩阵的面积相差不大，因此，通过缺陷类型分析模型，利用该缺陷类型分析模型对每个缺陷区域的缺陷类型指标进行计算，并将该缺陷类型指标与设定缺陷类型指标阈值进行比较，本实施例设置该设定缺陷类型指标阈值为0.6，当缺陷类型指标>设定缺陷类型指标阈值0.6时，则认为输送带的该缺陷区域出现磨损，则该缺陷区域为磨损区域；当缺陷类型指标≤设定缺陷类型指标阈值0.6时，则认为输送带的该缺陷区域出现裂纹，则该缺陷区域为裂纹区域。
通过本步骤（3），实现了对每组表面图像中的各个缺陷区域的缺陷类型的识别，这就便后续针对性的对输送带的缺陷状况进行分析、检测，自适应的分析输送带的缺陷情况，提高了输送带异常检测的精度。
（4）计算每组表面图像中的各个裂纹区域的面积以及最后一组表面图像中的各个裂纹区域的方向线，进而计算最后一组表面图像中的各个裂纹区域的开裂程度指标，具体包括以下步骤：
根据每组表面图像中的各个裂纹区域的面积，计算最后一组表面图像中的各个裂纹区域的裂纹生长率。
其中，在步骤（3）的基础上，同样以最后一组表面图像为例，记最后一组表面图像的各个裂纹区域集合为{ M1，M2，…，Mc}，c为该组表面图像的所有裂纹区域的个数，
。本实施例通过构建裂纹生长率分析模型，对各裂纹的生长率进行分析，以实现对裂纹区域的扩展程度进行预测，具体过程为：
首先获取N组表面图像中的各裂纹区域的面积，记最后一组表面图像中的各裂纹区域的面积序列为{S N1，S N2，…，S N c}。在获取N组表面图像中的各裂纹区域的面积之后，构建裂纹生长率分析模型，对裂纹生长率进行分析，该裂纹生长率分析模型为：
其中，F i 为最后一组表面图像中的第i个裂纹区域的裂纹生长率，S N-x i为最后一组表面图像中的第i个裂纹区域在第N-x组表面图像中的面积，S N/2-x i为最后一组表面图像中的第i个裂纹区域在第N/2-x组表面图像中的面积，n为最后一组表面图像中的第i个裂纹区域的面积比较划分组数，
，/>
，N为表面图像的总组数，/>
。
需要强调的是，上述裂纹生长率分析模型中的S N-x i和S N/2-x i是针对同一裂纹区域而言的，也就是S N-x i和S N/2-x i是指同一个裂纹区域在前后两组表面图像中的面积。因此，在计算各个裂纹区域的裂纹生长率之前，首先应该对N组表面图像中的各个裂纹区域进行匹配，确定各个同一裂纹区域分别在N组表面图像中位置，进而确定各个同一裂纹区域分别在N组表面图像中的面积。另外，考虑到在获取N组表面图像的过程中，可能会出现新的裂纹区域，这就导致该新出现的裂纹区域并不会同时存在在N组表面图像中，此时我们将该新出现的裂纹区域在不存在该裂纹的各组表面图像中的面积记为0。例如，对于最后一组表面图像中的第i个裂纹区域，如果该第i个裂纹区域无法在第N/2-x组表面图像中匹配到相对应的裂纹区域，则说明在获取第N/2-x组表面图像时，输送带上并不存在该第i个裂纹区域，该第i个裂纹区域是在获取最后一组表面图像时新出现的裂纹区域，那么，该第i个裂纹区域在第N/2-x组表面图像中的面积S N/2-x i=0。
通过上述步骤，可以获取最后一组表面图像中的c个裂纹区域的裂纹生长率，分别记为{F 1，F 2，…，F c}。
（5）计算最后一组表面图像中的各个裂纹区域的方向，并根据各个裂纹区域的方向，计算最后一组表面图像中的各个裂纹区域的形状特征指标。
其中，考虑到对于输送带而言，当出现横向裂纹时，即裂纹的方向与输送带运行方向垂直时，将对输送带产生较大影响，严重时将会导致输送带出现横向断裂，因此，本实施例将获取各裂纹区域的形状特征指标，以便后续分析输送带的裂纹指标，具体步骤如下：
（5-1）确定最后一组表面图像中的各个裂纹区域的最小外接矩阵的短边中点的连线，并将该短边中点的连线作为对应裂纹区域的方向线。
其中，首先获取最后一组表面图像中的各裂纹区域的最小外接矩形的短边中点连线，将其作为该裂纹区域的方向线，用于后续分析各裂纹区域的形状指标，将各方向线记为{
，/>
，…，/>
}。
（5-2）计算各个裂纹区域的方向线与物料输送设备运行方向的夹角，并根据各个裂纹区域的方向与物料输送设备运行方向的夹角，计算各个裂纹区域的形状特征指标。
其中，在获取最后一组表面图像中的各裂纹区域的方向线的基础上，统计各裂纹区域的方向线与输送带运行方向的角度，各角度记为{
，/>
，…，/>
}。然后构建裂纹区域形状指标分析模型，用于分析各裂纹区域的形状特征指标：
其中，X i 为最后一组表面图像中的第i个裂纹区域的形状特征指标，
分别为第一模型参数、第二模型参数，本实施例设置/>
。
（5-3）根据最后一组表面图像中的各个裂纹区域的面积、裂纹生长率和形状特征指标，计算各个裂纹区域的开裂程度指标，对应的计算公式为：
其中，
为最后一组表面图像中的第i个裂纹区域的开裂程度指标，/>
为最后一组表面图像中的第i个裂纹区域的形状特征指标，/>
为最后一组表面图像中的第i个裂纹区域的面积，也就是第N组表面图像中的第i个裂纹区域的面积，/>
为最后一组表面图像中的第i个裂纹区域的裂纹生长率，/>
为第一权重值，/>
为第二权重值，/>
为调整系数，/>
为指数系数，实施者可以根据实际情况自行设定，本实施例设置/>
，
。
（6）分别将最后一组表面图像转换到HSV空间，进而得到最后一组表面图像中的各个磨损区域的亮度特征值，并根据最后一组表面图像中的各个磨损区域的面积和亮度特征值，计算各个磨损区域的磨损程度指标。
在上述步骤（1）-（4）的基础上，最后一组表面图像中有k个缺陷区域，k个缺陷区域中有c个裂纹区域，那么相应的该最后一组表面图像中有k-c个磨损区域，k-c个磨损区域集合为{M(c+1)，M(c+2)，…，Mk}。将根据步骤（2）和（3）所确定的各个磨损区域的阈值化图像作为掩膜，与步骤（1）中获取的对应原RGB图像进行相乘操作，以获取各磨损区域的RGB图像，获取各磨损区域的RGB图像后，将其转换到HSV空间，进而获取各个磨损区域的亮度特征值{V1，V2，…，V(k-c)}，基于各个磨损区域的亮度特征值以及磨损区域的面积，构建磨损程度指标分析模型：
其中，L j 为最后一组表面图像中的第j个磨损区域的磨损程度指标，Sj为最后一组表面图像中的第j个磨损区域的面积，Vj为最后一组表面图像中的第j个磨损区域的亮度特征值，
为可调模型参数，本发实施例设置/>
，/>
分别为第一模型权重、第二模型权重，实施者可以根据实际情况自行设定，本实施例设置/>
。
（7）根据最后一组表面图像中的各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，计算物料输送设备的异常程度指标。
其中，通过上述步骤，可以获的输送带上的各缺陷区域：磨损区域及裂纹区域，可得到各缺陷区域的程度指标，即各个裂纹区域的开裂程度指标，各个磨损区域的磨损程度指标。为进一步对混凝土生产过程中的输送带异常程度进行整体判定，本实施例将基于输送带中的各缺陷区域，包括裂纹区域和磨损区域，通过构建输送带的异常程度指标，对混凝土生产过程中的输送带异常情况进行综合判定，该输送带的异常程度指标的计算公式为：
其中，
为物料输送设备的异常程度指标，/>
为最后一组表面图像中的第i个裂纹区域的开裂程度指标，c为最后一组表面图像中的裂纹区域的总数目，/>
为最后一组表面图像中的第j个磨损区域的磨损程度指标，k为最后一组表面图像中的缺陷区域的总数目，/>
为开裂程度权重，/>
为磨损程度权重，实施者可以根据实际情况自行设定，本实施例设置/>
=0.6，/>
。
（8）根据物料输送设备的异常程度指标，确定物料输送设备的异常状态。
其中，在获取输送带的异常程度指标之后，基于该异常程度指标对输送带进行实时监测，本实施例对输送带的异常程度指标异常程度指标阈值U0，判断输送带的异常程度指标是否大于该异常程度指标阈值U0，若大于异常程度指标阈值U0，则判定输送带出现异常，也就是输送带出现异常情况较为严重，此时则进行预警，提示相关管理人员及时对其进行检测维修，避免出现重大危险情况。
上述的基于计算机视觉的混凝土生产异常检测方法，通过计算机视觉实现了对混凝土生产过程中输送带的异常检测，具有较高的实时性，同时避免了人为检测而导致的错检误检现象，提高了检测效率，保证了混泥土生产质量。
本实施例还提供了一种基于计算机视觉的混凝土生产异常检测装置，包括：
数据采集模块，用于：获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，N组表面图像按照拍摄时间顺序排列，任意两组表面图像之间的拍摄时间间隔大于设定间隔阈值；
异常检测模块，用于：分别对N组表面图像进行预处理和阈值化处理，得到每组表面图像的阈值化图像，进而得到每组表面图像中的各个缺陷区域；根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域；计算每组表面图像中的各个裂纹区域的面积以及最后一组表面图像中的各个裂纹区域的方向线，进而计算最后一组表面图像中的各个裂纹区域的开裂程度指标；分别将最后一组表面图像转换到HSV空间，进而得到最后一组表面图像中的各个磨损区域的亮度特征值，并根据最后一组表面图像中的各个磨损区域的面积和亮度特征值，计算各个磨损区域的磨损程度指标；根据最后一组表面图像中的各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，计算物料输送设备的异常程度指标；根据物料输送设备的异常程度指标，确定物料输送设备的异常状态。
上述基于计算机视觉的混凝土生产异常检测装置中的数据采集模块和异常检测模块相互配合，其实质上是用于实现上述的基于计算机视觉的混凝土生产异常检测方法，由于该基于计算机视觉的混凝土生产异常检测方法已经在上述内容中进行了详细介绍，此处不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于计算机视觉的混凝土生产异常检测方法，其特征在于，包括以下步骤：
获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，N组表面图像按照拍摄时间顺序排列，任意两组表面图像之间的拍摄时间间隔大于设定间隔阈值；
分别对N组表面图像进行预处理和阈值化处理，得到每组表面图像的阈值化图像，进而根据阈值化图像得到每组表面图像中的各个缺陷区域；
根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域；
计算每组表面图像中的各个裂纹区域的面积以及最后一组表面图像中的各个裂纹区域的方向线，进而计算最后一组表面图像中的各个裂纹区域的开裂程度指标；
分别将最后一组表面图像转换到HSV空间，进而得到最后一组表面图像中的各个磨损区域的亮度特征值，并根据最后一组表面图像中的各个磨损区域的面积和亮度特征值，计算各个磨损区域的磨损程度指标；
根据最后一组表面图像中的各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，计算物料输送设备的异常程度指标；
根据物料输送设备的异常程度指标，确定物料输送设备的异常状态。
2.根据权利要求1所述的基于计算机视觉的混凝土生产异常检测方法，其特征在于，计算出最后一组表面图像中的各个裂纹区域的开裂程度指标的步骤包括：
根据每组表面图像中的各个裂纹区域的面积，计算最后一组表面图像中的各个裂纹区域的裂纹生长率；
计算最后一组表面图像中的各个裂纹区域的方向线，并根据各个裂纹区域的方向线，计算最后一组表面图像中的各个裂纹区域的形状特征指标；
根据最后一组表面图像中的各个裂纹区域的面积、裂纹生长率和形状特征指标，计算各个裂纹区域的开裂程度指标。
3.根据权利要求2所述的基于计算机视觉的混凝土生产异常检测方法，其特征在于，计算最后一组表面图像中的各个裂纹区域的裂纹生长率对应的计算公式为：
其中，F i 为最后一组表面图像中的第i个裂纹区域的裂纹生长率，S N-x i为最后一组表面图像中的第i个裂纹区域在第N-x组表面图像中的面积，S N/2-x i为最后一组表面图像中的第i个裂纹区域在第N/2-x组表面图像中的面积，n为最后一组表面图像中的第i个裂纹区域的面积比较划分组数，n< N/2，N为表面图像的总组数。
4.根据权利要求2或3所述的基于计算机视觉的混凝土生产异常检测方法，其特征在于，最后一组表面图像中的各个裂纹区域的开裂程度指标的计算公式为：
其中，
为最后一组表面图像中的第i个裂纹区域的开裂程度指标，/>
为最后一组表面图像中的第i个裂纹区域的形状特征指标，/>
为最后一组表面图像中的第i个裂纹区域的面积，/>
为最后一组表面图像中的第i个裂纹区域的裂纹生长率，/>
为第一权重值，/>
为第二权重值，/>
为调整系数，/>
为指数系数。
5.根据权利要求2或3所述的基于计算机视觉的混凝土生产异常检测方法，其特征在于，计算最后一组表面图像中的各个裂纹区域的方向线，并根据各个裂纹区域的方向线，计算最后一组表面图像中的各个裂纹区域的形状特征指标的步骤包括：
确定最后一组表面图像中的各个裂纹区域的最小外接矩阵的短边中点的连线，并将该短边中点的连线作为对应裂纹区域的方向线；
计算各个裂纹区域的方向线与物料输送设备运行方向的夹角，并根据各个裂纹区域的方向与物料输送设备运行方向的夹角，计算各个裂纹区域的形状特征指标。
6.根据权利要求1-3中任一项所述的基于计算机视觉的混凝土生产异常检测方法，其特征在于，根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域的步骤包括：
各个缺陷区域的最小外接多边形为最小外接矩阵，将各个缺陷区域的面积与该缺陷区域的最小外接矩阵的长和宽乘积的比值作为该缺陷区域的缺陷类型指标；
分别判段各个缺陷区域的缺陷类型指标是否大于区域划分指标阈值，若某个缺陷区域的缺陷类型指标大于区域划分指标阈值，将该缺陷区域划分为磨损区域；否则，将该缺陷区域划分为裂纹区域。
7.根据权利要求1-3中任一项所述的基于计算机视觉的混凝土生产异常检测方法，其特征在于，物料输送设备的异常程度指标的计算公式为：
其中，
为物料输送设备的异常程度指标，/>
为最后一组表面图像中的第i个裂纹区域的开裂程度指标，c为最后一组表面图像中的裂纹区域的总数目，/>
为最后一组表面图像中的第j个磨损区域的磨损程度指标，k为最后一组表面图像中的缺陷区域的总数目，/>
为开裂程度权重，/>
为磨损程度权重。
8.根据权利要求1-3中任一项所述的基于计算机视觉的混凝土生产异常检测方法，其特征在于，确定物料输送设备的异常状态的步骤包括：
判断物料输送设备的异常程度指标是否大于异常程度指标阈值，若大于异常程度指标阈值，则判定物料输送设备出现异常，并进行预警。
9.一种基于计算机视觉的混凝土生产异常检测装置，其特征在于，包括：
数据采集模块，用于：获取混泥土生产过程中的物料输送设备在空载运行时的N组表面图像，N组表面图像按照拍摄时间顺序排列，任意两组表面图像之间的拍摄时间间隔大于设定间隔阈值；
异常检测模块，用于：分别对N组表面图像进行预处理和阈值化处理，得到每组表面图像的阈值化图像，进而根据阈值化图像得到每组表面图像中的各个缺陷区域；根据每组表面图像中的各个缺陷区域的面积以及缺陷区域的最小外接多边形的尺寸，计算各个缺陷区域的缺陷类型指标，并根据缺陷类型指标将各个缺陷区域划分为裂纹区域和磨损区域；计算每组表面图像中的各个裂纹区域的面积以及最后一组表面图像中的各个裂纹区域的方向线，进而计算最后一组表面图像中的各个裂纹区域的开裂程度指标；分别将最后一组表面图像转换到HSV空间，进而得到最后一组表面图像中的各个磨损区域的亮度特征值，并根据最后一组表面图像中的各个磨损区域的面积和亮度特征值，计算各个磨损区域的磨损程度指标；根据最后一组表面图像中的各个裂纹区域的开裂程度指标以及各个磨损区域的磨损程度指标，计算物料输送设备的异常程度指标；根据物料输送设备的异常程度指标，确定物料输送设备的异常状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084598.6A CN115861294B (zh) | 2023-02-09 | 2023-02-09 | 一种基于计算机视觉的混凝土生产异常检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084598.6A CN115861294B (zh) | 2023-02-09 | 2023-02-09 | 一种基于计算机视觉的混凝土生产异常检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861294A true CN115861294A (zh) | 2023-03-28 |
| CN115861294B CN115861294B (zh) | 2023-05-16 |
Family
ID=85657804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310084598.6A Active CN115861294B (zh) | 2023-02-09 | 2023-02-09 | 一种基于计算机视觉的混凝土生产异常检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861294B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116817799A (zh) * | 2023-08-29 | 2023-09-29 | 山东卓越精工集团有限公司 | 用于超高层建筑物的垂直度测量系统 |
| CN118245855A (zh) * | 2024-05-30 | 2024-06-25 | 山东天意机械股份有限公司 | 一种基于人工智能的建筑板材质量分类方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104792792A (zh) * | 2015-04-27 | 2015-07-22 | 武汉武大卓越科技有限责任公司 | 一种逐步求精的路面裂缝检测方法 |
| US20160133008A1 (en) * | 2014-11-11 | 2016-05-12 | Kabushiki Kaisha Toshiba | Crack data collection method and crack data collection program |
| JP2019102031A (ja) * | 2017-12-08 | 2019-06-24 | 大成建設株式会社 | コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム |
| CN110047070A (zh) * | 2019-04-22 | 2019-07-23 | 山东师范大学 | 一种轨道磨损程度的识别方法及系统 |
| WO2021222422A1 (en) * | 2020-04-29 | 2021-11-04 | Saudi Arabian Oil Company | Method for automated crack detection and analysis using ultrasound images |
| CN114170208A (zh) * | 2021-12-14 | 2022-03-11 | 武汉福旺家包装有限公司 | 一种基于人工智能的纸制品缺陷检测方法 |
| CN114359246A (zh) * | 2022-01-10 | 2022-04-15 | 南京中远通科技有限公司 | 输送机皮带检测方法、装置、系统、电子设备及介质 |
| CN115063407A (zh) * | 2022-07-28 | 2022-09-16 | 海门市亚泰精密铜材有限公司 | 一种用于环形铜垫片的划痕及裂纹识别方法 |
| CN115159027A (zh) * | 2022-07-22 | 2022-10-11 | 山东省科学院激光研究所 | 一种皮带撕裂监测方法 |
| CN115187548A (zh) * | 2022-07-11 | 2022-10-14 | 常颖 | 一种基于人工智能的机械零件缺陷检测方法 |
| CN115496918A (zh) * | 2022-11-16 | 2022-12-20 | 山东高速股份有限公司 | 基于计算机视觉的高速公路路况异常检测方法及系统 |
-
2023
- 2023-02-09 CN CN202310084598.6A patent/CN115861294B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160133008A1 (en) * | 2014-11-11 | 2016-05-12 | Kabushiki Kaisha Toshiba | Crack data collection method and crack data collection program |
| CN104792792A (zh) * | 2015-04-27 | 2015-07-22 | 武汉武大卓越科技有限责任公司 | 一种逐步求精的路面裂缝检测方法 |
| JP2019102031A (ja) * | 2017-12-08 | 2019-06-24 | 大成建設株式会社 | コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム |
| CN110047070A (zh) * | 2019-04-22 | 2019-07-23 | 山东师范大学 | 一种轨道磨损程度的识别方法及系统 |
| WO2021222422A1 (en) * | 2020-04-29 | 2021-11-04 | Saudi Arabian Oil Company | Method for automated crack detection and analysis using ultrasound images |
| CN114170208A (zh) * | 2021-12-14 | 2022-03-11 | 武汉福旺家包装有限公司 | 一种基于人工智能的纸制品缺陷检测方法 |
| CN114359246A (zh) * | 2022-01-10 | 2022-04-15 | 南京中远通科技有限公司 | 输送机皮带检测方法、装置、系统、电子设备及介质 |
| CN115187548A (zh) * | 2022-07-11 | 2022-10-14 | 常颖 | 一种基于人工智能的机械零件缺陷检测方法 |
| CN115159027A (zh) * | 2022-07-22 | 2022-10-11 | 山东省科学院激光研究所 | 一种皮带撕裂监测方法 |
| CN115063407A (zh) * | 2022-07-28 | 2022-09-16 | 海门市亚泰精密铜材有限公司 | 一种用于环形铜垫片的划痕及裂纹识别方法 |
| CN115496918A (zh) * | 2022-11-16 | 2022-12-20 | 山东高速股份有限公司 | 基于计算机视觉的高速公路路况异常检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| JIHONG LIU 等: ""Research on Road Crack Detection based on Machine Vision"", 《IEEE》 * |
| 王娜;王磊;: "低温型风力发电机叶片缺陷自动检测方法研究", 自动化与仪器仪表 * |
| 顼熙亮;: "基于机器视觉的矿用皮带运输机故障智能检测系统", 煤矿现代化 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116817799A (zh) * | 2023-08-29 | 2023-09-29 | 山东卓越精工集团有限公司 | 用于超高层建筑物的垂直度测量系统 |
| CN116817799B (zh) * | 2023-08-29 | 2023-11-28 | 山东卓越精工集团有限公司 | 用于超高层建筑物的垂直度测量系统 |
| CN118245855A (zh) * | 2024-05-30 | 2024-06-25 | 山东天意机械股份有限公司 | 一种基于人工智能的建筑板材质量分类方法 |
| CN118245855B (zh) * | 2024-05-30 | 2024-07-26 | 山东天意机械股份有限公司 | 一种基于人工智能的建筑板材质量分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861294B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115861294A (zh) | 一种基于计算机视觉的混凝土生产异常检测方法及装置 | |
| CN115239704B (zh) | 一种木材表面缺陷的精准检测修复方法 | |
| CN107578409B (zh) | 一种太阳能电池片外观断栅缺陷检测的方法 | |
| CN115082418A (zh) | 一种汽车零部件精密识别方法 | |
| CN113674201B (zh) | 一种骨料粒径抽样监测方法 | |
| CN116839682A (zh) | 一种基于物联网的电缆加工制造实时监控系统 | |
| CN102519990B (zh) | 基于纹理规则性分析的钢丝绳芯输送带故障在线检测方法 | |
| CN117173187B (zh) | 一种阀门故障智能检测系统 | |
| CN113297885A (zh) | 基于卷积神经网络的皮带机表面状态检测方法及装置 | |
| CN109975301A (zh) | 一种用于炼铁高炉的筛网破损检测方法及检测装置 | |
| CN117291919B (zh) | 一种钢轨螺栓表面润滑脂视觉检测方法 | |
| CN109239073A (zh) | 一种用于汽车车身的表面缺陷检测方法 | |
| CN112330653B (zh) | 一种基于图像识别技术的矿石粒度在线检测方法 | |
| CN111179236A (zh) | 一种用于造球机的生球粒度分析方法及装置 | |
| CN114897908A (zh) | 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统 | |
| CN115830023A (zh) | 基于图像处理的胶带输送机传输带缺陷检测方法 | |
| CN108508860B (zh) | 一种基于耦合关系的流程工业生产系统数据监测方法 | |
| Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
| CN117540331A (zh) | 一种用于辊式中速磨煤机的磨辊磨损度监测分析系统 | |
| CN105021630B (zh) | 输送带表面破损自动检测方法 | |
| CN113283339B (zh) | 基于机器视觉的工业矿料运输皮带少料异常监测方法 | |
| CN115830403A (zh) | 一种基于深度学习的自动缺陷分类系统及方法 | |
| CN109191439A (zh) | 一种靶材工件表面刀纹缺陷检测方法 | |
| CN108181315B (zh) | 一种基于图像处理的饼干损伤检测装置及检测方法 | |
| CN116721105B (zh) | 基于人工智能的爆珠生产异常在线检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |