CN114821133B - 一种基于人工智能的环保设备故障检测方法及系统 - Google Patents

一种基于人工智能的环保设备故障检测方法及系统 Download PDF

Info

Publication number
CN114821133B
CN114821133B CN202210732786.0A CN202210732786A CN114821133B CN 114821133 B CN114821133 B CN 114821133B CN 202210732786 A CN202210732786 A CN 202210732786A CN 114821133 B CN114821133 B CN 114821133B
Authority
CN
China
Prior art keywords
lbp operator
information entropy
radius
feature map
operator radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210732786.0A
Other languages
English (en)
Other versions
CN114821133A (zh
Inventor
蒲刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ruili Environmental Protection Engineering Co ltd
Original Assignee
Jiangsu Ruili Environmental Protection Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ruili Environmental Protection Engineering Co ltd filed Critical Jiangsu Ruili Environmental Protection Engineering Co ltd
Priority to CN202210732786.0A priority Critical patent/CN114821133B/zh
Publication of CN114821133A publication Critical patent/CN114821133A/zh
Application granted granted Critical
Publication of CN114821133B publication Critical patent/CN114821133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的环保设备故障检测方法及系统。该方法包括：分别获取设备入口和出口处每个垃圾物品的目标图像；获取目标图像的不同尺度特征图中的信息熵，根据特征图的尺度以及信息熵分配相应的权重；根据权重获取基准信息熵进一步得到最优LBP算子半径，获取每个关键点的LBP特征值，设备入口和出口特征图之间关键点的匹配成功率以及匹配成功关键点特征值的差异性；根据匹配成功率、差异性以及权重获取差异程度，根据差异程度检测垃圾物品是否发生掉落。提高对垃圾物品掉落检测结果的准确度，减少了因为垃圾物品掉落发现不及时而产生设备卡顿或者安全隐患，解决了传感器检测不够全面的问题。

Description

一种基于人工智能的环保设备故障检测方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的环保设备故障检测方法及系统。
背景技术
日趋严重的环境污染问题已经在世界范围内受到了广泛的关注，为了高效解决环境污染问题，环保设备应运而生，其涵盖的领域涉及诸多方面，例如污水处理、废气处理以及垃圾分类等等。其中，垃圾分类设备对日常生活的影响举足轻重，可以降低日常垃圾的处理成本、减少土地资源的消耗以及减少环境污染，具有社会、经济、生态等多方面的效益。
然而在垃圾分类设备中依然客观地存在一些问题，其中最严重的问题之一是分类设备内部传送带上的垃圾掉落，从而导致设备齿轮、轴承等零件的卡顿，甚至发生不可逆的形变，严重损害设备运行效率。
现有对垃圾物品是否掉落的检测通常是采用传感器检测，但利用传感器进行检测时，由于传感器位置的限制并不能确保检测到传送带上的每个位置，从而具有局限性，检测结果的准确度较低。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的环保设备检测方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于人工智能的环保设备检测方法，该方法包括：分别获取垃圾分类设备入口和出口处垃圾物品的全景图像，提取所述全景图像中每个垃圾物品的目标图像；
获取所述目标图像的不同尺度的特征图，计算所述特征图中的信息熵，根据所述特征图的不同尺度以及信息熵为每张所述特征图分配相应的权重；
根据所述权重获取所述特征图中关键点的初始LBP算子半径，所述初始LBP算子半径区域内的信息熵为基准信息熵；根据所述基准信息熵调整所述特征图中每个关键点所对应的LBP算子半径区域内的信息熵在误差范围内保持一致，将此时的LBP算子半径作为最优LBP算子半径，根据所述最优LBP算子半径获取每个所述关键点的特征值；
获取所述垃圾分类设备入口的特征图以及所述垃圾分类设备出口的特征图之间关键点的匹配成功率，以及匹配成功关键点特征值的差异性；根据所述匹配成功率、差异性以及所述权重获取差异程度，根据所述差异程度检测所述垃圾物品是否发生掉落；
其中，所述根据所述最优LBP算子半径获取每个所述关键点的特征值的步骤，还包括：
对于所述特征图的边缘关键点，获取所述最优LBP算子半径区域内的基准感受野面积，根据所述基准感受野面积调整所述特征图的边缘像素点的LBP算子半径区域内的目标像素感受野面积保持相同，将此时的LBP算子半径作为边缘LBP算子半径，所述边缘LBP算子半径内采样点数量与所述最优LBP算子半径内采样点数量一致；根据所述边缘LBP算子半径获取所述边缘关键点的特征值；
所述根据所述特征图的不同尺度以及信息熵为每张所述特征图分配相应的权重的步骤，包括：
获取所述特征图的尺度与所述信息熵的乘积，将所述乘积作为所述权重；
所述根据所述匹配成功率、差异性以及所述特征权重获取差异程度的步骤，包括：
获取所述差异性与所述匹配成功率的比值为差异比，将不同尺度的所述特征图的权重作为差异比的权值对不同尺度的所述特征图进行加权求和，得到所述差异程度。
优选的，所述获取所述目标图像的不同尺度的特征图的步骤，包括：
选取所述目标图像中任意像素点作为中心点，获取所述中心点邻域内的像素点与所述中心点的KL散度，将与所述中心点的KL散度最小的像素值作为插值点的像素值，获取特征图。
优选的，所述计算所述特征图中的信息熵的步骤，包括：
获取所述特征图在RGB通道中每个通道的概率，根据所述概率获取所述特征图的信息熵。
优选的，所述根据所述基准信息熵调整所述特征图中每个关键点所对应的LBP算子半径区域内的信息熵保持相近，将此时的LBP算子半径作为最优LBP算子半径的步骤，包括：
获取所述关键点在不同大小的LBP算子半径区域内的信息熵，当所述信息熵与所述基准信息熵的误差小于一定阈值时，该信息熵所对应的LBP算子半径为所述最优LBP算子半径；
若所述信息熵与所述基准信息熵的误差不小于阈值时，对所述信息熵进行不断迭代，当迭代次数超过一定数量时停止迭代，最终一次信息熵所对应的LBP算子半径为所述最优LBP算子半径。
优选的，根据所述基准感受野面积调整所述特征图的边缘像素点的LBP算子半径区域内的目标像素感受野面积保持相同，将此时的LBP算子半径作为边缘LBP算子半径的步骤，包括：
获取所述边缘关键点在所述最优LBP算子半径区域内的目标像素点面积，将所述目标像素点面积调整为与所述目标像素感受野面积相同，得到所述特征图边缘关键点的LBP算子半径。
优选的，所述根据所述差异程度检测所述垃圾物品是否发生掉落的步骤，包括：
当所述差异程度大于一定阈值时，所述垃圾物品匹配失败，则认为发生垃圾物品掉落。
第二方面，本发明另一个实施例提供了一种基于人工智能的环保设备故障检测系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
本发明具有如下有益效果：本发明实施例通过获取设备入口和出口处的每个垃圾物品的目标图像，对目标图像进行插值处理得到不同尺度的特征图，进一步获取每个特征图的信息熵以及权重，在不同尺度的特征图中，根据基准信息熵调整LBP算子半径区域内的信息熵使之保持相近，从而得到最优LBP算子半径；根据最优LBP算子半径得到每个关键点的特征值，进一步对设备入口和出口处的特征图中关键点进行匹配得到匹配成功率，对匹配成功的关键点计算特征值的差异性，根据匹配成功率、差异性以及特征图的权重获取差异程度，根据差异程度判断垃圾物品是否发生掉落。提高对垃圾物品掉落检测结果的准确度，减少了因为垃圾物品掉落发现不及时而产生设备卡顿或者安全隐患，解决了传感器检测不够全面的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的环保设备故障检测的方法流程图；
图2为本发明一个实施例所提供的一种调整感受野面积的方法示意图；
图3为本发明一个实施例所提供的一种计算关键点LBP特征值的方法示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的环保设备故障检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例具体应用于垃圾分类设备对垃圾物品进行处理时，为了解决垃圾物品在垃圾分类设备内部掉落从而导致设备卡顿甚至造成安全隐患的问题，首先获取设备入口和出口处的每个垃圾物品的目标图像，对目标图像进行插值处理得到不同尺度的特征图，进一步获取每个特征图的信息熵以及权重，在不同尺度的特征图中，根据基准信息熵调整LBP算子半径区域内的信息熵使之保持相近，从而得到最优LBP算子半径；对于边缘关键点，利用最优LBP算子半径区域内的感受野面积作为基准面积，得到感受野面积始终与基准面积相等的边缘LBP算子半径，根据最优LBP算子半径以及边缘LBP算子半径得到每个关键点的特征值，进一步对设备入口和出口处的特征图中关键点进行匹配得到匹配成功率，对匹配成功的关键点计算特征值的差异性，根据匹配成功率、差异性以及特征图的权重获取差异程度，根据差异程度判断垃圾物品是否发生掉落。解决了传感器检测不够全面的问题，提高对垃圾物品掉落检测结果的准确度，减少了因为垃圾物品掉落发现不及时而产生设备卡顿或者安全隐患。
下面结合附图具体的说明本发明所提供的一种基于人工智能的环保设备故障检测方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的环保设备故障检测的方法流程图，该方法包括以下步骤：
步骤S100，分别获取垃圾分类设备入口和出口处垃圾物品的全景图像，提取全景图像中每个垃圾物品的目标图像。
为了获取垃圾分类设备入口以及出口处的完整区域的图像，设置两个监控相机，将监控相机安装在垃圾分类设备的顶部，以俯视视角对垃圾分类设备入口以及出口处的传送带进行完整的拍摄，从而获取到入口和出口处的全景图像。
进一步的，将获取到的全景图像输入语义分割网络中，获取到每个垃圾物品的语义分割图像，其中，语义分割网络采用SegNet网络，具体训练过程为：
（1）网络的输入为全景图像；
（2）对全景图像中的每个垃圾物品进行标注，背景像素点标记为0，根据不同的垃圾物品将垃圾物品像素点分别标注为1,2…，N；
（3）损失函数采用均方差损失函数；
（4）网络的输出为每个垃圾物品的语义分割图像。
根据语义分割图像与全景图像进行相乘，在全景图像中提取每个垃圾物品的目标图像。
步骤S200，获取目标图像的不同尺度的特征图，计算特征图中的信息熵，根据特征图的不同尺度以及信息熵为每张特征图分配相应的权重。
由步骤S100中获取每个垃圾物品的目标图像，为了更加准确的对每个图像进行对比分析，本发明实施例中采用KL散度的插值法对图像进行上采样，用于增强图像的细节以及图像包含的信息量。
为了在对图像细节进行增强的同时获取到更多的信息，反向构建尺度空间金字塔。每个尺度空间的尺寸和分辨率不同，获取每个尺度空间的特征图。
选取目标图像中任意像素点作为中心点，获取中心点四邻域内的像素点与中心点的KL散度，将与中心点的KL散度最小的像素值作为插值点的像素值，以此获取特征图。
具体的，选定任意一个待插值的像素点作为中心像素点，其邻域4个像素点分别为
Figure DEST_PATH_IMAGE001
，获取中心像素点在RGB图像中每个通道的取值概率，具体计算方法 为：
Figure DEST_PATH_IMAGE003
其中，
Figure 253760DEST_PATH_IMAGE004
表示中心像素点
Figure DEST_PATH_IMAGE005
在第
Figure 2404DEST_PATH_IMAGE006
个通道的取值概率；
Figure DEST_PATH_IMAGE007
表示中心像素点
Figure 70985DEST_PATH_IMAGE005
在第
Figure 383018DEST_PATH_IMAGE006
个通道的取值；
Figure 918691DEST_PATH_IMAGE008
表示中心像素点
Figure 290767DEST_PATH_IMAGE005
在红色通道的取值；
Figure DEST_PATH_IMAGE009
表示中心像素点
Figure 236857DEST_PATH_IMAGE005
在绿色通道 的取值；
Figure 103313DEST_PATH_IMAGE010
表示中心像素点
Figure 739831DEST_PATH_IMAGE005
在蓝色通道的取值。
基于与中心像素点每个通道的取值概率相同的原理，邻域像素点在RGB图像中每个通道的取值概率为：
Figure 33540DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
表示邻域像素点
Figure 791893DEST_PATH_IMAGE014
在第
Figure 462040DEST_PATH_IMAGE006
个通道的取值概率；
Figure DEST_PATH_IMAGE015
表示邻域像素点
Figure 766113DEST_PATH_IMAGE014
第
Figure 214412DEST_PATH_IMAGE006
个通道的取值；
Figure 807199DEST_PATH_IMAGE016
表示邻域像素点
Figure 264725DEST_PATH_IMAGE014
在红色通道的取值；
Figure DEST_PATH_IMAGE017
表示邻域像素点
Figure 289882DEST_PATH_IMAGE014
在绿色 通道的取值；
Figure 440241DEST_PATH_IMAGE018
表示邻域像素点
Figure 520323DEST_PATH_IMAGE014
在蓝色通道的取值。
进一步的，得到每个邻域像素点与中心像素点的KL散度为：
Figure 515961DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
表示待插值的像素点与其邻域像素点中某一个像素点的KL散度值；
Figure 529048DEST_PATH_IMAGE006
表示图像的颜色通道；
Figure 598110DEST_PATH_IMAGE022
表示中心像素点
Figure 149177DEST_PATH_IMAGE005
在第
Figure 699239DEST_PATH_IMAGE006
个通道的取值概率；
Figure 284941DEST_PATH_IMAGE013
表示邻域 像素点
Figure 527834DEST_PATH_IMAGE014
在第
Figure 175984DEST_PATH_IMAGE006
个通道的取值概率。
获取到该待插值像素点与其邻域像素点中所有的KL散度值，其中最小KL散度对应的邻域像素点的像素值作为插值点的像素值，遍历目标图像获取对目标图像插值后的特征图。
利用KL散度来度量邻域像素点与中心像素点的相似性，选择最相似的邻域像素点进行插值的方式，更加注重邻域范围内的细节，最终的差值结果也能够模拟高分辨率图像下的更多信息。
进一步的，利用上述相同的插值方法获取到不同尺度的特征图，本发明实施例中设定对目标图像获取其四个不同尺度的特征图，每个特征图的尺度为：
Figure 779004DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
表示第
Figure 300771DEST_PATH_IMAGE026
幅插值图像的尺度；
Figure 183407DEST_PATH_IMAGE026
表示特征图编号；
Figure DEST_PATH_IMAGE027
表示目标图像 的尺寸；
Figure 522116DEST_PATH_IMAGE028
表示不同尺度的特征图的数量，即
Figure DEST_PATH_IMAGE029
。
需要说明的是，最小尺度的特征图的尺度与目标图像的尺度一致。
由于每个特征图的尺度不同，所包含的细节不同，所以每个特征图具有不同的权重，其权重由该特征图的尺度及其信息熵决定，信息熵用于反映图像特征的复杂度，信息熵越高，其对应图像的特征越复杂，细节越多。当特征图的尺度越大，则该特征图所包含的细节越多，其权重应该越高；相应的，当特征图的信息熵越大，该特征图的特征越复杂，其权重也应该越高。
以最小尺度的特征图为例，获取特征图在RGB通道中每个通道的概率，根据概率获取特征图的信息熵。
具体的，最小尺度的特征图的信息熵为：
Figure DEST_PATH_IMAGE031
其中，
Figure 879892DEST_PATH_IMAGE032
表示最小尺度特征图
Figure DEST_PATH_IMAGE033
的信息熵；
Figure 987656DEST_PATH_IMAGE006
表示图像的颜色通道；
Figure 290461DEST_PATH_IMAGE034
表示最 小尺度特征图
Figure 319728DEST_PATH_IMAGE033
中第
Figure 998971DEST_PATH_IMAGE006
个通道的概率取值。
进一步的，获取特征图的尺度与信息熵的乘积，将乘积作为权重为：
Figure 164505DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
表示最小尺度特征图的权重；
Figure 403043DEST_PATH_IMAGE038
表示最小尺度特征图的尺寸。
基于获取上述最小尺度特征图的权重相同的原理，得到不同尺度特征图的特征权 重；为了避免特征图的权重参数过大，对每个特征图的信息熵以及尺度大小进行归一化处 理，使得所有特征图的权重范围在
Figure DEST_PATH_IMAGE039
。
步骤S300，根据权重获取特征图中关键点的初始LBP算子半径，初始LBP算子半径区域内的信息熵为基准信息熵；根据基准信息熵调整特征图中每个关键点所对应的LBP算子半径区域内的信息熵在误差范围内保持一致，将此时的LBP算子半径作为最优LBP算子半径，根据最优LBP算子半径获取每个关键点的特征值。
由步骤S200获取到不同尺度特征图的权重，对于每个特征图，识别出其中所有灰度值突变的像素点作为关键点，本发明实施例中利用ORB算法中的rBRIEF算法对关键点进行识别，在其他实施例中可以采用SIFT关键点提取或者Harris关键点提取方法。
进一步的，本发明实施例中利用LBP算子提取每个特征图中关键点的邻域内的特征，对于不同尺度的特征图，自适应的调整LBP算子的半径，使得特征更加清晰。
作为优选，以最小尺度的特征图为例，根据人为经验设置初始LBP算子半径为R，则 最小尺度特征图的初始LBP算子半径为
Figure 450764DEST_PATH_IMAGE040
。
将最小尺度特征图中的每个关键点作为LBP算子半径的中心点，构建LBP采样区域，获取每个LBP采样区域内的信息熵，通过信息熵来自适应调整LBP算子的半径。
具体的，让所有关键点的邻域信息熵相等，以此来保证每个关键点的LBP算子半径 内都能获取等量的信息，以初始LBP算子获取的关键点采样区域的第
Figure 684431DEST_PATH_IMAGE006
个通道的取值概率 为：
Figure 953738DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE043
表示采样区域
Figure 283832DEST_PATH_IMAGE044
的第
Figure 271380DEST_PATH_IMAGE006
个通道的概率取值；
Figure DEST_PATH_IMAGE045
表示采样区域
Figure 839895DEST_PATH_IMAGE044
在第
Figure 980021DEST_PATH_IMAGE006
个通 道的取值；
Figure 61109DEST_PATH_IMAGE046
表示采样区域
Figure 286685DEST_PATH_IMAGE044
在红色通道的取值；
Figure DEST_PATH_IMAGE047
表示采样区域
Figure 520876DEST_PATH_IMAGE044
在绿色通道的取值；
Figure 515508DEST_PATH_IMAGE048
表示采样区域
Figure 767498DEST_PATH_IMAGE044
在蓝色通道的取值。
进一步的，以初始LBP算子半径获取初始的基准信息熵为：
Figure 480370DEST_PATH_IMAGE050
其中，
Figure DEST_PATH_IMAGE051
表示第一插值图像的基准信息熵；
Figure 656268DEST_PATH_IMAGE052
表示关键点的数量；
Figure 754674DEST_PATH_IMAGE006
表示颜色 通道；
Figure 50001DEST_PATH_IMAGE043
表示采样区域
Figure 984590DEST_PATH_IMAGE044
的第
Figure 151129DEST_PATH_IMAGE006
个通道的概率取值。
当LBP算子半径不同时，其采样区域所包含的关键点数量不同，从而导致信息熵不同，获取关键点在不同大小的LBP算子半径区域内的信息熵，当信息熵与基准信息熵的误差小于一定阈值时，该信息熵所对应的LBP算子半径为最优LBP算子半径；若信息熵与基准信息熵的误差大于阈值时，对信息熵进行不断迭代，当迭代次数超过一定次数时停止迭代，最后一次迭代的信息熵所对应的LBP算子半径为最优LBP算子半径。
具体的，以基准信息熵
Figure 854774DEST_PATH_IMAGE051
作为标准，使得最小尺度特征图中的LBP算子半径的 采样区域的信息熵与基准信息熵尽可能的相等，构建目标损失函数：
Figure 448567DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE055
为目标损失函数；
Figure 533767DEST_PATH_IMAGE056
表示LBP算子半径为
Figure DEST_PATH_IMAGE057
时采样区域的信息熵；
Figure 317046DEST_PATH_IMAGE051
表示基准信息熵。
本发明实施例中采用梯度下降法对该目标损失函数求解，梯度下降停止迭代的条 件为损失
Figure 390044DEST_PATH_IMAGE058
，或者迭代次数满1000次；将最终获取到的LBP算子半径作为最优LBP算 子半径。
进一步的，利用最优LBP算子半径对特征图中目标区域与背景区域交汇处的关键点特征提取效果并不理想，因此对目标区域与背景区域交接的地方再次进行自适应调整。
对于特征图的边缘关键点，获取最优LBP算子半径区域内的感受野面积，根据感受野面积调整特征图的边缘像素点的LBP算子半径区域内的感受野面积保持相同，将此时的LBP算子半径作为边缘LBP算子半径，边缘LBP算子半径内采样点数量与最优LBP算子半径内采样点数量一致；根据边缘LBP算子半径获取边缘关键点的特征值。
具体的，请参阅图2，最优LBP算子半径的感受野面积
Figure DEST_PATH_IMAGE059
，以此感受野面积作 为基准面积，在对边缘关键点进行LBP特征值计算时，自适应调整LBP算子的半径，使得目标 像素感受野面积与基准面积保持一致。
获取边缘关键点在最优LBP算子半径区域内的目标像素点面积，将目标像素点面积调整为与目标像素感受野面积相同，得到特征图边缘关键点的LBP算子半径。
在边缘关键点使用最优LBP算子获取采样区域时，背景像素所占比例为
Figure 967787DEST_PATH_IMAGE044
，则目标 像素所占比例为
Figure 876969DEST_PATH_IMAGE060
，为保持感受野落入目标区域的面积始终保持不变，因此可以获取调 整后的感受野的面积为：
Figure 726588DEST_PATH_IMAGE062
其中，
Figure DEST_PATH_IMAGE063
表示调整后的感受野面积；
Figure 467143DEST_PATH_IMAGE064
表示基准面积；
Figure 402737DEST_PATH_IMAGE060
表示目标像素所占的 比例。
根据感受野面积自适应得到的LBP算子半径为：
Figure 533636DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE067
为自适应调整后的LBP算子半径；
Figure 517772DEST_PATH_IMAGE063
表示调整后的感受野面积；
Figure 53446DEST_PATH_IMAGE068
为 圆周率。
进一步的，为了确保LBP算子半径内提取到目标区域的纹理特征足够均匀，其在圆周上的采样点数量也应该保持不变，并均匀的落入目标区域的圆周上，则采样点在目标区域内的圆周上的间距为：
Figure 425521DEST_PATH_IMAGE070
其中，
Figure DEST_PATH_IMAGE071
表示间距；
Figure 840453DEST_PATH_IMAGE067
为自适应调整后的LBP算子半径；
Figure 706909DEST_PATH_IMAGE060
表示目标像素所占 的比例；
Figure 218793DEST_PATH_IMAGE072
表示采样点的数量。
将自适应调整后的LBP算子半径作为边缘LBP算子半径，由边缘LBP算子半径获取边缘关键点的LBP特征值，可以再避免背景区域的纹理对目标区域产生的影响，从而使得到的特征更加精准。
进一步的，根据最优LBP算子半径计算特征图内每个非边缘关键点的LBP特征值， 根据边缘LBP算子半径计算特征图内每个边缘关键点的LBP特征值；LBP特征值获取的方法 为：以某一个关键点为圆心，根据LBP算子半径作圆，在该圆的圆周上取
Figure 496190DEST_PATH_IMAGE072
个点作为采样点， 以该关键点的像素点作为阈值，当采样点的像素值大于关键点像素值时，将此采样点标记 为1；当采样点的像素值小于关键点像素值时，将此采样点标记为0；将获取到的采样点的标 记值以顺时针方向排序获取到该关键点的二进制LBP值，将二进制LBP值转化为十进制即可 得到该关键点的LBP特征值，利用LBP特征值表示纹理特征。
请参阅图3，关键点的像素值为5，在以LBP算子半径作的圆周上取8个采样点，将像素值大于5的采样点的标记为1，小于5的标记为0，从而对LBP算子进行二值化处理，对采样点的标记值以顺时针方向进行排序获取该关键点的二进制LBP值，该二进制LBP值所对应的十进制数值即为LBP特征值。
步骤S400，获取垃圾分类设备入口的特征图以及垃圾分类设备出口的特征图之间关键点的匹配成功率，以及匹配成功关键点特征值的差异性；根据匹配成功率、差异性以及权重获取差异程度，根据差异程度检测垃圾物品是否发生掉落。
由步骤S100和S200获取垃圾分类设备入口与出口处的每个垃圾物品的特征图，利用步骤S300中LBP特征值的获取方法获取垃圾分类设备入口与出口处的每个垃圾物品的特征图中所有关键点的LBP特征值。
进一步的，记录每个垃圾物品进入垃圾分类设备的时刻以及垃圾物品被运送出垃 圾分类设备的时刻。将垃圾物品
Figure 333172DEST_PATH_IMAGE006
进入垃圾分类设备的时刻记为
Figure DEST_PATH_IMAGE073
，垃圾物品从设备处理设 备被运出的时间记为
Figure 65636DEST_PATH_IMAGE074
，若
Figure DEST_PATH_IMAGE075
，则将
Figure 369709DEST_PATH_IMAGE074
时刻运出的所有垃圾物品与进入的 垃圾物品
Figure 693374DEST_PATH_IMAGE006
进行匹配。
本发明实施例中利用ORB算法对垃圾分类设备入口和出口处的特征图中的关键点进行匹配，获取到关键点的匹配成功率为：
Figure DEST_PATH_IMAGE077
其中，
Figure 363126DEST_PATH_IMAGE078
表示关键点的匹配成功率；
Figure DEST_PATH_IMAGE079
为匹配成功的关键点数量；
Figure 368122DEST_PATH_IMAGE080
为特征图中 的关键点总数量。
对于垃圾分类设备入口和出口处的特征图中匹配成功的
Figure 979232DEST_PATH_IMAGE079
对关键点，计算每对关 键点的特征值的差异性：
Figure 614744DEST_PATH_IMAGE082
其中，
Figure DEST_PATH_IMAGE083
表示每对关键点的特征值差异性；
Figure 616198DEST_PATH_IMAGE084
表示垃圾分类设备入口 处特征图中关键点
Figure 94059DEST_PATH_IMAGE026
的LBP特征值；
Figure DEST_PATH_IMAGE085
表示垃圾分类设备出口处特征图中对应关键点
Figure 372725DEST_PATH_IMAGE026
的LBP特征值。
进一步的，对获取到的每对关键点的特征值差异性
Figure 693985DEST_PATH_IMAGE083
进行归一化，使之取 值范围处于
Figure 730205DEST_PATH_IMAGE039
。
获取差异性与匹配成功率的比值为差异比，将不同尺度的特征图的权重作为差异比的权值对不同尺度的特征图进行加权求和，差异程度与匹配成功率呈负相关关系，与差异性呈正相关关系，根据曲线拟合得到差异程度为：
Figure DEST_PATH_IMAGE087
其中，
Figure 467217DEST_PATH_IMAGE088
表示差异程度；
Figure DEST_PATH_IMAGE089
表示第
Figure 603319DEST_PATH_IMAGE006
个尺度特征图的特征权重；
Figure 580634DEST_PATH_IMAGE090
表示第
Figure 884576DEST_PATH_IMAGE006
个尺度特征图的关键点差异性；
Figure DEST_PATH_IMAGE091
表示第
Figure 35066DEST_PATH_IMAGE006
个尺度特征图的匹配成功率。
当差异程度大于预设的阈值时，两张插值图像的差异过大，则图像的特征匹配失 败，即两幅图像代表不同的垃圾物品，若在10-15秒之内没有对编号为
Figure 226007DEST_PATH_IMAGE006
的垃圾物品匹配成 功，则可认为该垃圾物品在垃圾处理设备中发生掉落。
作为优选，本发明实施例中将差异程度的阈值设定为0.2。
综上所述，本发明实施例中首先获取设备入口和出口处的每个垃圾物品的目标图像，对目标图像进行插值处理得到不同尺度的特征图，获取每个特征图的信息熵进而分配每个特征图的权重，在不同尺度的特征图中，根据基准信息熵调整以关键点为中心的LBP算子半径区域内的信息熵，使之保持相近，从而自适应调整LBP算子半径得到最优LBP算子半径；对于边缘关键点，利用最优LBP算子半径区域内的感受野面积作为基准，得到感受野面积始终相等的边缘LBP算子半径，根据最优LBP算子半径以及边缘LBP算子半径得到每个关键点的特征值，进一步对设备入口和出口处的特征图中关键点进行匹配得到匹配成功率，对匹配成功的关键点计算特征值的差异性，根据匹配成功率、差异性以及特征图的权重获取差异程度，根据差异程度判断垃圾物品是否发生掉落。提高了对垃圾物品掉落检测结果的准确度，避免了因为垃圾物品掉落发现不及时而产生设备卡顿现象，减少安全隐患。
基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于人工智能的环保设备故障检测系统，该系统包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于人工智能的环保设备故障检测方法实施例中的步骤，例如图1所示的步骤。该一种基于人工智能的环保设备故障检测方法在上述实施例中已经详细说明，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于人工智能的环保设备故障检测方法，其特征在于，该方法包括以下步骤：
分别获取垃圾分类设备入口和出口处垃圾物品的全景图像，提取所述全景图像中每个垃圾物品的目标图像；
获取所述目标图像的不同尺度的特征图，计算所述特征图中的信息熵，根据所述特征图的不同尺度以及信息熵为每张所述特征图分配相应的权重；
根据所述权重获取所述特征图中关键点的初始LBP算子半径，初始LBP算子半径区域内的信息熵为基准信息熵；根据所述基准信息熵调整所述特征图中每个关键点所对应的LBP算子半径区域内的信息熵在误差范围内保持一致，将此时的LBP算子半径作为最优LBP算子半径，根据所述最优LBP算子半径获取每个所述关键点的特征值；
获取所述垃圾分类设备入口的特征图以及所述垃圾分类设备出口的特征图之间关键点的匹配成功率，以及匹配成功关键点特征值的差异性；根据所述匹配成功率、差异性以及所述权重获取差异程度，根据所述差异程度检测所述垃圾物品是否发生掉落；
其中，所述根据所述最优LBP算子半径获取每个所述关键点的特征值的步骤，还包括：
对于所述特征图的边缘关键点，获取所述最优LBP算子半径区域内的基准感受野面积，根据所述基准感受野面积调整所述特征图的边缘像素点的LBP算子半径区域内的目标像素感受野面积保持相同，将此时的LBP算子半径作为边缘LBP算子半径，所述边缘LBP算子半径内采样点数量与所述最优LBP算子半径内采样点数量一致；根据所述边缘LBP算子半径获取所述边缘关键点的特征值；
所述根据所述特征图的不同尺度以及信息熵为每张所述特征图分配相应的权重的步骤，包括：
获取所述特征图的尺度与所述信息熵的乘积，将所述乘积作为所述权重；
所述根据所述匹配成功率、差异性以及所述权重获取差异程度的步骤，包括：
获取所述差异性与所述匹配成功率的比值为差异比，将不同尺度的所述特征图的权重作为差异比的权值对不同尺度的所述特征图进行加权求和，得到所述差异程度。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标图像的不同尺度的特征图的步骤，包括：
选取所述目标图像中任意像素点作为中心点，获取所述中心点邻域内的像素点与所述中心点的KL散度，将与所述中心点的KL散度最小的像素值作为插值点的像素值，获取特征图。
3.根据权利要求1所述的方法，其特征在于，所述计算所述特征图中的信息熵的步骤，包括：
获取所述特征图在RGB通道中每个通道的概率，根据所述概率获取所述特征图的信息熵。
4.根据权利要求1所述的方法，其特征在于，所述根据所述基准信息熵调整所述特征图中每个关键点所对应的LBP算子半径区域内的信息熵在误差范围内保持一致，将此时的LBP算子半径作为最优LBP算子半径的步骤，包括：
获取所述关键点在不同大小的LBP算子半径区域内的信息熵，当所述信息熵与所述基准信息熵的误差小于一定阈值时，该信息熵所对应的LBP算子半径为所述最优LBP算子半径；
若所述信息熵与所述基准信息熵的误差不小于阈值时，对所述信息熵进行不断迭代，当迭代次数超过一定数量时停止迭代，最终一次信息熵所对应的LBP算子半径为所述最优LBP算子半径。
5.根据权利要求1所述的方法，其特征在于，根据所述基准感受野面积调整所述特征图的边缘像素点的LBP算子半径区域内的目标像素感受野面积保持相同，将此时的LBP算子半径作为边缘LBP算子半径的步骤，包括：
获取所述边缘关键点在所述最优LBP算子半径区域内的目标像素点面积，将所述目标像素点面积调整为与所述目标像素感受野面积相同，得到所述特征图边缘关键点的LBP算子半径。
6.根据权利要求1所述的方法，其特征在于，所述根据所述差异程度检测所述垃圾物品是否发生掉落的步骤，包括：
当所述差异程度大于一定阈值时，所述垃圾物品匹配失败，则认为发生垃圾物品掉落。
7.一种基于人工智能的环保设备故障检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任意一项所述方法的步骤。
CN202210732786.0A 2022-06-27 2022-06-27 一种基于人工智能的环保设备故障检测方法及系统 Active CN114821133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210732786.0A CN114821133B (zh) 2022-06-27 2022-06-27 一种基于人工智能的环保设备故障检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210732786.0A CN114821133B (zh) 2022-06-27 2022-06-27 一种基于人工智能的环保设备故障检测方法及系统

Publications (2)

Publication Number Publication Date
CN114821133A CN114821133A (zh) 2022-07-29
CN114821133B true CN114821133B (zh) 2022-09-09

Family

ID=82522875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210732786.0A Active CN114821133B (zh) 2022-06-27 2022-06-27 一种基于人工智能的环保设备故障检测方法及系统

Country Status (1)

Country Link
CN (1) CN114821133B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222700A (zh) * 2019-05-30 2019-09-10 五邑大学 基于多尺度特征与宽度学习的sar图像识别方法及装置
CN112508847A (zh) * 2020-11-05 2021-03-16 西安理工大学 一种基于深度特征与结构加权lbp特征的图像质量评价方法
CN114372983B (zh) * 2022-03-22 2022-05-24 武汉市富甸科技发展有限公司 一种基于图像处理的屏蔽盒涂装质量检测方法及系统

Also Published As

Publication number Publication date
CN114821133A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN108971190B (zh) 一种基于机器视觉的生活垃圾分拣方法
CN106845408B (zh) 一种复杂环境下的街道垃圾识别方法
EP4027300B1 (en) Apparatus, program, and method for anomaly detection and classification
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
Gyawali et al. Comparative analysis of multiple deep CNN models for waste classification
CN111062938B (zh) 基于机器学习的板材涨塞检测系统和检测方法
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN109389105B (zh) 一种基于多任务的虹膜检测和视角分类方法
KR102324684B1 (ko) 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법
CN110717426A (zh) 基于域自适应学习的垃圾分类方法、电子设备及存储介质
Yusof et al. Automated asphalt pavement crack detection and classification using deep convolution neural network
CN112707058B (zh) 一种厨余垃圾规范动作的检测方法、系统、装置及介质
CN113449811A (zh) 一种基于ms-wsda的低照度目标检测方法
CN115984632A (zh) 一种高光谱塑料垃圾材质快速分类方法、装置及存储介质
CN114494250A (zh) 基于神经网络模型的地板缺陷检测方法
CN113657143B (zh) 一种基于分类和检测联合判决的垃圾分类方法
CN114821133B (zh) 一种基于人工智能的环保设备故障检测方法及系统
CN116958503B (zh) 一种基于图像处理的污泥干化等级识别方法及系统
CN111709936B (zh) 一种基于多级特征比对的令纸缺陷检测方法
CN116703895A (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN114445767B (zh) 一种传输带传输异物检测方法及系统
CN114283387B (zh) 一种垃圾点保洁工单智能生成方法、装置及相关介质
Cai et al. OCR service platform based on OpenCV
CN116110030A (zh) 目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant