CN116050807A - 基于视频监控巡检的饲料生产设备缺陷识别方法及系统 - Google Patents
基于视频监控巡检的饲料生产设备缺陷识别方法及系统 Download PDFInfo
- Publication number
- CN116050807A CN116050807A CN202310324434.6A CN202310324434A CN116050807A CN 116050807 A CN116050807 A CN 116050807A CN 202310324434 A CN202310324434 A CN 202310324434A CN 116050807 A CN116050807 A CN 116050807A
- Authority
- CN
- China
- Prior art keywords
- defect
- feed production
- decision
- production equipment
- maintenance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 867
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 263
- 238000007689 inspection Methods 0.000 title claims abstract description 112
- 238000012544 monitoring process Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001931 thermography Methods 0.000 claims abstract description 145
- 230000006378 damage Effects 0.000 claims description 314
- 238000012423 maintenance Methods 0.000 claims description 281
- 230000002159 abnormal effect Effects 0.000 claims description 107
- 230000000694 effects Effects 0.000 claims description 73
- 238000004458 analytical method Methods 0.000 claims description 55
- 238000013507 mapping Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000006735 deficit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
- G07C3/005—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles during manufacturing process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Factory Administration (AREA)
Abstract
本发明提供一种基于视频监控巡检的饲料生产设备缺陷识别方法及系统,通过将视频监控巡检流程中采集的目标饲料生产设备区域的红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中,得到饲料生产设备缺陷识别结果,将饲料生产设备缺陷识别结果返回视频监控巡检流程对应的巡检控制端,获取巡检控制端针对饲料生产设备缺陷识别结果生成的饲料生产设备检修指令数据,并结合饲料生产设备检修指令数据向红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度,由此通过红外热成像特征进行饲料生产设备缺陷识别,可以提高饲料生产设备缺陷识别效率和精度。
Description
技术领域
本发明涉及视频监控巡检技术领域,具体而言,涉及一种基于视频监控巡检的饲料生产设备缺陷识别方法及系统。
背景技术
在相关技术中,不少饲料企业由于饲料生产设备的缺陷巡检不完善的问题,致使产量达不到预期设计要求,并且颗粒表面不光滑、硬度低、易破碎、含粉率偏高等。对于饲料生产设备而言,其缺陷检测主要通过人工检测,由于饲料生产设备多,因此需要大量专业人员,费时、费财力。因此 如何提高饲料生产设备缺陷识别效率和精度,进而提高后续饲料生产设备检修调度的可靠性,是本领域技术人员亟待解决的技术问题。
发明内容
为了至少克服现有技术中的上述不足,本发明实施例的目的在于提供一种基于视频监控巡检的饲料生产设备缺陷识别方法及系统。
第一方面,本发明实施例提供一种基于视频监控巡检的饲料生产设备缺陷识别方法,应用于基于视频监控巡检的饲料生产设备缺陷识别系统,所述方法包括:
获取视频监控巡检流程中采集的目标饲料生产设备区域的红外热成像图像数据;
将所述红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中,得到饲料生产设备缺陷识别结果,将所述饲料生产设备缺陷识别结果返回所述视频监控巡检流程对应的巡检控制端;
获取所述巡检控制端针对所述饲料生产设备缺陷识别结果生成的饲料生产设备检修指令数据,并结合所述饲料生产设备检修指令数据向所述红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度。
在第一方面的一种可能的实施方式中,所述方法还包括:
获取所述目标缺陷饲料生产设备对应的运维服务端针对下发的饲料生产设备检修指令数据的运维事件数据,对所述运维事件数据进行设备运维缺陷有向图构建,输出对应的设备运维缺陷有向图,获取所述设备运维缺陷有向图中第一设备运维缺陷中的第一缺陷根因描述,结合第一设备运维缺陷的第一有向链路确定相对应的第二设备运维缺陷,获取所述第二设备运维缺陷中的第二缺陷根因描述;结合历史设备运维缺陷图中每个历史设备运维缺陷的历史运维缺陷特征所生成的历史缺陷元素,确定与所述第一缺陷根因描述相联系的第一历史设备运维缺陷,以及第二缺陷根因描述相联系的第二历史设备运维缺陷;在所述第一设备运维缺陷与所述第一历史设备运维缺陷之间构建第一缺陷关联路径,在所述第二设备运维缺陷与所述第二历史设备运维缺陷之间构建第二缺陷关联路径;若第一历史设备运维缺陷与第二历史设备运维缺陷之间不存在联动关系,则结合所述第一有向链路在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建联动关系;若第一历史设备运维缺陷与第二历史设备运维缺陷之间存在联动关系,则结合所述第一有向链路对所述联动关系进行更新;结合所述第一缺陷关联路径、第二缺陷关联路径、构建的联动关系、更新的联动关系形成衍生设备运维缺陷有向图;结合所述衍生设备运维缺陷有向图存储所述运维事件数据的故障根因特征,作为所述目标缺陷饲料生产设备的设备保养数据。
譬如,在第一方面的一种可能的实施方式中,获取设备运维缺陷有向图中第一设备运维缺陷中的第一缺陷根因描述,结合第一设备运维缺陷的第一有向链路确定相对应的第二设备运维缺陷,获取所述第二设备运维缺陷中的第二缺陷根因描述,包括:解析所述第一设备运维缺陷中与预置的缺陷根因描述位图相对应的第一缺陷根因描述;结合所述第一设备运维缺陷的第一有向链路确定相对应的第二设备运维缺陷;解析所述第二设备运维缺陷中与预置的缺陷根因描述位图相对应的第二缺陷根因描述。
譬如,在第一方面的一种可能的实施方式中,通过以下步骤生成缺陷根因描述位图,包括:
获取历史设备运维缺陷图中每个历史设备运维缺陷的历史根因特征序列和历史运维缺陷特征,对所述历史运维缺陷特征进行缺陷元素分量分析获得与所述历史运维缺陷特征相对应的第一缺陷元素分量;将所述第一缺陷元素分量与缺陷元素分量索引库进行配对确定与历史设备运维缺陷相联系的第二缺陷元素分量;统计所有历史设备运维缺陷的历史根因特征序列、第二缺陷元素分量生成第一缺陷元素分量簇,对所述第一缺陷元素分量簇内的历史根因特征序列和/或第二缺陷元素分量去重处理得到缺陷根因描述位图。
譬如,在第一方面的一种可能的实施方式中,通过以下步骤生成历史缺陷元素,包括:在第一缺陷元素分量簇中为每个历史根因特征序列构建相对应的缺陷元素分量分布,将每个历史根因特征序列相联系的第二缺陷元素分量分别传递到缺陷元素分量分布内;在每个历史根因特征序列的缺陷元素分量分布内都加载相应的第二缺陷元素分量后,生成相对应的历史缺陷元素。
譬如,在第一方面的一种可能的实施方式中,所述结合历史设备运维缺陷图中每个历史设备运维缺陷的历史运维缺陷特征所生成的历史缺陷元素,确定与所述第一缺陷根因描述相联系的第一历史设备运维缺陷,以及第二缺陷根因描述相联系的第二历史设备运维缺陷,包括:将所述第一缺陷根因描述与历史缺陷元素中的所有历史根因特征序列、第二缺陷元素分量进行配对,确定相应的第一历史设备运维缺陷; 将所述第二缺陷根因描述与历史缺陷元素中的所有历史根因特征序列、第二缺陷元素分量进行配对,确定相应的第二历史设备运维缺陷。
譬如,在第一方面的一种可能的实施方式中,所述在所述第一设备运维缺陷与所述第一历史设备运维缺陷之间构建第一缺陷关联路径,在所述第二设备运维缺陷与所述第二历史设备运维缺陷之间构建第二缺陷关联路径,包括:若第一设备运维缺陷与所确定的第一历史设备运维缺陷的历史根因特征序列相对应,则在所述第一设备运维缺陷与所述第一历史设备运维缺陷之间构建前向缺陷关联路径;若第二设备运维缺陷与所确定的第二历史设备运维缺陷的历史根因特征序列相对应,则在所述第二设备运维缺陷与所述第二历史设备运维缺陷之间构建前向缺陷关联路径;若第一设备运维缺陷与所确定的第一历史设备运维缺陷的第二缺陷元素分量相对应,则在所述第一设备运维缺陷与第一历史设备运维缺陷之间构建后向缺陷关联路径;若第二设备运维缺陷与所确定的第二历史设备运维缺陷的第二缺陷元素分量相对应,则在所述第二设备运维缺陷与第二历史设备运维缺陷之间构建后向缺陷关联路径;结合第一设备运维缺陷或第二设备运维缺陷的前向缺陷关联路径和后向缺陷关联路径生成相对应的第一缺陷关联路径或第二缺陷关联路径。
譬如,在第一方面的一种可能的实施方式中,所述若第一历史设备运维缺陷与第二历史设备运维缺陷之间不存在联动关系,则结合所述第一有向链路在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建联动关系,包括:若第一历史设备运维缺陷与第二历史设备运维缺陷之间不存在联动关系,则获取所述第一有向链路的扩展根因信息,结合所述扩展根因信息在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建联动关系。
譬如,在第一方面的一种可能的实施方式中,所述若第一历史设备运维缺陷与第二历史设备运维缺陷之间存在联动关系,则结合所述第一有向链路对所述联动关系进行更新,包括:若第一历史设备运维缺陷与第二历史设备运维缺陷之间存在联动关系,则提取第一历史设备运维缺陷与第二历史设备运维缺陷之间的第一缺陷联系描述; 若所述第一缺陷联系描述与第一有向链路的扩展根因信息不相同,结合所述扩展根因信息在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建新的联动关系,结合新的联动关系对先前的联动关系进行更新。
譬如,在第一方面的一种可能的实施方式中,所述结合所述第一缺陷关联路径、第二缺陷关联路径、构建的联动关系、更新的联动关系形成衍生设备运维缺陷有向图,包括:
结合所构建的联动关系、更新的联动关系对历史设备运维缺陷图进行更新;获取所述设备运维缺陷有向图中设备运维缺陷的缺陷指标得到第一目标缺陷指标,获取所述历史设备运维缺陷图中历史设备运维缺陷的缺陷指标得到第二目标缺陷指标,结合所述第一目标缺陷指标和第二目标缺陷指标进行加权融合得到第三目标缺陷指标;结合所有的前向缺陷关联路径和后向缺陷关联路径得到第一路径缺陷指标,结合所述第一路径缺陷指标和第三目标缺陷指标得到路径加权缺陷指标;结合路径加权缺陷指标、预设加权缺陷指标以及预设有向特征距离确定所述第一有向图节点和第二有向图节点的当前有向特征距离,将所述第一有向图节点和第二有向图节点在有向图架构上以当前有向特征距离进行间隔配置;选取与所述第一缺陷关联路径或第二缺陷关联路径的前向缺陷关联路径相联系的第一联系方式,以第一联系方式将第一设备运维缺陷或第二设备运维缺陷与相应的第一历史设备运维缺陷或第二历史设备运维缺陷连接;选取与所述第一缺陷关联路径或第二缺陷关联路径的后向缺陷关联路径相联系的第二联系方式,以第二联系方式将第一设备运维缺陷或第二设备运维缺陷与相应的第一历史设备运维缺陷或第二历史设备运维缺陷连接;在将第一设备运维缺陷或第二设备运维缺陷与相应的第一历史设备运维缺陷或第二历史设备运维缺陷连接后,生成衍生设备运维缺陷有向图。
第二方面,本发明实施例还提供一种基于视频监控巡检的饲料生产设备缺陷识别系统,所述基于视频监控巡检的饲料生产设备缺陷识别系统包括处理器和机器可读存储介质,所述机器可读存储介质中存储有机器可执行指令,所述机器可执行指令由所述处理器加载并执行以实现第一方面中任意一种可能的实施方式中的基于视频监控巡检的饲料生产设备缺陷识别方法。
呈上所述的任意一方面,通过将视频监控巡检流程中采集的目标饲料生产设备区域的红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中,得到饲料生产设备缺陷识别结果,将饲料生产设备缺陷识别结果返回视频监控巡检流程对应的巡检控制端,获取巡检控制端针对饲料生产设备缺陷识别结果生成的饲料生产设备检修指令数据,并结合饲料生产设备检修指令数据向红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度,由此通过红外热成像特征进行饲料生产设备缺陷识别,可以提高饲料生产设备缺陷识别效率和精度,由此提高后续饲料生产设备检修调度的可靠性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要启用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的基础上,还可以结合这些附图提取其它相关的附图。
图1为本发明实施例提供的基于视频监控巡检的饲料生产设备缺陷识别方法的流程示意图;
图2为本发明实施例提供的用于实现上述的基于视频监控巡检的饲料生产设备缺陷识别方法的基于视频监控巡检的饲料生产设备缺陷识别系统的结构示意框图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和结合本发明,并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲,显然可以对所公开的实施例作出各种改变,并且在不偏离本发明的原则和范围时,本发明中所定义的普遍原则可以适用于其它实施例和应用场景。因此,本发明并不限于所描述的实施例,而应该被给予与权利要求一致的最广泛的范围。
下面结合说明书附图对本发明进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本发明一种实施例提供的基于视频监控巡检的饲料生产设备缺陷识别方法的流程示意图,下面对该基于视频监控巡检的饲料生产设备缺陷识别方法进行详细介绍。
步骤S100,在检测到饲料生产设备监控请求中的各视频监控巡检流程,获取所述视频监控巡检流程中采集的目标饲料生产设备区域的红外热成像图像数据。
步骤S200,将所述红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中,得到饲料生产设备缺陷识别结果,将所述饲料生产设备缺陷识别结果返回所述视频监控巡检流程对应的巡检控制端。
步骤S300,获取所述巡检控制端针对所述饲料生产设备缺陷识别结果生成的饲料生产设备检修指令数据,并结合所述饲料生产设备检修指令数据向所述红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度。
本实施例中,在确定相关的饲料生产设备缺陷识别结果后,巡检控制端可以从当前饲料生产设备检修指令数据库中获取饲料生产设备缺陷识别结果相关的饲料生产设备检修指令数据作为该饲料生产设备检修指令数据,如饲料生产设备缺陷识别结果包括针对饲料生产设备A的某设备功能区B的温度异常缺陷,那么则可以获取针对饲料生产设备A的某设备功能区B的温度异常缺陷的饲料生产设备检修指令数据,并向所述红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度。
由此,本实施例通过将视频监控巡检流程中采集的目标饲料生产设备区域的红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中,得到饲料生产设备缺陷识别结果,将饲料生产设备缺陷识别结果返回视频监控巡检流程对应的巡检控制端,获取巡检控制端针对饲料生产设备缺陷识别结果生成的饲料生产设备检修指令数据,并结合饲料生产设备检修指令数据向红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度,由此通过红外热成像特征进行饲料生产设备缺陷识别,可以提高饲料生产设备缺陷识别效率和精度,由此提高后续饲料生产设备检修调度的可靠性。
下面对步骤S200进行示例性说明。
步骤S102,获取范例红外热成像图像数据、范例饲料生产设备缺陷信息和范例损伤位点信息。
其中,范例红外热成像图像数据是指在对饲料生产设备缺陷识别网络进行网络权重参数更新时所调用的红外热成像图像数据。范例饲料生产设备缺陷信息是指在对饲料生产设备缺陷识别网络进行网络权重参数更新时使用的饲料生产设备缺陷信息,作为范例红外热成像图像数据对应的学习依据信息(训练标签),饲料生产设备缺陷信息是指描述饲料生产设备缺陷的信息。范例损伤位点信息是指范例红外热成像图像数据中损伤位点对应的映射信息。
其中,可以获取到范例红外热成像图像数据和对应的范例饲料生产设备缺陷信息,然后对范例红外热成像图像数据进行簇中的损伤位点标注,输出范例损伤位点信息。
步骤S104,将范例红外热成像图像数据传递到初始化缺陷识别网络中进行特征区域定位,输出红外异常特征像元,并对红外异常特征像元进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型以及决策损伤位点特征,结合决策损伤位点、决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息,并对红外异常特征像元进行损伤位点决策,输出决策损伤位点信息。
其中,初始化缺陷识别网络是指基础网络权重信息的饲料生产设备缺陷识别网络,该饲料生产设备缺陷识别网络用于对红外热成像图像数据生成对应的饲料生产设备缺陷信息。红外异常特征像元是指使用基础网络权重信息生成的范例红外热成像图像数据对应的异常定位区域。决策损伤位点是指使用基础网络权重信息识别出的范例红外热成像图像数据中的损伤位点。决策损伤形态类型是指使用基础网络权重信息识别出的范例红外热成像图像数据中要询问的损伤位点类型。决策损伤位点特征是指使用基础网络权重信息识别出的损伤位点特征,该损伤位点特征是用于唯一表征损伤位点的信息。当损伤位点具有多个表征意义时,通过损伤位点特征能够确定具体对应的损伤位点。决策饲料生产设备缺陷信息是指使用基础网络权重信息生成的范例红外热成像图像数据对应的饲料生产设备缺陷信息。决策损伤位点信息是指使用基础网络权重信息识别得到的范例红外热成像图像数据中的损伤位点位置标注。
其中,可以使用AI神经网络来建立初始化缺陷识别网络的架构,并基础网络权重信息,输出初始化缺陷识别网络。然后可以将范例红外热成像图像数据传递到初始化缺陷识别网络中,该初始化缺陷识别网络可以对范例红外热成像图像数据进行特征区域定位,即提取范例红外热成像图像数据对应的异常特征区域,输出红外异常特征像元。其中,可以是将范例红外热成像图像数据划分成各个前景红外热成像图像,对每个前景红外热成像图像进行特征区域定位得到对应的异常特征区域,最终得到红外异常特征像元。然后同时对红外异常特征像元进行缺陷特征解析和损伤位点决策。即对红外异常特征像元进行缺陷特征解析,缺陷特征解析得到决策损伤位点、决策损伤形态类型以及决策损伤位点特征,然后使用决策损伤位点、决策损伤形态类型以及决策损伤位点特征获取决策损伤形态类型对应的类型分量,然后结合决策损伤位点、类型分量和决策损伤位点特征得到决策饲料生产设备缺陷信息。然后可以对红外异常特征像元中损伤位点进行损伤位点决策,输出决策损伤位点信息。
步骤S106,结合决策饲料生产设备缺陷信息和范例饲料生产设备缺陷信息进行缺陷决策学习效果值计算,输出缺陷决策学习效果值,并结合范例损伤位点信息和决策损伤位点信息进行损伤位点决策学习效果值计算,输出损伤位点决策学习效果值。
其中,缺陷决策学习效果值用于表征决策饲料生产设备缺陷信息与范例饲料生产设备缺陷信息之间的交叉熵函数值。损伤位点决策学习效果值是指用于表征决策损伤位点信息与范例损伤位点信息之间的交叉熵函数值。
其中,可以是使用交叉熵损失函数来计算决策饲料生产设备缺陷信息和范例饲料生产设备缺陷信息之间的交叉熵函数值,输出缺陷决策学习效果值。同时使用交叉熵损失函数计算范例损伤位点信息和决策损伤位点信息之间的交叉熵函数值,输出损伤位点决策学习效果值。
步骤S108,结合缺陷决策学习效果值和损伤位点决策学习效果值优化初始化缺陷识别网络,输出迭代缺陷识别网络,将迭代缺陷识别网络作为初始化缺陷识别网络,并返回获取范例红外热成像图像数据、范例饲料生产设备缺陷信息和范例损伤位点信息的步骤进行迭代网络权重参数优化,直至满足饲料生产设备缺陷识别运行条件时,输出饲料生产设备缺陷识别网络,饲料生产设备缺陷识别网络用于对红外热成像图像数据生成对应的饲料生产设备缺陷信息。
其中,迭代缺陷识别网络是指基础网络权重信息进行迭代网络权重参数更新后得到的饲料生产设备缺陷识别网络。饲料生产设备缺陷识别运行条件是指训练得到饲料生产设备缺陷识别网络的条件,可以是迭代次数达到设定次数。饲料生产设备缺陷识别网络是指最终迭代网络权重参数更新完成的饲料生产设备缺陷识别网络。
由此,通过将范例红外热成像图像数据传递到初始化缺陷识别网络中进行特征区域定位,输出红外异常特征像元,通过使用红外异常特征像元缺陷特征解析生成决策损伤位点的同时进行损伤位点决策,输出决策损伤位点信息,然后计算缺陷决策学习效果值和损伤位点决策学习效果值,使用缺陷决策学习效果值和损伤位点决策学习效果值进行迭代训练,从而使得到的迭代缺陷识别网络更加准确,并且在迭代更新后,可以提高最终生成的饲料生产设备缺陷识别网络的缺陷识别性能,进而最终提高饲料生产设备缺陷识别的精度。
一种可能的实施方式中,步骤S104,将范例红外热成像图像数据传递到初始化缺陷识别网络中进行特征区域定位,输出红外异常特征像元,并对红外异常特征像元进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型以及决策损伤位点特征,包括:
步骤S202,将范例红外热成像图像数据提取为前景红外热成像图像簇,将前景红外热成像图像簇传递到初始化缺陷识别网络中。
其中,前景红外热成像图像簇是指由范例红外热成像图像数据中的前景红外热成像图像组成的簇。
其中,可以将范例红外热成像图像数据按照前景红外热成像图像进行划分,输出各个候选前景红外热成像图像,结合范例红外热成像图像数据中前景红外热成像图像的顺序将各个候选前景红外热成像图像拼接成前景红外热成像图像簇。然后将前景红外热成像图像簇作为初始化缺陷识别网络的输入。
步骤S204,通过初始化缺陷识别网络提取前景红外热成像图像簇对应的异常定位区域,输出红外异常特征像元;
步骤S206,通过初始化缺陷识别网络对红外异常特征像元进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型和候选损伤位点特征,并结合决策损伤位点获取对应的各个损伤位点形态数据。
其中,候选损伤位点特征是指需要进行匹配验证的损伤位点特征。
其中,可以通过初始化缺陷识别网络提取前景红外热成像图像簇对应的异常定位区域,即可以依次分别对前景红外热成像图像簇中的每个前景红外热成像图像进行编码,输出的每个前景红外热成像图像对应的异常定位区域,将所有前景红外热成像图像对应的异常定位区域进行合并得到红外异常特征像元。通过初始化缺陷识别网络对红外异常特征像元进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型和候选损伤位点特征,并结合决策损伤位点可以从数据库中查找到对应的各个损伤位点形态数据。
步骤S208,通过初始化缺陷识别网络将候选损伤位点特征与各个损伤位点形态数据进行匹配,在匹配成功时,将候选损伤位点特征作为决策损伤位点特征。
在上述实施例中,通过初始化缺陷识别网络将候选损伤位点特征与各个损伤位点形态数据进行匹配,在匹配成功时,将候选损伤位点特征作为决策损伤位点特征,从而使生成的决策损伤位点特征限制在各个损伤位点形态数据的范围内,从而能够提高了生成的决策损伤位点特征的准确性。
一种可能的实施方式中,步骤S206,通过初始化缺陷识别网络对红外异常特征像元进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型和候选损伤位点特征,包括步骤:
步骤S302,通过初始化缺陷识别网络使用先验缺陷特征表示和红外异常特征像元进行缺陷特征解析,输出第一决策缺陷特征表示。
步骤S304,通过初始化缺陷识别网络对第一决策缺陷特征表示和红外异常特征像元进行缺陷特征解析,输出第二决策缺陷特征表示。
步骤S306,通过初始化缺陷识别网络对第二决策缺陷特征表示和红外异常特征像元进行缺陷特征解析,输出第三决策缺陷特征表示。
步骤S308,通过初始化缺陷识别网络使用第一决策缺陷特征表示、第二决策缺陷特征表示、第三决策缺陷特征表示确定决策损伤位点、决策损伤形态类型和候选损伤位点特征。
一种可能的实施方式中,步骤S106,即结合决策饲料生产设备缺陷信息和范例饲料生产设备缺陷信息进行缺陷决策学习效果值计算,输出缺陷决策学习效果值,包括步骤:
使用第一决策缺陷特征表示和范例饲料生产设备缺陷信息计算第一决策缺陷特征表示对应的第一网络学习效果值;使用第二决策缺陷特征表示和范例饲料生产设备缺陷信息计算第二决策缺陷特征表示对应的第二网络学习效果值;使用第三决策缺陷特征表示和范例饲料生产设备缺陷信息计算第三决策缺陷特征表示对应的第三网络学习效果值;计算第一网络学习效果值、第二网络学习效果值、第三网络学习效果值的融合网络学习效果值,输出缺陷决策学习效果值。
由此,通过计算第一网络学习效果值、第二网络学习效果值、第三网络学习效果值,然后计算融合网络学习效果值,输出缺陷决策学习效果值,从而使得到的缺陷决策学习效果值更加准确。
一种可能的实施方式中,步骤S202,将范例红外热成像图像数据提取为前景红外热成像图像簇,将前景红外热成像图像簇传递到初始化缺陷识别网络中,包括步骤:
将范例红外热成像图像数据进行前景红外热成像图像区域定位,输出各个目标前景红外热成像图像;获取前向红外热成像节点和后向红外热成像节点,将前向红外热成像节点、后向红外热成像节点和各个目标前景红外热成像图像按照范例红外热成像图像数据的成像次序进行连接,输出前景红外热成像图像簇,将前景红外热成像图像簇传递到初始化缺陷识别网络中。
上述实施例中,将前向红外热成像节点、后向红外热成像节点和各个目标前景红外热成像图像按照范例红外热成像图像数据的成像次序进行连接,输出前景红外热成像图像簇,将前景红外热成像图像簇传递到初始化缺陷识别网络中进行饲料生产设备缺陷识别,从而能够提高饲料生产设备缺陷识别的准确性。
一种可能的实施方式中,步骤S208,通过初始化缺陷识别网络将候选损伤位点特征与各个损伤位点形态数据进行匹配,在匹配成功时,将候选损伤位点特征作为决策损伤位点特征,包括:
使用各个损伤位点形态数据生成损伤位点匹配空间;在损伤位点匹配空间中查询候选损伤位点特征,当查询到候选损伤位点特征时,将候选损伤位点特征作为决策损伤位点特征。
其中,损伤位点匹配空间是指损伤位点形态数据组成的知识图谱。
由此,通过生成损伤位点匹配空间;在损伤位点匹配空间中查询候选损伤位点特征,当查询到候选损伤位点特征时,将候选损伤位点特征作为决策损伤位点特征,通过使用损伤位点匹配空间进行匹配,来得到决策损伤位点特征,能够提高得到损伤位点特征的效率。
一种可能的实施方式中,红外异常特征像元包括各个潜在异常图像单元;
步骤S104,对红外异常特征像元进行损伤位点决策,输出决策损伤位点信息,包括:
步骤S402,从各个潜在异常图像单元中依次选取当前潜在异常图像单元;
步骤S404,将当前潜在异常图像单元进行空域局部极值检测,输出空域局部极值分布,将空域局部极值分布进行损伤位点置信度映射,输出损伤位点映射置信度。
其中,当前潜在异常图像单元是指当前需要进行损伤位点决策的损伤位点映射信息。空域局部极值分布是指经过空域局部极值检测后得到的向量。损伤位点映射置信度是指用于表征该前景红外热成像图像为该损伤位点标注的概率值,该损伤位点映射置信度越高,该前景红外热成像图像就越可能为损伤位点的前景红外热成像图像,该损伤位点映射置信度越低,该前景红外热成像图像为损伤位点的前景红外热成像图像的可能性就越小。
步骤S406,结合损伤位点映射置信度确定当前潜在异常图像单元对应的当前损伤映射信息,并返回从各个潜在异常图像单元中依次选取当前潜在异常图像单元的步骤进行迭代网络权重参数优化,直到各个潜在异常图像单元中迭代终止时,输出各个潜在异常图像单元对应的损伤映射信息,结合各个潜在异常图像单元对应的损伤映射信息得到决策损伤位点信息。
然后可以返回从各个潜在异常图像单元中依次选取当前潜在异常图像单元的步骤进行迭代网络权重参数优化,直到各个潜在异常图像单元中迭代终止时,输出各个潜在异常图像单元对应的损伤映射信息,结合各个潜在异常图像单元对应的损伤映射信息得到决策损伤位点信息。
结合以上步骤,通过依次对各个潜在异常图像单元进行损伤位点置信度映射,输出各个潜在异常图像单元对应的损伤映射信息,然后使用各个潜在异常图像单元对应的损伤映射信息得到决策损伤位点信息,从而使得到的决策损伤位点信息更加准确。
一种可能的实施方式中,步骤S106,结合范例损伤位点信息和决策损伤位点信息进行损伤位点决策学习效果值计算,输出损伤位点决策学习效果值,包括步骤:
计算各个潜在异常图像单元对应的损伤映射信息与范例损伤位点信息中对应的损伤图像单元信息之间的交叉熵函数值,输出各个loss值;计算各个loss值的权重融合值,输出损伤位点决策学习效果值。
其中,loss值用于表征训练得到的前景红外热成像图像的映射信息与真实的范例损伤位点信息中损伤图像单元信息之间的交叉熵函数值。损伤图像单元信息是指前景红外热成像图像对应的标注信息。
其中,可以使用交叉熵损失函数计算每个潜在异常图像单元对应的损伤映射信息与范例损伤位点信息中对应的损伤图像单元信息之间的交叉熵函数值,输出每个潜在异常图像单元对应的loss值,然后计算所有loss值的权重融合值,输出损伤位点决策学习效果值。
由此,通过计算得到每个loss值,然后再计算各个loss值的权重融合值,输出损伤位点决策学习效果值,从而提高了得到的损伤位点决策学习效果值的准确性。
一种可能的实施方式中,初始化缺陷识别网络包括范例特征区域定位单元、范例缺陷特征解析单元和范例决策单元;
步骤S104,将范例红外热成像图像数据传递到初始化缺陷识别网络中,包括:
步骤S502,将范例红外热成像图像数据传递到范例特征区域定位单元中进行特征区域定位,输出红外异常特征像元。
步骤S504,将红外异常特征像元传递到范例缺陷特征解析单元中进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型以及决策损伤位点特征,结合决策损伤位点、决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息。
步骤S506,将红外异常特征像元传递到范例决策单元进行损伤位点决策,输出决策损伤位点信息。
其中,范例特征区域定位单元是指基础网络权重信息的特征区域定位单元,用于对输入数据进行特征区域定位。范例缺陷特征解析单元是指基础网络权重信息的缺陷特征解析单元,用于对输入特征进行缺陷特征解析。范例决策单元指基础网络权重信息的决策单元,用于对输入特征进行信息决策。
其中,可以将范例红外热成像图像数据传递到范例特征区域定位单元中使用初始化特征区域定位参数进行特征区域定位,输出红外异常特征像元。将红外异常特征像元传递到范例缺陷特征解析单元中使用决策化的缺陷特征解析参数进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型以及决策损伤位点特征,结合决策损伤位点、决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息。并将红外异常特征像元传递到范例决策单元中使用初始化决策权重参数进行损伤位点决策,输出决策损伤位点信息。
一种可能的实施方式中,该初始化缺陷识别网络为双单元的网络架构。即初始化缺陷识别网络获取到传递到范例红外热成像图像数据时,将范例红外热成像图像数据传递到范例特征区域定位单元中进行特征区域定位,输出红外异常特征像元,然后将红外异常特征像元同时传递到两个单元网络中,包括第一单元的范例缺陷特征解析单元和第二单元的范例决策单元。通过第一单元的范例缺陷特征解析单元进行缺陷特征解析生成,并通过第二单元的范例决策单元进行决策,输出模型的训练输出。
一种可能的实施方式中,范例特征区域定位单元和范例缺陷特征解析单元可以使用长短期记忆神经网络模型。
步骤S108,直至满足饲料生产设备缺陷识别运行条件时,输出饲料生产设备缺陷识别网络,包括:
当满足饲料生产设备缺陷识别运行条件时,结合满足饲料生产设备缺陷识别运行条件的特征区域定位单元和满足饲料生产设备缺陷识别运行条件的缺陷特征解析单元得到饲料生产设备缺陷识别网络。
其中,可以在判断当满足饲料生产设备缺陷识别运行条件时,将满足饲料生产设备缺陷识别运行条件的特征区域定位单元和满足饲料生产设备缺陷识别运行条件的缺陷特征解析单元作为饲料生产设备缺陷识别网络。即最终得到的饲料生产设备缺陷识别网络中不包括决策单元,该决策单元是在训练时使用的用于辅助训练的网络。
由此,通过使用范例特征区域定位单元、范例缺陷特征解析单元和范例决策单元进行网络权重参数更新,当满足饲料生产设备缺陷识别运行条件时,结合满足饲料生产设备缺陷识别运行条件的特征区域定位单元和满足饲料生产设备缺陷识别运行条件的缺陷特征解析单元得到饲料生产设备缺陷识别网络,从而可以提高最终生成的饲料生产设备缺陷识别网络的决策性能。
一种可能的实施方式中,在本发明的应用层面提供一种具体实施例所对应的基于视频监控巡检的饲料生产设备缺陷识别方法,该方法包括以下步骤:
步骤S602,在检测到饲料生产设备监控请求中的各视频监控巡检流程,获取所述视频监控巡检流程中采集的目标饲料生产设备区域的红外热成像图像数据。
步骤S604,将红外热成像图像数据传递到饲料生产设备缺陷识别网络中进行特征区域定位,输出红外异常特征像元,并对红外异常特征像元进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及目标损伤位点特征;饲料生产设备缺陷识别网络是将范例红外热成像图像数据传递到初始化缺陷识别网络中进行特征区域定位与缺陷特征解析,输出决策损伤位点、决策损伤形态类型以及决策损伤位点特征,结合决策损伤位点、决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息,并对红外异常特征像元进行损伤位点决策,输出决策损伤位点信息,结合决策饲料生产设备缺陷信息和范例饲料生产设备缺陷信息进行缺陷决策学习效果值计算,输出缺陷决策学习效果值,并结合范例损伤位点信息和决策损伤位点信息进行损伤位点决策学习效果值计算,输出损伤位点决策学习效果值,结合缺陷决策学习效果值和损伤位点决策学习效果值优化初始化缺陷识别网络,输出迭代缺陷识别网络,将迭代缺陷识别网络作为初始化缺陷识别网络并进行遍历模型优化,直至所述初始化缺陷识别网络满足饲料生产设备缺陷识别运行条件生成的。
其中,可以获取到预先训练好的饲料生产设备缺陷识别网络,然后将饲料生产设备缺陷识别网络进行部署。当需要使用时将红外热成像图像数据直接传递到饲料生产设备缺陷识别网络中进行特征区域定位,输出红外异常特征像元,并对红外异常特征像元进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及目标损伤位点特征。
步骤S606,结合目标损伤位点、目标损伤形态类型以及目标损伤位点特征得到饲料生产设备缺陷识别结果,将饲料生产设备缺陷识别结果返回视频监控巡检流程对应的巡检控制端。
其中,可以结合目标损伤位点和目标损伤位点特征得查找到目标损伤形态类型对应的属性字段,然后结合目标损伤位点和目标损伤位点特征和属性字段生成饲料生产设备缺陷识别结果。然后可以将标饲料生产设备缺陷信息返回视频监控巡检流程对应的巡检控制端。
结合以上步骤,通过使用饲料生产设备缺陷识别网络得到红外热成像图像数据对应的饲料生产设备缺陷识别结果,该饲料生产设备缺陷识别网络是通过将范例红外热成像图像数据传递到初始化缺陷识别网络中进行特征区域定位与缺陷特征解析,输出决策损伤位点、决策损伤形态类型以及决策损伤位点特征,结合决策损伤位点、决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息,并对红外异常特征像元进行损伤位点决策,输出决策损伤位点信息,然后计算得到缺陷决策学习效果值和损伤位点决策学习效果值,再使用缺陷决策学习效果值和损伤位点决策学习效果值优化初始化缺陷识别网络,输出迭代缺陷识别网络,将迭代缺陷识别网络作为初始化缺陷识别网络并进行迭代训练,直至所述初始化缺陷识别网络满足饲料生产设备缺陷识别运行条件生成的,可以提高最终生成的饲料生产设备缺陷识别网络的决策性能,进而最终提高饲料生产设备缺陷识别的精度。即能够直接生成目标损伤位点、目标损伤形态类型以及目标损伤位点特征,从而能够避免产生级联差异值,从而提高了得到的饲料生产设备缺陷识别结果的准确性。
一种可能的实施方式中,饲料生产设备缺陷识别网络包括目标特征区域定位单元和目标缺陷特征解析单元;
步骤S604,将红外热成像图像数据传递到饲料生产设备缺陷识别网络中,包括步骤:
将红外热成像图像数据传递到目标特征区域定位单元中进行特征区域定位,输出红外异常特征像元;将红外异常特征像元传递到目标缺陷特征解析单元中进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及目标损伤位点特征。
其中,目标特征区域定位单元是指训练完成的特征区域定位单元,用于对输入的红外热成像图像数据进行特征区域定位。目标缺陷特征解析单元是指训练完成的缺陷特征解析单元,用于对输入的特征信息进行缺陷特征解析。
其中,可以使用目标特征区域定位单元中的目标特征区域定位参数对红外热成像图像数据进行特征区域定位,并使用目标缺陷特征解析单元中的目标缺陷特征解析参数对红外异常特征像元进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及目标损伤位点特征。
结合以上步骤,通过使用目标特征区域定位单元和目标缺陷特征解析单元进行特征区域定位和缺陷特征解析,能够直接得到目标损伤位点、目标损伤形态类型以及目标损伤位点特征,不需要进行多个流程的饲料生产设备缺陷识别处理,从而避免产生级联差异值,提高了饲料生产设备缺陷识别的效率和准确性。
一种可能的实施方式中,可以将红外热成像图像数据提取为前景红外热成像图像簇,将前景红外热成像图像簇传递到饲料生产设备缺陷识别网络中进行特征区域定位,输出红外异常特征像元;将红外异常特征像元传递到目标缺陷特征解析单元中进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及候选损伤位点特征,并使用目标损伤位点获取对应的目标损伤位点匹配空间,在目标损伤位点匹配空间中查询候选损伤位点特征,当查询到候选损伤位点特征时,将候选损伤位点特征作为目标损伤位点特征。
一种可能的实施方式中,本发明另一种实施例具体包括以下步骤:
步骤S702,获取范例红外热成像图像数据、范例饲料生产设备缺陷信息和范例损伤位点信息;
步骤S704,将范例红外热成像图像数据进行前景红外热成像图像区域定位,输出各个目标前景红外热成像图像,获取前向红外热成像节点和后向红外热成像节点,将前向红外热成像节点、后向红外热成像节点和各个目标前景红外热成像图像按照范例红外热成像图像数据的成像次序进行连接,输出前景红外热成像图像簇,将前景红外热成像图像簇传递到初始化缺陷识别网络中,将前景红外热成像图像簇传递到初始化缺陷识别网络中通过范例特征区域定位单元提取前景红外热成像图像簇对应的异常定位区域,输出红外异常特征像元。
步骤S706,通过范例缺陷特征解析单元使用先验缺陷特征表示和红外异常特征像元进行缺陷特征解析,输出第一决策缺陷特征表示,对第一决策缺陷特征表示和红外异常特征像元进行缺陷特征解析,输出第二决策缺陷特征表示,对第二决策缺陷特征表示和红外异常特征像元进行缺陷特征解析,输出第三决策缺陷特征表示,使用第一决策缺陷特征表示、第二决策缺陷特征表示、第三决策缺陷特征表示确定决策损伤位点、决策损伤形态类型和候选损伤位点特征。
步骤S708,结合决策损伤位点获取对应的各个损伤位点形态数据,使用各个损伤位点形态数据生成损伤位点匹配空间,在损伤位点匹配空间中查询候选损伤位点特征,当查询到候选损伤位点特征时,将候选损伤位点特征作为决策损伤位点特征。
步骤S710,结合决策损伤位点、决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息,并将红外异常特征像元的各个潜在异常图像单元传递到范例决策单元中进行损伤位点决策,输出各个潜在异常图像单元对应的损伤映射信息。
步骤S712,使用第一决策缺陷特征表示和范例饲料生产设备缺陷信息计算第一决策缺陷特征表示对应的第一网络学习效果值,使用第二决策缺陷特征表示和范例饲料生产设备缺陷信息计算第二决策缺陷特征表示对应的第二网络学习效果值,使用第三决策缺陷特征表示和范例饲料生产设备缺陷信息计算第三决策缺陷特征表示对应的第三网络学习效果值,计算第一网络学习效果值、第二网络学习效果值、第三网络学习效果值的融合网络学习效果值,输出缺陷决策学习效果值。
步骤S714,计算各个潜在异常图像单元对应的损伤映射信息与范例损伤位点信息中对应的损伤图像单元信息之间的交叉熵函数值,输出各个loss值,计算各个loss值的权重融合值,输出损伤位点决策学习效果值;
步骤S716,结合缺陷决策学习效果值和损伤位点决策学习效果值优化初始化缺陷识别网络,输出迭代缺陷识别网络,将迭代缺陷识别网络作为初始化缺陷识别网络,并返回获取范例红外热成像图像数据、范例饲料生产设备缺陷信息和范例损伤位点信息的步骤进行迭代网络权重参数优化,直至满足饲料生产设备缺陷识别运行条件时,结合满足饲料生产设备缺陷识别运行条件的特征区域定位单元和满足饲料生产设备缺陷识别运行条件的缺陷特征解析单元得到饲料生产设备缺陷识别网络。
步骤S718,在检测到饲料生产设备监控请求中的各视频监控巡检流程,视频监控巡检流程携带有红外热成像图像数据,将红外热成像图像数据传递到饲料生产设备缺陷识别网络中,输出生成的目标损伤位点、目标损伤形态类型以及目标损伤位点特征,结合目标损伤位点、目标损伤形态类型以及目标损伤位点特征得到饲料生产设备缺陷识别结果,将饲料生产设备缺陷识别结果返回视频监控巡检流程对应的巡检控制端。
在步骤S300之后,本发明实施例还可以进一步包括以下步骤。
步骤D110、获取所述目标缺陷饲料生产设备对应的运维服务端针对下发的饲料生产设备检修指令数据的运维事件数据,对所述运维事件数据进行设备运维缺陷有向图构建,输出对应的设备运维缺陷有向图,获取设备运维缺陷有向图中第一设备运维缺陷中的第一缺陷根因描述,结合第一设备运维缺陷的第一有向链路确定相对应的第二设备运维缺陷,获取所述第二设备运维缺陷中的第二缺陷根因描述。
此时结合第一设备运维缺陷可以得到多个相对应的第二设备运维缺陷,通常第一设备运维缺陷都是指向第二设备运维缺陷的。本发明实施例在得到第一设备运维缺陷以及所指向的第二设备运维缺陷后,会分别提取第一设备运维缺陷和第二设备运维缺陷相联系的第一缺陷根因描述和第二缺陷根因描述。
一种可能的实施方式中,上述实施例中的步骤D110包括:
解析所述第一设备运维缺陷中与预置的缺陷根因描述位图相对应的第一缺陷根因描述。本发明实施例会结合缺陷根因描述位图确定第一设备运维缺陷的第一缺陷根因描述。
结合所述第一设备运维缺陷的第一有向链路确定相对应的第二设备运维缺陷。
解析所述第二设备运维缺陷中与预置的缺陷根因描述位图相对应的第二缺陷根因描述。
一种可能的实施方式中,通过以下步骤生成缺陷根因描述位图,包括:
获取历史设备运维缺陷图中每个历史设备运维缺陷的历史根因特征序列和历史运维缺陷特征,对所述历史运维缺陷特征进行缺陷元素分量分析获得与所述历史运维缺陷特征相对应的第一缺陷元素分量。
将所述第一缺陷元素分量与缺陷元素分量索引库进行配对确定与历史设备运维缺陷相联系的第二缺陷元素分量。
统计所有历史设备运维缺陷的历史根因特征序列、第二缺陷元素分量生成第一缺陷元素分量簇,对所述第一缺陷元素分量簇内的历史根因特征序列和/或第二缺陷元素分量去重处理得到缺陷根因描述位图。
一种可能的实施方式中,通过以下步骤生成历史缺陷元素,包括:
在第一缺陷元素分量簇中为每个历史根因特征序列构建相对应的缺陷元素分量分布,将每个历史根因特征序列相联系的第二缺陷元素分量分别传递到缺陷元素分量分布内。
在每个历史根因特征序列的缺陷元素分量分布内都加载相应的第二缺陷元素分量后,生成相对应的历史缺陷元素。
步骤D120、结合历史设备运维缺陷图中每个历史设备运维缺陷的历史运维缺陷特征所生成的历史缺陷元素,确定与所述第一缺陷根因描述相联系的第一历史设备运维缺陷,以及第二缺陷根因描述相联系的第二历史设备运维缺陷。本发明实施例会结合历史缺陷元素分别得到第一缺陷根因描述相联系的第一历史设备运维缺陷、第二缺陷根因描述相联系的第二历史设备运维缺陷。
一种可能的实施方式中,步骤D120包括:
步骤D1201、将所述第一缺陷根因描述与历史缺陷元素中的所有历史根因特征序列、第二缺陷元素分量进行配对,确定相应的第一历史设备运维缺陷。
步骤D1202、将所述第二缺陷根因描述与历史缺陷元素中的所有历史根因特征序列、第二缺陷元素分量进行配对,确定相应的第二历史设备运维缺陷。
步骤D130、在所述第一设备运维缺陷与所述第一历史设备运维缺陷之间构建第一缺陷关联路径,在所述第二设备运维缺陷与所述第二历史设备运维缺陷之间构建第二缺陷关联路径。
一种可能的实施方式中,步骤D130包括:
若第一设备运维缺陷与所确定的第一历史设备运维缺陷的历史根因特征序列相对应,则在所述第一设备运维缺陷与所述第一历史设备运维缺陷之间构建前向缺陷关联路径;若第二设备运维缺陷与所确定的第二历史设备运维缺陷的历史根因特征序列相对应,则在所述第二设备运维缺陷与所述第二历史设备运维缺陷之间构建前向缺陷关联路径。
若第一设备运维缺陷与所确定的第一历史设备运维缺陷的第二缺陷元素分量相对应,则在所述第一设备运维缺陷与第一历史设备运维缺陷之间构建后向缺陷关联路径。若第二设备运维缺陷与所确定的第二历史设备运维缺陷的第二缺陷元素分量相对应,则在所述第二设备运维缺陷与第二历史设备运维缺陷之间构建后向缺陷关联路径。
结合第一设备运维缺陷或第二设备运维缺陷的前向缺陷关联路径和后向缺陷关联路径生成相对应的第一缺陷关联路径或第二缺陷关联路径。本发明实施例会对所有设备运维缺陷的前向缺陷关联路径和后向缺陷关联路径进行聚合,进而生成相对应的第一缺陷关联路径或第二缺陷关联路径。
步骤D140、若第一历史设备运维缺陷与第二历史设备运维缺陷之间不存在联动关系,则结合所述第一有向链路在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建联动关系。
一种可能的实施方式中,步骤D140包括:
若第一历史设备运维缺陷与第二历史设备运维缺陷之间不存在联动关系。此时历史设备运维缺陷图中并没有第一历史设备运维缺陷与第二历史设备运维缺陷之间的关系,则获取所述第一有向链路的扩展根因信息,结合所述扩展根因信息在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建联动关系。此时可以结合该扩展根因信息在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建联动关系。
步骤D150、若第一历史设备运维缺陷与第二历史设备运维缺陷之间存在联动关系,则结合所述第一有向链路对所述联动关系更新。如果第一历史设备运维缺陷与第二历史设备运维缺陷之间存在联动关系,此时需要结合第一有向链路对所述联动关系更新。
一种可能的实施方式中,步骤D150包括:
若第一历史设备运维缺陷与第二历史设备运维缺陷之间存在联动关系,则提取第一历史设备运维缺陷与第二历史设备运维缺陷之间的第一缺陷联系描述。
若所述第一缺陷联系描述与第一有向链路的扩展根因信息不相同,结合所述扩展根因信息在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建新的联动关系,结合新的联动关系对先前的联动关系更新。此时将第一缺陷联系描述与第一有向链路的扩展根因信息进行配对,如果第一缺陷联系描述与第一有向链路的扩展根因信息不相同,则此时会结合扩展根因信息在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建新的联动关系。
步骤D160、结合所述第一缺陷关联路径、第二缺陷关联路径、构建的联动关系、更新的联动关系形成衍生设备运维缺陷有向图。通过以上方式,使得能够将设备运维缺陷有向图和历史设备运维缺陷图中的设备运维缺陷和历史设备运维缺陷进行聚合,并且对历史设备运维缺陷图中的联动关系进行更新,得到衍生设备运维缺陷有向图。
一种可能的实施方式中,步骤D160包括:
结合所构建的联动关系、更新的联动关系对历史设备运维缺陷图进行更新。
构建与设备运维缺陷有向图相联系的第一有向图节点、构建与更新后的历史设备运维缺陷图相联系的第二有向图节点。
选取与所述第一缺陷关联路径或第二缺陷关联路径的前向缺陷关联路径相联系的第一联系方式,将所述以第一联系方式将第一设备运维缺陷或第二设备运维缺陷与相应的第一历史设备运维缺陷或第二历史设备运维缺陷连接。
选取与所述第一缺陷关联路径或第二缺陷关联路径的后向缺陷关联路径相联系的第二联系方式,将所述第一设备运维缺陷或第二设备运维缺陷与相应的第一历史设备运维缺陷或第二历史设备运维缺陷以第二联系方式连接。
在将第一设备运维缺陷或第二设备运维缺陷与相应的第一历史设备运维缺陷或第二历史设备运维缺陷连接后,生成衍生设备运维缺陷有向图。
一种可能的实施方式中,所述构建与设备运维缺陷有向图相联系的第一有向图节点、构建与更新后的历史设备运维缺陷图相联系的第二有向图节点,所述第一有向图节点和第二有向图节点平行设置,包括:获取所述设备运维缺陷有向图中设备运维缺陷的缺陷指标得到第一目标缺陷指标,获取所述历史设备运维缺陷图中历史设备运维缺陷通过第一目标缺陷指标、第二目标缺陷指标以及第三目标缺陷指标能够反映出设备运维缺陷有向图和历史设备运维缺陷图的数量。结合所有的前向缺陷关联路径和后向缺陷关联路径得到第一路径缺陷指标,结合所述第一路径缺陷指标和第三目标缺陷指标得到路径加权缺陷指标。由此会得到路径加权缺陷指标,如果路径加权缺陷指标越大,则证明每个历史设备运维缺陷与设备运维缺陷之间的路径就越多,如果路径加权缺陷指标越小,则证明每个历史设备运维缺陷与设备运维缺陷之间的路径就越少。
结合路径加权缺陷指标、预设加权缺陷指标以及预设有向特征距离确定所述第一有向图节点和第二有向图节点的当前有向特征距离,将所述第一有向图节点和第二有向图节点在有向图架构上以当前有向特征距离进行间隔配置。
步骤D170,结合所述衍生设备运维缺陷有向图存储所述运维事件数据的故障根因特征,作为所述目标缺陷饲料生产设备的设备保养数据。
结合以上步骤,能够在对设备运维缺陷有向图和历史设备运维缺陷图进行全局更新时,将设备运维缺陷与相对应的历史设备运维缺陷相连接,并且能够结合设备运维缺陷有向图中不同的设备运维缺陷的关系确定历史设备运维缺陷图中不同的历史设备运维缺陷潜在的关系,进而对历史设备运维缺陷图中历史设备运维缺陷的联动关系进行更新,由此使得在将设备运维缺陷与历史设备运维缺陷进行连接时,不仅能够构建设备运维缺陷有向图和历史设备运维缺陷图衍生设备运维缺陷有向图,而且能够结合设备运维缺陷有向图对历史设备运维缺陷图进行更新,提高运维缺陷有向图衍生的可靠性。
图2示出了本发明实施例提供的用于实现上述的基于视频监控巡检的饲料生产设备缺陷识别方法的基于视频监控巡检的饲料生产设备缺陷识别系统100的硬件结构意图,如图2所示,基于视频监控巡检的饲料生产设备缺陷识别系统100可包括处理器110、机器可读存储介质120、总线130以及通信单元140。
一种示例性的设计思路中,基于视频监控巡检的饲料生产设备缺陷识别系统100可以是单个基于视频监控巡检的饲料生产设备缺陷识别系统,也可以是基于视频监控巡检的饲料生产设备缺陷识别系统组。所述基于视频监控巡检的饲料生产设备缺陷识别系统组可以是集中式的,也可以是分布式的(例如,基于视频监控巡检的饲料生产设备缺陷识别系统100可以是分布式的系统)。一种示例性的设计思路中,基于视频监控巡检的饲料生产设备缺陷识别系统100可以是本地的,也可以是远程的。例如,基于视频监控巡检的饲料生产设备缺陷识别系统100可以经由网络访问存储于机器可读存储介质120中的信息和/或数据。又例如,基于视频监控巡检的饲料生产设备缺陷识别系统100可以直接连接到机器可读存储介质120以访问存储的信息和/或数据。一种示例性的设计思路中,基于视频监控巡检的饲料生产设备缺陷识别系统100可以在云平台上实施。仅作为示例,该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
机器可读存储介质120可以储存数据和/或指令。一种示例性的设计思路中,机器可读存储介质120可以存储从外部终端获取的数据。一种示例性的设计思路中,机器可读存储介质120可以储存基于视频监控巡检的饲料生产设备缺陷识别系统100用来执行或使用来完成本发明中描述的示例性方法的数据及/或指令。一种示例性的设计思路中,机器可读存储介质120可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取内存(RAM)。示例性RAM可包括主动随机存取存储器(DRAM)、双倍数据速率同步主动随机存取存储器(DDR SDRAM)、被动随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(PEROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。一种示例性的设计思路中,机器可读存储介质120可以在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云,多层云等,或其任意组合。
在具体实现过程中,至少一个处理器110执行机器可读存储介质120存储的计算机可执行指令,使得处理器110可以执行如上方法实施例的基于视频监控巡检的饲料生产设备缺陷识别方法,处理器110、机器可读存储介质120以及通信单元140通过总线130连接,处理器110可以用于控制通信单元140的收发动作。
处理器110的具体实现过程可参见上述基于视频监控巡检的饲料生产设备缺陷识别系统100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
此外,本发明实施例还提供一种可读存储介质,所述可读存储介质中预设有计算机可执行指令,当处理器执行所述计算机可执行指令时,实现如上基于视频监控巡检的饲料生产设备缺陷识别方法。
应当理解的是,以上描述仅出于说明的目的,并不旨在限制本发明的范围。对于本领域的普通技术人员来说,可以结合本发明的描述,做出多种修改和变化。然而,这些修改和变化不会背离本发明的范围。
上文已对基本概念做了描述,显然,对于阅读此发明后的本领域的普通技术人员来说,上述发明公开仅作为示例,并不构成对本发明的限制。虽然此处并没有明确说明,本领域技术人员可能会对本发明进行各种修改、改进和修正。该类修改、改进和修正在本发明中被建议,所以该类修改、改进、修正仍属于本发明示范实施例的精神和范围。
同时,本发明使用了特定词语来描述本发明的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本发明至少一个实施例相关的某一特征、结构或特性。因此,应当强调并注意的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定系指同一实施例。此外,本发明的一个或以上实施例中的某些特征、结构或特性可以进行适当的组合。
此外,本领域的普通技术人员可以理解,本发明的各方面可以结合多个具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的过程、机器、产品或物质的组合,或对其任何新的和有用的改良。相应地,本发明的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外,本发明公开的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式,其中计算机可读程序代码包含在其中。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。此类传播信号可以有多种形式,包括电磁形式、光形式等或任何合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以结合连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以结合任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质等或其任意组合。
本发明各部分操作所需的计算机程序编码可以用任意一种或以上程序语言编写,包括面向主体编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,主动编程语言如Python、Ruby和Groovy,或其它编程语言等。该程序编码可以完全在电力作业分区计算机上运行、或作为独立的软件包在电力作业分区计算机上运行、或部分在电力作业分区计算机上运行部分在远程计算机运行、或完全在远程计算机或基于视频监控巡检的饲料生产设备缺陷识别系统上运行。在后种情况下,远程计算机可以结合任何网络形式与电力作业分区计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如结合因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本发明所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用,并非用于限定本发明流程和方法的顺序。尽管上述披露中结合各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有匹配本发明实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以结合硬件设备实现,但是也可以只结合软件的解决方案得以实现,如在现有的基于视频监控巡检的饲料生产设备缺陷识别系统或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本发明披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本发明实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。同理,应当注意的是,为了简化本发明披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本发明实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。
Claims (10)
1.一种基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,结合基于视频监控巡检的饲料生产设备缺陷识别系统实现,所述方法包括:
获取视频监控巡检流程中采集的目标饲料生产设备区域的红外热成像图像数据;
将所述红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中,得到饲料生产设备缺陷识别结果,将所述饲料生产设备缺陷识别结果返回所述视频监控巡检流程对应的巡检控制端;
获取所述巡检控制端针对所述饲料生产设备缺陷识别结果生成的饲料生产设备检修指令数据,并结合所述饲料生产设备检修指令数据向所述红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度。
2.根据权利要求1所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述将所述红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中,得到饲料生产设备缺陷识别结果,具体通过下述步骤实现:
将所述红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中进行特征区域定位,输出红外异常特征像元,并对所述红外异常特征像元进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及目标损伤位点特征,其中,所述目标损伤位点特征包括宽度特征、面积特征以及曲率特征中的至少一种;
结合所述目标损伤位点、所述目标损伤形态类型以及目标损伤位点特征得到饲料生产设备缺陷识别结果,将所述饲料生产设备缺陷识别结果返回所述视频监控巡检流程对应的巡检控制端;
获取所述巡检控制端针对所述饲料生产设备缺陷识别结果生成的饲料生产设备检修指令数据,并结合所述饲料生产设备检修指令数据向所述红外热成像图像数据对应的目标缺陷饲料生产设备进行检修人员或者检修设备调度;
其中,所述饲料生产设备缺陷识别网络包括目标特征区域定位单元和目标缺陷特征解析单元;
所述将所述红外热成像图像数据传递到满足饲料生产设备缺陷识别运行条件的饲料生产设备缺陷识别网络中进行特征区域定位,输出红外异常特征像元,并对所述红外异常特征像元进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及目标损伤位点特征,包括:
将所述红外热成像图像数据传递到所述目标特征区域定位单元中进行特征区域定位,输出红外异常特征像元;
将所述红外异常特征像元传递到所述目标缺陷特征解析单元中进行缺陷特征解析,输出目标损伤位点、目标损伤形态类型以及目标损伤位点特征。
3.根据权利要求1所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述方法还包括:
获取范例红外热成像图像数据、范例饲料生产设备缺陷信息和范例损伤位点信息;
将所述范例红外热成像图像数据提取为前景红外热成像图像簇,将所述前景红外热成像图像簇传递到初始化缺陷识别网络中;
结合所述初始化缺陷识别网络解析所述前景红外热成像图像簇对应的异常定位区域,输出红外异常特征像元;
结合所述初始化缺陷识别网络使用先验缺陷特征表示和所述红外异常特征像元进行缺陷特征解析,输出第一决策缺陷特征表示;
结合所述初始化缺陷识别网络对所述第一决策缺陷特征表示和所述红外异常特征像元进行缺陷特征解析,输出第二决策缺陷特征表示;
结合所述初始化缺陷识别网络对所述第二决策缺陷特征表示和所述红外异常特征像元进行缺陷特征解析,输出第三决策缺陷特征表示;
结合所述初始化缺陷识别网络结合所述第一决策缺陷特征表示、所述第二决策缺陷特征表示、所述第三决策缺陷特征表示确定决策损伤位点、决策损伤形态类型和候选损伤位点特征,并结合所述决策损伤位点获取对应的各个损伤位点形态数据;
结合所述初始化缺陷识别网络将所述候选损伤位点特征与所述各个损伤位点形态数据进行匹配,在匹配成功时,将所述候选损伤位点特征作为决策损伤位点特征;
结合所述决策损伤位点、所述决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息,并对所述红外异常特征像元进行损伤位点决策,输出决策损伤位点信息;
结合所述第一决策缺陷特征表示和所述范例饲料生产设备缺陷信息确定所述第一决策缺陷特征表示对应的第一网络学习效果值;
结合所述第二决策缺陷特征表示和所述范例饲料生产设备缺陷信息确定所述第二决策缺陷特征表示对应的第二网络学习效果值;
结合所述第三决策缺陷特征表示和所述范例饲料生产设备缺陷信息确定所述第三决策缺陷特征表示对应的第三网络学习效果值;
确定所述第一网络学习效果值、所述第二网络学习效果值、所述第三网络学习效果值的融合网络学习效果值,输出缺陷决策学习效果值,并结合所述范例损伤位点信息和所述决策损伤位点信息进行损伤位点决策学习效果值计算,输出损伤位点决策学习效果值;
结合所述缺陷决策学习效果值和所述损伤位点决策学习效果值迭代优化所述初始化缺陷识别网络,输出迭代缺陷识别网络,将所述迭代缺陷识别网络作为初始化缺陷识别网络,并返回获取范例红外热成像图像数据、范例饲料生产设备缺陷信息和范例损伤位点信息的步骤进行迭代网络权重参数优化,直至满足饲料生产设备缺陷识别运行条件时,输出饲料生产设备缺陷识别网络,所述饲料生产设备缺陷识别网络用于对红外热成像图像数据生成对应的饲料生产设备缺陷信息。
4.根据权利要求3所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述将所述范例红外热成像图像数据提取为前景红外热成像图像簇,将所述前景红外热成像图像簇传递到初始化缺陷识别网络中,包括:
将所述范例红外热成像图像数据进行前景红外热成像图像区域定位,输出各个目标前景红外热成像图像;
获取前向红外热成像节点和后向红外热成像节点,将所述前向红外热成像节点、后向红外热成像节点和所述各个目标前景红外热成像图像按照所述范例红外热成像图像数据的成像次序进行连接,输出所述前景红外热成像图像簇,将所述前景红外热成像图像簇传递到初始化缺陷识别网络中。
5.根据权利要求3所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述结合所述初始化缺陷识别网络将所述候选损伤位点特征与所述各个损伤位点形态数据进行匹配,在匹配成功时,将所述候选损伤位点特征作为所述决策损伤位点特征,包括:
结合所述各个损伤位点形态数据生成损伤位点匹配空间;
在所述损伤位点匹配空间中查询所述候选损伤位点特征,当查询到所述候选损伤位点特征时,将所述候选损伤位点特征作为所述决策损伤位点特征。
6.根据权利要求3所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述红外异常特征像元包括各个潜在异常图像单元;
所述对所述红外异常特征像元进行损伤位点决策,输出决策损伤位点信息,包括:
从所述各个潜在异常图像单元中依次选取当前潜在异常图像单元;
将所述当前潜在异常图像单元进行空域局部极值检测,输出空域局部极值分布,将所述空域局部极值分布进行损伤位点置信度映射,输出损伤位点映射置信度;
结合所述损伤位点映射置信度确定所述当前潜在异常图像单元对应的当前损伤映射信息,并返回从所述各个潜在异常图像单元中依次选取当前潜在异常图像单元的步骤进行迭代网络权重参数优化,直到所述各个潜在异常图像单元中迭代终止时,输出所述各个潜在异常图像单元对应的损伤映射信息,结合所述各个潜在异常图像单元对应的损伤映射信息得到所述决策损伤位点信息。
7.根据权利要求6所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述结合所述范例损伤位点信息和所述决策损伤位点信息进行损伤位点决策学习效果值计算,输出损伤位点决策学习效果值,包括:
确定所述各个潜在异常图像单元对应的损伤映射信息与所述范例损伤位点信息中对应的损伤图像单元信息之间的交叉熵函数值,输出各个loss值;
确定所述各个loss值的权重融合值,输出所述损伤位点决策学习效果值。
8.根据权利要求3所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述初始化缺陷识别网络包括范例特征区域定位单元、范例缺陷特征解析单元和范例决策单元;
所述将所述范例红外热成像图像数据传递到初始化缺陷识别网络中,包括:
将所述范例红外热成像图像数据传递到所述范例特征区域定位单元中进行特征区域定位,输出红外异常特征像元;
将所述红外异常特征像元传递到所述范例缺陷特征解析单元中进行缺陷特征解析,输出决策损伤位点、决策损伤形态类型以及决策损伤位点特征,结合所述决策损伤位点、所述决策损伤形态类型以及决策损伤位点特征得到决策饲料生产设备缺陷信息;
将所述红外异常特征像元传递到所述范例决策单元进行损伤位点决策,输出决策损伤位点信息;
所述直至满足饲料生产设备缺陷识别运行条件时,输出饲料生产设备缺陷识别网络,包括:
当满足饲料生产设备缺陷识别运行条件时,结合满足饲料生产设备缺陷识别运行条件的特征区域定位单元和满足饲料生产设备缺陷识别运行条件的缺陷特征解析单元得到所述饲料生产设备缺陷识别网络。
9.根据权利要求1-8中任意一项所述的基于视频监控巡检的饲料生产设备缺陷识别方法,其特征在于,所述方法还包括:
获取所述目标缺陷饲料生产设备对应的运维服务端针对下发的饲料生产设备检修指令数据的运维事件数据,对所述运维事件数据进行设备运维缺陷有向图构建,输出对应的设备运维缺陷有向图,获取所述设备运维缺陷有向图中第一设备运维缺陷中的第一缺陷根因描述,结合第一设备运维缺陷的第一有向链路确定相对应的第二设备运维缺陷,获取所述第二设备运维缺陷中的第二缺陷根因描述;
结合历史设备运维缺陷图中每个历史设备运维缺陷的历史运维缺陷特征所生成的历史缺陷元素,确定与所述第一缺陷根因描述相联系的第一历史设备运维缺陷,以及第二缺陷根因描述相联系的第二历史设备运维缺陷;
在所述第一设备运维缺陷与所述第一历史设备运维缺陷之间构建第一缺陷关联路径,在所述第二设备运维缺陷与所述第二历史设备运维缺陷之间构建第二缺陷关联路径;
若第一历史设备运维缺陷与第二历史设备运维缺陷之间不存在联动关系,则结合所述第一有向链路在第一历史设备运维缺陷与第二历史设备运维缺陷之间构建联动关系;
若第一历史设备运维缺陷与第二历史设备运维缺陷之间存在联动关系,则结合所述第一有向链路对所述联动关系进行更新;
结合所述第一缺陷关联路径、第二缺陷关联路径、构建的联动关系、更新的联动关系形成衍生设备运维缺陷有向图;
结合所述衍生设备运维缺陷有向图存储所述运维事件数据的故障根因特征,作为所述目标缺陷饲料生产设备的设备保养数据。
10.一种基于视频监控巡检的饲料生产设备缺陷识别系统,其特征在于,所述基于视频监控巡检的饲料生产设备缺陷识别系统包括处理器和机器可读存储介质,所述机器可读存储介质中存储有机器可执行指令,所述机器可执行指令由所述处理器加载并执行以实现权利要求1-9中任意一项的基于视频监控巡检的饲料生产设备缺陷识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310324434.6A CN116050807B (zh) | 2023-03-30 | 2023-03-30 | 基于视频监控巡检的饲料生产设备缺陷识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310324434.6A CN116050807B (zh) | 2023-03-30 | 2023-03-30 | 基于视频监控巡检的饲料生产设备缺陷识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116050807A true CN116050807A (zh) | 2023-05-02 |
CN116050807B CN116050807B (zh) | 2023-06-23 |
Family
ID=86129893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310324434.6A Active CN116050807B (zh) | 2023-03-30 | 2023-03-30 | 基于视频监控巡检的饲料生产设备缺陷识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116050807B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10346969B1 (en) * | 2018-01-02 | 2019-07-09 | Amazon Technologies, Inc. | Detecting surface flaws using computer vision |
CN111754483A (zh) * | 2020-06-23 | 2020-10-09 | 四川省东宇信息技术有限责任公司 | 一种基于热像仪进行异常设备识别的方法及系统 |
CN112419243A (zh) * | 2020-11-11 | 2021-02-26 | 国网山东省电力公司青岛供电公司 | 一种基于红外图像分析的配电房设备故障识别方法 |
CN113159334A (zh) * | 2021-02-24 | 2021-07-23 | 广西大学 | 基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 |
CN113935497A (zh) * | 2020-07-14 | 2022-01-14 | 京东方科技集团股份有限公司 | 智能运维故障处理方法、装置、设备及其存储介质 |
CN114399148A (zh) * | 2021-12-01 | 2022-04-26 | 航天云网数据研究院(江苏)有限公司 | 一种基于大数据计算分析的设备维修调度系统 |
CN115410069A (zh) * | 2022-08-25 | 2022-11-29 | 绍兴幺贰玖零科技有限公司 | 基于多重注意力机制的故障检测方法及其系统 |
-
2023
- 2023-03-30 CN CN202310324434.6A patent/CN116050807B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10346969B1 (en) * | 2018-01-02 | 2019-07-09 | Amazon Technologies, Inc. | Detecting surface flaws using computer vision |
CN111754483A (zh) * | 2020-06-23 | 2020-10-09 | 四川省东宇信息技术有限责任公司 | 一种基于热像仪进行异常设备识别的方法及系统 |
CN113935497A (zh) * | 2020-07-14 | 2022-01-14 | 京东方科技集团股份有限公司 | 智能运维故障处理方法、装置、设备及其存储介质 |
CN112419243A (zh) * | 2020-11-11 | 2021-02-26 | 国网山东省电力公司青岛供电公司 | 一种基于红外图像分析的配电房设备故障识别方法 |
CN113159334A (zh) * | 2021-02-24 | 2021-07-23 | 广西大学 | 基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 |
CN114399148A (zh) * | 2021-12-01 | 2022-04-26 | 航天云网数据研究院(江苏)有限公司 | 一种基于大数据计算分析的设备维修调度系统 |
CN115410069A (zh) * | 2022-08-25 | 2022-11-29 | 绍兴幺贰玖零科技有限公司 | 基于多重注意力机制的故障检测方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116050807B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sajedi et al. | Uncertainty‐assisted deep vision structural health monitoring | |
KR102126724B1 (ko) | 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 | |
US20230418250A1 (en) | Operational inspection system and method for domain adaptive device | |
US11657373B2 (en) | System and method for identifying structural asset features and damage | |
US11682201B2 (en) | Identifying targets within images | |
CN110569901A (zh) | 一种基于通道选择的对抗消除弱监督目标检测方法 | |
WO2021253510A1 (zh) | 基于双向交互网络的行人搜索方法、系统、装置 | |
CN113037783B (zh) | 一种异常行为检测方法及系统 | |
CN112950569B (zh) | 黑色素瘤图像识别方法、装置、计算机设备及存储介质 | |
KR102056564B1 (ko) | 머신 비전을 이용한 시설물 관리 방법 및 장치 | |
CN113129338B (zh) | 基于多目标跟踪算法的图像处理方法、装置、设备及介质 | |
CN112148028A (zh) | 基于无人机拍摄图像的环境监测方法和系统 | |
CN112697134A (zh) | 一种室内巡检机器人的环境感知方法、系统、设备及其计算机可读存储介质 | |
CN115471625A (zh) | 一种云机器人平台大数据智能决策方法和系统 | |
CN116050807B (zh) | 基于视频监控巡检的饲料生产设备缺陷识别方法及系统 | |
CN114511077A (zh) | 使用基于伪元素的数据扩增来训练点云处理神经网络 | |
CN116543283B (zh) | 一种考虑模态不确定性的多模态目标检测方法 | |
CN113759968B (zh) | 一种基于无人机的电网巡线规划方法及系统 | |
CN115984723A (zh) | 道路破损检测方法、系统、装置、存储介质及计算机设备 | |
CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
CN114663751A (zh) | 一种基于增量学习技术的输电线路缺陷识别方法和系统 | |
CN117329928B (zh) | 一种基于多元情报融合的无人机综合探测方法和系统 | |
CN116560894B (zh) | 应用机器学习的无人机故障数据分析方法、服务器及介质 | |
CN113239922B (zh) | 一种虚拟现实空间定位特征点识别系统及识别方法 | |
CN116594838B (zh) | 多模态数据预训练方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |