CN116629842A - 基于图像处理的电力设备巡检方法及平台 - Google Patents
基于图像处理的电力设备巡检方法及平台 Download PDFInfo
- Publication number
- CN116629842A CN116629842A CN202310884612.0A CN202310884612A CN116629842A CN 116629842 A CN116629842 A CN 116629842A CN 202310884612 A CN202310884612 A CN 202310884612A CN 116629842 A CN116629842 A CN 116629842A
- Authority
- CN
- China
- Prior art keywords
- inspection
- path diagram
- power equipment
- mode
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 496
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 238000010586 diagram Methods 0.000 claims abstract description 255
- 238000012423 maintenance Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims description 90
- 238000012790 confirmation Methods 0.000 claims description 14
- 230000002452 interceptive effect Effects 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于图像处理的电力设备巡检方法及平台，包括：服务器在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息；服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表；根据所述第一巡检统计表对多模态采集设备进行配置；服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，生成第二巡检维修路径图、多模态维修需求；根据人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理。
Description
技术领域
本发明涉及电力设备巡检技术领域，尤其涉及一种基于图像处理的电力设备巡检方法及平台。
背景技术
为了保障电力设备的稳定运行，需要对电力设备进行巡检、维护和检修，现有的巡检过程中，都是人工选择巡检点、人工选择巡检模态，并无法根据电力设备的不同对一个电力传输区域内的电力设备进行差异化的巡检，导致较大供电区域的巡检效率较低、巡检模态较少。
发明内容
本发明实施例提供一种基于图像处理的电力设备巡检方法及平台，能够根据电力设备的巡检时间属性的不同对电力设备在时间维度上进行差异化的巡检配置，并且根据电力设备的工作属性的不同在模态上进行差异化的巡检配置，使得本发明能够对不同的电力设备采取不同的多模态识别模型进行状态的识别进而指导工作人员进行检修，并且能够根据工作人员的不同操作对多模态识别模型进行持续训练，持续提高本发明对电力设备在多模态下的状态识别结果的精确度，有效的提高了巡检效率、增多了巡检模态。
本发明实施例的第一方面，提供一种基于图像处理的电力设备巡检方法，包括：
服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态；
服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表；
服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息；
服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求；
获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理。
可选地，在第一方面的一种可能实现方式中，所述服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态，包括：
服务器获取电力设备规划路径图内每个电力设备在上一次巡检的第一巡检时刻以及当前时刻，根据所述第一巡检时刻以及当前时刻计算得到相应电力设备的巡检间隔时间段；
若判断相应的巡检间隔时间段大于等于所述巡检需求时间段，则判断相应的电力设备作为需要巡检的第一巡检点；
获取每个第一巡检点所对应的位置信息和采集模态信息，每个电力设备具有相对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态。
可选地，在第一方面的一种可能实现方式中，所述服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表，包括：
对电力设备规划路径图复制处理，所述电力设备规划路径包括多个电力设备所对应的节点以及相邻的点之间的子路径，选中复制后的电力设备规划路径图内第一巡检点以外的其他电力设备所对应的第二巡检点；
将第二巡检点在复制后的电力设备规划路径图内删除，确定与第二巡检点分别连接的子路径作为待连接子路径；
对与同一个第二巡检点相连接的待连接子路径延长处理，以使多个待连接子路径直接连接生成第一巡检路径图；
统计第一巡检路径图内每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表。
可选地，在第一方面的一种可能实现方式中，还包括:
若判断用户输入对第一巡检路径图的修改信息，则根据所述修改信息生成与第一巡检路径图相对应的第一交互路径图和第二交互路径图，所述第一交互路径图中包括第一巡检点，所述第二交互路径图包括第二巡检点；
基于所述第一交互路径图和第二交互路径图与用户交互，得到第三交互路径图和第四交互路径图，基于所述第三交互路径图和第四交互路径图得到更新后的第一巡检路径图。
可选地，在第一方面的一种可能实现方式中，所述根据所述修改信息生成与第一巡检路径图相对应的第一交互路径图和第二交互路径图，包括：
对所述第一巡检路径图复制处理，在复制后的第一巡检路径图中确定第一巡检点并生成与所述第一巡检点所对应的第一交互可选槽位，得到第一交互路径图；
对电力设备规划路径图复制处理，选中复制后的电力设备规划路径图内第一巡检点以外的其他电力设备所对应的第二巡检点，得到非巡检点路径图；
在非巡检点路径图中确定第二巡检点并生成与所述第二巡检点所对应的第二交互可选槽位，得到第二交互路径图。
可选地，在第一方面的一种可能实现方式中，所述基于所述第一交互路径图和第二交互路径图与用户交互，得到第三交互路径图和第四交互路径图，基于所述第三交互路径图和第四交互路径图得到更新后的第一巡检路径图，包括：
若判断用户选中第一交互路径图中第一交互可选槽位相应的第一巡检点，则对相应的第一巡检点进行记录作为待删除的第三巡检点；
若判断用户选中第二交互路径图中第二交互可选槽位相应的第二巡检点，则对相应的第二巡检点进行记录作为待添加的第四巡检点；
对电力设备规划路径图复制处理，选中复制后的电力设备规划路径图内第一巡检点和第四巡检点，将与第三巡检点所对应的第一巡检点以及其他未选中的节点删除；
根据剩余的第一巡检点和第四巡检点得到更新后的第一巡检路径图及第一巡检统计表。
可选地，在第一方面的一种可能实现方式中，所述服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息，包括：
服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，所述多模态采集设备为无人机和/或机器人，所述多模态采集设备至少包括图像采集模块和音频采集模块；
控制所述多模态采集设备按照所述第一巡检路径图，依次移动至每一个具有相应位置信息的第一巡检点处，基于红外测距装置获得多模态采集设备与电力设备的第一距离；
若所述第一距离达到预设距离要求，则基于第一巡检统计表对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息。
可选地，在第一方面的一种可能实现方式中，所述服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求，包括：
服务器获取相应第一巡检点所对应的电力设备的多模态识别模型，每个电力设备具有预先设置的多模态识别模型；
若判断所述第一图像信息为白光图像信息，则对白光图像中电力设备的设备轮廓和/或像素点的白光像素值识别，得到白光图像识别结果；
若判断所述第一图像信息为红外图像信息，则对红外图像中电力设备的像素点的红外像素值识别，得到红外图像识别结果；
若判断具有第一音频信息，则获取所述第一音频信息中的平均响度信息，将所述平均响度信息与预设响度信息比对，得到音频识别结果；
根据所述白光图像识别结果、红外图像识别结果以及音频识别结果得到电力设备的第一巡检结果，所述第一巡检结果包括符合要求的电力设备和不符合要求的电力设备；
将第一巡检路径图中符合要求的电力设备所对应的节点删除，根据剩余的节点生成与第一巡检结果对应的第二巡检维修路径图，根据剩余的节点的模态类型得到相应节点对应的多模态维修需求。
可选地，在第一方面的一种可能实现方式中，所述获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理，包括：
根据所述第一巡检结果生成问题设备统计表，所述问题设备统计表包括每个电力设备所对应问题模态的问题标签；
获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，所述人工巡检数据包括每个电力设备的相应模态的检修信息，根据所述人工巡检数据生成相对应的检修设备统计表；
若所述检修设备统计表与所述问题设备统计表不对应，则确定问题设备统计表中存在、检修设备统计表内不存在的电力设备的相应问题模态；
根据所述问题模态确定相应的第一图像信息和/或第一音频信息为训练图像信息和/或训练音频信息；
提取所述训练图像信息和/或训练音频信息对相应电力设备的多模态识别模型训练处理。
本发明实施例的第二方面，提供一种基于图像处理的电力设备巡检平台，包括：
确定模块，用于使服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态；
生成模块，用于使服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表；
配置模块，用于使服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息；
识别模块，用于使服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求；
训练模块，用于获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理。
本发明实施例的第三方面，提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明提供的一种基于图像处理的电力设备巡检方法及平台，能够根据每个电力设备的巡检需求时间段的属性、巡检模态的属性对相应的巡检点进行统计，并生成相对应的第一巡检统计表，结合第一巡检统计表对多模态采集设备进行配置，使得相应的多模态采集设备能够对相应的第一巡检点按照对应的模态进行信息的采集，确定相应的第二巡检维修路径图、多模态维修需求，本发明会根据第二巡检维修路径图、多模态维修需求指导工作人员进行二次人工的巡检维修，并集合第二巡检维修路径图、多模态维修需求所生成的人工巡检数据对多模态识别模型训练处理，在提高巡检、维修效率的同时，使得根据多模态采集设备进行自动巡检时更加的准确。
本发明提供的技术方案，可以根据每个节点的时间属性自动确定需要巡检的节点并得到第一巡检路径图，本发明会对第一巡检路径图中每个第一巡检点的模态进行统计得到第一巡检统计表，并且本发明可以根据用户的修改需求生成相应的第一交互路径图和第二交互路径图，并根据第一交互路径图和第二交互路径图的第一交互可选槽位和第二交互可选槽位与用户进行交互，对第一巡检路径图进行更新，实现第一巡检路径图的自动及定制化的生成，快速确定需要巡检的第一巡检点，并提高第一巡检点的确定效率。
本发明提供的技术方案，会基于多模态识别模型对电力设备多个模态分别进行相应的识别，并根据不同模态的识别结果的不同得到相对应的多模态维修需求，并且本发明会根据第一巡检结果得到对应的第二巡检维修路径图，根据工作人员的人工巡检数据对相应电力设备的多模态识别模型进行持续训练，使得后续在基于多模态采集设备进行自动巡检时所得到的白光图像识别结果、红外图像识别结果以及音频识别结果更加的准确、符合相应的数据处理场景。
附图说明
图1为基于图像处理的电力设备巡检方法的第一种实施方式的流程图；
图2为基于图像处理的电力设备巡检方法的第二种实施方式的流程图；
图3为基于图像处理的电力设备巡检平台的第一种实施方式的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供一种基于图像处理的电力设备巡检方法，如图1所示，包括：
步骤S110、服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态。电力设备规划路径图可以是一个区域的电能传输路径图，电力设备可以是电缆、变压器、变电站、配电柜等等，每个电力设备可以看做是一个巡检点。
由于不同的电力设备会具有不用的结构状态、工作状态、使用周期以及使用寿命，所以不同的电力设别会具有不同的巡检需求时间段，例如某些电力设备的巡检需求时间段为3个月、有些为6个月，本发明会根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，以此使得本发明确定本次巡检所需要巡检的第一巡检点，本发明会得到每个第一巡检点所对应的位置信息和采集模态信息，位置信息可以是经纬度信息，采集模态信息至少包括图像模态和音频模态，通过图像模态可以分析相应电力设备在外观、温度上是否出现异常状态，通过音频模态可以反映出相应电力设备是否存在异常的噪音、振动导致其产生的音频不正常。
本发明提供的技术方案，在一个可能的实施方式中，如图2所示，步骤S110包括：
步骤S1101、服务器获取电力设备规划路径图内每个电力设备在上一次巡检的第一巡检时刻以及当前时刻，根据所述第一巡检时刻以及当前时刻计算得到相应电力设备的巡检间隔时间段。本发明会得到电力设备规划路径图内每个电力设备在上一次巡检的第一巡检时刻以及当前时刻，并根据第一巡检时刻以及当前时刻进行计算得到相应电力设备的巡检间隔时间段。例如当前时刻为2020年06月01日，第一巡检时刻为2020年01月01日，此时的巡检间隔时间段即为5个月。
步骤S1102、若判断相应的巡检间隔时间段大于等于所述巡检需求时间段，则判断相应的电力设备作为需要巡检的第一巡检点。每个电力设备的巡检需求时间段可以是工作人员预先设置的，在巡检间隔时间段大于等于所述巡检需求时间段时，则相应的电力设备已经需要进行巡检，所以判断相应的电力设备作为需要巡检的第一巡检点。
步骤S1103、获取每个第一巡检点所对应的位置信息和采集模态信息，每个电力设备具有相对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态。本发明会对所有第一巡检点的位置信息和采集模态信息进行统计，不同的第一巡检点所对应的电力设备可能是不同的，所以相应的位置信息和采集模态信息也可能并不相同，本发明会针对所有第一巡检点的位置信息和采集模态信息进行确定。
步骤S120、服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表。本发明会结合第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，即可以这样理解，构成第一巡检路径图的所有节点即为需要进行巡检的第一巡检点。本发明会根据所有第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表，通过第一巡检统计表即可得到所有需要进行巡检的节点的位置和模态，以达到对相应的多模态采集设备后续进行采集控制的目的。
本发明提供的技术方案，在一个可能的实施方式中，步骤S120包括：
对电力设备规划路径图复制处理，所述电力设备规划路径包括多个电力设备所对应的节点以及相邻的点之间的子路径，选中复制后的电力设备规划路径图内第一巡检点以外的其他电力设备所对应的第二巡检点。本发明首先会对电力设备规划路径图复制处理，此时的电力设备规划路径图可以是电力拓扑图，即由节点和子路径（路径线）构成，本发明会选中复制后的电力设备规划路径图内第一巡检点以外的其他电力设备所对应的第二巡检点，此时的第二巡检点即为本次不需要被巡检的节点。
将第二巡检点在复制后的电力设备规划路径图内删除，确定与第二巡检点分别连接的子路径作为待连接子路径。本发明会将第二巡检点在复制后的电力设备规划路径图内删除，使得剩余的节点全部为第一巡检点，由于在将第二巡检点删除后，与被删除的第二巡检点所连接的子路径会出现断连的情况，所以本发明会将与第二巡检点分别连接的子路径作为待连接子路径。
对与同一个第二巡检点相连接的待连接子路径延长处理，以使多个待连接子路径直接连接生成第一巡检路径图。本发明会对与同一个第二巡检点相连接的待连接子路径延长处理，使得多个待连接子路径能够相连接，此时本发明会得到相对应的第一巡检路径图。
统计第一巡检路径图内每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表。本发明会生成与第一巡检路径图所对应的第一巡检统计表，使得本发明会对每个第一巡检点所对应的位置信息和采集模态信息进行相应的采集，并在相应的位置时按照相应的采集模态控制多模态采集设备相应的采集通路打开，采集通路包括音频采集通路、图像采集通路等等。
本发明在自动得到第一巡检路径图和第一巡检统计表后，本发明会对第一巡检路径图和第一巡检统计表通过显示设备进行展示，此时如果第一巡检路径图所对应巡检的第一巡检点已经满足了要求，则用户会通过输入设备反馈确认信息，如果用户认为第一巡检路径图所对应巡检的第一巡检点不能够满足相应的巡检要求，则此时会通过交互设备与服务器进行交互，对第一巡检路径图进行交互调整。
本发明提供的技术方案，在一个可能的实施方式中，还包括:
若判断用户输入对第一巡检路径图的修改信息，则根据所述修改信息生成与第一巡检路径图相对应的第一交互路径图和第二交互路径图，所述第一交互路径图中包括第一巡检点，所述第二交互路径图包括第二巡检点。本发明会基于交互设备接收用户输入对第一巡检路径图的修改信息，此时本发明会生成与第一巡检路径图相对应的第一交互路径图和第二交互路径图，通过第一交互路径图可以使用户选择需要去除的第一巡检点，即本发明自动确定但用户认为不需要巡检的第一巡检点。通过第二交互路径图可以使用户选择需要添加的第二巡检点，即本发明自动确定但用户认为需要巡检的第二巡检点。
基于所述第一交互路径图和第二交互路径图与用户交互，得到第三交互路径图和第四交互路径图，基于所述第三交互路径图和第四交互路径图得到更新后的第一巡检路径图。本发明会根据第一交互路径图和第二交互路径图与用户交互，并在用户对第一交互路径图和第二交互路径图中选择删除或添加的节点后得到相对应的第三交互路径图和第四交互路径图，本发明会根据第三交互路径图和第四交互路径图所分别具有的节点进行组合，得到更新后的第一巡检路径图，使得后续基于更新后的第一巡检路径图对多模态巡检设备进行巡检的控制采集。
本发明提供的技术方案，在一个可能的实施方式中，所述根据所述修改信息生成与第一巡检路径图相对应的第一交互路径图和第二交互路径图，包括：
对所述第一巡检路径图复制处理，在复制后的第一巡检路径图中确定第一巡检点并生成与所述第一巡检点所对应的第一交互可选槽位，得到第一交互路径图。本发明会对第一巡检路径图复制处理，并且在第一巡检路径图内确定与第一巡检点所对应的第一交互可选槽位，得到第一交互路径图，使得第一巡检路径图内的第一巡检点所对应的第一交互可选槽位可以与用户进行交互、被选中。
对电力设备规划路径图复制处理，选中复制后的电力设备规划路径图内第一巡检点以外的其他电力设备所对应的第二巡检点，得到非巡检点路径图。同样的，本发明会对电力设备规划路径图复制处理并保留第二巡检点，并基于所有第二巡检点的连接关系得到非巡检点路径图，非巡检点路径图的得到方式与第一巡检路径图的得到方式相似，也会对删除的节点所对应的子路径延长相交得到非巡检点路径图，本发明不再进行赘述。
在非巡检点路径图中确定第二巡检点并生成与所述第二巡检点所对应的第二交互可选槽位，得到第二交互路径图。本发明会在非巡检点路径图内确定与第二巡检点所对应的第二交互可选槽位，得到第二交互路径图，使得第二交互路径图内的第二巡检点所对应的第二交互可选槽位可以与用户进行交互、被选中。
本发明提供的技术方案，在一个可能的实施方式中，所述基于所述第一交互路径图和第二交互路径图与用户交互，得到第三交互路径图和第四交互路径图，基于所述第三交互路径图和第四交互路径图得到更新后的第一巡检路径图，包括：
若判断用户选中第一交互路径图中第一交互可选槽位相应的第一巡检点，则对相应的第一巡检点进行记录作为待删除的第三巡检点。如果用户选中第一交互路径图中第一交互可选槽位相应的第一巡检点，即认为用户不需要对相应的第一巡检点进行巡检，此时本发明会将相应的第一巡检点进行记录作为待删除的第三巡检点。
若判断用户选中第二交互路径图中第二交互可选槽位相应的第二巡检点，则对相应的第二巡检点进行记录作为待添加的第四巡检点。如果用户选中第二交互路径图中第二交互可选槽位相应的第二巡检点，即认为用户需要对相应的第二巡检点进行巡检，此时本发明会将相应的第二巡检点进行记录作为待添加的第四巡检点。
对电力设备规划路径图复制处理，选中复制后的电力设备规划路径图内第一巡检点和第四巡检点，将与第三巡检点所对应的第一巡检点以及其他未选中的节点删除。在对需要删除的第三巡检点、需要添加的第四巡检点确认完成后，本发明会再次对原始的电力设备规划路径图复制处理，并且选中电力设备规划路径图内第一巡检点和第四巡检点，然后将第三巡检点所对应的第一巡检点以及其他未选中的节点删除，得到所有需要巡检的第一巡检点和第四巡检点。
根据剩余的第一巡检点和第四巡检点得到更新后的第一巡检路径图及第一巡检统计表。本发明会根据剩余的第一巡检点和第四巡检点得到更新后的第一巡检路径图，此时本发明也会对所删除的节点连接的待连接子路径延长处理，以使多个待连接子路径直接连接生成更新后的第一巡检路径图，然后本发明会从新统计第一巡检路径图内所有节点的位置信息和模态信息，得到更新后的第一巡检统计表。
步骤S130、服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息。如果在自动生成或交互生成第一巡检路径图及第一巡检统计表后，接收到用户的确认信息，则证明相应的第一巡检路径图及第一巡检统计表已经满足要求，此时本发明会根据第一巡检统计表对多模态采集设备进行配置，使得相应的多模态采集设备在相应的位置处采集多模态信息，并得到第一图像信息和/或第一音频信息。
本发明提供的技术方案，在一个可能的实施方式中，步骤S130包括：
服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，所述多模态采集设备为无人机和/或机器人，所述多模态采集设备至少包括图像采集模块和音频采集模块。本发明在接收到用户的确认信息后，会根据第一巡检统计表对多模态采集设备进行配置，此时的多模态采集设备为无人机和/或机器人，多模态采集设备可以包括具有白光和/或红外光摄像头的图像采集模块、具有拾音器的音频采集模块。
控制所述多模态采集设备按照所述第一巡检路径图，依次移动至每一个具有相应位置信息的第一巡检点处，基于红外测距装置获得多模态采集设备与电力设备的第一距离。本发明会控制多模态采集设备按照第一巡检路径图依次至相应位置信息的第一巡检点处，在达到相应的第一巡检点处后，本发明会基于红外测距装置获得多模态采集设备与电力设备的第一距离。如果多模态采集设备为无人机，则此时的第一距离可以是多模态采集设备与电力设备之间的高度距离。如果多模态采集设备为机器人，则此时的第一距离可以是多模态采集设备与电力设备之间的横向水平距离。
若所述第一距离达到预设距离要求，则基于第一巡检统计表对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息。在判断第一距离小于等于预设距离的情况下则判断第一距离达到预设距离要求，此时本发明会基于第一巡检统计表对电力设备进行相应模态的采集，得到第一图像信息和/或第一音频信息。如果多模态采集设备为无人机，则此时的第一图像信息可能是电力设备的上视图，如果多模态采集设备为机器人，则此时的第一图像信息可能是电力设备的侧视图。本发明会采集电力设备处的第一音频信息，此时的第一音频信息可以是预设长度的，例如3秒、5秒等等。在采集第一图像信息或第一音频信息时，所对应的预设距离可以是相同的，也可以是不同的，例如采集第一图像信息所对应的预设距离可以大于第一音频信息的预设距离。对于预设距离的设置本发明不再进行任何限定。
步骤S140、服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求。服务器会具有每个第一巡检点所对应电力设备的多模态识别模型，本发明会基于多模态识别模型对相应第一巡检点的第一图像信息和/或第一音频信息识别，此时会得到多个第一巡检点分别对应的巡检子结果，根据所有的巡检子结果得到与第一巡检路径图对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求。
本发明提供的技术方案，在一个可能的实施方式中，步骤S140包括：
服务器获取相应第一巡检点所对应的电力设备的多模态识别模型，每个电力设备具有预先设置的多模态识别模型。本发明会获取每个第一巡检点所对应的电力设备的多模态识别模型，每个多模态识别模型会包括与相应电力设备所对应的子识别单元，子识别单元可以是白光图识别单元、红外光图识别单元以及音频识别单元。
若判断所述第一图像信息为白光图像信息，则对白光图像中电力设备的设备轮廓和/或像素点的白光像素值识别，得到白光图像识别结果。如果相应电力设备的第一图像信息为白光图像信息，则此时多模态识别模型的白光图识别单元会对白光图像中电力设备的设备轮廓和/或像素点的白光像素值识别。
需要说明的是，不同的电力设备会具有不用的轮廓，例如电线的轮廓即为长条的、配电箱的轮廓即为长方形的等等，所以本发明会预先对不同电力设备的轮廓进行训练预存储，得到相应电力设备的预设轮廓特征。本发明在得到白光图像信息后，会基于OpenCv进行轮廓识别得到当前轮廓特征，白光图识别单元会基于OpenCv将当前轮廓特征与预设轮廓特征比对，若当前轮廓特征和预设轮廓特征相似度大于等于预设值，则判断电力设备的设备轮廓满足要求，此时关于白光图像中电力设备的设备轮廓的白光图像识别结果是满足要求的。若当前轮廓特征和预设轮廓特征相似度小于预设值，则判断电力设备的设备轮廓不满足要求，此时关于白光图像中电力设备的设备轮廓的白光图像识别结果是不满足要求的。
另外，在白光图像中电力设备的像素点的当前白光像素值与预设白光像素值之差的绝对值大于等于白光像素阈值时，则此时相应的电力设备可能发生了变化，例如生锈、具有其他颜色的覆盖物等等，此时关于白光图像中电力设备的当前白光像素值的白光图像识别结果是不满足要求的。在白光图像中电力设备的像素点的当前白光像素值与预设白光像素值之差的绝对值小于白光像素阈值时，则此时相应的电力设备没有发生变化，关于白光图像中电力设备的白光像素值的白光图像识别结果是满足要求的。
若判断所述第一图像信息为红外图像信息，红外光图识别单元则对红外图像中电力设备的像素点的红外像素值识别，得到红外图像识别结果。如果相应电力设备的第一图像信息为红外图像信息，则此时多模态识别模型的红外图识别单元会对红外图像中电力设备的像素点的红外像素值识别。通过红外像素值能够反映出相应电力设备的温度。一般来说，电力设备在正常工作时会具有相对稳定的工作温度区间，所以每个电力设备会具有与相应工作温度区间所对应的预设红外图像，本发明会统计预设红外图像内所有像素点的像素值得到预设平均红外像素值，本发明会对为红外图像的第一图像信息内所有像素点的像素值识别，并得到当前红外平均像素值，如果当前红外平均像素值与预设平均红外像素值相差的绝对值小于等于红外像素阈值，则判断红外图像识别结果为满足要求。如果当前平均像素值与预设平均红外像素值相差的绝对值大于红外像素阈值，则判断红外图像识别结果为不满足要求。
若判断具有第一音频信息，则获取所述第一音频信息中的平均响度信息，将所述平均响度信息与预设响度信息比对，得到音频识别结果。本发明会在判断具有第一音频信息时，音频识别单元会对相应时间段的第一音频信息进行识别得到每个时刻所对应的响度，根据每个时刻所对应的响度得到第一音频信息中的平均响度信息，本发明会将平均响度信息与预设响度信息比对，得到音频识别结果。如果平均响度信息大于预设响度信息，则判断第一音频信息所对应的音频识别结果不满足要求，如果平均响度信息小于等于预设响度信息，则判断第一音频信息所对应的音频识别结果满足要求。
根据所述白光图像识别结果、红外图像识别结果以及音频识别结果得到电力设备的第一巡检结果，所述第一巡检结果包括符合要求的电力设备和不符合要求的电力设备。本发明会根据白光图像识别结果、红外图像识别结果以及音频识别结果得到电力设备的第一巡检结果，可以这样理解，如果一个电力设备中的任意一个或多个白光图像识别结果、红外图像识别结果以及音频识别结果为不满足要求，则判断相应的电力设备不符合、不满足要求。如果一个电力设备中的所有白光图像识别结果、红外图像识别结果以及音频识别结果为都满足要求，则判断相应的电力设备符合、满足要求。
将第一巡检路径图中符合要求的电力设备所对应的节点删除，根据剩余的节点生成与第一巡检结果对应的第二巡检维修路径图，根据剩余的节点的模态类型得到相应节点对应的多模态维修需求。本发明会将第一巡检路径图中符合要求的电力设备所对应的节点删除，根据剩余的第一巡检点生成与第一巡检结果对应的第二巡检维修路径图，由于一个电力设备在不同模态中不满足要求时所对应的问题是不同的，所以本发明需要根据不同的第一巡检点内不满足要求的模态生成相应的多模态维修需求。例如电力设备出现温度过高时可能是内部的电气设备工作出现问题，音频的响度不满足要求时可能是相应电力设备的固定件、散热设备出现问题。所以，本发明会根据剩余的节点的模态类型得到相应节点对应的多模态维修需求，不同的电力设备所对应的模态会具有不同的多模态维修需求。
步骤S150、获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理。本发明在得到第二巡检维修路径图、多模态维修需求后，相应的工作人员会根据第二巡检维修路径图对所有不满足要求的节点进行巡检、维修，并且根据相应的多模态维修需求准备相应的维修设备。工作人员在进行巡检、维修时，对确实出现问题的电力设备进行相应的巡检、维修，对没有出现问题的电力设备则不进行维修（此时则本发明基于多模态识别模型所识别的相应电力设备出现误差），此时的人工巡检数据即包括了工作人员进行维修的设备或没有进行维修的设备。本发明会根据人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理，即对计算出现误差的多模态识别模型进行训练处理，使得训练处理后的多模态识别模型在后续识别时不会出现相应的误差。
本发明提供的技术方案，在一个可能的实施方式中，步骤S150包括：
根据所述第一巡检结果生成问题设备统计表，所述问题设备统计表包括每个电力设备所对应问题模态的问题标签。本发明提供的技术方案，会根据第一巡检结果生成问题设备统计表，即本发明会根据多模态识别设备所识别的问题电力设备进行统计，生成相对应的问题设备统计表，此时的问题设备统计表包括每个电力设备所对应问题模态的问题标签，例如电力设备A所对应的模态问题是音频模态出现问题，响声较大。
获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，所述人工巡检数据包括每个电力设备的相应模态的检修信息，根据所述人工巡检数据生成相对应的检修设备统计表。本发明会获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，此时的每个电力设备的相应模态的检修信息包括是否对相应的电力设备进行了维修，如果进行了维修则统计至检修设备统计表内，并且检修设备统计表内会具有相应电力设备所维修的模态。
若所述检修设备统计表与所述问题设备统计表不对应，则确定问题设备统计表中存在、检修设备统计表内不存在的电力设备的相应问题模态。本发明会将检修设备统计表与所述问题设备统计表进行比对，如果检修设备统计表与问题设备统计表不对应，则出现了多模态巡检设备检测相应模态有问题的电力设备，但是工作人员检查后认为并不存在问题，不需要维修，本发明会对相应的模态进行统计，得到问题设备统计表中存在、检修设备统计表内不存在的电力设备的相应问题模态。
根据所述问题模态确定相应的第一图像信息和/或第一音频信息为训练图像信息和/或训练音频信息。本发明会根据得到相应问题模态所对应的第一图像信息和/或第一音频信息，并将训练图像信息和/或训练音频信息作为后续训练相应多模态识别模型的训练样本。
提取所述训练图像信息和/或训练音频信息对相应电力设备的多模态识别模型训练处理。如果电力设备具有对应的训练图像信息，本发明会调取与训练图像信息所对应的白光图识别单元或红外光图识别单元，如果电力设备具有对应的训练音频信息，本发明会调取与训练音频信息所对应的音频识别单元。例如，训练图像信息中的当前白光像素值与预设白光像素值的差值不满足要求，则此时会对相应电力设备的白光像素阈值增大调整，白光像素阈值调整后的数值即为当前白光像素值与预设白光像素值之差的绝对值。训练图像信息中的当前红外像素值与预设红外像素值的差值不满足要求，则此时会对相应电力设备的红外像素阈值增大调整，红外像素阈值调整后的数值即为当前红外像素值与预设红外像素值之差的绝对值。如果电力设备具有对应的训练音频信息，本发明会调取与训练音频信息所对应的音频识别单元，本发明会将平均响度信息作为新的预设响度信息。通过以上方式，使得本发明能够对多模态识别模型的白光图识别单元、红外光图识别单元或音频识别单元的阈值信息进行调整，实现对每个电力设备的多模态识别模型的训练，使得所有电力设备的多模态识别模型会根据相应的巡检情况进行动态的调整，保障多模态识别模型输出的准确性，提高工作人员的检修、维修、巡检效率。
为了实现本发明提供的一种基于图像处理的电力设备巡检方法，本发明还提供一种基于图像处理的电力设备巡检平台，如图3所示，包括：
确定模块，用于使服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态；
生成模块，用于使服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表；
配置模块，用于使服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息；
识别模块，用于使服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求；
训练模块，用于获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理。
本发明还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中，存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。存储介质可以是只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在存储介质中。设备的至少一个处理器可以从存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元（英文：Central Processing Unit，简称：CPU），还可以是其他通用处理器、数字信号处理器（英文：Digital Signal Processor，简称：DSP）、专用集成电路（英文：ApplicationSpecificIntegrated Circuit，简称：ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.基于图像处理的电力设备巡检方法，其特征在于，包括：
服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态；
服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表；
服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息；
服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求；
获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理。
2.根据权利要求1所述的基于图像处理的电力设备巡检方法，其特征在于，
所述服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态，包括：
服务器获取电力设备规划路径图内每个电力设备在上一次巡检的第一巡检时刻以及当前时刻，根据所述第一巡检时刻以及当前时刻计算得到相应电力设备的巡检间隔时间段；
若判断相应的巡检间隔时间段大于等于所述巡检需求时间段，则判断相应的电力设备作为需要巡检的第一巡检点；
获取每个第一巡检点所对应的位置信息和采集模态信息，每个电力设备具有相对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态。
3.根据权利要求2所述的基于图像处理的电力设备巡检方法，其特征在于，
所述服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表，包括：
对电力设备规划路径图复制处理，所述电力设备规划路径包括多个电力设备所对应的节点以及相邻的点之间的子路径，选中复制后的电力设备规划路径图内第一巡检点以外的其他电力设备所对应的第二巡检点；
将第二巡检点在复制后的电力设备规划路径图内删除，确定与第二巡检点分别连接的子路径作为待连接子路径；
对与同一个第二巡检点相连接的待连接子路径延长处理，以使多个待连接子路径直接连接生成第一巡检路径图；
统计第一巡检路径图内每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表。
4.根据权利要求3所述的基于图像处理的电力设备巡检方法，其特征在于，还包括:
若判断用户输入对第一巡检路径图的修改信息，则根据所述修改信息生成与第一巡检路径图相对应的第一交互路径图和第二交互路径图，所述第一交互路径图中包括第一巡检点，所述第二交互路径图包括第二巡检点；
基于所述第一交互路径图和第二交互路径图与用户交互，得到第三交互路径图和第四交互路径图，基于所述第三交互路径图和第四交互路径图得到更新后的第一巡检路径图。
5.根据权利要求4所述的基于图像处理的电力设备巡检方法，其特征在于，
所述根据所述修改信息生成与第一巡检路径图相对应的第一交互路径图和第二交互路径图，包括：
对所述第一巡检路径图复制处理，在复制后的第一巡检路径图中确定第一巡检点并生成与所述第一巡检点所对应的第一交互可选槽位，得到第一交互路径图；
对电力设备规划路径图复制处理，选中复制后的电力设备规划路径图内第一巡检点以外的其他电力设备所对应的第二巡检点，得到非巡检点路径图；
在非巡检点路径图中确定第二巡检点并生成与所述第二巡检点所对应的第二交互可选槽位，得到第二交互路径图。
6.根据权利要求5所述的基于图像处理的电力设备巡检方法，其特征在于，
所述基于所述第一交互路径图和第二交互路径图与用户交互，得到第三交互路径图和第四交互路径图，基于所述第三交互路径图和第四交互路径图得到更新后的第一巡检路径图，包括：
若判断用户选中第一交互路径图中第一交互可选槽位相应的第一巡检点，则对相应的第一巡检点进行记录作为待删除的第三巡检点；
若判断用户选中第二交互路径图中第二交互可选槽位相应的第二巡检点，则对相应的第二巡检点进行记录作为待添加的第四巡检点；
对电力设备规划路径图复制处理，选中复制后的电力设备规划路径图内第一巡检点和第四巡检点，将与第三巡检点所对应的第一巡检点以及其他未选中的节点删除；
根据剩余的第一巡检点和第四巡检点得到更新后的第一巡检路径图及第一巡检统计表。
7.根据权利要求5所述的基于图像处理的电力设备巡检方法，其特征在于，
所述服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息，包括：
服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，所述多模态采集设备为无人机和/或机器人，所述多模态采集设备至少包括图像采集模块和音频采集模块；
控制所述多模态采集设备按照所述第一巡检路径图，依次移动至每一个具有相应位置信息的第一巡检点处，基于红外测距装置获得多模态采集设备与电力设备的第一距离；
若所述第一距离达到预设距离要求，则基于第一巡检统计表对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息。
8.根据权利要求7所述的基于图像处理的电力设备巡检方法，其特征在于，
所述服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求，包括：
服务器获取相应第一巡检点所对应的电力设备的多模态识别模型，每个电力设备具有预先设置的多模态识别模型；
若判断所述第一图像信息为白光图像信息，则对白光图像中电力设备的设备轮廓和/或像素点的白光像素值识别，得到白光图像识别结果；
若判断所述第一图像信息为红外图像信息，则对红外图像中电力设备的像素点的红外像素值识别，得到红外图像识别结果；
若判断具有第一音频信息，则获取所述第一音频信息中的平均响度信息，将所述平均响度信息与预设响度信息比对，得到音频识别结果；
根据所述白光图像识别结果、红外图像识别结果以及音频识别结果得到电力设备的第一巡检结果，所述第一巡检结果包括符合要求的电力设备和不符合要求的电力设备；
将第一巡检路径图中符合要求的电力设备所对应的节点删除，根据剩余的节点生成与第一巡检结果对应的第二巡检维修路径图，根据剩余的节点的模态类型得到相应节点对应的多模态维修需求。
9.根据权利要求8所述的基于图像处理的电力设备巡检方法，其特征在于，
所述获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理，包括：
根据所述第一巡检结果生成问题设备统计表，所述问题设备统计表包括每个电力设备所对应问题模态的问题标签；
获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，所述人工巡检数据包括每个电力设备的相应模态的检修信息，根据所述人工巡检数据生成相对应的检修设备统计表；
若所述检修设备统计表与所述问题设备统计表不对应，则确定问题设备统计表中存在、检修设备统计表内不存在的电力设备的相应问题模态；
根据所述问题模态确定相应的第一图像信息和/或第一音频信息为训练图像信息和/或训练音频信息；
提取所述训练图像信息和/或训练音频信息对相应电力设备的多模态识别模型训练处理。
10.基于图像处理的电力设备巡检平台，其特征在于，包括：
确定模块，用于使服务器根据所有电力设备的巡检需求时间段在预先设置的电力设备规划路径图内确定多个第一巡检点，获取每个第一巡检点所对应的位置信息和采集模态信息，所述采集模态信息至少包括图像模态和音频模态；
生成模块，用于使服务器根据所有的第一巡检点对电力设备规划路径图进行处理得到第一巡检路径图，根据第一巡检路径图中每个第一巡检点所对应的位置信息和采集模态信息生成相对应的第一巡检统计表；
配置模块，用于使服务器若判断接收到用户的确认信息，则根据所述第一巡检统计表对多模态采集设备进行配置，以使多模态采集设备移动至相应的第一巡检点对电力设备进行相应模态的采集得到第一图像信息和/或第一音频信息；
识别模块，用于使服务器基于每个第一巡检点所对应的多模态识别模型对第一图像信息和/或第一音频信息识别，得到相对应的第一巡检结果并生成第二巡检维修路径图、多模态维修需求；
训练模块，用于获取工作人员基于所述第二巡检维修路径图、多模态维修需求所生成的人工巡检数据，根据所述人工巡检数据对每个第一巡检点所对应的多模态识别模型训练处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884612.0A CN116629842B (zh) | 2023-07-19 | 2023-07-19 | 基于图像处理的电力设备巡检方法及平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884612.0A CN116629842B (zh) | 2023-07-19 | 2023-07-19 | 基于图像处理的电力设备巡检方法及平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116629842A true CN116629842A (zh) | 2023-08-22 |
| CN116629842B CN116629842B (zh) | 2023-11-07 |
Family
ID=87621545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310884612.0A Active CN116629842B (zh) | 2023-07-19 | 2023-07-19 | 基于图像处理的电力设备巡检方法及平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116629842B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113741510A (zh) * | 2021-07-30 | 2021-12-03 | 深圳创动科技有限公司 | 一种巡检路径规划方法、装置以及存储介质 |
| CN113985879A (zh) * | 2021-10-28 | 2022-01-28 | 安徽安宠宠物用品有限公司 | 基于历史数据动态优化的智能移动巡检系统及方法 |
| CN114419753A (zh) * | 2022-01-25 | 2022-04-29 | 中国石油大学(华东) | 一种智能巡视系统及方法 |
| CN114792319A (zh) * | 2022-06-23 | 2022-07-26 | 国网浙江省电力有限公司电力科学研究院 | 一种基于变电图像的变电站巡检方法及系统 |
| CN115167408A (zh) * | 2022-06-29 | 2022-10-11 | 国电电力伊金霍洛旗太阳能发电有限公司 | 一种基于光伏电站的巡检路线规划系统 |
| CN115451974A (zh) * | 2022-11-09 | 2022-12-09 | 广东电网有限责任公司湛江供电局 | 一种电力设备巡检路径规划方法、系统、设备和介质 |
| JP2023023354A (ja) * | 2021-08-05 | 2023-02-16 | 中国電力株式会社 | 巡視点検管理システムおよび巡視点検管理プログラム |
| CN115933750A (zh) * | 2023-01-06 | 2023-04-07 | 国网浙江省电力有限公司嵊州市供电公司 | 基于数据处理的电力巡检方法及电力巡检系统 |
| WO2023061049A1 (zh) * | 2021-10-11 | 2023-04-20 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
| CN116175586A (zh) * | 2023-03-16 | 2023-05-30 | 北京邮电大学 | 巡检机器人和基于巡检机器人的电力巡检方法及系统 |
-
2023
- 2023-07-19 CN CN202310884612.0A patent/CN116629842B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113741510A (zh) * | 2021-07-30 | 2021-12-03 | 深圳创动科技有限公司 | 一种巡检路径规划方法、装置以及存储介质 |
| JP2023023354A (ja) * | 2021-08-05 | 2023-02-16 | 中国電力株式会社 | 巡視点検管理システムおよび巡視点検管理プログラム |
| WO2023061049A1 (zh) * | 2021-10-11 | 2023-04-20 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
| CN113985879A (zh) * | 2021-10-28 | 2022-01-28 | 安徽安宠宠物用品有限公司 | 基于历史数据动态优化的智能移动巡检系统及方法 |
| CN114419753A (zh) * | 2022-01-25 | 2022-04-29 | 中国石油大学(华东) | 一种智能巡视系统及方法 |
| CN114792319A (zh) * | 2022-06-23 | 2022-07-26 | 国网浙江省电力有限公司电力科学研究院 | 一种基于变电图像的变电站巡检方法及系统 |
| CN115167408A (zh) * | 2022-06-29 | 2022-10-11 | 国电电力伊金霍洛旗太阳能发电有限公司 | 一种基于光伏电站的巡检路线规划系统 |
| CN115451974A (zh) * | 2022-11-09 | 2022-12-09 | 广东电网有限责任公司湛江供电局 | 一种电力设备巡检路径规划方法、系统、设备和介质 |
| CN115933750A (zh) * | 2023-01-06 | 2023-04-07 | 国网浙江省电力有限公司嵊州市供电公司 | 基于数据处理的电力巡检方法及电力巡检系统 |
| CN116175586A (zh) * | 2023-03-16 | 2023-05-30 | 北京邮电大学 | 巡检机器人和基于巡检机器人的电力巡检方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张永涛;李博;张甲;刘涛;豆贝贝;: "基于图论的变电站巡检机器人全局路径规划", 山东电力技术, vol. 47, no. 09, pages 45 - 49 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116629842B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021120186A1 (zh) | 分布式产品缺陷分析系统、方法及计算机可读存储介质 | |
| CN105380575A (zh) | 扫地机器人的控制方法、系统、云服务器和扫地机器人 | |
| WO2022041830A1 (zh) | 行人重识别方法和装置 | |
| CN109308490A (zh) | 用于生成信息的方法和装置 | |
| KR20200018411A (ko) | 전극편의 버를 검출하기 위한 방법 및 장치 | |
| CN109413417B (zh) | 一种互动电视业务质量检测的系统与方法 | |
| CN111292327B (zh) | 机房巡检方法、装置、设备及存储介质 | |
| US20230281784A1 (en) | Industrial Defect Recognition Method and System, Computing Device, and Storage Medium | |
| CN114862832A (zh) | 缺陷检测模型的优化方法、装置、设备及存储介质 | |
| CN110443824A (zh) | 用于生成信息的方法和装置 | |
| CN116629842B (zh) | 基于图像处理的电力设备巡检方法及平台 | |
| JP2010071826A (ja) | 教師データ作成方法、並びに、画像分類方法および画像分類装置 | |
| US8731304B2 (en) | Computer-readable storage medium storing image processing program, image processing method, and image processing device | |
| CN113822907A (zh) | 图像处理方法及装置 | |
| CN116343255A (zh) | 一种图内光字牌自动校核系统 | |
| CN116030013A (zh) | 多目标多类别破损缺陷检测方法、系统及计算机存储介质 | |
| CN115933750A (zh) | 基于数据处理的电力巡检方法及电力巡检系统 | |
| CN110087066B (zh) | 一种应用于网上巡查的一键自动巡检方法 | |
| CN115296193A (zh) | 变电站智能巡检系统及方法 | |
| CN114359670A (zh) | 非结构化数据标注方法、装置、计算机设备及存储介质 | |
| CN108984396A (zh) | 自动测试的方法及系统、测试终端 | |
| CN111738758A (zh) | 评价信息的生成方法、装置、设备及存储介质 | |
| CN117351794B (zh) | 基于云平台的在线课程管理系统 | |
| CN114859744B (zh) | 一种基于大数据的智能应用可视化控制方法及系统 | |
| CN116071532B (zh) | 一种户外箱柜智能门控方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |