CN111369016B - 一种基于图像识别的现场运维方法及系统 - Google Patents

一种基于图像识别的现场运维方法及系统 Download PDF

Info

Publication number
CN111369016B
CN111369016B CN202010080746.3A CN202010080746A CN111369016B CN 111369016 B CN111369016 B CN 111369016B CN 202010080746 A CN202010080746 A CN 202010080746A CN 111369016 B CN111369016 B CN 111369016B
Authority
CN
China
Prior art keywords
maintenance
work order
information
maintenance personnel
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010080746.3A
Other languages
English (en)
Other versions
CN111369016A (zh
Inventor
邵苏杰
郭少勇
邱雪松
李谦
刘国泰
石颂平
亓峰
王语琪
张庆航
吴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuchang Beiyou Wanlian Network Technology Co ltd
Beijing University of Posts and Telecommunications
Original Assignee
Xuchang Beiyou Wanlian Network Technology Co ltd
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuchang Beiyou Wanlian Network Technology Co ltd, Beijing University of Posts and Telecommunications filed Critical Xuchang Beiyou Wanlian Network Technology Co ltd
Priority to CN202010080746.3A priority Critical patent/CN111369016B/zh
Publication of CN111369016A publication Critical patent/CN111369016A/zh
Application granted granted Critical
Publication of CN111369016B publication Critical patent/CN111369016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Genetics & Genomics (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种基于图像识别的现场运维方法及系统。该方法包括：基于预设图像识别算法获取设备信息，将设备信息与系统中的识别信息进行对比，生成工单；对工单进行分析，获取运维人员信息，基于遗传算法对工单和运维人员信息进行智能匹配，筛选出最优运维人员；通过预设智能推荐算法，向最优运维人员推送运维指导信息，完成设备运维操作。本发明实施例通过图像识别算法，识别设备种类，能够及时发现故障，并自动生成工单，通过基于遗传算法的工单匹配策略将生成的工单与运维人员进行匹配，根据运维人员的技能水平及状态智能选择运维人员，并通过智能推荐算法推送相似工单，能够辅助运维人员高效完成工作，从而有效提高运维质量与运维效率。

Description

一种基于图像识别的现场运维方法及系统
技术领域
本发明涉及运维技术领域，尤其涉及一种基于图像识别的现场运维方法及系统。
背景技术
移动通信网建设是战略性、先导性和基础性的产业，在国民经济中有着举足轻重的作用。随着时代的发展，移动通信网的规模不断扩大，设备种类和数量不断增加，设备功能日趋强大，网络架构也日益复杂。目前，移动运营商骨干通信网络已建成了以光纤通信为主，微波、载波为辅，卫星通信作为应急备用，多种传输技术并存，覆盖总部-省公司-市-县等通信节点的实体网络。移动运营商的通信网络的快速发展对通信现场运维管理提出了更加严格的要求，尤其是现场运行维护工作量大、管理问题多、效率低下等问题日益突出，亟待解决。
保障移动通信设备正常工作是确保通信网安全稳定运行的前提，而现场运维是确保移动通信网安全稳定运行的主要方法，其主要任务包括消除通信设备的告警，发现设备故障，分析故障原因，消除故障等。通信运维系统的出现一定程度上解决了运维系统存在现场实际信息管理缺失、智能化信息化程度低等问题，通过将运维现场信息电子化的方式，提升现场运维的信息化、智能化水平，一定程度上提高了运维质量。然而目前的运维系统工作效率及故障处理的准确性亟待提高，主要存在以下问题：
(1)现阶段移动通信运维系统不能有效根据运维人员的技术能力及运维作业的特性合理安排人员调度，需要一种新型的高效工单匹配技术，为运维人员合理安排运维工作，提高工作效率，保证设备得到及时的维修。
(2)目前移动通信网运维系统存在缺乏对设备的位置、功能、状态的感知能力；运维作业现场的作业人员信息获取手段较少；缺乏高效的符合移动通信现场实际运维场景的智能化、个性化获取运维知识的方法。因此急需一种基于图像识别的现场智能运维知识推荐方法及系统，为移动通信网提供现场主动式运维支撑手段，提升运维质量和运维效率。
为了解现有技术的发展状况，现有技术中采取如下方案：
方案1涉及一种运维工单的知识推荐方法和运维工作平台，此方法具体包括两个流程：流程1：知识创建，包括工单转知识、知识提取、知识编辑、知识审核和知识入库；流程2：知识推荐，包括生成运维故障工单、故障分析、工单主题分词、知识库检索和知识推荐序列。该发明的运维工作平台包含资产管理模块、知识库模块、工单管理模块和监控告警模块。
方案2涉及一种基于AR的运维知识推送方法，主要流程为：步骤1：构建上下文知识推送模型；步骤2：将知识库中的知识在上下文知识推送模型计算相识度；步骤3：根据上下文知识推送模型计算出来相识度将知识库中的知识推送到AR智能设备中；步骤4：AR智能设备将接收到的知识库中的知识数据发送到边缘服务器中；步骤5：边缘服务器对知识数据进行筛选，对筛选后的知识数据进行边缘计算，并将边缘计算结果发送到后端运维管理系统中；步骤6：工作人员根据后端运维管理系统接收到的数据下发运维指令自边缘服务器，边缘服务器将运维指令推送至AR智能设备中；步骤7：运维人员更具AR智能设备中显示的运维指令执行运维操作。
方案3涉及一种电力通信运维信息推送方法及系统，主要流程为：接收用户输入的运维指令；提取运维指令中包含的完成运维作业所需的技术能力信息、运维作业信息；查询运维人员数据库中与技术能力信息相匹配的人员信息，并根据人员信息生成候选运维人员列表；获取候选运维人员列表中各候选运维人员的当前工作数据；根据当前工作数据及运维作业信息对各候选运维人员进行筛选，选取最优运维人员；将与运维指令对应的运维数据推送至最优运维人员。
而上述技术方案存在如下缺陷：
方案1提出一种运维工单的知识推荐方法和运维工作平台，该方法的特征在于：运维人员拿到待处理的运维工单时，同时也接收到系统推荐来的知识列表，运维人员可从知识中获取知识详情、应急方案、解决方案，从而实现对工单事件的问题定位并快速解决，根据匹配规则自动识别并按照关联性排序有用的知识，大大提高了运维工程师的工作效率，提高客户满意度。但此方法有在推荐知识时没有考虑到运维人员的相关信息，如业务熟练度和擅长领域等，容易导致推荐的相关信息不全面。
方案2提出一种基于AR的运维知识推送方法，该方案的特征在于：不同于以往依赖于运维人员经验的运维模式，专家经验能够借由AR设备在运维人员之间共享，能够帮助现场运维人员在运维期间通过智能设备快速获取相关的知识，缩短了设备运维周期，降低运维成本，提高现场运维人员的工作效率。但此方法推送知识使用的相似度计算方法较为简单，面对海量的数据容易计算出不理想的结果。
方案3提出一种电力通信运维信息推送方法及系统，该方案的特征在于：通过分析运维人员和运维作业的信息，从数据库获取相匹配的信息，实现了派工单的自动推送，提高了运维工作的可控性和规范性，提高了运维作业的工作效率，保障电力通信网安全运行。但该方法涉及的人员作业匹配方法使用简单的加权方法实现，虽然运算速度较快，但容易陷入局部最优解。
因此需要建立更为可靠、高效的运维管理技术，引入更加先进的运维管理方法。
发明内容
本发明实施例提供一种基于图像识别的现场运维方法及系统，用以解决现有技术中在运维中管理方法涉及的信息不全面，涉及的算法计算的推荐结果不够精确，无法全面覆盖比较全面的运维场景。
第一方面，本发明实施例提供一种基于图像识别的现场运维方法，包括：
基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；
对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；
通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作。
优选地，该方法还包括：
保存所述工单，更新运维知识数据库。
优选地，所述基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单，具体包括：
通过图像采集设备对目标设备的图像进行采集，得到原始图片数据；
对所述原始图片数据进行预处理，得到预处理图片数据；
基于预设卷积神经网络对所述预处理图片数据进行特征提取，得到特征数据；
基于改进的Faster-RCNN图像识别算法对所述特征数据生成目标候选区域；
将所述目标候选区域归一化输出到固定大小的特征图；
对所述特征图进行分类，并与所述识别信息进行对比，获取设备类别和设备信息，输出所述工单。
优选地，所述对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员，具体包括：
获取工作次序模型，确定运维项目工作次序；
建立维修人员技能矩阵，确定运维人员维修技能；
基于所述运维项目工作次序和所述维修人员技能矩阵，构建人力资源优化配置模型；
基于所述遗传算法对所述人力资源优化配置模型进行优化求解，将所述工单进行智能匹配，获得所述最优运维人员。
优选地，所述通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作，具体包括：
接收所述最优运维人员发送的故障处理指导请求，向所述最优运维人员进行辅助信息推送；
基于jaccard相似度和TF-IDF智能推荐算法，对所述工单和所述运维人员信息进行分析，进行相似工单推送；
基于所述辅助信息推送和所述相似工单推送，所述最优运维人员完成所述设备运维操作。
优选地，所述基于所述辅助信息推送和所述相似工单推送，所述最优运维人员完成所述设备运维操作，之后还包括：
所述最优运维人员通过实时交互，获取技术支持专家在线现场指导。
第二方面，本发明实施例提供一种基于图像识别的现场运维系统，包括：
图像识别模块，用于基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；
工单匹配模块，用于对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；
智能推送模块，用于通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作。
优选地，该系统还包括：
保存更新模块，用于保存所述工单，更新运维知识数据库。
第三方面，本发明实施例提供一种电子设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述基于图像识别的现场运维方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述基于图像识别的现场运维方法的步骤。
本发明实施例提供的基于图像识别的现场运维方法及系统，通过图像识别算法，识别设备种类，能够及时发现故障，并自动生成工单，通过基于遗传算法的工单匹配策略将生成的工单与运维人员进行匹配，根据运维人员的技能水平及状态智能选择运维人员，并通过智能推荐算法推送相似工单，能够辅助运维人员高效完成工作，从而有效提高运维质量与运维效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像识别的现场智能运维知识推荐方法图；
图2为本发明实施例提供的一种基于图像识别的现场运维方法流程图；
图3为本发明实施例提供的图像识别架构图；
图4为本发明实施例提供的RPN网络结构图；
图5为本发明实施例提供的生成候选区域示意图；
图6为本发明实施例提供的设备维修工作流模型图；
图7为本发明实施例提供的一种基于图像识别的现场运维系统结构图；
图8为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对当前移动通信网现场运维场景中，普遍依赖单纯人工处理的方式，缺乏对设备的位置、功能、状态的感知能力，缺乏运维现场与后台系统之间的数据共享，缺乏高效的符合移动通信现场实际运维场景的智能化、个性化获取运维知识的方法的现状，本发明实施例通过运用图像识别，智能推荐等技术，提出一种基基于图像识别的现场运维方法及系统，高效地智能识别设备，获取设备信息，并根据运维工单和运维人员智能推送信息，提升运维质量和运维效率，整体思路如图1所示。
图2为本发明实施例提供的一种基于图像识别的现场运维方法流程图，如图2所示，包括：
S1，基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；
具体地，运维现场通过摄像头或者运维人员佩戴以智能AR眼镜为主要形式的智能运维可穿戴设备采集图像，并实时通过通信网络将图像信息与后端运维平台和资源管理系统进行信息交互。图像识别模块可以准确高效识别设备，将设备信息传递到资源管理系统查询得到设备相对应的属性、设备承载的业务，维修设备需要准备的材料、工具等，并与资源管理系统中的设别信息进行对比，发现设备中配置的区别。同时图像将上传到后端运维管理平台，通过技术支持专家对图像进行辅助判断故障，结合以上各方面内容，以自动化的形式生成工单；
S2，对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；
具体地，当工单生成后，后端运维平台的工单管理人员运用工单匹配模块对工单数据进行分析，并基于运维人员信息，使用遗传算法对人员和工单进行智能匹配，选出最优的运维人员，从而提高运维效率；
S3，通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作；
具体地，运维人员和工单完成匹配后，佩戴智能运维可穿戴设备到达运维现场，智能推送模块根据设备种类和故障信息推送设备手册和操作指导书。此外，智能推送模块可以根据不同工单中设备、人员、故障等信息进行推荐，通过可穿戴终端推送与运维人员目前执行工单有关的设备操作信息，后台运维平台可以通过视频、文字、图片、语音等多种形式与现场运维人员就现场环境感知信息和派工单执行信息以及执行结果进行交互。在需要技术支持专家协助时，现场运维人员可以发起远程技术协助请求，获得技术支持专家的在线现场指导。
本发明实施例通过图像识别算法，识别设备种类，能够及时发现故障，并自动生成工单，通过基于遗传算法的工单匹配策略将生成的工单与运维人员进行匹配，根据运维人员的技能水平及状态智能选择运维人员，并通过智能推荐算法推送相似工单，能够辅助运维人员高效完成工作，从而有效提高运维质量与运维效率。
基于上述实施例，该方法还包括：
保存所述工单，更新运维知识数据库。
具体地，当工单完成后，系统保存运维工单信息，更新运维知识数据库，从而不断扩充运维知识数据，进一步提高知识推荐的准确性和高效性。
基于上述任一实施例，该方法中步骤S1具体包括：
通过图像采集设备对目标设备的图像进行采集，得到原始图片数据；
对所述原始图片数据进行预处理，得到预处理图片数据；
基于预设卷积神经网络对所述预处理图片数据进行特征提取，得到特征数据；
基于改进的Faster-RCNN图像识别算法对所述特征数据生成目标候选区域；
将所述目标候选区域归一化输出到固定大小的特征图；
对所述特征图进行分类，并与所述识别信息进行对比，获取设备类别和设备信息，输出所述工单。
具体地，本发明实施例通过图像识别算法可以在无需人工的情况通过摄像头快速识别设备，此外，当工人穿戴智能运维眼镜时，算法能够保证现场运维及巡视作业过程中对于设备资源的智能识别和采集，辨别出设备上端口的部署情况，从而与后台资源管理系统中的设别信息进行对比，帮助运维人员发现问题，整体流程如图3所示。
本发明实施例提出的基于改进Faster-RCNN的图像识别算法对设备进行识别，监测设备的运行状态及监测故障。该算法优化了Faster-RCNN算法中用来提取特征的卷积神经网络，使其能够针对移动通信现场设备更好地提取特征，并针对Faster-RCNN经典算法中anchor方案生成区域建议质量较低的问题，提出采用聚类的方法确定anchor，生成更优的区域建议。
本算法的卷积网络使用改进的VGG16卷积网络提取特征，并使用改进的RPN网络，直接对输入图像预测出高质量的目标检测区域，ROI pooling层将RPN网络获取的区域候选框和卷积特征图整合起来，规整为统一大小的尺寸，为全连接层的输入做准备。分类层和回归层是由全连接层组成，分类层用于对图像中所有目标进行分类，并给出所属类别的概率，回归层用于对图像中所含目标的位置坐标进行修正，使其更精确的标明目标的位置。
图像识别的具体过程如下：
1、图像采集
移动通信现场通常部署摄像头等监测设备，当没有作业人员在现场时，利用摄像头采集运维设备图像，将图像传递到运维平台，方便进一步分析；在运维现场，作业人员利用现场运维可穿戴终端设备的摄像头进行图像采集，并将采集目标设备的图像数据与资源管理系统中的数据进行对比，发现设备状态的变化；
2、图像预处理
图像预处理是整个图像识别过程的重要组成部分，摄像头采集到的原始图片一般会受到光照、噪音等一些人为或者非人为的环境因素影响，从而导致这样的图片不能直接用于后续的算法处理。图像预处理主要包括图像灰度化，直方图均衡化、图像去噪；
3、特征提取
提取图像特征是图像识别的关键步骤，当图像背景简单且设备特征突出时,传统的手工特征,如颜色特征、几何特征和形状特征等可以获得比较理想的识别率。但是移动通信现场设备种类众多且大多颜色单一，受拍摄角度、距离、光照和阴影变化的影响,同一种设备外观会发生较大变化。这些问题使得传统的手工特征提取技术难以满足设备识别的需求，本发明实施例基于改进的卷积神经网络VGG16模型来获取设备图像特征：
(1)网络模型
VGG16是一种相对较大的深度卷积神经网络，以其简洁性和实用性，且在图像分类和目标识别任务中表现出较好的识别效果，迅速成为较热门的神经卷积神经网络。本模块的改进VGG16网络结构包括10个卷积层(Conv)、ReLU层、4个最大池化层和全连接层，其中，每个卷积层都与一个ReLU层连接，网络各层的参数如表1所示：
表1
Figure BDA0002380221570000101
(2)卷积操作
将图像输入进卷积神经网络后，需要不断对图像进行卷积以实现特征提取。卷积层需要使用卷积核在上一层原始图像或特征图中平移来得到当前层的卷积图，卷积核具有四个参数，分别为：
卷积核大小：一般为奇数(1*1、3*3、5*5)，本发明统一使用3*3卷积核
卷积核数量：K
步长：S
零填充大小：P
设定输入图像体积大小为H1*W1*D1，则输出大小H2*W2*D2为：
H2＝(H1-F+2P)/S+1 (1)
W2＝(W1-F+2P)/S+1 (2)
D2＝K (3)
卷积层对上一层不同区域输入图像的特征获取负责，输出公式形式如下：
Figure BDA0002380221570000111
其中，*表示卷积运算，Rj表示对特征图像输入的选择；
Figure BDA0002380221570000112
表示特征图的输出值是第(l-1)层的第i个；
Figure BDA0002380221570000113
表示l层j个特征图与(l-1)层i个特征图连接的卷积核，通过二维矩阵表示；
Figure BDA0002380221570000114
是第l层第j个特征图的偏置。
(3)激活函数
在卷积神经网络中，如果只有卷积和池化操作的话，那么整个模型将是个线性模型，这样会使得模型的表达能力有很大的不足，因此通常在卷积操作后面都会跟一个非线性的激活函数来增强网络的表达能力。文本的激活函数使用RELU函数，当输入信号小于0时，输出全部为0；当输入信号大于0时，输出就等于输入，其计算方法如下所示：
RELU(x)＝max(0,x) (5)
(4)池化操作
池化操作是一个下采样的过程，其主要作用是通过去掉特征图中的一些不重要的样本，来减小特征图的尺寸，提取出图像中最突出的特征，从而降低卷积神经网络模型所需要的计算资源，同时池化操作还有减小输入噪声，降低网络对输入变化的敏感度等优点。本发明使用平均池化方法，将特征图中每个需要池化的区域的值输入为一组向量V1,V2,…,Vn，则输出为：
C＝sum(V1,V2,…,Vn)/n (6)
4、生成候选区域
此步骤采用经典Faster-RCNN算法中的RPN网络生成候选框，RPN网络以经过卷积主干网络特征提取得到的特征图作为输入并输出一系列带有目标性得分的矩形目标候选区域，不过RPN网络中初始候选锚框大小anchor是针对PACSAL VOC数据集根据经验设定的，在移动通信场景中，设备中各种线路、端口类别多种多样设备的尺寸大小各不相同，因此需要anchor的尺寸与图像中需要识别的目标尺寸想对应，这样在边界框回归时,能够提高回归工作效率,加快网络训练收敛时间,从而生成更优的区域建议，本发明实施例采用聚类算法k-means++来确定anchor的大小，算法过程如下：
Step1:假定数据集中所有标注目标集合为{(w(1),h(1)),(w(2),h(2)),…,(w(n),h(n))}，其中w和h分别为目标设备及配件位置坐标的宽与高。
Step2：设定(w(1),h(1))为初始聚类中心点，记为c1。
Step3：计算做坐标集合{(w(2),h(2)),…,(w(n),h(n))}中每个元素到当前聚类中心点集合中每个元素的距离，距离最小值记为D(x)，然后按照公式计算其对应的概率p(x)，之后按照轮盘法选择出下一个聚类中心。
Figure BDA0002380221570000121
Step4:重复Step3，直到获得k个聚类中心点，记为C＝{c1,c2,…,cK}。
Step5:对坐标集合中的每一个样本(w(i),h(i))，计算它与K个聚类中心的欧式距离，并将其分到最小距离的聚类中心所对应的数据类中。
Step6：根据公式，对每一个聚类中心的位置进行更新。
Figure BDA0002380221570000122
Step7:重复Step4和Step5，直到K个聚类中心点的位置不在变化，或在允许的变动范围内。
利用上述K-Means++聚类算法对样本数据集中所有目标边框的面积进行聚类分析，得到三种目标边框的长宽尺寸，将其与三种长宽比(1:1、1:2和2:1)组合，可得到9种锚框，作为RPN网络候选锚框的尺寸，用于生成目标候选区域。
RPN网络的具体结构分成两条路线，其中一条通过一个softmax来分类anchor的类别，识别出anchor是foreground还是background，其中foreground属于检测目标，即候选区域。另一条则使用边框调整来计算并修正候选区域的偏移量来回归出proposals。最后两条路线汇合到proposal层，先将proposals映射回原图中，剔除掉严重超出边界的区域，然后对剩下的区域使用非极大值抑制技术进行排序，按照由大到小的顺序取大于阈值的部分作为最后RPN网络的输出，其结构如图4所示。
RPN网络的损失函数是由分类损失和回归损失组成的多任务损失函数，如公式所示：
Figure BDA0002380221570000131
其中，
Figure BDA0002380221570000132
表示第i个候选框的标签，对背景为0，对前景为1，pi表示第i个候选框属于前景的概率，ti表示预测框相对于候选框的边框回归参数向量，
Figure BDA0002380221570000133
表示真实框相对于同一候选框的边框回归参数，Lcls为用于目标/背景二分类的交叉熵损失函数，如公式所示；Lreg为用于回归的smoothL1损失函数，如公式所示。Ncls表示训练时一次样本集的大小，Nreg表示RPN中间层特征图的空间尺寸，λ是平衡两部分损失的可调参数，其大致为
Figure BDA0002380221570000134
Figure BDA0002380221570000135
Figure BDA0002380221570000136
边框回归参数向量t＝(tx,ty,tw,th)和
Figure BDA0002380221570000137
计算方式如公式所示，其代表了相对于候选框的中心位置平移和对数空间下的宽、高偏移。
tx＝(x-xa)/wa，ty＝(y-ya)/ha
tw＝log(w/wa)，th＝log(h/ha)
Figure BDA0002380221570000141
Figure BDA0002380221570000142
其中，x，y，w，h依次表示预测框的中心坐标(x，y)和宽w、高h；xa，ya，wa，ha依次表示候选框的中心坐标(xa，ya)和宽wa、高ha；x*，y*，w*，h*依次表示真实框的中心坐标(x*，y*)和宽w*、高h*，如图5所示；
5、ROI Pooling
ROI pooling层接收将不同大小的区域然后归一化到固定大小的特征图输出。首先将proposals在原图中的位置信息映射到特征图中的对应位置，将proposals映射到特征图中之后，在特征图中将映射的区域划分为相同大小的sections，并对每个sections进行最大池化操作，使得大小不同的proposals都输出成相同的尺寸；
6、分类及位置感知
将不同大小的区域归一化到固定大小的特征图，最后在将其送入后续的全连接层，计算区域的类别，并且用边框回归得到检测框的最终位置信息，最终获取移动通信现场中各设备的类别及相关信息。
本发明实施例利用摄像头或智能可穿戴设备现场采集图片，通过基于改进Faster-RCNN的图像识别算法，高效识别设备信息，并自动生成工单。
基于上述任一实施例，该方法中步骤S2具体包括：
获取工作次序模型，确定运维项目工作次序；
建立维修人员技能矩阵，确定运维人员维修技能；
基于所述运维项目工作次序和所述维修人员技能矩阵，构建人力资源优化配置模型；
基于所述遗传算法对所述人力资源优化配置模型进行优化求解，将所述工单进行智能匹配，获得所述最优运维人员。
具体地，本发明实施例采用基于遗传算法的工单匹配策略将上一模块产生的工单与现有的运维人员进行匹配，首先本发明将任务划分为可并行和不可并行任务两种，分析任务之间的关系。然后根据人员能力的不同采用改进的遗传算法将工单和人员进行匹配。
1、工作次序模型
在移动通信运维现场场景中，维修项目与项目之间通常存在制约关系，在本发明中，维修项目之间的关联次序是串联与并联的组合，串联的维修项目受到维修次序的约束，并联的维修项目则不受维修次序的约束可以同时开工，图6为某设备的维修工作流模型。
2、维修人员技能矩阵
由于各项维修任务对维修人员技能要求不同，且每个维修人员所擅长的维修项目也有一定差异。所以对维修人力资源进行优化配置，首先要了解移动通信运维现场维修人员做不同维修工作时的维修技能。本发明通过建立维修人员的技能矩阵(skill matrix,SM)来反映不同维修人员在做不同维修工作时的效果。该技能矩阵时根据维修人员完成不同维修任务时所用的时间和任务完成的情况来评估和制定。考虑到维修人员有限的约束，假设有n(M1，M2，…，Mn)项维修任务，m(P1，P2，…，Pm)名维修人员(m＜n)，每一名维修人员均可分配给各项维修项目，但是每一位人员的维修能力是有差异的，以aij表示维修人员i完成维修项目j的工作能力。文中把维修能力分为六个等级，每个等级对应的值aij分别为0,0.5,1.0,1.5,2.0,2.5，aij数值越大，工作能力越强，aij＝0表示人员Pi不能胜任Mj项目的维修工作，则技能矩阵可用如下表示：
Figure BDA0002380221570000151
3、人力资源优化配置模型
在总维修任务进度范围内，应给每一位维修人员分配与其相适应的维修项目.以达到设备总维修完成时间最短的目的。现有n个维修项目，维修总工时为T，根据维修项目间的关联次序把维修总工时分为t个阶段。有m(m<n)名维修人员，维修人员i完成维修项目j的工作能力值为aij。每项维修项目的定额维修工作量为常数Epj。据此给出组合优化模型：
Figure BDA0002380221570000161
约束条件：
Figure BDA0002380221570000162
Figure BDA0002380221570000163
或0，t∈(T1,T2,…,Tt) (16)
f(j,t)＝1或0，j＝1,2,…,n,t∈(T1,T2,…,Tt) (17)
以上几式中，Tt为按维修项目的预定维修次序，将维修总耗时T分成若干时段，端点为各项目的起点或终点，总段数为t段；所有的维修项目都有确定的定额维修工作量，即常数Epj，表示一个具有标准工作能力的维修人员所需花费的维修时间(以标准工作能力与维修时间的乘积求得)。维修项目在各个时段的累积维修工作量必须大于定额维修工作量，才能完成该维修项目；
Figure BDA0002380221570000164
为维修人员I在时段Tt是否正在从事项目j的维修，
Figure BDA0002380221570000165
时表示正在从事，
Figure BDA0002380221570000166
时表示没有从事。且在各个时间段Tt内，每一个维修人员最多只从事一个维修工作项目；f(j,t)为j项目在Tt时间段内是否正在被维修，取值为0或者1。
4、优化数学模型
上述模型表达了一般性的优化模型表达方式，现以图6中具体的设备维修次序为例进行优化，图6中共有7项维修任务，其中维修任务M1，M2，M3，M4为串联关系，即存在维修次序上的约束，根据串联的维修次序约束把维修总工时T分为T1，T2，T3，T4，4个时间段。维修任务M5在M1完工之后即可开工，并在时间段T2，T3内完工；M6在M1，M2之后开工，并在T3，T4时间段内完工；M7在M1之后开工，在T2，T3，T4时间段内完工。
此数学模型为NP线性规划问题，用遗传算法可以快速求解此类问题。遗传算法是一类借鉴生物界的自然选择和遗传进化机制而开发的一种全局优化自适应概率搜索方法。遗传算法的主要步骤有编码、选择、交叉、变异、异、适应度函数的设计、约束条件与终止准则。
(1)编码：在遗传算法中，把一个问题的可行解从解空间转换到遗传算法所能处理的搜索空间，这种转换方式称为编码。在本发明中采用二进制编码。
本方案把总染色体串分为四个阶段。第一阶段基因值有一种，维修项目1，编码的前六位0，1都表示项目1正在维修；第二阶段基因值有三种，维修项目2，5和7，分别用01，10，11表示；第三阶段基因值有四种维修项目3，5，6和7，分别用00，01，10，11来表示；第四阶段基因值有维修项目4，6和7三种，用01，10，11表示。如随机产生的染色体[000110011001101110 001010000101 111001111110]。
(2)适应度函数：遗传算法中以个体适应度的大小来确定该个体被遗传到下一代群体中的概率。
(3)选择：选择又称复制，是在种群中选择适应能力强的个体产生新的种群的过程。
(4)交叉：交叉运算是遗传算法中产生新个体的主要操作过程，它以某一概率相互交换某两个个体之间的部分染色体，本发明取Pc＝0.7。
(5)变异：变异运算是对个体的某一个或某一些基因座上的基因值，按照某一较小的概率进行改变，它也是产生新个体的一种操作方法。本发明取变异概率为1/42(约为0.02)。
(6)终止代数T：是表示遗传算法运行结束条件的一个参数，它表示遗传算法运行到制定的进化代数后就停止运行，并将当前群体中的最佳个体作为所求问题的最优解输出。本发明实施例取终止代数为50。
本发明实施例在生成工单后，通过基于遗传算法的工单匹配策略将生成的工单与运维人员进行匹配，选出最优的运维人员。
基于上述任一实施例，该方法中步骤S3具体包括：
接收所述最优运维人员发送的故障处理指导请求，向所述最优运维人员进行辅助信息推送；
基于jaccard相似度和TF-IDF智能推荐算法，对所述工单和所述运维人员信息进行分析，进行相似工单推送；
基于所述辅助信息推送和所述相似工单推送，所述最优运维人员完成所述设备运维操作。
其中，所述基于所述辅助信息推送和所述相似工单推送，所述最优运维人员完成所述设备运维操作，之后还包括：
所述最优运维人员通过实时交互，获取技术支持专家在线现场指导。
具体地，运维人员和工单完成匹配后，佩戴以智能AR眼镜为终端主要形式的智能运维可穿戴终端到达运维现场，智能推送系统运维人员推送相关信息，主要功能包括辅助信息推送、相似工单推送、实时交互三个部分。
1、辅助信息推送
当运维人员到达运维地点后，运维人员进一步确认设备故障，再结合图像识别的结果，智能推送系统将根据设备种类，以及操作场景、维修人员经验推送设备手册和操作指导书。例如，当运维人员在现场进行设备故障维修时，请求对故障设备的故障处理信息进行指导，需要将故障设备的信息传送给智能运维系统，当智能运维系统收到这个信息后，进行相应的信息检索，找到相应的网络设备的使用说明书、故障设备的故障操作指导说明、操作方案，向运维人员发送相应的信息，以方便运维人员进行相应的学习和故障处理。
2、相似工单推送
工单数据库中包含众多相似的历史工单信息，本发明可以使用基于jaccard相似度和TF-IDF的智能推荐算法分析工单和运维人员的相关信息，生成对运维人员有用的相似工单信息，并通过AR技术投影在运维人员佩戴的可穿戴设备上，供运维人员随时查阅。例如，当运维人员在现场进行设备故障维修时，请求查阅相似的工单，智能运维系统通过推荐算法分析工单和运维人员的相关信息，包括故障设备种类，故障发生位置，运维人员熟练度等，向运维人员推送相似工单信息，以方便运维人员参考。
3、实时交互
现场运维人员佩戴可穿戴终端设备后，后台系统或管理人员可通过视频、文字、图片、语音等多种形式与现场运维人员就现场环境感知信息和派工单执行信息以及执行结果进行交互。在需要技术支持专家协助时，现场运维人员可以发起远程技术协助请求，获得技术支持专家的在线现场指导。
此处，提出一种基于jaccard相似度和TF-IDF的智能推荐算法，为已经接到任务的运维人员推送相关信息以协助运维人员维护设备。不同的设备之间可能是相似的。本发明首先将各类产品按大类分类，对其可能产生问题的模块进行区分。本发明将任务提取出六个特征，分别是设备大类，设备具体型号，事务类型(可能有多个)，故障类别(可能有多个)，人员能力，将这六个特征划分为四个大类。首先本发明将优先寻找相同大类相同具体型号的工单，之后计算jaccard相似度对事务类型和故障类别的相似度进行分析，最后采用TF-IDF算法对故障现象描述(文本类)进行分析。得到这些工单后在选择与运维人员能力相似的工单进行推送。
(1)jaccard相似度
本发明实施例采用对jaccard相似度事务类型和故障类别进行相似度计算；
集合A为正进行的工单的类型，集合B为某一历史工单的类型：
Figure BDA0002380221570000191
Figure BDA0002380221570000192
dj(A,B)＝(djT(A,B)+djE(A,B))/2
(20)
将算出的事务类型的djT(A,B)和故障类别的djE(A,B)求平均值；
(2)TF-IDF-IGE-AVG算法
本发明实施例采用TF-IDF-IGE-AVG算法，对故障现象描述进行分析。基于信息增益的特征词权重公式TF×IDF×IG，该公式考虑了词语在文本集合的各个类别中的分布对特征词权重的影响，从而提高了特征词权重的计算精度，但是并没有考虑文本集合的各个类别内部的情况。对于文本集合内部的特征词分布通过信息熵来对特征词的权重进行调整。
通过对熵的定义和性质的了解，可以知道一个特征词分布越均匀，熵的值越大；分布越不均匀，则熵值越小。考虑文本分类中某一类别类内的情况：若某一个特征词分布越均匀，则该词越能代表该类，该特征词应该赋予较高的权重。相反，如果某个特征词仅在几个文本中出现，则该词不能很好地代表该类别，该特征词应该赋予较低权重。通过分析可知，类内特征词分布熵值的大小与特征词所能提供的分类信息量是一致的，即熵值越大，特征词所提供的信息量越大，越能代表该类。因此，可以通过信息熵对特征词的权重公式进行调整。
定义特征词t的类内分布熵为：
Figure BDA0002380221570000201
Figure BDA0002380221570000202
其中，tf(t,dj)表示特征词t在Ck类的第j个文本中出现的频数；n表示Ck类中的文本总数；tf(t,Ck)表示特征词在Ck类文本中出现的总频数。
可以看出，当特征词在类别中的每个文本都出现时，即tf值都相等，其Eic值取最大值1，分类能力最强；当特征词仅在类别中的一个文本中出现时，其Eic的值取最小值0，分类能力最弱。因此，Eic很好地反映了特征词在类内的分布情况，并且其值与分类能力呈正比。
综合信息增益和信息熵对特征词权重的修正得到的权重计算公式为：
wik＝tfik(di)×idf(tk)×IG(C,tk)×Eic(tk) (23)
Figure BDA0002380221570000203
其中，wik为特征词tk文本wik中的权重；tfik(di)为特征词tk在文本di中的频数；idf(tk)为特征词tk的反文本频数；IG(C,tk)表示特征词tk的信息增益代表类间的分布的信息加权因子。Eic(tk)表示特征词tk的类内分布信息加权因子。该公式从理论上很好地反映了特征词在类间、类内的分布对特征词权重造成的影响。
(3)将特征词的信息增益值与jaccard相似度的值相加即为这个工单的得分。
ScoreTask＝dj(A,B)+wik (25)
(4)本发明将优先考虑推送相同大类中的工单，其次综合考虑上述两种算法所计算的不同项目的相似度，算出得分，优先考虑高分工单。最后考虑为现场维护人员提供水平相当的人的操作工单。
本发明实施例通过基于jaccard相似度和TF-IDF的智能推荐算法为运维人员推送相似工单，通过AR技术将推送信息投影到可穿戴设备上，有效帮助现场运维人员完成运维工作。
基于上述任一实施例，本发明实施例通过一个具体实例，展现了后台运维系统通过通信网络与若干智能可穿戴设备以及监控设备相连，监控设备和智能可穿戴设备都可以采集现场信息，并将信息传给后台智能运维系统，每个可穿戴终端设备上都安装了智能运维可穿戴终端系统。运维人员通过可穿戴设备上的智能运维可穿戴终端系统可以随时接收后台系统的指令。假设某一网络设备发生故障，具体的方法如下：
步骤一：监控设备通过图像识别算法获取现场设备信息，并通过网络对设备进行定位，并将信息反馈给后台智能运维系统；
步骤二：后台智能运维系统基于监控设备反馈的现场信息明确工单内容及方式，自动化生成工单。
步骤三：工单生成之后，工单匹配模块通过对工单和运维人员进行分析，通过遗传算法对工单和运维人员进行匹配。
步骤四：现场运维人员佩戴智能可穿戴设备到达现场，进一步确认故障信息，并可上传额外内容，后台智能运维系统根据设备种类及操作场景将设备手册和操作指导书推送到运维人员佩戴的智能运维可穿戴终端，并综合工单和人员信息为运维人员推送相似的工单信息。
步骤四：现场运维人员根据智能运维可穿戴终端上收到的操作内容引导进行运维作业，并实时将操作内容和现场信息通过视频、语音、文字、图像等各种方式上传智能运维系统，后台智能运维系统或后台运维专家可以与现场运维人员进行实时交互。
步骤五：运维完成后，智能运维系统对设备情况进行核对，核对无误后，完成本次运维作业，并将本次运维工单信息上传到工单数据库。
图7为本发明实施例提供的一种基于图像识别的现场运维系统结构图，如图7所示，包括：图像识别模块71、工单匹配模块72和智能推送模块73；其中：
图像识别模块71用于基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；工单匹配模块72用于对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；智能推送模块73用于通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作。
本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法算法流程相同，此处不再赘述。
本发明实施例通过图像识别算法，识别设备种类，能够及时发现故障，并自动生成工单，通过基于遗传算法的工单匹配策略将生成的工单与运维人员进行匹配，根据运维人员的技能水平及状态智能选择运维人员，并通过智能推荐算法推送相似工单，能够辅助运维人员高效完成工作，从而有效提高运维质量与运维效率。
基于上述实施例，该系统还包括保存更新模块74，所述保存更新模块74用于保存所述工单，更新运维知识数据库。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于图像识别的现场运维方法，其特征在于，包括：
基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；
对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；
通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作；
所述基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单，具体包括：
通过图像采集设备对目标设备的图像进行采集，得到原始图片数据；
对所述原始图片数据进行预处理，得到预处理图片数据；
基于预设卷积神经网络对所述预处理图片数据进行特征提取，得到特征数据；
基于改进的Faster-RCNN图像识别算法对所述特征数据生成目标候选区域；
将所述目标候选区域归一化输出到固定大小的特征图；
对所述特征图进行分类，并与所述识别信息进行对比，获取设备类别和设备信息，输出所述工单；
所述通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作，具体包括：
接收所述最优运维人员发送的故障处理指导请求，向所述最优运维人员进行辅助信息推送；
基于jaccard相似度和TF-IDF智能推荐算法，对所述工单和所述运维人员信息进行分析，进行相似工单推送；
基于所述辅助信息推送和所述相似工单推送，所述最优运维人员完成所述设备运维操作。
2.根据权利要求1所述的基于图像识别的现场运维方法，其特征在于，该方法还包括：
保存所述工单，更新运维知识数据库。
3.根据权利要求1所述的基于图像识别的现场运维方法，其特征在于，所述对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员，具体包括：
获取工作次序模型，确定运维项目工作次序；
建立维修人员技能矩阵，确定运维人员维修技能；
基于所述运维项目工作次序和所述维修人员技能矩阵，构建人力资源优化配置模型；
基于所述遗传算法对所述人力资源优化配置模型进行优化求解，将所述工单进行智能匹配，获得所述最优运维人员。
4.根据权利要求1所述的基于图像识别的现场运维方法，其特征在于，所述基于所述辅助信息推送和所述相似工单推送，所述最优运维人员完成所述设备运维操作，之后还包括：
所述最优运维人员通过实时交互，获取技术支持专家在线现场指导。
5.一种基于图像识别的现场运维系统，其特征在于，包括：
图像识别模块，用于基于预设图像识别算法获取设备信息，将所述设备信息与系统中的识别信息进行对比，生成工单；
工单匹配模块，用于对所述工单进行分析，获取运维人员信息，基于遗传算法对所述工单和所述运维人员信息进行智能匹配，筛选出最优运维人员；
智能推送模块，用于通过预设智能推荐算法，向所述最优运维人员推送运维指导信息，完成设备运维操作；
所述图像识别模块具体用于：
通过图像采集设备对目标设备的图像进行采集，得到原始图片数据；
对所述原始图片数据进行预处理，得到预处理图片数据；
基于预设卷积神经网络对所述预处理图片数据进行特征提取，得到特征数据；
基于改进的Faster-RCNN图像识别算法对所述特征数据生成目标候选区域；
将所述目标候选区域归一化输出到固定大小的特征图；
对所述特征图进行分类，并与所述识别信息进行对比，获取设备类别和设备信息，输出所述工单；
所述智能推送模块具体用于：
接收所述最优运维人员发送的故障处理指导请求，向所述最优运维人员进行辅助信息推送；
基于jaccard相似度和TF-IDF智能推荐算法，对所述工单和所述运维人员信息进行分析，进行相似工单推送；
基于所述辅助信息推送和所述相似工单推送，所述最优运维人员完成所述设备运维操作。
6.根据权利要求5所述的基于图像识别的现场运维系统，其特征在于，该系统还包括：
保存更新模块，用于保存所述工单，更新运维知识数据库。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于图像识别的现场运维方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述基于图像识别的现场运维方法的步骤。
CN202010080746.3A 2020-02-05 2020-02-05 一种基于图像识别的现场运维方法及系统 Active CN111369016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080746.3A CN111369016B (zh) 2020-02-05 2020-02-05 一种基于图像识别的现场运维方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080746.3A CN111369016B (zh) 2020-02-05 2020-02-05 一种基于图像识别的现场运维方法及系统

Publications (2)

Publication Number Publication Date
CN111369016A CN111369016A (zh) 2020-07-03
CN111369016B true CN111369016B (zh) 2022-09-02

Family

ID=71211412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080746.3A Active CN111369016B (zh) 2020-02-05 2020-02-05 一种基于图像识别的现场运维方法及系统

Country Status (1)

Country Link
CN (1) CN111369016B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598142B (zh) * 2020-12-16 2024-02-02 明阳智慧能源集团股份公司 一种风电机组检修工作质量审查辅助方法与系统
CN112905678A (zh) * 2021-01-12 2021-06-04 青海绿能数据有限公司 一种无人值班模式的新能源电站共享运维管理系统
CN113033363A (zh) * 2021-03-15 2021-06-25 西南交通大学 一种基于深度学习的车辆稠密目标检测方法
CN113408751A (zh) * 2021-05-26 2021-09-17 深圳市富能新能源科技有限公司 工作运维方法、设备以及存储介质
CN115506971A (zh) * 2021-06-23 2022-12-23 上海能源科技发展有限公司 一种风力发电机组检修工作监督系统
CN113570269A (zh) * 2021-08-03 2021-10-29 工银科技有限公司 运维项目的管理方法、装置、设备、介质和程序产品
CN113673717A (zh) * 2021-08-18 2021-11-19 苏州罗约科技有限公司 一种新能源变流器管理方法、系统、服务器及存储介质
CN113850515B (zh) * 2021-09-28 2023-04-07 西南交通大学 一种增加接触网检修里程的作业人员配置方法
CN113990009A (zh) * 2021-10-29 2022-01-28 西安文理学院 一种基于cpu的楼宇坠物智能检测与拦截系统及其控制方法
CN114693070A (zh) * 2022-03-03 2022-07-01 曹洁 面向第三方数据中心多租户的多层智能运维系统及方法
CN114821464B (zh) * 2022-03-31 2024-08-06 西安翔迅科技有限责任公司 一种用于弹射座椅维修场景的智能监管系统及监管方法
CN114819213A (zh) * 2022-04-15 2022-07-29 东方众通科技发展集团有限公司 一种电动汽车公共充电设施的智能运维管理方法及系统
CN115883332A (zh) * 2022-12-06 2023-03-31 国能大渡河检修安装有限公司 设备维护系统及方法
CN116483955A (zh) * 2023-06-20 2023-07-25 北京中科朗易科技有限责任公司 基于运维工单的运维方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682743A (zh) * 2016-12-15 2017-05-17 南京南瑞信息通信科技有限公司 一种电力通信现场运维工单调度管理方法及系统
CN109241413A (zh) * 2018-08-20 2019-01-18 安徽智恒信科技有限公司 一种运维工单的知识推荐方法和运维工作平台
CN109840690A (zh) * 2018-12-29 2019-06-04 国网山东省电力公司日照供电公司 一种基于大数据的人工智能电力抢修系统及方法
CN110728670A (zh) * 2019-10-14 2020-01-24 贵州电网有限责任公司 一种基于ar技术的低压设备运维方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303819A1 (en) * 2018-04-03 2019-10-03 Portable Intelligence Inc. Systems, methods and apparatus for workflow optimization for use in manufacturing, storage and other applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682743A (zh) * 2016-12-15 2017-05-17 南京南瑞信息通信科技有限公司 一种电力通信现场运维工单调度管理方法及系统
CN109241413A (zh) * 2018-08-20 2019-01-18 安徽智恒信科技有限公司 一种运维工单的知识推荐方法和运维工作平台
CN109840690A (zh) * 2018-12-29 2019-06-04 国网山东省电力公司日照供电公司 一种基于大数据的人工智能电力抢修系统及方法
CN110728670A (zh) * 2019-10-14 2020-01-24 贵州电网有限责任公司 一种基于ar技术的低压设备运维方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Push Content Selection Method Based on Dynamic Threshold;Wenhao Zhang etc.;《2019 IEEE 8th Joint International Information Technology and Artificial Intelligence Conference (ITAIC)》;IEEE Xplore;20190805;第956-961页 *
增强现实技术在电力通信网运行维护中的应用;徐晗 等;《电力通信技术研究与应用》;20191023;第413-416页 *

Also Published As

Publication number Publication date
CN111369016A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111369016B (zh) 一种基于图像识别的现场运维方法及系统
CN113222149B (zh) 模型训练方法、装置、设备和存储介质
CN109902192B (zh) 基于无监督深度回归的遥感图像检索方法、系统、设备及介质
CN116595328B (zh) 一种基于知识图谱的数据评分卡模型智能构建装置及方法
CN110310012B (zh) 数据分析方法、装置、设备及计算机可读存储介质
CN113837308A (zh) 基于知识蒸馏的模型训练方法、装置、电子设备
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN117422936B (zh) 一种遥感图像分类方法及系统
CN110737805A (zh) 图模型数据的处理方法、装置和终端设备
CN112184412A (zh) 一种信用评分卡模型的建模方法、装置、介质及电子设备
CN117095247B (zh) 基于数控加工的加工姿态运行优化方法、系统及介质
Xu Mt-resnet: a multi-task deep network for facial attractiveness prediction
CN114282875A (zh) 流程审批确定性规则和语义自学习结合判定方法及装置
CN114462526B (zh) 一种分类模型训练方法、装置、计算机设备及存储介质
CN116841718A (zh) 基于Kubernetes的物理资源调度方法及调度器
CN114969511A (zh) 基于分片的内容推荐方法、设备及介质
CN114529063A (zh) 一种基于机器学习的金融领域数据预测方法、设备及介质
CN114385876A (zh) 一种模型搜索空间生成方法、装置及系统
CN113793220A (zh) 基于人工智能模型的股市投资决策方法及相关设备
CN112036494A (zh) 一种基于深度学习网络的枪支图像识别方法和系统
CN111652102A (zh) 一种输电通道目标物辨识方法及系统
CN114782206B (zh) 理赔标签预测方法、装置、计算机设备和存储介质
CN115935533B (zh) 基于参数的产品智能设计系统
CN117764536B (zh) 一种基于人工智能的创新创业项目辅助管理系统
CN111626091B (zh) 人脸图像标注方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant