CN117094696A - 面向智能故障诊断的可伸缩微服务自适应弹性架构方法 - Google Patents
面向智能故障诊断的可伸缩微服务自适应弹性架构方法 Download PDFInfo
- Publication number
- CN117094696A CN117094696A CN202310802843.2A CN202310802843A CN117094696A CN 117094696 A CN117094696 A CN 117094696A CN 202310802843 A CN202310802843 A CN 202310802843A CN 117094696 A CN117094696 A CN 117094696A
- Authority
- CN
- China
- Prior art keywords
- micro
- service
- fault diagnosis
- node
- scalable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 238000005065 mining Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 37
- 230000003993 interaction Effects 0.000 claims description 26
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000003999 initiator Substances 0.000 claims description 10
- 239000007858 starting material Substances 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 7
- 230000008878 coupling Effects 0.000 abstract description 5
- 238000010168 coupling process Methods 0.000 abstract description 5
- 238000005859 coupling reaction Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种面向智能故障诊断的可伸缩微服务自适应弹性架构方法,通过本发明提供的故障诊断系统根据不同服务的应用目标路径,对软件平台进行合理的架构分层分类,利用“端‑边‑云”微服务架构进行软件架构可伸缩改造,解除故障诊断软件平台各服务之间的耦合关系,通过构建自组织工业知识图谱进行故障诊断知识挖掘深度挖掘,实现算法微服务实例结构原型设计驱动以及迭代能力,同时场景化定制并弹性调度各微服务虚拟容器节点的执行状态实现了对多场景多设备进行综合智能故障诊断。
Description
技术领域
本发明涉及故障诊断技术领域,具体涉及一种面向智能故障诊断的可伸缩微服务自适应弹性架构方法。
背景技术
故障诊断平台是一种利用物联网、人工智能等技术,对工业设备的运行状态进行实时监测、智能预警和故障分析的系统。故障诊断平台可以帮助企业提高设备的可靠性、安全性和效率,降低维修成本和停机损失,实现设备的预测性维护。
目前,国内外已有多家厂商或研究机构开发了各种类型的故障诊断平台,针对不同行业和应用场景的需求。目前,故障诊断平台面临以下技术问题:
1.缺乏多场景快速综合故障诊断:传统故障诊断平台只能根据特定场景进行专门部署调试诊断,其部署周期长,动态场景适应性差,无法根据实际情况进行弹性伸缩以及故障诊断算法切换。
2.无法自动化构建弹性实例:传统系统不具备自动化弹性实例来构建备弹性架构,系统不可以自动调整并灵活伸缩,不具备实现场景化定制的能力。
3.可扩展性不足:故障诊断平台需要能够处理不断变化的业务需求和系统规模,以保证平台的可扩展性和灵活性。然而,传统的故障诊断方法可能难以应对不断变化的业务需求和系统规模,从而导致平台的可扩展性不足。
4.大规模系统的监控能力不足:弹性架构通常包含数百个、甚至数千个服务,然而业务场景的某次请求往往需要经过多个服务、多个中间件、多台机器的复杂链路处理才能完成,存在复杂链路排查困难的问题。
5.故障诊断效率低:由于弹性架构的复杂性,故障诊断变得更加困难,需要对大量的日志和指标进行分析,以找出故障的根本原因。传统的故障诊断方法可能无法满足需求,因此需要使用新的技术和方法来提高诊断效率。
6.可视化程度低:故障诊断平台需要能够提供直观的可视化界面,以便用户快速了解故障的状态和趋势。然而,传统的故障诊断方法可能缺乏可视化界面,导致用户无法直观地了解故障的状态。
综上所述,如何对多场景多设备及时进行故障诊断,是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明提供的一种面向智能故障诊断的可伸缩微服务自适应弹性架构方法,克服了现有技术中不能对多场景多设备及时进行故障诊断的缺陷。
为达到上述目的,本发明提供如下技术方案:
第一方面,本发明实施例提供一种面向智能故障诊断的可伸缩微服务自适应弹性架构方法,所述架构根据不同的应用目标路径,其层级被划分为:原型层、驱动层、边缘层以及应用层,其中,
原型层,用于根据预设生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能;同时根据故障诊断知识挖掘和自组织工业知识图谱各节点连接的权重梯度,更新迭代预设的知识图谱,生成算法微服务实例动态运行的网络结构原型,动态设定微服务启动流程和优化参数;
驱动层,用于通过统一接口的微服务驱动器和自动化节点调度启动器,完成微服务虚拟容器节点和边缘设备节点的分布式集群管理;
边缘层,用于对边缘设备节点的异常数据进行数据的采集及预处理,同时与云端进行数据通信;
应用层,用于通过开发并编译的预设故障算法程序,完成诊断结果的远程通讯以及边缘设备人机界面交互功能。
可选地,所述智能故障诊断系统还包括:通过EMQX分布式物联网消息平台连接边缘端微服务实例,边缘层向EMQX消息平台发布经预处理过后的数据并将其转发桥接到云端时序数据库,同时边缘层监听并执行云端通过EMQX消息平台下发的指令信息。
可选地,所述根据预设生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能的步骤,包括:
分别为云端和边缘端构建可伸缩的Topic和客户端ID生成协议;
通过所述生成协议对边缘端和云端之间进行交互解耦;
根据生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能。
可选地,所述根据故障诊断知识挖掘和自组织工业知识图谱各节点连接的权重梯度,更新迭代预设的知识图谱,生成算法微服务实例动态运行的网络结构原型,动态设定微服务启动流程和优化参数的步骤,包括:
构造故障诊断知识三元组,所述三元组包括:三元组中的头实体节点,三元组中的尾实体节点,头实体节点和尾实体节点之间的关系向量;
通过分布式表征学习优化方法,进行实体节点之间隐含关系的知识挖掘;
隐含关系经工作人员评估后将其更新迭代到预设的知识图谱之中;
根据故障诊断知识三元组定义评价指标向量,利用模糊层次分析法量化评价指标之间的关系,作为每个评价指标初始化权重,并在之后不同场景用户的实际应用过程中不断迭代节点和连接的指标权重梯度,生成算法微服务实例动态运行的网络结构原型;
根据算法微服务实例动态运行的网络结构原型生成微服务实例,动态设定微服务启动流程和优化参数。
可选地,所述通过统一接口的微服务驱动器和自动化节点调度启动器,完成微服务虚拟容器节点和边缘设备节点的分布式集群管理的内容,包括:
通过解析传入所需驱动微服务的唯一Hash标识,获取微服务的类型和编号信息,分配给该微服务对应的已经提前构造好的启动器,启动器执行对应微服务的镜像打包操作,并为微服务分配对应的网络端口号,根据微服务附属信息生成或添加到多容器编排文件中;
根据其网络端口号以及资源占用情况动态优化其虚拟机启动参数,并调用自动化启动命令脚本,利用预设虚拟容器化技术进行微服务部署启动,使用集群管理工具对微服务虚拟容器节点和边缘设备节点的分布式集群管理。
可选地,所述驱动层还包括:节点调度打分规则,用于根据调度打分函数的计算结果,完成弹性调度各虚拟容器节点的执行状态。
可选地,节点调度打分规则通过以下公式计算:
其中,f(cpu,mem,pro,dist)表示节点调度打分规则函数,cpu表示CPU在当前请求下的负载函数,mem表示内存在当前请求下的占用函数,pro表示当前请求的流程原型函数,dist表示当前请求节点与设备之间的距离,C为控制缩放度,req为当前系统收到的http请求数量。
可选地,容器启动之后,启动器执行对应的守护线程,对微服务虚拟容器进行日志采集和监控,用于开发运维人员定位功能故障和对运行情况的实时观察。
可选地,容器启动之后还包括:自动对微服务虚拟容器发生的异常进行捕获报警,然后将该容器进行自重启并隔离挂起等待开发运维人员排除故障异常。
可选地,所述交互功能包括:用户交互界面、网关路由转发、多租户权限管理、工作流编辑及驱动、数字孪生三维引擎多源异构数据库同步管理以及数据协议桥接转换。
本发明技术方案,具有如下优点:
1.本发明提供的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,通过将网络架构划分为应用层、原型层、驱动层和边缘层,通过动态实时可伸缩的多边缘设备端拓扑网络连接原型,解除了提供数据采集治理的边缘设备节点和提供故障诊断应用的云端节点之间,以及提供应用功能资源服务和提供故障诊断算法支持实例之间的高度耦合关系,实现高度灵活可伸缩的弹性扩展能力。
2.本发明提供的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,通过知识图谱的搭建,对故障诊断知识进行深度挖掘,构建算法微服务实例动态运行的网络结构原型,从而实现故障诊断算法微服务实例结构的生成能力,通过根据用户的使用情况对工业知识图谱的更新迭代操作,逐渐迭代优化知识图谱。
3.本发明提供的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,通过节点调度打分规则有效地管理分布式系统中的资源和负载,并实现负载均衡,将任务分配到最适合处理它们的节点上,确保系统中的每个节点都能够高效地运行,避免出现一些节点资源过载,而另一些节点资源浪费的情况。实现场景化定制化弹性调度各虚拟容器节点的执行状态,提高系统的灵活性、可靠性和稳定性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种面向智能故障诊断的可伸缩微服务自适应弹性架构方法的一个具体示例的模块组成图;
图2为本发明实施例提供的算法微服务实例动态运行网络结构原型生成的框图。
图3为本发明实施例提供的微服务虚拟容器节点和边缘设备节点的分布式集群管理的流程图。
图4为本发明实施例提供的微服务调用的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例
本发明实施例提供的一种面向智能故障诊断的可伸缩微服务自适应弹性架构方法,包括:原型层、驱动层、边缘层以及应用层。其中,原型层主要是动态配置各类边缘设备端和故障诊断算法抽象结构原型的构建服务集合,驱动层主要是实现统一接口的微服务驱动器和自动化节点调度启动器集合,边缘层主要是边缘设备节点的集合以及数据预处理服务集合,应用层主要是各类基于架构的上层应用集合。本发明提供的故障诊断系统根据不同服务的应用目标路径,对软件平台进行合理的架构分层分类,利用“端-边-云”微服务架构进行软件架构可伸缩改造,解除故障诊断软件平台各服务之间的耦合关系,通过构建自组织工业知识图谱进行故障诊断知识挖掘深度挖掘,实现算法微服务实例结构原型设计驱动以及迭代热更新迭代能力,同时场景化定制并弹性调度各微服务虚拟容器节点的执行状态实现了对多场景多设备进行综合智能故障诊断。
原型设计的主要好处之一是在设计过程的早期从将要使用产品的人那里获得反馈。原型可以让设计者在向最终方案投入精力之前调查此项设计和用户体验的方方面面,是一种在互动环境中探索的途径,通常使用软件来对界面进行原型设计并模拟其功能。
在本发明实施例中,如图1所示,自适应网络架构的智能故障诊断系统包括:原型层、驱动层、边缘层以及应用层。原型层,用于根据预设生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能;同时根据故障诊断知识挖掘和自组织工业知识图谱各节点连接的权重梯度,更新迭代预设的知识图谱,生成算法微服务实例动态运行的网络结构原型,动态设定微服务启动流程和优化参数。驱动层,用于通过统一接口的微服务驱动器和自动化节点调度启动器,完成微服务虚拟容器节点和边缘设备节点的分布式集群管理。边缘层,用于对边缘设备节点的异常数据行数据的采集及预处理,同时与云端进行数据通信。应用层,用于通过开发并编译的预设故障算法程序,完成诊断结果的远程通讯以及边缘设备人机界面交互功能。解除了提供数据采集治理的边缘设备节点和提供故障诊断算法知识的云端节点之间的高度耦合关系,实现高度灵活可伸缩的弹性扩展能力,解决了多场景多设备的综合故障诊断的问题。
在本发明实施例中,如图1所示,面向智能故障诊断的可伸缩微服务自适应弹性架构方法,还包括:通过EMQX分布式物联网消息平台连接边缘端微服务实例,边缘层向EMQX消息平台发布经预处理过后的数据并将其转发桥接到云端时序数据库,同时边缘层监听并执行云端通过EMQX消息平台下发的指令信息。
EMQX原生支持分布式集群架构,在保证高可用性、容错性以及可扩展性的同时,能够处理大量客户端和消息。
在本发明实施例中,根据预设生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能的步骤,包括:分别为云端和边缘端构建可伸缩的Topic和客户端ID生成协议;通过所述生成协议对边缘端和云端之间进行交互解耦;根据生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能。通过私有化部署EMQX分布式物联网消息平台以及构建高度灵活可伸缩的topic生成协议,对边缘端和云端之间进行交互解耦,生成动态实时可伸缩的多边缘设备端的拓扑网络连接原型,实现对边缘设备端连接交互流程的定制,以及基于消息队列遥测传输协议(Message Queuing Telemetry Transport,MQTT)的数据双向绑定结构和协议设计
实际中,Topic是消息发布(Pub)者和订阅(Sub)者之间的传输中介。设备可通过Topic实现消息的发送和接收,从而实现服务端与设备端的通信。
在本发明实施例中,涉及的边缘设备端均通过MQTT物联网数据传输协议进行数据指令交互,MQTT可以用极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。首先需要分别为云端和边缘端构建高度灵活可伸缩的Topic和客户端ID生成协议,其构建公式如下:
Topic={PL,PR,ED,"cloud"/“edge”}
IDclient={PL,PR,ED,N,"cloud"/“edge”}
其中,PL表示平台名称,PR表示项目名称,ED表示服务名称,N为边缘端或云端节点编号,"cloud"/“edge”表示云端或边缘端。通过该协议实现对边缘端和云端之间进行交互解耦,即无论是云端还是边缘端均可通过对协议约定好的Topic进行广播或者监听从而实现数据和指令的交互,并通过客户端ID唯一标识消息的发送方和接收方。最后,根据协议生成动态实时可伸缩的多边缘设备端的拓扑网络连接原型,实现多边缘设备端与云端之间连接交互流程的定制,打通了基于MQTT协议的云-边双向绑定(数据上行-指令下发)通道。
在本发明实施例中,根据故障诊断知识挖掘和自组织工业知识图谱各节点连接的权重梯度,更新迭代预设的知识图谱,生成算法微服务实例动态运行的网络结构原型,动态设定微服务启动流程和优化参数的步骤,包括:构造故障诊断知识三元组,三元组包括:三元组中的头实体节点,三元组中的尾实体节点,头实体节点和尾实体节点之间的关系向量;通过分布式表征学习优化方法,进行实体节点之间隐含关系的知识挖掘;隐含关系经工作人员评估后将其更新迭代到预设的知识图谱之中;根据故障诊断知识三元组定义评价指标向量,利用模糊层次分析法量化评价指标之间的关系,作为每个评价指标初始化权重,并在之后不同场景用户的实际应用过程中不断迭代更新节点和连接的指标权重梯度,生成算法微服务实例动态运行的网络结构原型;根据算法微服务实例动态运行的网络结构原型生成微服务实例,动态设定微服务启动流程和优化参数。
在一具体实施例中,如图2所示,从数据获取采集开始,此处数据除了设备数据之外,还有PLC等控制器的状态数据、SCADA系统的报警数据和历史数据、人工填写的故障数据等,仅以此举例,不以此为限,在实际应用中根据实际情况选取相应的数据。
数据结构化处理是将采集到的多源异构数据按照预先定义的标准进行格式化,处理成所需要的结构化数据;实体链接是根据结构化数据生成图结构,并将图结构中的实体节点根据结构化数据进行链接。
本体建模是对图结构中所有节点和链接进行建模,将其以模型的形式进行描述;分布式表征学习的具体实现在文中已经表述清楚了,目标是用来识别设备故障诊断相关的隐式关系信息;“RDBMS、Graph DBMS”分别代表关系型数据库和图结构数据库。
知识推理是就是在已有知识的基础之上,推断出未知的知识的过程,具体过程在右侧的知识挖掘推理中已经体现出来了;低代码故障诊断平台通过获取知识图谱中的故障诊断知识挖掘,从而实现注册算法微服务实例,设定启动流程和优化参数,并最终生成微服务实例的动态运行网络结构;低代码故障诊断平台还负责设备数据采集以及知识表征抽取,并反馈给到实时资源中。
在一具体实施例中,首先通过图结构的方式,实现对故障诊断算法流程的原型设计和知识挖掘。首先定义故障诊断知识三元组G,其定义如下:
G={(h,l,t)}∈{MI×FI×RI×AI}
其中,MI表示设备信息集合,FI表示故障信息集合,RI表示节点之间的关系集合,AI表示算法信息集合,h表示三元组G中的头实体节点,t表示三元组G中的尾实体节点,l表示头实体节点h和尾实体节点t之间的关系向量。
然后,通过分布式表征学习优化方法,进行实体节点之间隐含关系的知识挖掘。首先添加语义权重向量θi∈Rk,Rk为被添加到对应于关系l的头部和尾部实体h和t,于是故障诊断实体节点的知识表征模型如下所示:
其中,是Hadamma乘积运算符,hi和ti由关系li语义下的头部和尾部实体向量表示。为了提高故障诊断知识挖掘实体节点的语义关联精度,基于Mahalanobis距离计算了实体节点的相似度,挖掘故障诊断知识挖掘实体节点之间的隐含关系,据此构造的得分函数如下所示:
其中,fl(h,t)是车间资源数据三元组G的得分函数,而Wl是对应于自适应度量的关系特定对称非负权重矩阵。最后给出优化目标函数如下:
其中,[·]+是其大于0的上界值,γ是正负三元组的最大语义边界区间,||Wl||F是矩阵的F范数,C控制缩放度,λ控制自适应权重矩阵的正则化。由上式可以看出当该式结果最小时对应的头实体节点h和尾实体节点t之间可能具有隐含关系,其隐含关系经工程师评估后将其热更新迭代到工业知识图谱之中。
最后,为故障诊断知识三元组G定义评价指标向量(算法性能、使用频率、采样类型、设备适配度),然后利用模糊层次分析法(FAHP)量化指标之间的关系,为每个评价指标初始化权重,形成明显的层次结构信息,并在之后不同场景用户的实际应用过程之中,不断迭代更新迭代节点和连接的指标权重梯度。最终根据其故障诊断知识挖掘节点和连接的权重梯度,生成场景化算法微服务实例动态运行的网络结构原型,据此注册算法微服务实例,设定启动流程和优化参数。通过对故障诊断算法流程的原型设计和知识挖掘,不断迭代更新故障诊断算法知识节点和连接的指标权重梯度,最终生成场景化算法微服务实例动态运行的网络结构原型,构建故障诊断算法实例流程。
在本发明实施例中,通过统一接口的微服务驱动器和自动化节点调度启动器,完成微服务虚拟容器节点和边缘设备节点的分布式集群管理的内容,包括:通过解析传入所需驱动微服务的唯一Hash标识,获取微服务的类型和编号信息,分配给该微服务对应的已经提前构造好的启动器,启动器执行对应微服务的镜像打包操作,并为微服务分配对应的网络端口号,根据微服务附属信息生成或添加到多容器编排文件中;根据其网络端口号以及资源占用情况动态优化其虚拟机启动参数,并调用自动化启动命令脚本,利用预设虚拟容器化技术进行微服务部署启动,使用集群管理工具对微服务虚拟容器节点和边缘设备节点的分布式集群管理。
在一具体实施例中,如图3所示,首先通过解析传入所需驱动微服务的唯一Hash标识,获取微服务的类型和编号信息,分配给该微服务对应的已经提前构造好的启动器,启动器执行对应微服务的镜像打包操作,根据微服务附属信息生成或添加到多容器编排文件中,并为其分配对应的网络端口号。
根据其I/O以及资源占用情况动态优化其JVM虚拟机启动参数,并调用自动化启动命令脚本,利用Docker虚拟容器化技术进行微服务部署启动,使用集群管理工具完成微服务虚拟容器节点和边缘设备节点的分布式集群管理。
在本发明实施例中,驱动层还包括:节点调度打分规则,用于根据调度打分函数的计算结果,完成弹性调度各虚拟容器节点的执行状态。节点调度打分规则主要用于解决分布式系统中的资源管理和负载均衡问题,其依据主要是节点的实时流量负载和资源占用情况进行打分,然后根据分数高低进行排序优选,但未能考虑到微服务实例本身的执行流程以及原型结构,可能会出现服务节点之间的错配问题。
节点调度打分规则通过以下公式计算:
其中,f(cpu,mem,pro,dist)表示节点调度打分规则函数,cpu表示CPU在当前请求下的负载函数,mem表示内存在当前请求下的占用函数,pro表示当前请求的流程原型函数,dist表示当前请求节点与设备之间的距离,C为控制缩放度,req为当前系统收到的http请求数量。根据调度打分函数的计算结果,实现场景化定制化弹性调度各虚拟容器节点的执行状态。通过融入了架构原型维度以及设备节点距离维度,构造自适应的节点调度打分函数,实现场景化定制化弹性调度各虚拟容器节点的执行状态,避免了边缘设备节点的错误匹配。
在本发明实施例中,容器启动之后,启动器执行对应的守护线程,对微服务容器进行日志采集和监控,方便开发运维人员定位功能故障和对运行情况的实时观察,其主要是通过一个分布式全局唯一的id,将分布在各个服务节点上的同一次请求串联起来,还原调用关系、追踪系统问题、分析调用数据、统计系统指标,实现一种会话级别的监控日志追踪能力。
在一具体实施例中,如图4所示,“请求X”代表用户发起的第X编号http请求;“返回X”代表前端返回给用户的第X编号http响应;A代表前端界面服务;“B、C、D、E”代表用户发起“请求X”后系统中所调用的各个后端和中间件微服务,具体调用什么微服务根据用户实际请求确定,此处仅为示意;RESTful是使用HTTP请求访问和使用数据的应用程序接口(API)的体系结构样式,在此处代表符合该样式的http请求。
在本发明实施例中,容器启动之后还包括:自动对微服务容器发生的异常进行捕获报警,然后将该容器进行自重启并隔离挂起等待开发运维人员排除故障异常。
在本发明实施例中,交互功能包括:用户交互界面、网关路由转发、多租户权限管理、工作流编辑及驱动、数字孪生三维引擎多源异构数据库同步管理以及数据协议桥接转换。在本发明所述架构应用层的基础上可以形成低代码可配置智能故障诊断软件平台,以供用户对故障诊断工作进行高度定制化的交互操作。
本发明实施例中提供的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,将软件架构划分为应用层、原型层、驱动层和边缘层,解除提供数据采集治理的边缘设备节点和提供故障诊断算法知识的云端节点之间的高度耦合关系,实现高度灵活可伸缩的弹性扩展能力。通过实现自组织知识图谱的手段,对故障诊断知识进行深度挖掘,构建故障诊断算法的知识网络,从而实现故障诊断算法微服务实例结构的生成能力,随着用户的使用逐渐迭代优化知识图谱,在多场景多设备时及时进行故障诊断。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,所述架构根据不同的应用目标路径,其层级被划分为:原型层、驱动层、边缘层以及应用层,其中,
原型层,用于根据预设生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能;同时根据故障诊断知识挖掘和自组织工业知识图谱各节点连接的权重梯度,更新迭代预设的知识图谱,生成算法微服务实例动态运行的网络结构原型,动态设定微服务启动流程和优化参数;
驱动层,用于通过统一接口的微服务驱动器和自动化节点调度启动器,完成微服务虚拟容器节点和边缘设备节点的分布式集群管理;
边缘层,用于对边缘设备节点的异常数据进行数据的采集及预处理,同时与云端进行数据通信;
应用层,用于通过开发并编译的预设故障算法程序,完成诊断结果的远程通讯以及边缘设备人机界面交互功能。
2.根据权利要求1所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,所述智能故障诊断系统还包括:通过EMQX分布式物联网消息平台连接边缘端微服务实例,边缘层向EMQX消息平台发布经预处理过后的数据并将其转发桥接到云端时序数据库,同时边缘层监听并执行云端通过EMQX消息平台下发的指令信息。
3.根据权利要求1所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,所述根据预设生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能的步骤,包括:
分别为云端和边缘端构建可伸缩的Topic和客户端ID生成协议;
通过所述生成协议对边缘端和云端之间进行交互解耦;
根据生成协议生成动态实时可伸缩的多边缘设备端拓扑网络连接原型,完成边缘端与云端之间的通信交互功能。
4.根据权利要求1所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,所述根据故障诊断知识挖掘和自组织工业知识图谱各节点连接的权重梯度,更新迭代预设的知识图谱,生成算法微服务实例动态运行的网络结构原型,动态设定微服务启动流程和优化参数的步骤,包括:
构造故障诊断知识三元组,所述三元组包括:三元组中的头实体节点,三元组中的尾实体节点,头实体节点和尾实体节点之间的关系向量;
通过分布式表征学习优化方法,进行实体节点之间隐含关系的知识挖掘;
隐含关系经工作人员评估后将其更新迭代到预设的知识图谱之中;
根据故障诊断知识三元组定义评价指标向量,利用模糊层次分析法量化评价指标之间的关系,作为每个评价指标初始化权重,并在之后不同场景用户的实际应用过程中不断迭代节点和连接的指标权重梯度,生成算法微服务实例动态运行的网络结构原型;
根据算法微服务实例动态运行的网络结构原型生成微服务实例,动态设定微服务启动流程和优化参数。
5.根据权利要求1所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,所述通过统一接口的微服务驱动器和自动化节点调度启动器,完成微服务虚拟容器节点和边缘设备节点的分布式集群管理的内容,包括:
通过解析传入所需驱动微服务的唯一Hash标识,获取微服务的类型和编号信息,分配给该微服务对应的已经提前构造好的启动器,启动器执行对应微服务的镜像打包操作,并为微服务分配对应的网络端口号,根据微服务附属信息生成或添加到多容器编排文件中;
根据其网络端口号以及资源占用情况动态优化其虚拟机启动参数,并调用自动化启动命令脚本,利用预设虚拟容器化技术进行微服务部署启动,使用集群管理工具对微服务虚拟容器节点和边缘设备节点的分布式集群管理。
6.根据权利要求1所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,所述驱动层还包括:节点调度打分规则,用于根据调度打分函数的计算结果,完成弹性调度各虚拟容器节点的执行状态。
7.根据权利要求6所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,节点调度打分规则通过以下公式计算:
其中,f(cpu,mem,pro,dist)表示节点调度打分规则函数,cpu表示CPU在当前请求下的负载函数,mem表示内存在当前请求下的占用函数,pro表示当前请求的流程原型函数,dist表示当前请求节点与设备之间的距离,C为控制缩放度,req为当前系统收到的http请求数量。
8.根据权利要求5所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,容器启动之后,启动器执行对应的守护线程,对微服务虚拟容器进行日志采集和监控,用于开发运维人员定位功能故障和对运行情况的实时观察。
9.根据权利要求8所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,容器启动之后还包括:自动对微服务虚拟容器发生的异常进行捕获报警,然后将该容器进行自重启并隔离挂起等待开发运维人员排除故障异常。
10.根据权利要求1所述的面向智能故障诊断的可伸缩微服务自适应弹性架构方法,其特征在于,所述交互功能包括:用户交互界面、网关路由转发、多租户权限管理、工作流编辑及驱动、数字孪生三维引擎、多源异构数据库同步管理以及数据协议桥接转换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310802843.2A CN117094696A (zh) | 2023-07-03 | 2023-07-03 | 面向智能故障诊断的可伸缩微服务自适应弹性架构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310802843.2A CN117094696A (zh) | 2023-07-03 | 2023-07-03 | 面向智能故障诊断的可伸缩微服务自适应弹性架构方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117094696A true CN117094696A (zh) | 2023-11-21 |
Family
ID=88778513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310802843.2A Pending CN117094696A (zh) | 2023-07-03 | 2023-07-03 | 面向智能故障诊断的可伸缩微服务自适应弹性架构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117094696A (zh) |
-
2023
- 2023-07-03 CN CN202310802843.2A patent/CN117094696A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10255085B1 (en) | Interactive graphical user interface with override guidance | |
WO2017036244A1 (zh) | 配电网数字仿真系统 | |
Tang et al. | Using autonomous intelligence to build a smart shop floor | |
CN114640581B (zh) | 一种基于数字孪生的算力网络处理方法及装置 | |
CN114169579B (zh) | 核电工业互联网综合智能平台系统 | |
KR102508817B1 (ko) | 메시지 전송 버스를 이용한 고가용성 배전 지능화 시스템 | |
CN112804362B (zh) | 分散数据微服务自动化运维体系 | |
CN111654488B (zh) | “三站合一”变电站及感知终端信息接入方法 | |
CN113516331A (zh) | 一种建筑数据处理方法及装置 | |
Xiao et al. | A hybrid task crash recovery solution for edge computing in IoT-based manufacturing | |
CN111125450A (zh) | 一种多层拓扑网络资源对象的管理方法 | |
CN111077851A (zh) | 一种基于气相色谱雾计算框架的化工过程故障诊断系统 | |
Prist et al. | Cyber-physical manufacturing systems: An architecture for sensor integration, production line simulation and cloud services | |
Wörn et al. | Diamond: distributed multi-agent architecture for monitoring and diagnosis | |
Taneja et al. | Predictive analytics on IoT | |
CN117094696A (zh) | 面向智能故障诊断的可伸缩微服务自适应弹性架构方法 | |
JP5809743B2 (ja) | 分散システムにおける異種システムデータ提供方法 | |
CN115439015A (zh) | 基于数据中台的局域电网数据管理方法、装置及设备 | |
CN110515716A (zh) | 一种支持优先级和反亲和的云优化调度方法及系统 | |
CN113824801B (zh) | 一种智能融合终端统一接入管理组件系统 | |
CN114756301A (zh) | 日志处理方法、装置和系统 | |
CN114567568A (zh) | 基于边缘计算的电力物联网数据处理方法和装置 | |
CN114757448A (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
CN114138532A (zh) | 一种基于项目方案仿真软件架构设计的远程故障诊断系统 | |
CN115374101A (zh) | 轨道交通站段级数据管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |