CN112149607A - 基于贝叶斯算法的远程智能运维方法 - Google Patents

基于贝叶斯算法的远程智能运维方法 Download PDF

Info

Publication number
CN112149607A
CN112149607A CN202011068977.9A CN202011068977A CN112149607A CN 112149607 A CN112149607 A CN 112149607A CN 202011068977 A CN202011068977 A CN 202011068977A CN 112149607 A CN112149607 A CN 112149607A
Authority
CN
China
Prior art keywords
maintenance
network
probability
bayesian
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011068977.9A
Other languages
English (en)
Other versions
CN112149607B (zh
Inventor
刘振泽
温泉
徐北辰
王可
李沁哲
何敬宇
王成喜
孙吉
梁亮
程丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202011068977.9A priority Critical patent/CN112149607B/zh
Publication of CN112149607A publication Critical patent/CN112149607A/zh
Application granted granted Critical
Publication of CN112149607B publication Critical patent/CN112149607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及一种基于贝叶斯算法的远程智能运维方法,属于远程运维方法。包括二维码识别、数据库调取动作信息、采集信息、手部特征信息碰撞检测、贝叶斯计算数据库匹配综合判断、搭建贝叶斯网络,贝叶斯网络的参数学习、贝叶斯网络的结构学习、贝叶斯网络的推断方式,远程实时比对数据库存储的动作信息。优点是解决了远程运维环境下现场环节缺失以及运维信息交互不便的缺点,提高了针对复杂动作判断的准确性,大大提高远程自动运维的交互效率,不仅可提高用户的体验感,对于运维人员也将增加工作的成就感和乐趣。

Description

基于贝叶斯算法的远程智能运维方法
技术领域
本发明涉及一种远程运维方法,尤其是指一种基于贝叶斯算法的远程智能运维方法。
背景技术
现今各种前沿技术层出不穷,使得大多数行业的运维工作面临越来越大的挑战。尤其是现场运维面临着更为严格的要求,为此,需要实现智能可靠的现场运维,满足运维作业标准化、运维支撑手段智能化、运维管理精细化和科学化等需求。
但是,现有的运维管理模式缺乏实时的运维数据交互方法,现场运维作业决策和执行过程中存在现场环节缺失和运维信息交互不便的问题,导致现场运维作业效率低和运维作业质量无法保证。另一方面,现场运维作业多由专业人员进行本专业的运维实施,运维作业只能依赖个人经验和本地信息,因此,运维作业质量由作业人员自身素质高低决定,运维作业人员缺少技术专家或辅助系统的实时指导,经常因人为失误而造成损失。
中国专利公开号108509026A,名称为“基于增强交互方式的远程维修支持系统及方法”的发明专利,公开了一种基于增强交互方式的远程维修支持系统及方法,用于解决现有技术中存在的指导信息准确性差和维修支持率低的技术问题。实现步骤为:设置专家手势数据的获取参数;手势动作捕捉识别模块获取手势数据;设置手势动作恢复识别参数;手势动作捕捉识别模块识别手势动作并输出;坐标融合计算模块计算手势位置坐标。该发明虽然提高了远程维修支持的效率,解决了专家指导自然的问题,但仍存在以下不足:提供的手势动作捕捉识别模块获取远程专家手势动作数据,只计算了每一组特征数据的手部速度以构成有效特征向量数据组集合,界定标准片面且没有明确具体计算方法,实际操作困难。
发明内容
本发明提供一种基于贝叶斯算法的远程智能运维方法,以解决目前存在的实际操作困难的问题。
本发明采取的技术方案是:包括下列步骤:
(一)二维码识别、数据库调取动作信息
运维人员通过扫描运维目标上的二维码读取二维码操作识别标志,进而连接到装有该运维目标装配及拆卸信息的远端运维动作数据库,从数据库中读取该运维目标的相关信息;
(二)多角度摄像头采集信息
通过多角度摄像头,利用基于骨架关键点的立体匹配方法,首先对人体进行骨架及轮廓的提取,然后在骨架上进行端点检测,定义每个端点邻域内轮廓曲线上曲率最大值对应的点为关键点,运用极限约束和归一化互相关匹配准则算法来进行图像区域内关键点的匹配,得到关键点视差值,从而得到个点在真实场景中的位置关系,进而采集运维人员手部特征信息;
(三)手部特征信息碰撞检测
在对人体行为进行正确识别的基础上,我们采用基于圆形的碰撞检测来对手部特征信息进行碰撞检测,首先对运维人员手部区域生成一个数字包络,该包络含有其手部的主要信息,包括质心坐标以及边界值等,然后对运维人员手部进行两两交叉碰撞检测,判定运维人员手部是否碰撞运维目标,以此实现对运维人员手部的建立、移动等操作;
(四)贝叶斯计算数据库匹配综合判断
在本地计算机中植入贝叶斯网络能够将运维过程中的各类变量之间的关系紧密地连接起来并加以图形化,进而处理大量不确定性的信息,同时这种基于概率论的网络能够获取一定的先验知识,无需进行大量的重复工作便能获取相当数量的可靠结论,对于一些不确定的动作施加概率上的判断,减少误判的概率且能引导用户做出一般情况下正确的动作;另外,该网络通过一定的训练可以获得方法中的最优解,能更加快速地帮助用户锁定合适的动作;
贝叶斯网络是围绕着一组变量而搭建的,变量取自于人体手部动作的参数,为该网络的输入,这样的变量需要通过前期的人工观察推算来获得,并存放进运维动作数据库以备调用,将数据库中的这些数据导入贝叶斯网络中就可以形成关于某个动作的关节角的标准联合概率分布;
对数据库内的值进行参数设定,设六大基础动作,挤压为A1、转动为A2、被弹开为A3、掉落为A4、摇晃为A5、举起为A6,设肩部外展关节角的概率为θ1、肩部前伸关节角的概率为θ2、肘关节角的概率为θ3、腕关节角的概率为θ4,以运维动作数据库中的某一个动作A为例,A=(θ1,θ2,θ3,θ4...),θi代表做出该动作时手部各个部位的关节角度大小,关于这组变量需要一个表示变量的条件独立断言的网络结构M来对应这些变量,即一个有向无环图,该图架构起了贝叶斯网络的基本框架;
(五)搭建一个完整的贝叶斯网络;包括下列步骤:
(1)、确定建模所需的变量及其解释,包括:①确定模型目标;②确定可能的观测值并筛选出建模所需的子集;③利用变量组成互不相容且穷尽所有状态的变量;即是在准备阶段,预先观测手部处于做出某个动作的情况下各个关节角可能的值,以及不同位置的关节角之间的关系,从而得到一组经验性的概率值,这里称之为先验概率组;
(2)、建立有向无环图。该图中每一个节点及其对应的变量可用θi表示,其父节点可用pθi表示,而这些变量均是在前一个步骤中获取的,现在利用这些数据进行网络基本结构的搭建,θ的联合概率分布表示为:
由概率论可知:
Figure BDA0002714558510000031
对于每个变量θi,如果有某个子集∏i∈{θ1,θ2,...,θi-1}使θi与{θ1,θ2,...,θi-1}\Πi条件独立,即对任意的θi满足:
p(θ1i,θ2,...,θi-1)=p(θii) (i=1,2,...,n) (2)
由(1)(2)可得
Figure BDA0002714558510000032
故确定贝叶斯网络的结构时需要将变量θi以一定顺序排列,且同时还要确定满足(3)式的变量集Πi(i=1,2,...,n),若使用数据库中的数据进行计算,则(3)式得到标准联合概率分布;
(3)、设置局部概率分布:需要基于经验预估出一个关节角处于不同角度的概率对另一个关节角的影响,也就是条件概率分布p(θi|pθi),并把这一分布赋给父节点pθi,此条件概率分布已在步骤(1)中准备好,这一概率将原本无关联的关节角联系在了有向无环图中,从而建立起基本的贝叶斯网络的框架;
(六)、贝叶斯网络的参数学习:贝叶斯网络的参数学习采用贝叶斯估计法作为学习方法,该方法认为用户所需要的新的变量和已有的数据都满足于同一种概率分布,在已有的数据量较少的情况下可以通过人为给定这种分布从而得到新参的具体形式;
(七)、贝叶斯网络的结构学习:结构学习可以参考三种方法:K2评分算法、基于禁忌搜索的贝叶斯网结构学习算法和基于独立性测试和蚁群优化的结构学习算法,它们都能在网络结构发生改变的情况下计算出网络结构的最新、最优解,从而将旧有的网络进行结构上的更新;
(八)、贝叶斯网络的推断方式:在建立好完整的贝叶斯网络的情况下,为了判断用户的动作是否合理,需要网络来进行判断,用户在做出动作时的关节角可以测得,这些已知参数导入贝叶斯网络后,可以作为证据E保留在网络中,可以根据贝叶斯网络推断的规则,来得到未知参数X的概率分布P(X=xi|E)(i=1,2,3......),由此推理出的未知参数的估计值
Figure BDA0002714558510000041
即为随机变量X的期望,另外定义一个评价动作性能的指标Q,这个指标Q的大小趋势和所有关节角的联合概率分布趋势是一致的,也就是说这项指标的大小决定了用户整体动作的合理性,当用户的动作被摄像头捕捉时,获取的是所有关节角的值,但是Q值的大小未知,此时便可以利用贝叶斯推断来得到Q值的估计值,从而知晓动作的合理程度;
(九)远程实时比对数据库存储的动作信息
经过贝叶斯公式的综合判断,如果系统判定人手部已经达到正确的初始位置,则按顺序进行对应T的基础动作,运维对象二维码对应的运维动作数据库的内部数据如下:
Figure BDA0002714558510000042
其中Si表示第i个运维数据库,Tn表示运维动作的主键,A0表示运维动作T开始时人体手部的位置,θ1、θ2、θ3、θ4分别表示A0状态的肩部外展关节角、肩部前伸关节角、肘关节角,腕关节角对应角度的概率,A0后的Am,m∈[1,6]为基础动作数据库中的基础动作;
假如此时人体手部及臂部动作的角度分别符合,符合T2中A0状态θ1、θ2、θ3、θ4值,此时网络中对应动作所有节点的联合概率密度将达到一个极大值,由于Q与此概率密度同步,二者均会处于一个极大值的状态,那么系统会判断此时人做出的动作为合理。
本发明将人体手部的关节角一一与贝叶斯网络中的节点相对应,通过多角度摄像头采集六个基本运维动作放在远端运维数据库中,并将这些基本动作的关节角的概率密度赋给网络中对应的节点。通过网络参数和结构的学习,可以获得一个完整的贝叶斯网络。
当现场运维人员不清楚机器的运维操作顺序时,我们希望能够提示现场运维人员运维方法,这样的话需要判断现场运维人员行为动作的信息,为了达到这一目的我们采用贝叶斯网络来判断现场运维人员的动作。运维人员通过穿戴带有摄像头的头盔扫描运维目标上的二维码读取二维码操作识别标志,进而连接到装有该运维目标装配及拆卸信息的远端数据库,从数据库中读取该运维目标的信息。当现场运维人员做出相应的动作时,利用多角度摄像头采集的现场运维人员的动作特征信息,通过贝叶斯网络计算出现场运维人员当前做出某个动作的合理性,即Q的值大小。根据这个值的大小,运维人员可以做出进一步的调整。
本发明优点是在运维终端集成当前人机交互领域前沿成果、即智能触觉终端设备,并针对智能运维业务特点设计触觉特征提取及触发算法,同时配合相应的虚拟现实技术,在手势动作识别的时候加入了贝叶斯网络的环节,利用该网络的条件概率的性质对动作是否符合要求进行评分,以给用户更加直观的反馈。运维人员的动作信息通过多角度摄像头进行特征数据的采集,利用贝叶斯网络,将采集的特征数据与远端运维数据库中预动作A0进行匹配计算,利用贝叶斯网络算出的Q值来判断这个动作是否符合标准,解决了远程运维环境下现场环节缺失以及运维信息交互不便的缺点,提高了针对复杂动作判断的准确性,大大提高远程自动运维的交互效率,不仅可提高用户的体验感,对于运维人员也将增加工作的成就感和乐趣。
附图说明
图1是基础数据库内六大基础动作演示图:
基础数据库中保存六大基础动作:挤压为A1、转动为A2、被弹开为A3、掉落为A4、摇晃为A5、举起为A6
图2基于贝叶斯算法的远程智能运维方法框图。
具体实施方式
包括下列步骤:
(一)二维码识别、数据库调取动作信息
运维人员通过扫描运维目标上的二维码读取二维码操作识别标志,进而连接到装有该运维目标装配及拆卸信息的远端运维动作数据库,从数据库中读取该运维目标的相关信息;
(二)多角度摄像头采集信息
通过多角度摄像头,利用基于骨架关键点的立体匹配方法,首先对人体进行骨架及轮廓的提取,然后在骨架上进行端点检测,定义每个端点邻域内轮廓曲线上曲率最大值对应的点为关键点,运用极限约束和归一化互相关匹配准则算法来进行图像区域内关键点的匹配,得到关键点视差值,从而得到个点在真实场景中的位置关系,进而采集运维人员手部特征信息;
(三)手部特征信息碰撞检测
在对人体行为进行正确识别的基础上,我们采用基于圆形的碰撞检测来对手部特征信息进行碰撞检测,首先对运维人员手部区域生成一个数字包络,该包络含有其手部的主要信息,包括质心坐标以及边界值等,然后对运维人员手部进行两两交叉碰撞检测,判定运维人员手部是否碰撞运维目标,以此实现对运维人员手部的建立、移动等操作;
(四)贝叶斯计算数据库匹配综合判断
在本地计算机中植入贝叶斯网络能够将运维过程中的各类变量之间的关系紧密地连接起来并加以图形化,进而处理大量不确定性的信息,同时这种基于概率论的网络能够获取一定的先验知识,无需进行大量的重复工作便能获取相当数量的可靠结论,将贝叶斯网络引入运维系统能够大大提高运维的成功率,对于一些不确定的动作施加概率上的判断,减少误判的概率且能引导用户做出一般情况下正确的动作;另外,该网络通过一定的训练可以获得方法中的最优解,能更加快速地帮助用户锁定合适的动作;
贝叶斯网络是围绕着一组变量而搭建的,变量取自于人体手部动作的参数,为该网络的输入,这样的变量需要通过前期的人工观察推算来获得,并存放进运维动作数据库以备调用,将数据库中的这些数据导入贝叶斯网络中就可以形成关于某个动作的关节角的标准联合概率分布;
对数据库内的值进行参数设定,设六大基础动作,挤压为A1、转动为A2、被弹开为A3、掉落为A4、摇晃为A5、举起为A6,设肩部外展关节角的概率为θ1、肩部前伸关节角的概率为θ2、肘关节角的概率为θ3、腕关节角的概率为θ4,以运维动作数据库中的某一个动作A为例,A=(θ1,θ2,θ3,θ4...),θi代表做出该动作时手部各个部位的关节角度大小,关于这组变量需要一个表示变量的条件独立断言的网络结构M来对应这些变量,即一个有向无环图,该图架构起了贝叶斯网络的基本框架;
(五)搭建一个完整的贝叶斯网络;包括下列步骤:
(1)、确定建模所需的变量及其解释,包括:①确定模型目标;②确定可能的观测值并筛选出建模所需的子集;③利用变量组成互不相容且穷尽所有状态的变量;即是在准备阶段,预先观测手部处于做出某个动作的情况下各个关节角可能的值,以及不同位置的关节角之间的关系,从而得到一组经验性的概率值,这里称之为先验概率组;
(2)、建立有向无环图。该图中每一个节点及其对应的变量可用θi表示,其父节点可用pθi表示,而这些变量均是在前一个步骤中获取的,现在利用这些数据进行网络基本结构的搭建,θ的联合概率分布表示为:
由概率论可知:
Figure BDA0002714558510000071
对于每个变量θi,如果有某个子集∏i∈{θ1,θ2,...,θi-1}使θi与{θ1,θ2,...,θi-1}\Πi条件独立,即对任意的θi满足:
p(θ1i,θ2,...,θi-1)=p(θii) (i=1,2,...,n) (2)
由(1)(2)可得
Figure BDA0002714558510000072
故确定贝叶斯网络的结构时需要将变量θi以一定顺序排列,且同时还要确定满足(3)式的变量集Πi(i=1,2,...,n),若使用数据库中的数据进行计算,则(3)式得到标准联合概率分布;
(3)、设置局部概率分布:需要基于经验预估出一个关节角处于不同角度的概率对另一个关节角的影响,也就是条件概率分布p(θi|pθi),并把这一分布赋给父节点pθi,此条件概率分布已在步骤(1)中准备好,这一概率将原本无关联的关节角联系在了有向无环图中,从而建立起基本的贝叶斯网络的框架;
(以上的三个步骤确定了A的联合概率分布函数,但步骤顺序无需严格遵守,因为网络的搭建往往基于经验与各类公式。)
以上便是搭建一个满足用户基本需求的贝叶斯网络的过程,但是现实情况往往是数据集处于一种不断更新扩充的状态,原有的网络并不能满足对一组时刻更新变量的概率判断,亦或是用户做出和标准动作不一样的手部动作,却能够达到标准动作的效果,但是这样的数据并未在数据库中被记录,因此运维系统中还需要引入贝叶斯网络学习,即由先验贝叶斯网络与新的数据相结合,从而得到后验贝叶斯网络的过程。该过程涉及到网络的参数学习和结构学习,可以帮助这个网络进行不断地自我完善以满足更加丰富的需求,故引申出步骤六和步骤七。
(六)、贝叶斯网络的参数学习:贝叶斯网络的参数学习采用贝叶斯估计法作为学习方法,该方法认为用户所需要的新的变量和已有的数据都满足于同一种概率分布,在已有的数据量较少的情况下可以通过人为给定这种分布从而得到新参的具体形式;
(七)、贝叶斯网络的结构学习:结构学习可以参考三种方法:K2评分算法、基于禁忌搜索的贝叶斯网结构学习算法和基于独立性测试和蚁群优化的结构学习算法,它们都能在网络结构发生改变的情况下计算出网络结构的最新、最优解,从而将旧有的网络进行结构上的更新;
加入参数学习和结构学习之后,贝叶斯网络便能够趋于稳定和完整。
(八)、贝叶斯网络的推断方式:在建立好完整的贝叶斯网络的情况下,为了判断用户的动作是否合理,需要网络来进行判断,用户在做出动作时的关节角可以测得,这些已知参数导入贝叶斯网络后,可以作为证据E保留在网络中,可以根据贝叶斯网络推断的规则,来得到未知参数X的概率分布P(X=xi|E)(i=1,2,3......),由此推理出的未知参数的估计值
Figure BDA0002714558510000081
即为随机变量X的期望,另外定义一个评价动作性能的指标Q,这个指标Q的大小趋势和所有关节角的联合概率分布趋势是一致的,也就是说这项指标的大小决定了用户整体动作的合理性,当用户的动作被摄像头捕捉时,获取的是所有关节角的值,但是Q值的大小未知,此时便可以利用贝叶斯推断来得到Q值的估计值,从而知晓动作的合理程度;
(九)远程实时比对数据库存储的动作信息
经过贝叶斯公式的综合判断,如果系统判定人手部已经达到正确的初始位置,则按顺序进行对应T的基础动作,运维对象二维码对应的运维动作数据库的内部数据如下:
Figure BDA0002714558510000091
其中Si表示第i个运维数据库,Tn表示运维动作的主键,A0表示运维动作T开始时人体手部的位置,θ1、θ2、θ3、θ4分别表示A0状态的肩部外展关节角、肩部前伸关节角、肘关节角,腕关节角对应角度的概率,A0后的Am,m∈[1,6]为基础动作数据库中的基础动作;
假如此时人体手部及臂部动作的角度分别符合,符合T2中A0状态θ1、θ2、θ3、θ4值,此时网络中对应动作所有节点的联合概率密度将达到一个极大值,由于Q与此概率密度同步,二者均会处于一个极大值的状态,那么系统会判断此时人做出的动作为合理。
综上,本发明在现场运维时通过扫描设备上的二维码,从基础动作数据库和运维动作数据库中获取运维目标的运维信息,通过多角度摄像头采集六个基本运维动作放在远端运维数据库中,并将这些基本动作的关节角的概率密度赋给网络中对应的节点,通过网络参数和结构的学习,可以获得一个完整的贝叶斯网络,利用该网络条件概率的性质对动作是否符合要求进行评分,以给用户更加直观的反馈,实现信息交互和运维操作的同步化,使得现场运维作业更精确、更可控。
为实现这种基于贝叶斯算法的远程智能运维方法设计了两个数据库,分别为基础动作数据库和运维动作数据库。其中基础动作数据库内含六大基础动作,分别为挤压、转动、被弹开、掉落、摇晃和举起,并保存了实现每种基础动作的肩部外展关节角、肩部前伸关节角、肘关节角和腕关节角的范围值。运维动作数据库内存放运维动作开始时人体手部的初始位置,初始位置对应的关节角度的概率,以及接下来的基础动作。
对于多角度摄像头采集视频信息这一部分,文献《基于双目立体视觉的人体动作分析研究》(丁明月.青岛大学,2018)提出了解决方案,利用基于骨架关键点的立体匹配方法,首先对人体进行骨架及轮廓的提取,然后在骨架上进行端点检测,定义每个端点邻域内轮廓曲线上曲率最大值对应的点为关键点,运用极限约束和归一化互相关匹配准则算法来进行图像区域内关键点的匹配,得到关键点视差值,从而得到个点在真实场景中的位置关系,进而实现对人体的动作分析。
对于手部特征信息碰撞检测这一部分,文献《基于Kinect行为识别技术的体感辅助形体交互模式研究与实现》(樊晨霄.2017.6)提出了解决方案,采用基于圆形的碰撞检测,在对人体行为进行正确识别的基础上,首先对运维人员手部区域生成一个数字包络,该包络含有其手部的主要信息,包括质心坐标以及边界值等。然后算法对运维人员手部进行两两交叉碰撞检测,以判定运维人员手部是否碰撞运维目标,以此实现对运维人员手部的建立、移动等操作。在此基础上我们也尝试对碰撞检测算法进行改进,减小整个系统的硬件代价。
在手势动作识别方面应用最多的主要是统计识别、模糊识别和人工神经网络识别。其中人工神经网络识别因为其具有独特的优势而被广泛应用,且效果较好。其中BP神经网络作为手势识别的分类器有效的区分不同运动模式,感知器分类器对少数动作的手势的识别也取得了较好的成绩,Pi-Sigma网络以通过小波变换提取的信号特征作为输入,不仅识别训练时间短而且具有良好的鲁棒性,但是这些方法在识别准确率上还有提高的空间,对此,我们提出贝叶斯算法,利用多角度摄像头采集的现场运维人员的动作特征信息,通过贝叶斯网络计算出现场运维人员当前做出某个动作的合理性,即Q的值大小。根据这个值的大小,运维人员可以做出进一步的调整,这样大大提高了手势识别的准确性。

Claims (2)

1.一种基于贝叶斯算法的远程智能运维方法,其特征在于,包括下列步骤:
(一)二维码识别、数据库调取动作信息
运维人员通过扫描运维目标上的二维码读取二维码操作识别标志,进而连接到装有该运维目标装配及拆卸信息的远端运维动作数据库,从数据库中读取该运维目标的相关信息;
(二)多角度摄像头采集信息
通过多角度摄像头,利用基于骨架关键点的立体匹配方法,首先对人体进行骨架及轮廓的提取,然后在骨架上进行端点检测,定义每个端点邻域内轮廓曲线上曲率最大值对应的点为关键点,运用极限约束和归一化互相关匹配准则算法来进行图像区域内关键点的匹配,得到关键点视差值,从而得到个点在真实场景中的位置关系,进而采集运维人员手部特征信息;
(三)手部特征信息碰撞检测
在对人体行为进行正确识别的基础上,我们采用基于圆形的碰撞检测来对手部特征信息进行碰撞检测,首先对运维人员手部区域生成一个数字包络,该包络含有其手部的主要信息,包括质心坐标以及边界值等,然后对运维人员手部进行两两交叉碰撞检测,判定运维人员手部是否碰撞运维目标,以此实现对运维人员手部的建立、移动等操作;
(四)贝叶斯计算数据库匹配综合判断
在本地计算机中植入贝叶斯网络能够将运维过程中的各类变量之间的关系紧密地连接起来并加以图形化,进而处理大量不确定性的信息,同时这种基于概率论的网络能够获取一定的先验知识,无需进行大量的重复工作便能获取相当数量的可靠结论,对于一些不确定的动作施加概率上的判断,减少误判的概率且能引导用户做出一般情况下正确的动作;另外,该网络通过一定的训练可以获得方法中的最优解,能更加快速地帮助用户锁定合适的动作;
贝叶斯网络是围绕着一组变量而搭建的,变量取自于人体手部动作的参数,为该网络的输入,这样的变量需要通过前期的人工观察推算来获得,并存放进运维动作数据库以备调用,将数据库中的这些数据导入贝叶斯网络中就可以形成关于某个动作的关节角的标准联合概率分布;
对数据库内的值进行参数设定,设六大基础动作,挤压为A1、转动为A2、被弹开为A3、掉落为A4、摇晃为A5、举起为A6,设肩部外展关节角的概率为θ1、肩部前伸关节角的概率为θ2、肘关节角的概率为θ3、腕关节角的概率为θ4,以运维动作数据库中的某一个动作A为例,A=(θ1,θ2,θ3,θ4...),θi代表做出该动作时手部各个部位的关节角度大小,关于这组变量需要一个表示变量的条件独立断言的网络结构M来对应这些变量,即一个有向无环图,该图架构起了贝叶斯网络的基本框架;
(五)搭建一个完整的贝叶斯网络;
(六)、贝叶斯网络的参数学习:贝叶斯网络的参数学习采用贝叶斯估计法作为学习方法,该方法认为用户所需要的新的变量和已有的数据都满足于同一种概率分布,在已有的数据量较少的情况下可以通过人为给定这种分布从而得到新参的具体形式;
(七)、贝叶斯网络的结构学习:结构学习可以参考三种方法:K2评分算法、基于禁忌搜索的贝叶斯网结构学习算法和基于独立性测试和蚁群优化的结构学习算法,它们都能在网络结构发生改变的情况下计算出网络结构的最新、最优解,从而将旧有的网络进行结构上的更新;
(八)、贝叶斯网络的推断方式:在建立好完整的贝叶斯网络的情况下,为了判断用户的动作是否合理,需要网络来进行判断,用户在做出动作时的关节角可以测得,这些已知参数导入贝叶斯网络后,可以作为证据E保留在网络中,可以根据贝叶斯网络推断的规则,来得到未知参数X的概率分布P(X=xi|E)(i=1,2,3......),由此推理出的未知参数的估计值
Figure FDA0002714558500000021
即为随机变量X的期望,另外定义一个评价动作性能的指标Q,这个指标Q的大小趋势和所有关节角的联合概率分布趋势是一致的,也就是说这项指标的大小决定了用户整体动作的合理性,当用户的动作被摄像头捕捉时,获取的是所有关节角的值,但是Q值的大小未知,此时便可以利用贝叶斯推断来得到Q值的估计值,从而知晓动作的合理程度;
(九)远程实时比对数据库存储的动作信息
经过贝叶斯公式的综合判断,如果系统判定人手部已经达到正确的初始位置,则按顺序进行对应T的基础动作,运维对象二维码对应的运维动作数据库的内部数据如下:
Figure FDA0002714558500000022
其中Si表示第i个运维数据库,Tn表示运维动作的主键,A0表示运维动作T开始时人体手部的位置,θ1、θ2、θ3、θ4分别表示A0状态的肩部外展关节角、肩部前伸关节角、肘关节角,腕关节角对应角度的概率,A0后的Am,m∈[1,6]为基础动作数据库中的基础动作;
假如此时人体手部及臂部动作的角度分别符合,符合T2中A0状态θ1、θ2、θ3、θ4值,此时网络中对应动作所有节点的联合概率密度将达到一个极大值,由于Q与此概率密度同步,二者均会处于一个极大值的状态,那么系统会判断此时人做出的动作为合理。
2.根据权利要求1所述的一种基于贝叶斯算法的远程智能运维方法,其特征在于,所述步骤(五)搭建一个完整的贝叶斯网络,包括下列步骤:
(1)、确定建模所需的变量及其解释,包括:①确定模型目标;②确定可能的观测值并筛选出建模所需的子集;③利用变量组成互不相容且穷尽所有状态的变量;即是在准备阶段,预先观测手部处于做出某个动作的情况下各个关节角可能的值,以及不同位置的关节角之间的关系,从而得到一组经验性的概率值,这里称之为先验概率组;
(2)、建立有向无环图:该图中每一个节点及其对应的变量可用θi表示,其父节点可用pθi表示,而这些变量均是在前一个步骤中获取的,现在利用这些数据进行网络基本结构的搭建,θ的联合概率分布表示为:
由概率论可知:
Figure FDA0002714558500000031
对于每个变量θi,如果有某个子集Πi∈{θ1,θ2,...,θi-1}使θi与{θ1,θ2,...,θi-1}\Πi条件独立,即对任意的θi满足:
p(θ1i,θ2,...,θi-1)=p(θii)(i=1,2,...,n) (2)
由(1)(2)可得
Figure FDA0002714558500000032
故确定贝叶斯网络的结构时需要将变量θi以一定顺序排列,且同时还要确定满足(3)式的变量集Πi(i=1,2,...,n),若使用数据库中的数据进行计算,则(3)式得到标准联合概率分布;
(3)、设置局部概率分布:需要基于经验预估出一个关节角处于不同角度的概率对另一个关节角的影响,也就是条件概率分布p(θi|pθi),并把这一分布赋给父节点pθi,此条件概率分布已在步骤(1)中准备好,这一概率将原本无关联的关节角联系在了有向无环图中,从而建立起基本的贝叶斯网络的框架。
CN202011068977.9A 2020-10-08 2020-10-08 基于贝叶斯算法的远程智能运维方法 Active CN112149607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011068977.9A CN112149607B (zh) 2020-10-08 2020-10-08 基于贝叶斯算法的远程智能运维方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011068977.9A CN112149607B (zh) 2020-10-08 2020-10-08 基于贝叶斯算法的远程智能运维方法

Publications (2)

Publication Number Publication Date
CN112149607A true CN112149607A (zh) 2020-12-29
CN112149607B CN112149607B (zh) 2022-08-16

Family

ID=73952519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011068977.9A Active CN112149607B (zh) 2020-10-08 2020-10-08 基于贝叶斯算法的远程智能运维方法

Country Status (1)

Country Link
CN (1) CN112149607B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408459A (zh) * 2021-06-29 2021-09-17 吉林大学 基于贝叶斯定理的车辆多模态交互方法
CN113421176A (zh) * 2021-07-16 2021-09-21 昆明学院 一种异常数据智能筛选方法
CN117830961A (zh) * 2024-03-06 2024-04-05 山东达斯特信息技术有限公司 一种基于图像分析的环保设备运维行为分析方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166260A1 (en) * 2008-12-25 2010-07-01 Ching-Chun Huang Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor
CN105005769A (zh) * 2015-07-08 2015-10-28 山东大学 一种基于深度信息的手语识别方法
CN105354532A (zh) * 2015-09-25 2016-02-24 天津大学 一种基于手部运动帧数据的手势识别方法
CN106326585A (zh) * 2016-08-29 2017-01-11 东软集团股份有限公司 基于贝叶斯网络推理的预测分析方法以及装置
CN106600127A (zh) * 2016-12-06 2017-04-26 贵州电网有限责任公司电力科学研究院 一种基于贝叶斯网络可靠性修正模型的继电保护系统风险评估方法
CN107103000A (zh) * 2016-02-23 2017-08-29 广州启法信息科技有限公司 一种基于关联规则与贝叶斯网络集成的推荐技术
CN109886434A (zh) * 2019-02-21 2019-06-14 上海智辉自动化科技有限公司 一种智能钻井平台维护保养系统及方法
CN111309928A (zh) * 2020-02-21 2020-06-19 广东电网有限责任公司 一种基于贝叶斯和语义分析的运维知识库构建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166260A1 (en) * 2008-12-25 2010-07-01 Ching-Chun Huang Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor
CN105005769A (zh) * 2015-07-08 2015-10-28 山东大学 一种基于深度信息的手语识别方法
CN105354532A (zh) * 2015-09-25 2016-02-24 天津大学 一种基于手部运动帧数据的手势识别方法
CN107103000A (zh) * 2016-02-23 2017-08-29 广州启法信息科技有限公司 一种基于关联规则与贝叶斯网络集成的推荐技术
CN106326585A (zh) * 2016-08-29 2017-01-11 东软集团股份有限公司 基于贝叶斯网络推理的预测分析方法以及装置
CN106600127A (zh) * 2016-12-06 2017-04-26 贵州电网有限责任公司电力科学研究院 一种基于贝叶斯网络可靠性修正模型的继电保护系统风险评估方法
CN109886434A (zh) * 2019-02-21 2019-06-14 上海智辉自动化科技有限公司 一种智能钻井平台维护保养系统及方法
CN111309928A (zh) * 2020-02-21 2020-06-19 广东电网有限责任公司 一种基于贝叶斯和语义分析的运维知识库构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YE GU等: ""Human Action Recognition with Contextual Constraints using a RGB-D Sensor"", 《PROCEEDING OF THE IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 *
陈长胜等: ""基于朴素贝叶斯算法的IPRAN网络智能运维系统"", 《江苏通信》 *
陈飞等: ""贝叶斯学习与强化学习结合技术的研究"", 《计算机科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408459A (zh) * 2021-06-29 2021-09-17 吉林大学 基于贝叶斯定理的车辆多模态交互方法
CN113408459B (zh) * 2021-06-29 2022-08-30 吉林大学 基于贝叶斯定理的车辆多模态交互方法
CN113421176A (zh) * 2021-07-16 2021-09-21 昆明学院 一种异常数据智能筛选方法
CN113421176B (zh) * 2021-07-16 2022-11-01 昆明学院 一种学生成绩分数中异常数据智能筛选方法
CN117830961A (zh) * 2024-03-06 2024-04-05 山东达斯特信息技术有限公司 一种基于图像分析的环保设备运维行为分析方法及系统
CN117830961B (zh) * 2024-03-06 2024-05-10 山东达斯特信息技术有限公司 一种基于图像分析的环保设备运维行为分析方法及系统

Also Published As

Publication number Publication date
CN112149607B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112149607B (zh) 基于贝叶斯算法的远程智能运维方法
JP5598751B2 (ja) 動作認識装置
CN104750397B (zh) 一种基于体感的虚拟矿井自然交互方法
KR100886557B1 (ko) 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
CN107150347A (zh) 基于人机协作的机器人感知与理解方法
CN103003846B (zh) 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法
KR20110139694A (ko) 제스쳐 인식 방법 및 시스템
CN104616028B (zh) 基于空间分割学习的人体肢体姿势动作识别方法
CN101437124A (zh) 面向电视控制的动态手势识别信号处理方法
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
CN114582030B (zh) 一种基于服务机器人的行为识别方法
CN110956139A (zh) 一种基于时间序列回归预测的人体运动动作分析方法
CN106127125A (zh) 基于人体行为特征的分布式dtw人体行为意图识别方法
CN110135237B (zh) 一种手势识别方法
CN110956141B (zh) 一种基于局部识别的人体连续动作快速分析方法
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
CN115131879B (zh) 一种动作评价方法及装置
CN105912126A (zh) 一种手势运动映射到界面的增益自适应调整方法
Xu et al. Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction
CN111709365A (zh) 一种基于卷积神经网络的人体运动姿态自动检测方法
CN113378691B (zh) 基于实时用户行为分析的智能家居管理系统及方法
CN110363811A (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN103400118B (zh) 一种映射关系自适应调整的手势控制方法
JP4186541B2 (ja) 画像処理装置
Jeong et al. OpenPose based Smoking Gesture Recognition System using Artificial Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant