CN111351789B - 设备检测/维护的方法、系统及电子装置 - Google Patents

设备检测/维护的方法、系统及电子装置 Download PDF

Info

Publication number
CN111351789B
CN111351789B CN202010266283.XA CN202010266283A CN111351789B CN 111351789 B CN111351789 B CN 111351789B CN 202010266283 A CN202010266283 A CN 202010266283A CN 111351789 B CN111351789 B CN 111351789B
Authority
CN
China
Prior art keywords
detected
equipment
image
real
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010266283.XA
Other languages
English (en)
Other versions
CN111351789A (zh
Inventor
路玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202010266283.XA priority Critical patent/CN111351789B/zh
Publication of CN111351789A publication Critical patent/CN111351789A/zh
Application granted granted Critical
Publication of CN111351789B publication Critical patent/CN111351789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种设备检测/维护的方法,包括:佩戴AR眼镜,并将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上;根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护。相应地,还提供一种设备检测/维护的系统和电子装置。该方法可在检测/维护过程中实现设备数据及资料与检测人员的实时交互,从而降低检测难度。

Description

设备检测/维护的方法、系统及电子装置
技术领域
本发明涉及通信技术领域,尤其涉及一种设备检测/维护的方法、系统及电子装置。
背景技术
目前,主要凭借检测人员多年工作经验对工业设备进行检测/维护。在检测/维护过程中,由于设备数据及资料难以在现场实时交互,导致检测人员在设备检测/维护时存在检测难度大,且可能会因检测不全面而造成生产损失和财产浪费。
发明内容
本发明所要解决的技术问题是针对现有技术的上述不足,提供一种设备检测/维护的方法、系统及电子装置,在检测过程中实现设备数据及资料与检测人员的实时交互,从而降低检测难度。
第一方面,本发明实施例提供一种设备检测/维护的方法,包括:佩戴AR(Artificial Reality,人造现实)眼镜,并将待检测设备的3D(3-Dimension,三维)图像模型和检测操作流程手册显示在AR眼镜上;根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护。
优选地,所述将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上,包括:通过AR眼镜获取待检测设备的第一实时图像或待检测设备的型号;根据所述第一实时图像或待检测设备的型号获取边缘计算检测维护平台上的待检测设备的3D图像模型和检测操作流程手册,并将之显示在AR眼镜上。
优选地,在将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上的同时,还包括:将待检测设备的运行数据显示在AR眼镜上。
优选地,在将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上之前,还包括:在边缘计算检测维护平台上设立待检测设备的3D图像模型。
优选地,在所述根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护之前,还包括:判断AR眼镜上显示的3D图像模型是否清晰;在判断结果为是时,根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护;在判断结果为否时,通过AR眼镜将待检测设备的第二实时图像发送至边缘计算检测维护平台;边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型,以替换预存的待检测设备的3D图像模型,并将新的待检测设备的3D图像模型再次发送给AR眼镜。
优选地,在所述根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护时,还包括:判断待检测设备是否存在疑似故障点;在判断结果为是时,通过AR眼镜将待检测设备的疑似故障点的第三实时图像发送至边缘计算检测维护平台;边缘计算检测维护平台对接收的待检测设备的疑似故障点的第三实时图像进行分析和建模,得到疑似故障点的3D图像模型,并将之再次发送给AR眼镜,便于确定故障点进行检修。
优选地,在根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护之后,还包括:判断是否要修改AR眼镜上显示的检测操作流程手册;在判断结果为是时,将检测操作流程手册的修改信息通过AR眼镜发送给边缘计算检测维护平台;边缘计算检测维护平台根据接收的所述修改信息对检测操作流程手册进行更新维护,得到更新后的检测操作流程手册。
在所述边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型之后,以及在所述边缘计算检测维护平台根据接收的所述修改信息对检测操作流程手册进行更新维护,得到更新后的检测操作流程手册之后,还包括:边缘计算检测维护平台将新的待检测设备的3D图像模型和更新后的检测操作流程手册发送至云应用平台进行集成、发布。
第二方面,本发明实施例提供一种设备检测/维护的系统,包括AR眼镜,所述AR眼镜用于显示待检测设备的3D图像模型和检测操作流程手册,以使检测人员根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护。
优选地,系统还包括边缘计算检测维护平台,所述边缘计算检测维护平台用于设立待检测设备的3D图像模型。
第三方面,本发明实施例提供一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以实现如第一方面中的设备检测/维护方法。
本发明实施例的有益技术效果有:
本发明实施例提供的设备检测/维护的方法,在检测人员进行检测/维护时,检测人员佩戴AR眼镜,并根据AR眼镜上显示的待检测设备的3D图像模型以及检测操作流程手册,对设备进行检测/维护。从而在检测/维护过程中实现设备数据及资料与检测人员的实时交互,降低检测难度。
附图说明
图1:为本发明实施例1的一种设备检测/维护的方法流程图;
图2:为本发明实施例2的一种设备检测/维护的系统的结构图;
图3:为本发明实施例3的一种电子装置的结构图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和实施例对本发明的一种设备检测/维护的方法、系统及电子装置作进一步详细描述。
实施例1:
本实施例提供一种设备检测/维护的方法,应用于对设备的检测/维护,设备可以是生产设备、通信设备、汽车等。对设备的检测/维护可以是对正常工作的设备进行日常的检测/维护,也可以是对出现故障的设备进行检测以查找故障点,便于快速维修设备。如图1所示,该设备检测/维护的方法包括如下步骤101-步骤102:
步骤101,佩戴AR(Artificial Reality,人造现实)眼镜,并将待检测设备的3D(3-Dimension,三维)图像模型和检测操作流程手册显示在AR眼镜上。
具体地,通过AR眼镜获取待检测设备的第一实时图像或待检测设备的型号;根据所述第一实时图像或待检测设备的型号获取边缘计算检测维护平台上的待检测设备的3D图像模型和检测操作流程手册,并将之显示在AR眼镜上。
本实施例中,检测人员在对设备进行检测/维护时,需佩戴AR眼镜。AR眼镜的每个镜片具有高清投影仪,AR眼镜上还具有高清摄像头。当检测人员的眼睛注视待检测设备时,AR眼镜上的高清摄像头可以获取到该待检测设备的第一实时图像,或检测人员的眼睛注视待检测设备的型号时,AR眼镜上的高清摄像头可以获取到该设备的型号,以上两种方式均可完成待检测设备的定位,其中,定位指确定待检测设备。
AR眼镜获取待检测设备的3D图像模型和检测操作流程手册的方式有两种,一种方式为AR眼镜从边缘计算检测维护平台上直接读取与AR眼镜获取的第一实时图像或型号相匹配的待检测设备的3D图像模型和检测操作流程手册,另一种方式为AR眼镜将获取的第一实时图像或型号通过5G网络发送给边缘计算检测维护平台,边缘计算检测维护平台查找到与所接收的第一实时图像或型号相匹配的3D图像模型和检测操作流程手册,并将之通过5G网络发送给AR眼镜。AR眼镜将获取的待检测设备的3D图像模型和检测操作流程手册通过高清投影仪显示在AR眼镜上。
可选地,在将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上的同时,该设备检测/维护的方法还包括:将待检测设备的运行数据显示在AR眼镜上。
本实施例中,边缘计算检测维护平台上还存储有待检测设备正常工作(无故障)时的运行数据,运行数据指待检测设备运行时相应的参数,例如电机的转速、发动机的油耗、功率、温度、湿度等数据。边缘计算检测维护平台存储的运行数据的来源有两种方式,一种方式为由待检测设备的供应商提供的设备运行数据,另一种方式为与待检测设备连接的PLC控制器、传感器等仪器采集到的待检测设备的运行数据,并将运行数据通过5G网络发送给边缘计算检测维护平台。运行数据与待检测设备的3D图像模型和检测操作流程手册具有关联映射关系,因此,AR眼镜可同时获取到待检测设备的3D图像模型、检测操作流程手册、运行数据。
可选地,在将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上之前,该设备检测/维护的方法还包括:在边缘计算检测维护平台上设立待检测设备的3D图像模型。
具体地,在边缘计算检测维护平台上设立待检测设备的3D图像模型包括两种方式,一种方式为边缘计算检测维护平台预存有待检测设备的供应商提供的3D图像模型;另一种方式为在待检测设备无故障时(例如设备安装时、设备首次运行时等),检测人员通过佩戴AR眼镜,获取待检测设备的建模用实时图像,并将建模用实时图像通过5G网络发送给边缘计算检测维护平台,再由边缘计算检测维护平台对接收的建模用实时图像进行分析和建模,以建立待检测设备的3D图像模型,即获得预存的3D图像模型。
边缘计算检测维护平台对接收的建模用实时图像采用大数据处理方法进行分析和建模,具体包括如下步骤01-步骤03:
步骤01,数据预处理。边缘计算检测维护平台对AR眼镜发送的建模用实时图像中存在明显有问题的数据进行排除,例如无效数据等,对不符合实际情况的数据进行调整或剔除、对误差数据的排除、对相关数据进行合并处理或重构成新的字段或数据等。
步骤02,数据分析和建模。边缘计算检测维护平台根据数据预处理后的建模用实时图像获取建模用图像区域集合L,其中L=∑(R1,R2,...,Rn),Ri为建模用实时图像的第i个单点的成像值,i=1,2,...,n,n为建模用实时图像的单点数量,Ri=f(x,y,z),f(x,y,z)为像素点函数,x,y,z分别为每个单点的三维空间值。进一步地,边缘计算检测维护平台对建模用图像区域集合L进行训练,且对建模用图像区域集合L进行特征提取,得到与某特征(例如管路特征、平面特征等)相应的模型,并输出图像识别结果;边缘计算检测维护平台遍历建模用图像区域集合L的所有特征相应的模型,并根据建模用图像区域集合L的所有特征相应的模型输出的图像识别结果构建3D图像模型,得到待检测设备的3D图像模型。
步骤03,3D图像模型评估。边缘计算检测维护平台对建模得到的待检测设备的3D图像模型进行评估,例如在评估结果为3D图像模型的精准度大于第一阈值,或其成熟度大于第二阈值时,判定评估结果为3D图像模型满足要求。如果3D图像模型不满足要求,则返回至步骤01,对图像区域集合L迭代处理,直至建模得到的3D图像模型评估结果满足要求。
此外,边缘计算检测维护平台具有数据缓存/存储功能,以满足高效存储和访问连续不间断。边缘计算检测维护平台还具有数据安全功能,包括应用安全、网络安全、信息安全和系统安全等功能。
步骤102,根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护。
本实施例中,检测人员可根据AR眼镜上实时显示的3D图像模型以及检测操作流程手册指导进行待检测设备的检测/维护。以下将以待检测设备为小汽车示例详述检测/维护过程。
第一步:检测人员佩戴AR眼镜,获取到眼前的待检测设备(比如品牌为XX的汽车)的第一实时图像,并将之发送给边缘计算检测维护平台,边缘计算检测维护平台根据接收的第一实时图像,查找到与之匹配的是XX汽车的YY车型,并将YY车型的整体外观的3D图像模型和检测操作流程手册发送给AR眼镜,因此,检测人员可根据AR眼镜上显示的3D图像模型和检测操作流程手册进行检测/维护。当然,在车辆型号已知的情况下,检测人员还可通过AR眼镜获取XX汽车的YY车型的具体型号,例如检测人员在AR眼镜上输入该汽车的具体型号或由AR眼镜的高清摄像头获取到该汽车的具体型号,再由AR眼镜将该型号发送给边缘计算检测维护平台。
第二步:检测人员根据检测操作流程手册的内容,准备检测/维护发动机。在检测人员打开汽车的引擎盖及发动机机罩后,AR眼镜获取到发动机的第一实时图像或发动机型号,并将之发送给边缘计算检测维护平台,边缘计算检测维护平台根据接收的发动机的第一实时图像/发动机型号,查找到与之匹配的发动机的3D图像模型和发动机的检测操作流程手册,并将之发送给AR眼镜,使之最终显示在AR眼镜上。
第三步:检测人员根据发动机的检查操作流程手册的内容,准备检测火花塞情况。在检测人员取出火花塞时,AR眼镜获取到火花塞的第一实时图像,并将之发送给边缘计算检测维护平台,边缘计算检测维护平台根据接收的火花塞的第一实时图像,查找到与之匹配的火花塞的3D图像模型和火花塞的检测操作流程手册,并将之发送给AR眼镜,使之最终显示在AR眼镜上。检测人员可根据AR眼镜上显示的3D图像模型或手册内容与火花塞实物进行对比,判断火花塞有无裂纹、绝缘体有无破损、电极是否严重变形等。
可选地,该方法还包括边缘计算检测维护平台向AR眼镜发送火花塞的运行数据(例如火花塞绝缘体的温度为500-600摄氏度,运行数据可与3D图像模型同界面显示,也可不同界面显示,此发明不做显示位置的限定),检测人员可在发动机运转数分钟后熄火,再触摸火花塞绝缘体,感觉温度低于正常的运行数据时判断火花塞存在故障。在整个检测/维护过程中,检测人员与AR眼镜的实时交互,使得检测人员能实时获取相应设备的3D图像模型、检测操作流程手册,以及运行数据,以便于快速检测/维护设备,特别地,由于3D图像模型的直观性,从而大大降低检测难度。
可选地,在根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护之前,该设备检测/维护的方法还包括:判断AR眼镜上显示的3D图像模型是否清晰;在判断结果为是时,根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护;在判断结果为否时,通过AR眼镜将待检测设备的第二实时图像发送至边缘计算检测维护平台;边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型,以替换预存的待检测设备的3D图像模型,并将新的待检测设备的3D图像模型再次发送给AR眼镜。
本实施例仍以上述检测/维护小汽车进行说明如下,在第二步中,当检测人员判断出AR眼镜上显示的发动机的3D图像模型不够清晰时,检测人员通过AR眼镜将发动机的第二实时图像发送至边缘计算检测维护平台;边缘计算检测维护平台对接收的发动机的第二实时图像进行分析和建模,得到新的发动机的3D图像模型,以替换预存的发动机的3D图像模型,并将新的发动机的3D图像模型再次发送给AR眼镜。边缘计算检测维护平台可根据同一设备两个3D图像模型的清晰度的比较结果,确定是否替换预存的发动机的3D图像模型。或者边缘计算检测维护平台可根据检测人员通过AR眼镜输入的替换指令进行相应操作。边缘计算检测维护平台对接收的发动机的第二实时图像进行分析和建模,具体包括步骤11-步骤13:
步骤11,数据预处理,内容同步骤01所述。
步骤12,数据分析和建模。边缘计算检测维护平台根据接收到的设备(发动机)的第二实时图像获取设备(发动机)的第二实时图像区域集合S,其中S=∑(Q1,Q2,...,Qn),Qi为设备(发动机)第二实时图像的第i个单点的成像值,i=1,2,...,n,n为设备(发动机)第二实时图像的单点数量,Qi=f(u,v,w),f(u,v,w)为像素点函数,u,v,w分别为每个单点的三维空间值。边缘计算检测维护平台设置每个单点的误差值为阈值J(阈值J的取值可自行设定,例如本实施例中阈值J的取值为1毫米),判断第二实时图像区域集合S与建模用图像区域集合L相应单点之间的误差值大小。其中,设新实时图像区域集合F,其中F=∑(D1,D2,...,Dn),Di为设备(发动机)新实时图像的第i个单点的成像值,i=1,2,...,n,Di=f(m,l,o),
在f(u,v,w)≤f(x,y,z)+J时,得到
Di=f(m,l,o),m=(u+x)/2,l=(v+y)/2,o=(w+z)/2, (1)
如果在某一个单点的1毫米范围内有数量为多个的类似点,则对多个所述类似点求平均值。
在f(u,v,w)>f(x,y,z)+J时,得到
Di=f(m,l,o)=f(u,v,w)∪f(x,y,z), (2)
针对每个单点取最大区域点,得到新实时图像区域集合F=∑(max D1,maxD2,...,max Dn)。
边缘计算检测维护平台对新实时图像区域集合F进行训练,且对新实时图像区域集合F进行特征提取,得到与某特征(例如管路特征、平面特征等)相应的模型,并输出图像识别结果;边缘计算检测维护平台遍历新实时图像区域集合F的所有特征相应的模型,并根据新实时图像区域集合F的所有特征相应的模型输出的图像识别结果构建新的3D图像模型,得到设备(发动机)新的3D图像模型,以替换预存的设备(发动机)的3D图像模型。由以上公式(1)可知,对相同单点的图像数据求平均,以获得更为精确的单点的图像数据;由以上公式(2)可知,获取更大范围的单点的图像数据,以获得更大范围的图像数据。因此,由公式(1)和公式(2)数据处理获得的图像建立的3D图像模型相比于预存的3D图像模型进行了精确处理和扩大处理,以使新的3D图像模型更为清晰。
步骤13,3D图像模型评估。内容同步骤03所述。
可选地,在根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护时,设备检测/维护的方法还包括:判断待检测设备是否存在疑似故障点;在判断结果为是时,通过AR眼镜将待检测设备的疑似故障点的第三实时图像发送至边缘计算检测维护平台;边缘计算检测维护平台对接收的待检测设备的疑似故障点的第三实时图像进行分析和建模,得到疑似故障点的3D图像模型,并将之再次发送给AR眼镜,便于确定故障点进行检修。
本实施例仍以上述检测/维护汽车进行说明如下,在第三步中,当检测人员根据AR眼镜上显示的火花塞的3D图像模型与实物进行对比时,判断火花塞存在疑似裂纹。检测人员通过AR眼镜将火花塞的疑似故障点的第三实时图像发送至边缘计算检测维护平台;边缘计算检测维护平台对接收的火花塞的疑似故障点的第三实时图像进行分析和建模,得到火花塞的疑似故障点的3D图像模型,并将之再次发送给AR眼镜。由于重新建模后的模型更为精确,从而便于检测人员确定故障点进行检修。需要说明的是,边缘计算检测维护平台得到设备的疑似故障点的3D图像模型后,不会替换预存的设备的3D图像模型。本实施例中的边缘计算检测维护平台对接收的火花塞的疑似故障点的第三实时图像进行分析和建模,具体步骤过程同步骤11-步骤13,此处不再赘述。此外,由公式(2)进行的扩大处理有利于在故障检测时,因扩大检测范围,从而便于全面发现更多故障点,保证检测的全面性。
可选地,在根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护之后,方法还包括:判断是否要修改AR眼镜上显示的检测操作流程手册;在判断结果为是时,将检测操作流程手册的修改信息通过AR眼镜发送给边缘计算检测维护平台;边缘计算检测维护平台根据接收的所述修改信息对检测操作流程手册进行更新维护,得到更新后的检测操作流程手册。
本实施例中,在检测人员完成设备的检测/维护后,发现需要修改检测操作流程手册时,检测人员利用AR眼镜将修改信息发送至边缘计算检测维护平台(例如,检测人员可以直接在AR眼镜上显示的检查操作流程手册上标记修改信息,或者通过AR眼镜的高清摄像头获取到检测人员在纸/终端上标记的修改信息)。边缘计算检测维护平台具有增加、删除、修订检测操作流程手册的功能,可实现对检测操作流程手册的版本维护。边缘计算检测维护平台根据接收的修改信息对手册进行相应修改,得到更新后的检测操作流程手册。
可选地,在边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型之后,以及在边缘计算检测维护平台根据接收的修改信息对检测操作流程手册进行更新维护,得到更新后的检测操作流程手册之后,所述设备检测/维护的方法还包括:边缘计算检测维护平台将根据第二实时图像进行分析建模得到的新的待检测设备的3D图像模型,和更新后的检测操作流程手册发送至云应用平台进行集成、发布。
本实施例的设备检测/维护方法中,检测人员根据AR眼镜显示的待检测设备的3D图像模型和检测操作流程手册指导检测/维护过程,可大大降低检测/维护难度。此外,边缘计算检测维护平台采用步骤11-步骤13的对获取的图像进行分析和建模的方法中,具有两种有益效果,一种效果是相比于设备建模用图像获取了更多数量的像素点,当相同部位的多个类似像素点在误差范围内时,对该部位的多个类似像素点进行求平均值处理,能获得更加清晰、精确的图像,对获取的更清晰、精确的图像进行3D建模,相应得到的3D图像模型更为清晰和精准;另一种效果是在相同部位的多个类似像素点在误差范围外时,对该部位的多个类似像素点进行取最大值处理,相当于对该部位进行了扩大范围处理,因此根据扩大范围处理的图像进行建模得到的3D图像模型也进行了扩大范围处理,从而使得检测更全面,避免因检测不全面而造成生产损失和财产浪费。
实施例2:
如图2所示,本实施例提供一种设备检测/维护的系统,包括AR眼镜21。AR眼镜21用于显示待检测设备的3D图像模型和检测操作流程手册,以使检测人员根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护。
可选地,设备检测/维护的系统还包括边缘计算检测维护平台22,边缘计算检测维护平台22与AR眼镜21通过网络连接,用于设立待检测设备的3D图像模型。边缘计算检测维护平台22与AR眼镜21之间的数据传输不局限于5G网络,还可以是3G/4G网络、WiFi、物联网等。
实施例3:
如图3所示,本实施例提供一种电子装置,包括存储器31和处理器32,存储器31中存储有计算机程序,处理器32被设置为运行计算机程序以实现如实施例1中所述的设备检测/维护的方法。
其中,存储器31与处理器32连接,存储器31可采用闪存或只读存储器或其他存储器,处理器32可采用中央处理器或单片机。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种设备检测/维护的方法,其特征在于,包括:
佩戴AR眼镜,并将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上;
根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护;
在所述根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护之前,还包括:
判断AR眼镜上显示的3D图像模型是否清晰;
在判断结果为是时,根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护;在判断结果为否时,通过AR眼镜将待检测设备的第二实时图像发送至边缘计算检测维护平台;
边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型,以替换预存的待检测设备的3D图像模型,并将新的待检测设备的3D图像模型再次发送给AR眼镜;
其中,边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型,具体为:
边缘计算检测维护平台根据接收到的待检测设备的第二实时图像获取待检测设备的第二实时图像区域集合S,其中S=∑(Q1,Q2,...,Qn),Qi为待检测设备的第二实时图像的第i个单点的成像值,i=1,2,...,n,n为待检测设备的第二实时图像的单点数量,Qi=f(u,v,w),f(u,v,w)为像素点函数,u,v,w分别为每个单点的三维空间值;
边缘计算检测维护平台设置每个单点的误差阈值J,判断第二实时图像区域集合S与建模用图像区域集合L相应单点之间的误差值大小,其中:建模用图像区域集合L用于建立预存的待检测设备的3D图像模型,L=∑(R1,R2,...,Rn),Ri为建模用图像的第i个单点的成像值,i=1,2,...,n,n为建模用图像的单点数量,Ri=f(x,y,z),f(x,y,z)为像素点函数,x,y,z分别为每个单点的三维空间值;设新实时图像区域集合F,其中F=∑(D1,D2,...,Dn),Di为待检测设备的新实时图像的第i个单点的成像值,i=1,2,...,n,Di=f(m,l,o),
在f(u,v,w)≤f(x,y,z)+J时,得到Di=f(m,l,o),m=(u+x)/2,l=(v+y)/2,o=(w+z)/2,
如果在某个单点的阈值范围内有数量为多个的类似点时,则对多个所述类似点求平均值,
在f(u,v,w)>f(x,y,z)+J时,得到
Di=f(m,l,o)=f(u,v,w)∪f(x,y,z),
针对每个单点取最大区域点,得到新实时图像区域集合F=Σ(maxD1,maxD2,...,maxDn);
边缘计算检测维护平台对新实时图像区域集合F进行训练,且对新实时图像区域集合F进行特征提取,得到与某特征相应的模型,并输出图像识别结果;
边缘计算检测维护平台遍历新实时图像区域集合F的所有特征相应的模型,并根据新实时图像区域集合F的所有特征相应的模型输出的图像识别结果,并构建新的3D图像模型,从而得到新的待检测设备的3D图像模型。
2.根据权利要求1所述的设备检测/维护的方法,其特征在于,所述将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上,包括:
通过AR眼镜获取待检测设备的第一实时图像或待检测设备的型号;
根据所述第一实时图像或待检测设备的型号获取边缘计算检测维护平台上的待检测设备的3D图像模型和检测操作流程手册,并将之显示在AR眼镜上。
3.根据权利要求1所述的设备检测/维护的方法,其特征在于,在将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上的同时,还包括:
将待检测设备的运行数据显示在AR眼镜上。
4.根据权利要求1所述的设备检测/维护的方法,其特征在于,在将待检测设备的3D图像模型和检测操作流程手册显示在AR眼镜上之前,还包括:在边缘计算检测维护平台上设立待检测设备的3D图像模型。
5.根据权利要求1所述的设备检测/维护的方法,其特征在于,在所述根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护时,还包括:
判断待检测设备是否存在疑似故障点;
在判断结果为是时,通过AR眼镜将待检测设备的疑似故障点的第三实时图像发送至边缘计算检测维护平台;
边缘计算检测维护平台对接收的待检测设备的疑似故障点的第三实时图像进行分析和建模,得到疑似故障点的3D图像模型,并将之再次发送给AR眼镜,便于确定故障点进行检修。
6.根据权利要求5所述的设备检测/维护的方法,其特征在于,在根据AR眼镜上显示的3D图像模型以及检测操作流程手册对待检测设备进行检测/维护之后,还包括:
判断是否要修改AR眼镜上显示的检测操作流程手册;
在判断结果为是时,将检测操作流程手册的修改信息通过AR眼镜发送给边缘计算检测维护平台;
边缘计算检测维护平台根据接收的所述修改信息对检测操作流程手册进行更新维护,得到更新后的检测操作流程手册,
在所述边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型之后,以及在所述边缘计算检测维护平台根据接收的所述修改信息对检测操作流程手册进行更新维护,得到更新后的检测操作流程手册之后,还包括:
边缘计算检测维护平台将新的待检测设备的3D图像模型和更新后的检测操作流程手册发送至云应用平台进行集成、发布。
7.一种设备检测/维护的系统,其特征在于,包括AR眼镜和边缘计算检测维护平台,
所述AR眼镜,用于显示待检测设备的3D图像模型和检测操作流程手册,以使检测人员根据AR眼镜上显示的3D图像模型以及检测操作流程手册对所述待检测设备进行检测/维护;
所述AR眼镜还用于在判断AR眼镜上显示的3D图像模型不清晰时将待检测设备的第二实时图像发送至边缘计算检测维护平台;
所述边缘计算检测维护平台还用于对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型,以替换预存的待检测设备的3D图像模型,并将新的待检测设备的3D图像模型再次发送给AR眼镜;
其中,边缘计算检测维护平台对接收的待检测设备的第二实时图像进行分析和建模,得到新的待检测设备的3D图像模型,具体为:
边缘计算检测维护平台根据接收到的待检测设备的第二实时图像获取待检测设备的第二实时图像区域集合S,其中S=Σ(Q1,Q2,...,Qn),Qi为待检测设备的第二实时图像的第i个单点的成像值,i=1,2,...,n,n为待检测设备的第二实时图像的单点数量,Qi=f(u,v,w),f(u,v,w)为像素点函数,u,v,w分别为每个单点的三维空间值;
边缘计算检测维护平台设置每个单点的误差阈值J,判断第二实时图像区域集合S与建模用图像区域集合L相应单点之间的误差值大小,其中:建模用图像区域集合L用于建立预存的待检测设备的3D图像模型,L=∑(R1,R2,...,Rn),Ri为建模用图像的第i个单点的成像值,i=1,2,...,n,n为建模用图像的单点数量,Ri=f(x,y,z),f(x,y,z)为像素点函数,x,y,z分别为每个单点的三维空间值;设新实时图像区域集合F,其中F=Σ(D1,D2,...,Dn),Di为待检测设备的新实时图像的第i个单点的成像值,i=1,2,...,n,Di=f(m,l,o),
在f(u,v,w)≤f(x,y,z)+J时,得到Di=f(m,l,o),m=(u+x)/2,l=(v+y)/2,o=(w+z)/2,
如果在某个单点的阈值范围内有数量为多个的类似点时,则对多个所述类似点求平均值,
在f(u,v,w)>f(x,y,z)+J时,得到
Di=f(m,l,o)=f(u,v,w)∪f(x,y,z),
针对每个单点取最大区域点,得到新实时图像区域集合F=Σ(maxD1,maxD2,...,maxDn);
边缘计算检测维护平台对新实时图像区域集合F进行训练,且对新实时图像区域集合F进行特征提取,得到与某特征相应的模型,并输出图像识别结果;
边缘计算检测维护平台遍历新实时图像区域集合F的所有特征相应的模型,并根据新实时图像区域集合F的所有特征相应的模型输出的图像识别结果,并构建新的3D图像模型,从而得到新的待检测设备的3D图像模型。
8.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以实现如权利要求1-6中任一项所述的方法。
CN202010266283.XA 2020-04-07 2020-04-07 设备检测/维护的方法、系统及电子装置 Active CN111351789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266283.XA CN111351789B (zh) 2020-04-07 2020-04-07 设备检测/维护的方法、系统及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266283.XA CN111351789B (zh) 2020-04-07 2020-04-07 设备检测/维护的方法、系统及电子装置

Publications (2)

Publication Number Publication Date
CN111351789A CN111351789A (zh) 2020-06-30
CN111351789B true CN111351789B (zh) 2023-05-16

Family

ID=71194775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266283.XA Active CN111351789B (zh) 2020-04-07 2020-04-07 设备检测/维护的方法、系统及电子装置

Country Status (1)

Country Link
CN (1) CN111351789B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112311854A (zh) * 2020-09-29 2021-02-02 宇龙计算机通信科技(深圳)有限公司 一种数据共享方法、装置、存储介质及电子设备
CN113160615B (zh) * 2021-03-03 2022-11-29 上海凌苇智能科技合伙企业(有限合伙) 一种基于ar技术实现无人机起飞前安全检测方法及系统
CN114063512B (zh) * 2021-11-15 2023-09-19 中国联合网络通信集团有限公司 维保业务指导与监控方法、云平台、ar眼镜与系统
CN114371804A (zh) * 2021-12-03 2022-04-19 国家能源集团新能源技术研究院有限公司 电子图档浏览方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610269A (zh) * 2017-09-12 2018-01-19 国网上海市电力公司 一种基于ar的电网大数据智能巡检系统及其智能巡检方法
CN110176085A (zh) * 2019-06-03 2019-08-27 国网黑龙江省电力有限公司牡丹江水力发电总厂 基于二维码的电站设备巡检系统
CN110488790A (zh) * 2018-11-30 2019-11-22 国核自仪系统工程有限公司 基于增强现实的核电仪控运维系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683566A (zh) * 2018-12-18 2019-04-26 蒂姆维澳(上海)网络技术有限公司 基于互联网和ar技术的设备远程运维系统及方法
CN110007753A (zh) * 2019-02-23 2019-07-12 蒂姆维澳(上海)网络技术有限公司 基于互联网和ar技术的传感器数据显示系统及方法
CN110049121B (zh) * 2019-04-14 2021-08-06 北京中大科慧科技发展有限公司 一种基于增强现实技术的数据中心巡检系统
CN110047150B (zh) * 2019-04-24 2023-06-16 大唐环境产业集团股份有限公司 一种基于增强现实的复杂设备操作运行在位仿真系统
CN110413122B (zh) * 2019-07-30 2022-06-10 厦门大学嘉庚学院 一种具有工作场景识别的ar眼镜应用方法及系统
CN110673727B (zh) * 2019-09-23 2023-07-21 浙江赛弘众智网络科技有限公司 Ar远程协助方法及系统
CN110728670A (zh) * 2019-10-14 2020-01-24 贵州电网有限责任公司 一种基于ar技术的低压设备运维方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610269A (zh) * 2017-09-12 2018-01-19 国网上海市电力公司 一种基于ar的电网大数据智能巡检系统及其智能巡检方法
CN110488790A (zh) * 2018-11-30 2019-11-22 国核自仪系统工程有限公司 基于增强现实的核电仪控运维系统
CN110176085A (zh) * 2019-06-03 2019-08-27 国网黑龙江省电力有限公司牡丹江水力发电总厂 基于二维码的电站设备巡检系统

Also Published As

Publication number Publication date
CN111351789A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111351789B (zh) 设备检测/维护的方法、系统及电子装置
JP6707920B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
CN106770332A (zh) 一种基于机器视觉的电子模切料缺陷检测实现方法
JP2019095217A (ja) 外観検査装置
CN112088387A (zh) 检测成像物品缺陷的系统和方法
CN114387268A (zh) 一种螺栓松动检测方法及装置
JP2017107541A (ja) 情報処理装置、情報処理方法、プログラムおよび検査システム
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
JP2020128877A (ja) 線状体の異常検出装置及び異常検出方法
CN109934223B (zh) 实例分割结果评价参数确定方法及装置
CN112712513A (zh) 产品缺陷检测方法、装置、设备及计算机可读存储介质
CN113177469A (zh) 人体属性检测模型的训练方法、装置、电子设备及介质
CN115641332A (zh) 产品边缘外观缺陷的检测方法及装置、介质、设备
FR3056966A1 (fr) Procede de localisation de defaut dans des harnais electriques
CN113077416A (zh) 一种基于图像处理的焊点焊接缺陷检测方法与系统
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法
JP7426261B2 (ja) 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法
CN114066835A (zh) 图像检测、自动光学检测方法、装置、存储介质及设备
Frayman et al. Machine vision system for automatic inspection of surface defects in aluminum die casting
CN116977249A (zh) 缺陷检测的方法、模型训练的方法和装置
CN115049641A (zh) 一种用于机械零件异常检测的电数据处理方法及系统
CN114708247A (zh) 基于深度学习的烟盒包装缺陷识别方法和装置
CN113643233B (zh) 油性涂层检测方法、系统及设备、计算机可读存储介质
WO2022065273A1 (ja) 外観検査のためのモデル作成装置及び外観検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant