CN108628654A - 基于增强现实和物联网的电子手册系统 - Google Patents
基于增强现实和物联网的电子手册系统 Download PDFInfo
- Publication number
- CN108628654A CN108628654A CN201810293124.1A CN201810293124A CN108628654A CN 108628654 A CN108628654 A CN 108628654A CN 201810293124 A CN201810293124 A CN 201810293124A CN 108628654 A CN108628654 A CN 108628654A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- equipment
- image
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于增强现实和物联网的电子手册系统,包括:对各个设备的运行数据进行采集的数据采集装置;以物联网的方式构成,将设备运行数据逐级传输的数据外输装置;连接数据外输装置,对设备运行数据进行存储和分析的数据存储分析终端;连接数据外输装置,通过图像识别匹配来激活各类操作、维修或保养方式的指导程序,以三维动态方式呈现,通过手势、语音或文字录入方式与操作人员交互并实工作记录、巡检记录、日志文件输出以及备件清单查询的电子手册终端。本发明利用增强现实技术向操作人员提供更加直观的指导以及实现人机操作交互,并且利用物联网技术实现设备运行数据、操作过程记录远程互联,提升故障预报和设备管理的能力。
Description
技术领域
本发明涉及视觉工程和物联网应用领域,尤其涉及基于增强现实和物联网的电子手册。
背景技术
设备手册是设备交付的关键技术文件,内容包含该设备的操作、维护、保养和维修方面的大量信息。传统的设备手册通常有数百页的内容,随设备交付用户查阅使用,但普遍存在着查阅不便、指导信息单向传递等问题。
增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息,通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。如果能将设备手册与增强现实技术结合,对颠覆传统手册的定义和范畴具有重大意义。
随着技术发展,电子手册应运而生,消除了纸质手册的很多缺点,方便查找和审阅。但是,目前电子手册的应用仅仅提供简单的翻页查询,或者一些简单的3D形式的查看,有时不能很好满足操作人员的各种需求,不能给予操作人员比较直观的指导,也不能预防一些风险的发生。例如,针对船舶上的各类设备,因船舶航行的特殊性,需要定时巡检、查看日志文件等,也无法便捷地接入网络,电子手册的应用受到很大的限制。
发明内容
本发明的目的在于提供一种基于增强现实和物联网的电子手册系统,利用增强现实技术(AR)向操作人员提供更加直观的指导以及实现人机操作交互。同时,利用物联网思维,将设备运行数据、人员的操作、巡检记录等远程传输到云平台,为实现数据分析、故障预报及远程监控奠定基础。
实现上述目的的技术方案是:
一种基于增强现实和物联网的电子手册系统,包括:
对各个设备的运行数据进行采集的数据采集装置;
以物联网的方式构成,用于将所述数据采集装置采集的设备运行数据逐级向上传输的数据外输装置;
连接所述数据外输装置,用于对设备运行数据进行存储和分析的数据存储分析终端;以及
通过所述数据外输装置与所述数据存储分析终端交互,通过图像识别匹配来激活各类操作、维修或保养方式的指导程序,并且以三维动态方式呈现给操作人员,指导过程中通过手势、语音或文字录入方式与操作人员交互并且实现工作记录、巡检记录、日志文件输出以及备件清单查询的电子手册终端。
根据上述技术方案,通过电子手册终端将设备手册内传递的大量操作、维护、拆装类信息利用增强现实技术向操作人员提供更加直观的指导,并通过智能终端设备实现人机操作交互,数据及操作记录等功能。除此以外,结合物联网思维,设备运行数据、人员的操作、巡检记录等,可以远程传输到服务器或者云平台,供远程监控、数据分析和故障预诊断等使用。同时,将设备产品数据、运行数据和维护数据与远程监控、故障预报与运维管理相结合,以数据为基础增进设备的管理质量、提高企业的管理效率,提升行业的整体技术水平,带动设备管理的模式创新。
优选的,所述电子手册终端指AR智能眼镜、AR智能头盔、计算机、平板电脑或者手机。从而不仅限于AR智能眼镜、AR智能头盔,在当下更注重的是平板电脑、手机等终端,因为现有技术发展的限制,AR智能眼镜、AR智能头盔的发展并不成熟,应用代价也较高。
优选的,所述数据外输装置包括至少一个节点和至少一个网关,其中,
一个所述节点或者多个所述节点相互无线连接构成网状传输装置;
所述网关无线连接所述网状传输装置中的至少一个所述节点,并通过3G/4G、Wi-Fi或者卫星网络的方式连接所述数据存储分析终端;
所述数据采集装置包括:
用于采集设备的运行数据,并传输给至少一个所述节点的至少一个传感器;以及
用于采集设备的运行数据,并传输给至少一个所述节点的设备本身的控制装置。
根据上述技术方案,利用节点和网关的数据外输方式,首先的一个优点就是节点之间可以多级串联,也就是说,当一个设备在距离网关比较远的位置上,单个节点无法之间将信号发送到网关,但可以通过节点连节点,一级一级串联的方式,将远端的数据发送到远端的网关;或者设备所处的环境比较封闭,或者信号干扰比较强,可以通过节点互联的方式,逐级将处在封闭环境或信号干扰环境的设备数据传输出来。节点之间除了串联外,更可以实现网状互联,节点之间的连接方式非常随意和灵活,最大限度的实现通讯互联。特别适用于诸如船舶等特殊场合。
优选的,所述电子手册终端包括:
存储有对应于各设备的各操作、维修或保养方法的各指导程序以及各图像特征信息的存储模块;
用于捕捉设备的图像,并输出图像信息的图像识别模块;
从接收的图像信息中提取图像特征信息的图像特征提取模块;
将接收自所述图像特征提取模块的图像特征信息与所述存储模块中对应的图像特征信息匹配,匹配成功后输出匹配结果的图像特征匹配模块;
根据匹配结果输出用于激活所述图像识别模块所识别图像所代表的某一操作、维修或保养方法的指导程序的激活指令的指导程序激活模块;
根据激活指令,从所述存储模块中提取对应的操作、维修或保养方法的指导程序,并以增强现实的方式输出的指导程序控制模块;
将接收的操作、维修或保养方法的指导程序以三维动态可交互的方式呈现的交互显示模块;以及
连接所述数据外输装置和所述交互显示模块,用于信息传输的通讯模块。
根据上述技术方案,首先通过图像捕捉设备或者在程序功能列表中选择激活某项工作,通过这一步就能直接定位到问题;完全取代了传统的在厚厚一本纸质版手册中查找信息这样繁琐、低效的步骤,而是完全可自定义的识别图像。通过这样灵活的识别再直接从图像关联到相关的内容,省去了查找过程,提高了定位问题的效率。随后程序解释可能导致该问题的原因,并且根据导致故障的原因给出处理方法指导,而且是通过增强现实的方式以三维动态可交互的方式呈现,给予操作人员更加直观的指导。相比传统的纸质版手册,指导信息传递的更全面,使用者更容易理解。
优选的,所述指导程序控制模块输出操作、维修或保养方法的指导程序的同时,输出对应该指导程序的各个风险提醒事项。从而在传递指导信息的同时,在同一画面的显著位置,给出该操作的风险,包括危险警告、注意风险、安全提示等,使用者必定会注意到,直到确认后提醒才会关闭,这样保障了使用者和设备的安全。
优选的,所述电子手册终端还包括手势指令生成模块、声音捕捉模块和声音指令生成模块,其中,
操作人员利用所述交互显示模块的虚拟键盘输出交互指令给所述指导程序控制模块;
所述图像识别模块识别操作人员的手势动作,并输出手势信息;
所述手势指令生成模块根据手势信息生成并输出手势指令;
所述声音捕捉模块捕捉操作人员的语音信息并输出;
所述声音指令生成模块根据语音信息生成并输出语音指令;
所述指导程序控制模块根据接收的交互指令、手势指令或语音指令,对操作、维修或保养方法的指导程序进行处理后输出给所述交互显示模块进行呈现。
根据上述技术方案,通过手势、语音或指尖动作(比如点击、拖动、多指开合等),实现与包括启停操作、参数调整、报警处理、保养流程和拆装工序等在内的设备操作、维修和保养方法指导内容的交互,更加有利于操作人员理解。
优选的,所述的交互指令、手势指令或语音指令包括视图放大、视图缩小、旋转和动态演示。
优选的,所述电子手册终端还包括工作记录生成模块,
所述声音捕捉模块捕捉操作人员的记录语音信息并输出;
所述声音指令生成模块根据记录语音信息生成各种操作、维修或保养的过程和参数;
操作人员利用所述交互显示模块的虚拟键盘输入各种操作、维修或保养的过程和参数;
所述工作记录生成模块对接收的各种操作、维修或保养的过程和参数进行记录并转换为设备的维护文件,该维护文件一方面通过所述交互显示模块传输至所述存储模块,另一方面通过所述通讯模块传输出去。
根据上述技术方案,结合之前的工作激活、定位问题、解释原因、给出指导各步骤,最后还允许使用者在过程中记录处置措施,供今后查看和记录提交使用。这一套功能流程完整的涵盖了设备操作、维修和保养过程的各项所需,不仅流程清晰,方式高效,而且超过了传统纸质版手册功能的范畴,大大改善了使用体验。
优选的,所述电子手册终端还包括备件清单查询和记录模块、巡检记录模块以及日志文件输出模块;
操作人员通过所述交互显示模块调用所述备件清单查询和记录模块从所述存储模块中查看备件清单以及备件的入库、消耗记录;
操作人员通过所述交互显示模块调用所述巡检记录模块进行巡检记录,并存储于所述存储模块中;
操作人员通过所述交互显示模块调用所述日志文件输出模块从所述存储模块中查看设备的日志文件;
所述存储模块依次通过所述交互显示模块、所述通讯模块和所述数据外输装置与所述数据存储分析终端实现数据互联。
根据上述技术方案,备件清单查询和记录功能体现在查询的便利,和对应记录的关联上。在电子手册终端上,除了可以像纸质版手册一样,以清单的形式给出备品备件清单列表外,还可以针对每一项备品备件,给出对应的三维动态可交互的实物模型,方便使用者确认和对比。此外,消耗和入库记录对应到每一项备品备件上,一方面方便了使用者对历史过程的查考,另一方面,也有助于对消耗品的监管。另外,过去巡检过程记录都是将巡检情况记录在巡检记录簿上,当需要调阅、分析巡检数据时,需要做大量的文件整理和数据梳理工作。利用电子手册终端进行巡检,走到巡检设备旁,利用终端上的图像捕捉设备捕捉该设备的巡检识别图像,激活巡检记录功能,在电子手册终端上通过声音捕捉设备以语音或者通过显示设备调用虚拟键盘记录巡检数据,确认后该条巡检数据就自动关联到该项设备上。利用电子手册终端巡检,不仅能准确记录下巡检时间,巡检记录数据还可用作和设备运行检测设备读取到的数据作对比,对保证巡检真实性、及时发现设备传感器故障、使用者查考历史巡检记录等都有明显的帮助。输出日志文件功能便于企业对设备的管理,也减轻操作者反复手工填写记录的麻烦。并且,可以实现电子手册终端与数据存储分析终端之间的数据共享。
优选的,所述设备的图像指:设备的操作、维修或保养指导程序及巡检记录程序的激活识别图像,该激活识别图像包括平面图、立体实物图、二维码或者RFID(射频识别)标签。从而不仅限于二维码、甚至还可实现对实物对象的识别,因此自定义识别图像非常灵活,可以是设备上显示的文字图像,也可以是表达问题的图像,也可以是简单的解决问题概念图像,甚至可以是实物图像总之可以是任何有利于识别、定位问题的图像。
附图说明
图1是本发明的基于增强现实和物联网的电子手册系统的结构图;
图2是本发明中数据外输装置的结构图;
图3是本发明中电子手册终端的结构图;
图4是本发明中电子手册终端的工作激活功能的原理路径图;
图5是本发明中电子手册终端的设备操作、维修和保养方法指导交互的过程图;
图6是本发明中电子手册终端的设备操作、维修和保养记录上传功能流程图;
图7是本发明中电子手册终端的功能路径图。
具体实施方式
下面将结合附图对本发明作进一步说明。
请参阅图1,本发明的基于增强现实和物联网的电子手册系统,包括数据采集装置1、数据外输装置2、数据存储分析终端3和电子手册终端4。
数据采集装置1对各个设备的运行数据进行采集。数据外输装置2以物联网的方式构成,用于将数据采集装置1采集的设备运行数据逐级向上传输至数据存储分析终端3。数据存储分析终端3一般为云平台。
数据外输装置2包括至少一个节点和至少一个网关,一个节点或者多个节点相互无线连接构成网状传输装置;网关无线连接网状传输装置中的至少一个节点,并通过3G/4G、Wi-Fi或者卫星网络的方式连接数据存储分析终端3。数据采集装置1包括:用于采集设备的运行数据,并传输给至少一个节点的至少一个传感器;用于采集设备的运行数据,并传输给至少一个节点的设备本身的控制装置。
传感器一般安装在管路或设备上,设备本身的控制装置可将设备的数据或信号对外发送,因此也可作为数据采集装置。为远程监控设备运行情况,提供运行数据提供可能。通过数据采集装置1采集到的设备数据,通过硬线连接传输到安装在设备旁的节点上,节点具有解析数据并向另一个节点或者网关发送数据的功能。一个节点可以连接多个数据采集装置1,节点和节点之间可以互相形成网状连接,典型结构实例如附图2所示,节点与另一个节点或者网关之间通过无线Wi-Fi连接。网关是数据接收、储存、解析和对外发送的数据外输装置。网关通过无线Wi-Fi接收来自于节点发送的数据,一个网关可以连接多个节点。网关对接收到的数据进行解析和储存后,再通过3G/4G、Wi-Fi或者卫星网络等的方式向外发送。
数据存储分析终端3一般为云平台。其连接数据外输装置2,用于对设备运行数据进行存储和分析。网关将数据以某种数据传输格式上传到云平台后,云平台对接收到数据进行解析,并储存在云空间中。同时,云平台对接收到的数据进行统计分析,反应数据背后的规律和意义。除此以外云平台还可以接受来自设备厂家、设备管理者、设备所有者等取得设备数据访问权限的用户访问云平台,用户可以在云平台上,通过设备运行数据,以及巡检、操作、维护和保养记录,远程监控设备,了解设备的运行和管理情况,并且可根据云平台的数据分析结果,用于故障预警和远程监控等,而设备厂家可将数据作为产品优化和升级改造的技术等。
电子手册终端4连接数据外输装置2,以增强现实的方式向操作人员提供各类操作、维修或保养方式的指导程序。即:通过图像识别匹配来激活各类操作、维修或保养方式的指导程序,并且以三维动态方式呈现给操作人员,指导过程中通过手势、语音或文字录入方式与操作人员交互并且实现工作记录、巡检记录、日志文件输出以及备件清单查询。电子手册终端4指AR智能眼镜、AR智能头盔、计算机、平板电脑或者手机等。
如图3所示,电子手册终端4包括存储模块41、图像识别模块42、图像特征提取模块43、图像特征匹配模块44、指导程序激活模块45、指导程序控制模块46、交互显示模块47、通讯模块48、手势指令生成模块49、声音捕捉模块410、声音指令生成模块411、工作记录生成模块412、备件清单查询和记录模块413、巡检记录模块414以及日志文件输出模块415。
存储模块41存储有对应于各设备的各操作、维修或保养方法的各指导程序以及各图像特征信息。
图像识别模块42用于捕捉设备的图像,并输出图像信息。设备的图像指:设备的操作、维修或保养指导程序及巡检记录程序的激活识别图像,该激活识别图像包括平面图、立体实物图、二维码或者RFID标签。图像识别模块42是由终端的图像捕捉设备比如摄像头结合相应程序实现。图像特征提取模块43从接收的图像信息中提取图像特征信息。图像特征匹配模块44将接收的图像特征信息与存储模块41中对应的图像特征信息匹配,匹配成功后输出匹配结果。指导程序激活模块45根据匹配结果输出用于激活图像识别模块42所识别图像所代表的某一操作、维修或保养方法的指导程序的激活指令。指导程序控制模块46根据激活指令,从存储模块41中提取对应的操作、维修或保养方法的指导程序,并以增强现实的方式输出给交互显示模块47,交互显示模块47将接收的操作、维修或保养方法的指导程序以三维动态可交互的方式呈现。具体地,工作激活功能的技术原理如图4所示。
同时,指导程序控制模块46输出操作、维修或保养方法的指导程序的同时,输出对应该指导程序的各个风险提醒事项,包括危险警告、注意风险、安全提示等,提醒使用者在使用设备过程中,同步对应需要注意的事项。传统的纸质版手册,在给出方法指导的同时,无法同步给出该操作的风险,包括危险警告、注意风险、安全提示等,就算有也容易在阅读中被忽略。
操作人员利用交互显示模块47的虚拟键盘输出交互指令给指导程序控制模块46;图像识别模块42识别操作人员的手势动作,并输出手势信息;手势指令生成模块49根据手势信息生成并输出手势指令;声音捕捉模块410捕捉操作人员的语音信息并输出;声音指令生成模块411根据语音信息生成并输出语音指令;指导程序控制模块46根据接收的交互指令、手势指令或语音指令,对操作、维修或保养方法的指导程序进行处理后输出给交互显示模块47进行呈现。所有关于设备的各项操作,包括启停操作、参数调整、报警处理、保养流程和拆装工序等,都利用增强现实的手段,在电子手册终端中以三维动态可交互的方式呈现给使用者。使用者利用交互显示模块47或图像识别模块42或声音捕捉模块410,通过手势、语音或指尖动作(比如点击、拖动、多指开合等),实现与包括启停操作、参数调整、报警处理、保养流程和拆装工序等在内的设备操作、维修和保养方法指导内容的交互,比如视图放大、缩小、旋转,动态演示指令等。同时,使用者交互指令的程序视觉反馈,又会最终呈现在显示设备上。设备操作、维修和保养方法指导交互过程如附图5所示。声音捕捉模块410由声音捕捉设备结合相应程序实现。
另外,声音捕捉模块410捕捉操作人员的记录语音信息并输出;声音指令生成模块411根据记录语音信息生成各种操作、维修或保养的过程和参数;操作人员利用交互显示模块47的虚拟键盘输入各种操作、维修或保养的过程和参数;工作记录生成模块412对接收的各种操作、维修或保养的过程和参数进行记录并转换为设备的维护文件,该维护文件一方面通过交互显示模块47传输至存储模块41,另一方面通过通讯模块48传输出去。在设备的使用过程中,还可通过声音捕捉模块410以语音或者通过交互显示模块47调用虚拟键盘记录启停、操作、参数调整、报警处理、维护保养和维修过程等各项工作,记录的内容可以按照公司体系文件的文档格式直接转化成设备的维护文件,作为设备管理文件的一部分通过数据外输装置上传到云平台,减少工作人员重复填写维护记录的工作量。设备操作、维修和保养记录上传功能流程如附图6所示。结合上面所述内容,电子手册终端4设计了非常高效的功能路径,如图7所示,首先通过图像捕捉设备或者在程序功能列表中选择激活某项工作,通过这一步就能直接定位到问题;随后程序解释可能导致该问题的原因,并且根据导致故障的原因给出处理方法指导;最后还允许使用者在过程中记录处置措施,供今后查看和记录提交使用。这一套功能流程完整的涵盖了设备操作、维修和保养过程的各项所需,不仅流程清晰,方式高效,而且超过了传统纸质版手册功能的范畴,大大改善了使用体验。
通讯模块48连接数据外输装置2和交互显示模块47,用于信息传输。存储模块41依次通过交互显示模块47、通讯模块48和数据外输装置2与数据存储分析终端3实现数据互联。
操作人员通过交互显示模块47调用备件清单查询和记录模块413从存储模块41中查看备件清单以及备件的入库、消耗记录。即:查询备品备件清单,除了以表格的方式显示外,还可以以三维动态可交互的模型形式显示。同时,还可以查看备品备件的入库和消耗记录。除此以外,设备在使用过程中,若因为维修或者保养需要,更换备品备件可以在电子手册终端中记录;或者库存中补充过备品备件的,也可在电子手册终端中做入库记录。
操作人员通过交互显示模块47调用巡检记录模块414进行巡检记录,并存储于存储模块41中。或者,通过图像识别模块42捕捉过程记录的激活识别图像,然后通过图像特征提取模块43提取图像特征信息,以及通过图像特征匹配模块44信息匹配,匹配成功后输出匹配结果。指导程序激活模块45根据匹配结果输出激活指令给巡检记录模块414,以调用巡检记录模块414进行巡检记录。操作者在设备巡检过程中,通过电子手册终端4添加巡检记录,包括机旁抄表读数、巡检时间、运行情况观察判断等。
操作人员通过交互显示模块47调用日志文件输出模块415从存储模块41中查看设备的日志文件。所有针对设备的操作、维护、保养、巡检、备品备件更换记录,都可以在电子手册终端4上生成日志文件,日志文件的文档格式可以预先定义,做成标准化,便于企业对设备的管理,也减轻操作者反复手工填写记录的麻烦。
另外,电子手册并非完全取消纸质版设备手册,而是将传统数百页的手册缩减成十余页的薄薄一本,将设备描述、安全提示和性能参数等设备基本信息保留在纸质版手册中,给用户以最基本的认识;同时在纸质版手册中预留操作、维修和保养工序的简单文字说明和“识别图”,利用智能终端的摄像头通过图像识别技术快速反应对应操作,并进行虚拟操作指导。
以上实施例仅供说明本发明之用,而非对本发明的限制,有关技术领域的技术人员,在不脱离本发明的精神和范围的情况下,还可以作出各种变换或变型,因此所有等同的技术方案也应该属于本发明的范畴,应由各权利要求所限定。
Claims (10)
1.一种基于增强现实和物联网的电子手册系统,其特征在于,包括:
对各个设备的运行数据进行采集的数据采集装置;
以物联网的方式构成,用于将所述数据采集装置采集的设备运行数据逐级向上传输的数据外输装置;
连接所述数据外输装置,用于对设备运行数据进行存储和分析的数据存储分析终端;以及
通过所述数据外输装置与所述数据存储分析终端交互,通过图像识别匹配来激活各类操作、维修或保养方式的指导程序,并且以三维动态方式呈现给操作人员,指导过程中通过手势、语音或文字录入方式与操作人员交互并且实现工作记录、巡检记录、日志文件输出以及备件清单查询的电子手册终端。
2.根据权利要求1所述的基于增强现实和物联网的电子手册系统,其特征在于,所述电子手册终端指AR智能眼镜、AR智能头盔、计算机、平板电脑或者手机。
3.根据权利要求1所述的基于增强现实和物联网的电子手册系统,其特征在于,所述数据外输装置包括至少一个节点和至少一个网关,其中,
一个所述节点或者多个所述节点相互无线连接构成网状传输装置;
所述网关无线连接所述网状传输装置中的至少一个所述节点,并通过3G/4G、Wi-Fi或者卫星网络的方式连接所述数据存储分析终端;
所述数据采集装置包括:
用于采集设备的运行数据,并传输给至少一个所述节点的至少一个传感器;以及
用于采集设备的运行数据,并传输给至少一个所述节点的设备本身的控制装置。
4.根据权利要求1所述的基于增强现实和物联网的电子手册系统,其特征在于,所述电子手册终端包括:
存储有对应于各设备的各操作、维修或保养方法的各指导程序以及各图像特征信息的存储模块;
用于捕捉设备的图像,并输出图像信息的图像识别模块;
从接收的图像信息中提取图像特征信息的图像特征提取模块;
将接收自所述图像特征提取模块的图像特征信息与所述存储模块中对应的图像特征信息匹配,匹配成功后输出匹配结果的图像特征匹配模块;
根据匹配结果输出用于激活所述图像识别模块所识别图像所代表的某一操作、维修或保养方法的指导程序的激活指令的指导程序激活模块;
根据激活指令,从所述存储模块中提取对应的操作、维修或保养方法的指导程序,并以增强现实的方式输出的指导程序控制模块;
将接收的操作、维修或保养方法的指导程序以三维动态可交互的方式呈现的交互显示模块;以及
连接所述数据外输装置和所述交互显示模块,用于信息传输的通讯模块。
5.根据权利要求4所述的基于增强现实和物联网的电子手册系统,其特征在于,所述指导程序控制模块输出操作、维修或保养方法的指导程序的同时,输出对应该指导程序的各个风险提醒事项。
6.根据权利要求4所述的基于增强现实和物联网的电子手册系统,其特征在于,所述电子手册终端还包括手势指令生成模块、声音捕捉模块和声音指令生成模块,其中,
操作人员利用所述交互显示模块的虚拟键盘输出交互指令给所述指导程序控制模块;
所述图像识别模块识别操作人员的手势动作,并输出手势信息;
所述手势指令生成模块根据手势信息生成并输出手势指令;
所述声音捕捉模块捕捉操作人员的语音信息并输出;
所述声音指令生成模块根据语音信息生成并输出语音指令;
所述指导程序控制模块根据接收的交互指令、手势指令或语音指令,对操作、维修或保养方法的指导程序进行处理后输出给所述交互显示模块进行呈现。
7.根据权利要求6所述的基于增强现实和物联网的电子手册系统,其特征在于,所述的交互指令、手势指令或语音指令包括视图放大、视图缩小、旋转和动态演示。
8.根据权利要求6所述的基于增强现实和物联网的电子手册系统,其特征在于,所述电子手册终端还包括工作记录生成模块,
所述声音捕捉模块捕捉操作人员的记录语音信息并输出;
所述声音指令生成模块根据记录语音信息生成各种操作、维修或保养的过程和参数;
操作人员利用所述交互显示模块的虚拟键盘输入各种操作、维修或保养的过程和参数;
所述工作记录生成模块对接收的各种操作、维修或保养的过程和参数进行记录并转换为设备的维护文件,该维护文件一方面通过所述交互显示模块传输至所述存储模块,另一方面通过所述通讯模块传输出去。
9.根据权利要求8所述的基于增强现实和物联网的电子手册系统,其特征在于,所述电子手册终端还包括备件清单查询和记录模块、巡检记录模块以及日志文件输出模块;
操作人员通过所述交互显示模块调用所述备件清单查询和记录模块从所述存储模块中查看备件清单以及备件的入库、消耗记录;
操作人员通过所述交互显示模块调用所述巡检记录模块进行巡检记录,并存储于所述存储模块中;
操作人员通过所述交互显示模块调用所述日志文件输出模块从所述存储模块中查看设备的日志文件;
所述存储模块依次通过所述交互显示模块、所述通讯模块和所述数据外输装置与所述数据存储分析终端实现数据互联。
10.根据权利要求4所述的基于增强现实和物联网的电子手册系统,其特征在于,所述设备的图像指:设备的操作、维修或保养指导程序及巡检记录程序的激活识别图像,该激活识别图像包括平面图、立体实物图、二维码或者RFID标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810293124.1A CN108628654A (zh) | 2018-03-30 | 2018-03-30 | 基于增强现实和物联网的电子手册系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810293124.1A CN108628654A (zh) | 2018-03-30 | 2018-03-30 | 基于增强现实和物联网的电子手册系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108628654A true CN108628654A (zh) | 2018-10-09 |
Family
ID=63704810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810293124.1A Pending CN108628654A (zh) | 2018-03-30 | 2018-03-30 | 基于增强现实和物联网的电子手册系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108628654A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615094A (zh) * | 2018-12-06 | 2019-04-12 | 江苏徐工信息技术股份有限公司 | 基于app和物联网大数据的工程机械维保信息管理系统 |
CN110070871A (zh) * | 2019-04-10 | 2019-07-30 | 国网江苏省电力有限公司南通供电分公司 | 试验报告自动记录装置 |
CN111260497A (zh) * | 2020-01-08 | 2020-06-09 | 黄莹 | 基于移动终端的工业环境下作业指导系统及方法 |
CN111722714A (zh) * | 2020-06-17 | 2020-09-29 | 贵州电网有限责任公司 | 一种基于ar技术的数字化变电站计量运检辅助方法 |
CN113778222A (zh) * | 2021-07-23 | 2021-12-10 | 中国人民解放军海军航空大学青岛校区 | 一种基于ar的特情处置方法及装置 |
CN113808254A (zh) * | 2021-09-09 | 2021-12-17 | 零空间(北京)科技有限公司 | 电力设备故障维修方案展示方法及系统 |
CN114022881A (zh) * | 2021-10-24 | 2022-02-08 | 何雨萌 | 一种ai+ar物品清点系统及物品清点方法 |
CN114896751A (zh) * | 2021-05-26 | 2022-08-12 | 广州地铁集团有限公司 | 一种设备的运行管理方法、装置及设备、存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750080A (zh) * | 2011-03-30 | 2012-10-24 | 三星电子株式会社 | 显示具有3d视图的指南的电子设备及其方法 |
CN106096857A (zh) * | 2016-06-23 | 2016-11-09 | 中国人民解放军63908部队 | 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建 |
US20170300204A1 (en) * | 2016-04-19 | 2017-10-19 | Beijing Pico Technology Co., Ltd. | Method and apparatus for manufacturing interactive electronic manual |
CN107547554A (zh) * | 2017-09-08 | 2018-01-05 | 北京枭龙科技有限公司 | 一种基于增强现实的智能设备远程协助系统 |
CN107578487A (zh) * | 2017-09-19 | 2018-01-12 | 北京枭龙科技有限公司 | 一种基于增强现实智能设备的巡检系统 |
-
2018
- 2018-03-30 CN CN201810293124.1A patent/CN108628654A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750080A (zh) * | 2011-03-30 | 2012-10-24 | 三星电子株式会社 | 显示具有3d视图的指南的电子设备及其方法 |
US20170300204A1 (en) * | 2016-04-19 | 2017-10-19 | Beijing Pico Technology Co., Ltd. | Method and apparatus for manufacturing interactive electronic manual |
CN106096857A (zh) * | 2016-06-23 | 2016-11-09 | 中国人民解放军63908部队 | 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建 |
CN107547554A (zh) * | 2017-09-08 | 2018-01-05 | 北京枭龙科技有限公司 | 一种基于增强现实的智能设备远程协助系统 |
CN107578487A (zh) * | 2017-09-19 | 2018-01-12 | 北京枭龙科技有限公司 | 一种基于增强现实智能设备的巡检系统 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615094A (zh) * | 2018-12-06 | 2019-04-12 | 江苏徐工信息技术股份有限公司 | 基于app和物联网大数据的工程机械维保信息管理系统 |
CN110070871A (zh) * | 2019-04-10 | 2019-07-30 | 国网江苏省电力有限公司南通供电分公司 | 试验报告自动记录装置 |
CN111260497A (zh) * | 2020-01-08 | 2020-06-09 | 黄莹 | 基于移动终端的工业环境下作业指导系统及方法 |
CN111722714A (zh) * | 2020-06-17 | 2020-09-29 | 贵州电网有限责任公司 | 一种基于ar技术的数字化变电站计量运检辅助方法 |
CN111722714B (zh) * | 2020-06-17 | 2023-10-13 | 贵州电网有限责任公司 | 一种基于ar技术的数字化变电站计量运检辅助方法 |
CN114896751A (zh) * | 2021-05-26 | 2022-08-12 | 广州地铁集团有限公司 | 一种设备的运行管理方法、装置及设备、存储介质 |
CN113778222A (zh) * | 2021-07-23 | 2021-12-10 | 中国人民解放军海军航空大学青岛校区 | 一种基于ar的特情处置方法及装置 |
CN113808254A (zh) * | 2021-09-09 | 2021-12-17 | 零空间(北京)科技有限公司 | 电力设备故障维修方案展示方法及系统 |
CN114022881A (zh) * | 2021-10-24 | 2022-02-08 | 何雨萌 | 一种ai+ar物品清点系统及物品清点方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108628654A (zh) | 基于增强现实和物联网的电子手册系统 | |
EP3300005B1 (en) | Augmented reality presentation of an industrial environment | |
US10795940B2 (en) | Chatbot-based cloud management system and method for operating the same | |
CN208488762U (zh) | 液化石油气瓶智能配送服务监管平台 | |
CN106502853A (zh) | 嵌入式智能故障检测报警系统 | |
CN105095817B (zh) | 基于人工智能的智能机器人故障诊断方法、装置及系统 | |
CN109429522A (zh) | 语音交互方法、装置及系统 | |
CN107636702A (zh) | 集成式资产完整性管理系统 | |
CN102622397A (zh) | 微博基础结构中的散列标签管理 | |
CN107862351A (zh) | 有利于故障解决的方法 | |
CN103026341A (zh) | 光学警报识别的方法和设备 | |
CN111098312A (zh) | 窗口政务服务机器人 | |
CN103699964A (zh) | 一种基于证据链和供应链面板的农产品追溯系统 | |
CN108647224A (zh) | 页面显示方法、装置、存储介质和电子装置 | |
CN113312924A (zh) | 一种基于nlp高精解析标签的风险规则分类方法及装置 | |
CN115017491A (zh) | 结合rpa和ai的异常函件监控方法、装置及电子设备 | |
CN104793570A (zh) | 一种便携式动车组故障处理支持设备及系统 | |
KR102597228B1 (ko) | 인공지능 기반 모바일 전력설비 정보안내 및 점검 시스템 | |
KR102596036B1 (ko) | 인공지능 기반 무인매장 운영 서비스 제공 시스템 | |
WO2013115472A1 (ko) | 알에프아이디 발전 자재 관리 시스템 및 방법 | |
CN103297611A (zh) | 用于在电子设备上屏蔽消息的方法和系统 | |
CN108563763A (zh) | 铁路信号设备图形显示方法、装置及移动终端 | |
CN211236847U (zh) | 基于ar技术的高速公路机电设备人机交互系统 | |
CN115313618A (zh) | 一种基于ar和5g的变电站远程专家诊断平台和诊断方法 | |
CN113808254A (zh) | 电力设备故障维修方案展示方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181009 |