CN106899599A - 一种工业环境实景增强式交互方法 - Google Patents

一种工业环境实景增强式交互方法 Download PDF

Info

Publication number
CN106899599A
CN106899599A CN201710139083.6A CN201710139083A CN106899599A CN 106899599 A CN106899599 A CN 106899599A CN 201710139083 A CN201710139083 A CN 201710139083A CN 106899599 A CN106899599 A CN 106899599A
Authority
CN
China
Prior art keywords
equipment
module
real
time data
exchange method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710139083.6A
Other languages
English (en)
Inventor
何积丰
毛侠
史建琦
黄滟鸿
李昂
方徽星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fenglei Information Technology Co Ltd
East China Normal University
Original Assignee
Shanghai Fenglei Information Technology Co Ltd
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fenglei Information Technology Co Ltd, East China Normal University filed Critical Shanghai Fenglei Information Technology Co Ltd
Priority to CN201710139083.6A priority Critical patent/CN106899599A/zh
Publication of CN106899599A publication Critical patent/CN106899599A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • H04W88/06Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Abstract

本发明公开了一种工业环境实景增强式交互方法,其采用实景增强式交互系统实现,该方法包括以下步骤:智能定位模块实时定位追踪带无线功能的AR设备的位置信息,实时数据采集模块采集工业设备的实时数据,无线通信模块在AR设备进入工业设备的物理服务范围内时,对实时数据采集模块所采集的工业设备的实时数据、与带无线功能的与AR设备产生的交互数据进行双向传输,实时连续地更新,AR设备对工业设备的情况进行显示。本发明提供了全新的组态调用、显示及观测的方式,使数据交互更加直观、便捷、人性化。

Description

一种工业环境实景增强式交互方法
技术领域
本发明涉及工业控制领域,具体地,涉及工业环境实景增强式交互方法。这种交互方法涉及了AR(增强现实)技术、PLC(可编程逻辑控制器)数据监控采集技术、蓝牙无线组网和短距定位技术、以及HMI(人机接口)组态技术。
背景技术
美国智能制造领导力联盟于2011年提出了智能制造的概念。德国于2013年在汉诺威工博会上提出了工业4.0,并将其纳入由德国政府发布的《德国2020高技术战略》的十大未来项目中,希望在新一轮的工业革命中占领先机。中国在2015年由国家工信部牵头制定了《中国制造2025》等战略级计划。由此可见,工业控制系统受到越来越多国家的重视。
工业控制系统是强国之基础,大到核电厂、航空航天、轨道交通,小到民营生产等等,据统计,超过80%的涉及国计民生的领域都需要工业控制系统来实现自动化作业,其先进性和现代化程度紧密关系着国家的战略布局。PLC作为工业现场新型、通用的控制器,有着组装灵活、安全性高、抗干扰能力强等显著优点,已经被广泛而大量地运用在了各大工业现场。控制器的不断升级和革新为工业控制的生产、维护以及管理等诸多方面带来了质的突破,然而,配套辅助设施的突破性及创新性不够明显。大量的工业现场都存在以下这些现象:传统的只使用物理按键的机械式HMI操作方式沿用至今,控制方式固定死板;为设备配置独立的物理显示器,成本高昂,数据相对孤立;工业现场采用全有线数据传输,布线极其繁琐复杂等等。工业4.0时代如何改善传统工业制造模式并使其向智能制造转型很大程度上和现有实现技术是息息相关的。
虽然市场中的PLC品牌的种类繁多,但是主流的控制器厂商却屈指可数,被广泛使用且具有影响力的工业现场通信协议数量并不多,这使得针对市场主流PLC进行协议对接和设备数据采集成为可能。另外,物联网以及无线通信技术的迅速发展为工业级数据传输方式带来了新的扩展途径,国家3G/4G传输速率大幅提升且覆盖范围日益完善,蓝牙自4.0+开始逐步实现了低功耗、自组网以及安全加密等优越的新特性,更加贴合工业使用环境。除此之外,视觉上,AR相关的技术热潮正冲击着传统物理屏幕的静态的固定显示方式;肢体上,景深摄像头的使用逐渐开辟了一个人机自然交互的新市场。与此同时,大数据的不断发展和人们对安全性的空前重视使得在工业环境中使用在线专家诊断系统的技术成为热门,上述每一点所涉及的新技术都可能在工业界带来开创性的技术融合与革新。
本发明针对传统工业现场目前实际存在的上述问题,以及观测设备固定、数量众多且不能被复用、成本较高、占用较大的空间,组态调用、显示及观测方式不够灵活、人机交互方式不够灵活、设备诊断效果需要进一步改善等问题,提出了一种工业环境实景增强式交互方法。
发明内容
为了至少部分解决传统工业现场目前实际存在的上述技术问题,本发明提出了工业环境实景增强式交互方法。
本发明提出了一种工业环境实景增强式交互方法,其采用工业环境实景增强式交互系统来实现,实景增强式交互系统包括AR设备、智能定位模块、实时数据采集模块、无线通信模块、以及工业设备,其中所述AR设备包括AR后台组态模块和AR实景自适配模块,该交互方法包括以下步骤:智能定位模块实时定位追踪带无线功能的AR设备的位置信息,同时给出工业设备的物理服务范围;实时数据采集模块采集工业设备的实时数据和对所采集的工业设备进行实时数据的反馈;无线通信模块在AR设备进入工业设备的物理服务范围内时,对实时数据采集模块所采集的工业设备的实时数据、与AR设备产生的交互数据进行双向传输,实时连续地更新;AR后台组态模块获取工业设备的各项参数指标及附加实时数据,同时用于接收和解释AR设备的指令,以实现组态环境的生成和/或更新;以及,AR实景自适配模块捕捉AR设备视野中的实际观测对象,自动调整所采集的工业设备的实时数据的呈现位置及方式,显示虚拟化的观测操作界面,调用并界面化显示由AR后台组态模块所生成和/或更新的组态环境。
根据本发明的交互方法,实时数据采集模块包括数据获取装置和数据反馈装置,由数据获取装置采集工业设备的实时数据;以及由数据反馈装置对所采集的工业设备进行实时数据的反馈。
根据本发明的交互方法,其中的实时数据采集模块采用有线接入方式或无线接入方式,且在网络接入时绑定工业设备的IP地址。
根据本发明的交互方法,其中的实时数据采集模块分别采用以下有线接入方式或无线接入方式中的至少一种:串口、网线、WiFi、2G/3G/4G;其中的实时数据采集模块基于网络的方案采用C/S架构的客户端或B/S架构的web服务的数据访问方式。
根据本发明的交互方法,其中的智能定位模块是采用带组网物联的无线定位技术的定位模块。
根据本发明的交互方法,其中的智能定位模块采用以下带组网物联的无线定位技术:蓝牙无线定位技术,用于给出工业设备的服务范围;蓝牙组网技术,用于多设备互联且汇总数据从而提供模拟工业现场的虚拟节点设备。
根据本发明的交互方法,其中的无线通信模块采用蓝牙作为基础通信方案,或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案。
根据本发明的交互方法,还包括以下步骤:在所述AR设备进入智能定位模块的控制节点设备的服务范围内时,将带有通过上述通信方案实现的无线功能的AR设备的指令按照相关协议发送到控制节点设备,从而启用控制节点设备的设备控制属性,其中所述AR设备采用蓝牙作为基础通信方案,或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案。
根据本发明的交互方法,还包括以下步骤:AR实景自适配模块自动调整和选择组态界面或通用界面的配置,用于在AR设备上显示所采集的工业设备的实时数据。
根据本发明的交互方法,其中的AR后台组态模块包括在线专家诊断系统,并且还包括以下步骤:在线专家诊断系统进行指标提取分析,并且进行综合评判以给出优选决策提示,以供使用者针对多种方案做出决策。
根据本发明的交互方法,其中的智能定位模块使用蓝牙定位、LoRa定位、室内GPS定位中的至少一种。
根据本发明的交互方法,其中,服务范围部分重叠的多个工业设备组成网络,实现设备互联,用于模拟虚拟化的I/O数据节点。
根据本发明的交互方法,在使用其的实景增强式交互系统还包括控制节点设备时,当实景增强式交互终端的无线通信模块采用蓝牙作为基础通信方案,并且扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案时,用于在带有通过上述通信方案实现的无线功能的AR设备进入智能定位模块的控制节点设备的服务范围内时,将AR设备的指令按照相关协议发送到控制节点设备,从而启用控制节点设备的设备控制属性。
如本领域的技术人员能够理解的,根据本发明的实景增强式交互方法至少能够部分地获得如下有益效果:
本发明的实景增强式交互方法提供了一种全新的组态调用、显示及观测的方式,通过随身佩戴AR设备的移动式复用,可在一定程度上减少工业环境传统显示设备的数量,降低采购成本,更加节约能耗和设备占用空间,同时缓解现场复杂布线问题。
本发明的实景增强式交互方法由于采用了物理与体感相结合的人机交互方式,所以不仅能够以高精度的操作来使用对物理设备的控制,从而保证其具有传统工业中的稳定性、安全性和可靠性;而且能够以低精度和提示性的操作来使用手势、语音等更为自然的方式进行人机交互,从而使数据交互更加直观、便捷、人性化。
本发明的实景增强式交互方法结合在线诊断技术,扩展配合在线专家诊断系统,不仅可以提供丰富的例如参数指标预警提示等辅助服务,还可达到减少培训成本、降低失误操作概率、提升设备管理效率等目的。
附图说明
通过阅读下文具体实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的,而并不认为是对本发明的限制。而且在附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明的实施方式的工业环境实景增强式交互系统的总体示意图;
图2示出了根据本发明的实施方式的工业环境实景增强式交互系统中的工业环境实景增强式交互终端的结构框图;
图3示出了根据本发明的实施方式的工业环境实景增强式交互终端中的实时数据采集模块的结构框图;
图4示出了与根据本发明的实施方式的工业环境实景增强式交互终端进行交互的示例性的工业设备的结构框图;
图5示出了根据本发明的实施方式的实景增强式交互系统所实现的方法流程图;
图6示出了根据本发明的实施方式的实景增强式交互终端与工业设备进行交互的方法流程图;以及
图7示出了根据本发明具体实施方式的工业环境实景增强式交互系统的系统框架图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式,然而应当理解,能够以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了根据本发明的实施方式的工业环境实景增强式交互系统的总体示意图。如图1所示,整个系统示意性地包括实景增强式交互终端和工业现场设备,所述实景增强式交互终端包括实时数据采集模块、智能定位模块、无线通信模块、AR设备。
其中,实时数据采集模块是整个所述系统的基础模块,其通过适配市面主流PLC(例如西门子、三菱、欧姆龙等),支持多种工业现场总线通讯协议(例如PROFINET、EtherCAT、Modbus等),用于采集工业设备(即,工业现场节点设备)的实时数据,同时需要对工业现场设备进行数据反馈,二者之间的基础连接方式为有线连接方式(例如,在图1中示出了工业用网线和采用UART的串口方式,但是并不仅限于这两种)。实时数据采集模块可以采用有线接入方式或无线接入方式,可以分别采用以下有线接入方式或无线接入方式中的至少一种:串口、网线、WiFi、2G/3G/4G。实时数据采集模块基于网络采集的方案可以采用C/S架构的客户端或B/S架构的web服务来访问数据,并且数据监测及管理的API可开放给第三方进行多方扩展。
其中,无线通信模块(例如,在图1中示出了包含蓝牙、WiFi的无线通信模块,但是并不仅限于这两种),用于在AR设备和工业现场设备之间进行通信。由此,无线通信模块可以采用蓝牙作为基础通信方案,并且扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案,用于在带有无线功能的AR设备(相应地,AR设备采用蓝牙作为基础通信方案,或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案)进入智能定位模块的控制节点设备的服务范围内时,将AR设备的指令按照相关协议发送到控制节点设备,从而启用控制节点设备的设备控制属性。具体地,一旦所述AR设备进入所述系统服务范围内,无线通信模块将所述实时数据采集模块获取的数据与所述系统的AR设备产生的交互数据进行双向传输,实时连续地更新。
其中,智能定位模块,采用主流的无线定位技术及方案(例如,蓝牙定位、LoRa定位、室内GPS定位等),一方面给出系统中每个节点设备的物理服务的范围,另一方面实时检测并追踪所述系统的使用者进入服务范围后的位置信息。智能定位模块可以是采用带组网物联的无线定位技术的定位模块,可以采用以下带组网物联的无线定位技术:蓝牙无线定位技术,用于给出工业设备的服务范围;若存在服务范围部分重叠的多台设备则可相互组成网络,实现多设备互联,模拟虚拟化的I/O数据节点。可选择地,AR设备带无线功能。
其中,AR设备包含AR实景自适配模块和AR后台组态模块。当所述系统的AR设备获取所述无线通信模块传来的所述实时数据采集模块采集到的数据,AR实景自适配模块和AR后台组态模块协同运行,所述AR实景自适配模块根据捕获到的所述AR设备视野中的实际观测对象,自动调整数据呈现位置及方式并且显示虚拟化的观测操及作界面,即,可以自动调整和选择组态界面或通用界面的配置,为所接收数据提供更加合适的方式显示于所述系统AR设备中;所述AR后台组态模块通过获取设备各项参数指标、待接收和解释的AR设备操作指令等实时数据,及时完成组态环境的生成和更新功能,AR后台组态模块还可以包括在线专家诊断系统,用于进行指标提取分析,并且用于进行综合评判以给出优选决策提示,以供使用者针对多种方案做出决策。
如图2,其以功能模块的形式示出了根据本发明的实施方式的工业环境实景增强式交互系统中的工业环境实景增强式交互终端的结构框图,该工业环境实景增强式交互终端包括实时数据采集模块、智能定位模块、无线通信模块、AR设备,上述各模块的功能与图1中相应模块的功能相对应。
其中,智能定位模块,用于实时定位追踪AR设备的位置信息,同时给出工业设备的物理服务范围;实时数据采集模块,用于采集工业设备的实时数据和对工业设备进行实时数据的反馈;以及,无线通信模块,用于在AR设备进入工业设备的物理服务范围内时,对实时数据采集模块所采集的工业设备的实时数据、以及对AR设备的指令进行转发,实时连续地更新;其中的AR设备包括AR后台组态模块和AR实景自适配模块,AR后台组态模块用于获取工业设备的各项参数指标及附加实时数据,同时用于接收和解释AR设备的指令,以实现组态环境的生成和/或更新;其中的AR实景自适配模块用于捕捉AR设备视野中的实际观测对象,自动调整所采集的工业设备的实时数据的呈现位置及方式,显示虚拟化的观测操作界面,调用并界面化显示由AR后台组态模块所生成和/或更新的组态环境。
如图2所示,在其中示意性地用双向箭头和单向箭头分别表示了各个模块之间的双向和单向数据通信关系。但是本领域的技术人员应该了解的是,图2中所示出的各模块之间的数据通信关系仅仅是示意性的,可以设想各模块之间的其他数据通信关系。
如本领域的技术人员所能了解的,首先,根据本发明的实景增强式交互终端、以及该终端与工业现场设备相结合的系统,提供了一种全新的组态调用、显示及观测的方式,通过随身佩戴AR设备的移动式复用,可在一定程度上减少工业环境传统显示设备的数量,降低采购成本,更加节约能耗和设备占用空间。其次,由于采用了物理与体感相结合的人机交互方式,所以不仅能够以高精度的操作来使用对物理设备的控制,从而保证其具有传统工业中的稳定性、安全性和可靠性;而且能够以低精度和提示性的操作来使用手势、语音等更为自然的方式进行人机交互,从而使数据交互更加直观、便捷、人性化。而且,根据本发明的这种实景增强式交互终端可以缓解现场复杂布线问题。
再次,结合了在线诊断技术的这种实景增强式交互终端,因为扩展配合了在线专家诊断系统,所以不仅可以提供丰富的例如参数指标预警提示等辅助服务,还可达到减少培训成本、降低失误操作概率、提升设备管理效率等目的。
图3示出了根据本发明的实施方式的工业环境实景增强式交互终端中的实时数据采集模块的示例性的结构框图。如图3所示,实时数据采集模块包括数据获取装置和数据反馈装置,其中的数据获取装置用于采集工业设备的实时数据;而其中的数据反馈装置对所采集的工业设备进行实时数据的反馈。
图4示出了与根据本发明的实施方式的工业环境实景增强式交互终端进行交互的工业设备的结构框图。如图4中所示,可选地,工业设备通过串口、网线、WiFi、2G/3G/4G中的一种或多种方式与实景增强式交互终端中的实时数据采集模块连接适配,从而实现工业设备的实时数据采集及反馈功能。
图5示出了根据本发明的实施方式的实景增强式交互方法的步骤的框图,其中包括了以实线框的形式表示的实景增强式交互终端可以操作的基本步骤S501至S505。
在步骤S501中,智能定位模块实时定位追踪带无线功能的AR设备的位置信息,同时给出工业设备的物理服务范围。
在步骤S502中,实时数据采集模块采集工业设备的实时数据。
在步骤S503中,当AR设备进入工业设备的物理服务范围内时,无线通信模块对实时数据采集模块所采集的工业设备的实时数据、AR设备产生的指令进行数据交互,实时连续地更新。
在步骤S504中,AR后台组态模块获取工业设备的各项参数指标及附加实时数据,同时接收和解释AR设备的指令,以实现组态环境的生成和/或更新。
在步骤S505中,AR实景自适配模块捕捉AR设备视野中的实际观测对象,自动调整所采集的工业设备的实时数据的呈现位置及方式,显示虚拟化的观测操作界面,调用并界面化显示由AR后台组态模块所生成和/或更新的组态环境。
根据步骤S504和步骤S505的操作,以及图2中示出的AR实景自适配模块与AR后台组态模块之间的连接关系,可以看出AR实景自适配模块和AR后台组态模块是协同运行的,但是本领域的技术人员也可以考虑实现相同功能的其他实现方式。
可选择地,当根据本发明的实景增强式交互终端的无线通信模块采用蓝牙作为基础通信方案,并且扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案时,实景增强式交互终端还执行步骤S506。在图5中以虚线框的形式表示的步骤S506中,在带有通过上述通信方案实现的无线功能的AR设备进入智能定位模块的控制节点设备的服务范围内时,将AR设备的指令按照相关协议发送到控制节点设备,从而启用控制节点设备的设备控制属性。
可选择地,根据本发明的实景增强式交互终端执行步骤S507。在图5中以虚线框的形式表示的步骤S507中,AR实景自适配模块自动调整和选择组态界面或通用界面的配置,用于在AR设备上显示所采集的工业设备的实时数据。
可选择地,当AR后台组态模块包括在线专家诊断系统时,根据本发明的实景增强式交互终端执行步骤S508。在图5中以虚线框的形式表示的步骤S508中,在线专家诊断系统进行指标提取分析,并且进行综合评判以给出优选决策提示,以供使用者针对多种方案做出决策。
图6示出了根据本发明的实施方式的实景增强式交互终端与工业设备进行交互的方法流程图。
如图6所示,其中包括了以实线框的形式表示的工业设备可以操作的基本步骤S601。在步骤S601中,实景增强式交互终端中的实时数据采集模块通过适配连入工业设备,该适配连入的方式采用有线直连(例如串口、网线)或WiFi、2G/3G/4G中的一种或多种方式。
可选择地,与根据本发明的实景增强式交互终端进行交互的工业设备执行步骤S602。在图6中以虚线框的形式表示的步骤S602中,服务范围部分重叠的多个工业设备组成网络,实现设备互联,用于模拟虚拟化的I/O数据节点。
可选择地,在使用其的实景增强式交互系统还包括控制节点设备时,与根据本发明的实景增强式交互终端进行交互的工业设备执行步骤S603。在图6中以虚线框的形式表示的步骤S603中,当实景增强式交互终端的无线通信模块采用蓝牙作为基础通信方案,并且扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案时,且在带有通过上述通信方案实现的无线功能的AR设备(相应地,AR设备采用蓝牙作为基础通信方案,或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案)进入智能定位模块的控制节点设备的服务范围内时,将AR设备的指令按照相关协议发送到控制节点设备,从而启用控制节点设备的设备控制属性。
尽管在图5、图6中分别以图示的示例顺序示出了可以由实景增强式交互终端和工业设备执行的可选择的示例性的步骤。但是,如本领域的技术人员所能够理解的,这些步骤能够以其他的顺序执行,可以包括可以设想的其他步骤,而且可以包括子步骤。
已经根据上述实施方式实现了根据本发明的工业环境实景增强式交互终端、系统及方法。仅仅出于说明的目的,在此列出了部分实现的细节,以帮助本领域的技术人员理解。
如图7所示,根据本发明的一个实施方式的数据采集模块使用了AnyLinkTM产品,AnyLinkTM盒子集成了大量工业级通讯协议(例如PROFINET、EtherCAT、Modbus等)并适配了市场上的主流PLC(例如西门子、三菱、欧姆龙等),并且提供了任务驱动、设备驱动以及云端开发的API,在其基础上进行二次开发方便、快捷;其中的智能定位模块选用蓝牙定位模块,蓝牙芯片采用东芝公司的TC35676芯片或TC35678芯片,它们支持蓝牙4.1、具有低耗能和自组网等卓越特点,能够给出每个工业设备的物理服务范围,并且若存在服务范围部分重叠的多台工业设备则可相互组成网络,实现多设备互联,模拟虚拟化的I/O数据节点;其中无线通信模块使用上述蓝牙芯片作为无线通讯硬件,并且与嵌入式设备(如cortex-M3/M4开发板)进行数据的透传,当AR设备进入智能定位模块的控制节点设备服务范围内时,通过无线通信模块将所采集的工业设备的数据转发到实景增强式交互终端;实景增强式交互终端可以采用Microsoft公司的Hololens产品,其重量适中、时延低且带有景深摄像头,可以为自然人机交互提供硬件基础,在此基础上,AR实景自适配模块根据AR设备视野中的观测对象自动调整数据呈现位置及方式,并且显示虚拟化的观测操作界面,而AR后台组态模块则通过获取工业设备的各项参数指标、待接收和解释的AR设备的指令等实时数据,及时完成组态环境的生成和更新功能。
如本领域技术人员所能理解的,根据本发明的上述实施方式的实景增强式交互系统至少包括了与根据本发明的上述实施方式的实景增强式交互终端相同或相应的技术特征,因此也解决了上文所述的根据本发明的上述实施方式的实景增强式交互终端所解决的技术问题,并且能够获得其所获得的有益效果。
以上所述,仅为本发明的示例性的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种工业环境实景增强式交互方法,其采用工业环境实景增强式交互系统来实现,所述实景增强式交互系统包括AR设备、智能定位模块、实时数据采集模块、无线通信模块、以及工业设备,其中所述AR设备包括AR后台组态模块和AR实景自适配模块,所述交互方法包括以下步骤:
所述智能定位模块实时定位追踪带无线功能的AR设备的位置信息,同时给出所述工业设备的物理服务范围;
所述实时数据采集模块采集所述工业设备的实时数据和对所采集的所述工业设备进行实时数据的反馈;
所述无线通信模块在所述AR设备进入所述工业设备的物理服务范围内时,对所述实时数据采集模块所采集的工业设备的所述实时数据、与所述AR设备产生的交互数据进行双向传输,实时连续地更新;
所述AR后台组态模块获取所述工业设备的各项参数指标及附加实时数据,同时用于接收和解释所述AR设备的指令,以实现组态环境的生成和/或更新;以及
所述AR实景自适配模块捕捉所述AR设备视野中的实际观测对象,自动调整所采集的所述工业设备的实时数据的呈现位置及方式,显示虚拟化的观测操作界面,调用并界面化显示由所述AR后台组态模块所生成和/或更新的组态环境。
2.根据权利要求1所述的交互方法,其特征在于,所述实时数据采集模块包括数据获取装置和数据反馈装置,由所述数据获取装置采集所述工业设备的所述实时数据;以及由所述数据反馈装置对所采集的所述工业设备进行实时数据的反馈。
3.根据权利要求1或2所述的交互方法,其特征在于,所述实时数据采集模块采用有线接入方式或无线接入方式,且在网络接入时绑定所述工业设备的IP地址。
4.根据权利要求3所述的交互方法,其特征在于,所述实时数据采集模块分别采用以下有线接入方式或无线接入方式中的至少一种:串口、网线、WiFi、2G/3G/4G;所述实时数据采集模块基于网络的方案采用C/S架构的客户端或B/S架构的web服务的数据访问方式。
5.根据权利要求1或2所述的交互方法,其特征在于,所述智能定位模块是采用带组网物联的无线定位技术的定位模块。
6.根据权利要求5所述的交互方法,其特征在于,所述智能定位模块采用以下带组网物联的无线定位技术:蓝牙无线定位技术,用于给出所述工业设备的服务范围;蓝牙组网技术,用于多设备互联且汇总数据从而提供模拟工业现场的虚拟节点设备。
7.根据权利要求1或2所述的交互方法,其特征在于,所述无线通信模块采用蓝牙作为基础通信方案,或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案。
8.根据权利要求7所述的交互方法,其特征在于,所述交互方法还包括以下步骤:
在所述AR设备进入所述智能定位模块的控制节点设备的服务范围内时,将所述AR设备的指令按照相关协议发送到所述控制节点设备,从而启用所述控制节点设备的设备控制属性,其中所述AR设备采用蓝牙作为基础通信方案,或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案。
9.根据权利要求1或2所述的交互方法,其特征在于,所述交互方法还包括以下步骤:
所述AR实景自适配模块自动调整和选择组态界面或通用界面的配置,用于在所述AR设备上显示所采集的所述工业设备的实时数据。
10.根据权利要求1或2所述的交互方法,其特征在于,所述AR后台组态模块包括在线专家诊断系统,所述交互方法还包括以下步骤:
所述在线专家诊断系统进行指标提取分析,并且进行综合评判以给出优选决策提示,以供使用者针对多种方案做出决策。
CN201710139083.6A 2017-03-09 2017-03-09 一种工业环境实景增强式交互方法 Pending CN106899599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710139083.6A CN106899599A (zh) 2017-03-09 2017-03-09 一种工业环境实景增强式交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710139083.6A CN106899599A (zh) 2017-03-09 2017-03-09 一种工业环境实景增强式交互方法

Publications (1)

Publication Number Publication Date
CN106899599A true CN106899599A (zh) 2017-06-27

Family

ID=59185520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710139083.6A Pending CN106899599A (zh) 2017-03-09 2017-03-09 一种工业环境实景增强式交互方法

Country Status (1)

Country Link
CN (1) CN106899599A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
US11074730B1 (en) 2020-01-23 2021-07-27 Netapp, Inc. Augmented reality diagnostic tool for data center nodes
CN114706486A (zh) * 2022-04-26 2022-07-05 四川大学 基于手势识别的混合现实工业控制方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
CN103309226A (zh) * 2013-06-09 2013-09-18 深圳先进技术研究院 配合智能眼镜使用的智能手表
CN104090660A (zh) * 2014-05-30 2014-10-08 贺杰 一种基于立体视觉的动作采集和反馈方法及系统
CN104486586A (zh) * 2014-12-18 2015-04-01 深圳先进技术研究院 一种基于视频地图的灾难救生模拟训练方法及系统
CN105338483A (zh) * 2014-08-12 2016-02-17 中国电信股份有限公司 基于增强实现技术实现展馆导游的方法、装置和系统
US20160049006A1 (en) * 2014-08-15 2016-02-18 Daqri, Llc Spatial data collection
CN105892360A (zh) * 2016-04-29 2016-08-24 上海交通大学 基于ar的温室远程监控系统及其喷灌控制方法
CN106033333A (zh) * 2015-03-10 2016-10-19 沈阳中云普华科技有限公司 一种可视化的增强现实场景制作系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
CN103309226A (zh) * 2013-06-09 2013-09-18 深圳先进技术研究院 配合智能眼镜使用的智能手表
CN104090660A (zh) * 2014-05-30 2014-10-08 贺杰 一种基于立体视觉的动作采集和反馈方法及系统
CN105338483A (zh) * 2014-08-12 2016-02-17 中国电信股份有限公司 基于增强实现技术实现展馆导游的方法、装置和系统
US20160049006A1 (en) * 2014-08-15 2016-02-18 Daqri, Llc Spatial data collection
CN104486586A (zh) * 2014-12-18 2015-04-01 深圳先进技术研究院 一种基于视频地图的灾难救生模拟训练方法及系统
CN106033333A (zh) * 2015-03-10 2016-10-19 沈阳中云普华科技有限公司 一种可视化的增强现实场景制作系统及方法
CN105892360A (zh) * 2016-04-29 2016-08-24 上海交通大学 基于ar的温室远程监控系统及其喷灌控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
US11074730B1 (en) 2020-01-23 2021-07-27 Netapp, Inc. Augmented reality diagnostic tool for data center nodes
US11610348B2 (en) 2020-01-23 2023-03-21 Netapp, Inc. Augmented reality diagnostic tool for data center nodes
CN114706486A (zh) * 2022-04-26 2022-07-05 四川大学 基于手势识别的混合现实工业控制方法及装置

Similar Documents

Publication Publication Date Title
CN106953900A (zh) 一种工业环境实景增强式交互终端及系统
CN105450654B (zh) 基于中间件技术的智能家居开发平台及其业务开发方法
CN106595565A (zh) 一种基于bim的智能化监测系统
CN106301911A (zh) 基于sdn的空间信息网络半实物集中式仿真平台及其实现方法
CN101867959B (zh) 卫星移动通信网络多机协同仿真系统及方法
CN106899599A (zh) 一种工业环境实景增强式交互方法
CN103532782A (zh) 一种wlan无线网络测试仪及其测试方法
CN101867505B (zh) 一种网络仿真方法和装置
CN202230635U (zh) 基于虚拟现实技术的变电站巡检机器人仿真系统
CN107948008A (zh) 一种用于低压配电网监控系统的建模方法
CN107949010A (zh) 基于mesh网络的无线组网路由测试方法及系统
CN104699476A (zh) 仿真方法、装置及系统
CN109041012A (zh) 基于综合通信与计算能力的基站选择方法和系统
CN106411637A (zh) 物联网设备场景测试方法
CN102982209A (zh) 基于hla的空间网络可视化仿真系统及仿真方法
CN106055067A (zh) 服务器系统及增强服务器系统的存储器错误容忍率的方法
CN106953656A (zh) 一种智能终端控制对讲机进行信息传输的方法与装置
CN107248925A (zh) 一种无线网络系统的配置方法、配置终端以及配置系统
CN101588272A (zh) 一种移动自组织网络试验平台及其方法
CN104539722B (zh) 一种远近程通信操控数据的收集方法
CN206819535U (zh) 结合无线窄带载波中继的电力线宽带载波抄表系统
CN111710032A (zh) 变电站三维模型的构建方法、装置、设备和介质
CN106161567A (zh) 位置信息获取方法和装置、广告推送方法和装置
CN107483284A (zh) 网络设备的测试方法及装置
CN206894660U (zh) 一种用于对多个设备节点的无线网络进行配置的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170627

RJ01 Rejection of invention patent application after publication