CN108776444B - 适用于cps自动化控制系统的增强现实人机交互系统 - Google Patents
适用于cps自动化控制系统的增强现实人机交互系统 Download PDFInfo
- Publication number
- CN108776444B CN108776444B CN201810514807.5A CN201810514807A CN108776444B CN 108776444 B CN108776444 B CN 108776444B CN 201810514807 A CN201810514807 A CN 201810514807A CN 108776444 B CN108776444 B CN 108776444B
- Authority
- CN
- China
- Prior art keywords
- cps
- equipment
- control system
- target
- automatic control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23051—Remote control, enter program remote, detachable programmer
Abstract
本发明公开了一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，包括：AR控制装置，用于通过CPS自动化控制系统内的目标CPS设备具备的唯一身份标识，利用CPS自动化控制系统内的CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联；Digital Twin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集Digital Twin数据服务器采集存储的相应目标CPS设备的数据。本发明更加智能化，功能更加齐全，提高使用者的操作效率。本发明适用于任意CPS自动化控制系统。
Description
技术领域
本发明属于增强现实系统领域，用于对CPS设备的智能控制，具体地说是一种适用于CPS自动化控制系统的增强现实人机交互系统。
背景技术
增强现实（AR：Augmented Reality）技术是近二十年出现的新兴技术。而随着自动化控制技术的发展，具备CPS（Cyber-Physical Systems，即信息物理系统）特征的自动化控制设备的应用日益广泛， CPS设备（如数控系统、机器人控制器等）实时相关的数据信息量也大幅增加，主要表现为更复杂的控制指令，更多的传感器反馈数据，更详尽的报警信息，更智能的诊断向导，以及更丰富的网络协作设备。而目前自动控制设备的人机交互（HMI）模式依旧采用近40年前（自二十世纪七十年代）方法，人机交互（HMI）的界面布局也没有发生本质改变。虽然现有的人机交互（HMI）采用更大尺寸的显示装置（例如大尺寸显示屏等），采用了丰富的输入方式（例如采用触控屏幕等），但是人机数据与操作方式仍留在二维交互层面上，用户不能迅速的从庞大的CPS数据及时的获得关切数据，更大的屏幕中更多的显示数据反而令使用者的操作效率变得低下。
发明内容
本发明的目的是提供一种适用于CPS自动化控制系统的增强现实人机交互系统，通过增强现实（AR）技术特有的情景感知特性，实现了以“真实设备场景”为中心，基于CPS网络的“Digital Twin”数据为驱动的全新交互框架。
本发明为实现上述目的，所采用的技术方案如下：
一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，包括：
AR控制装置，用于通过CPS自动化控制系统内的目标CPS设备具备的唯一身份标识，利用CPS自动化控制系统内的CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联；
Digital Twin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集Digital Twin数据服务器采集存储的相应目标CPS设备的数据，以及大数据挖掘分析的间接关联数据。
作为对本发明的限定：所述AR控制装置包括：
影像获取模块，用于根据目标CPS设备的唯一身份标识获取目标CPS设备的实际场景信息；
信息处理模块，用于根据影像获取模块获取的目标CPS设备实际场景信息与Digital Twin数据服务器获取的目标CPS设备的数据信息进行计算，完成目标CPS设备AR影像与实际场景信息叠加融合计算得到最终场景模式；
显示模块，用于向AR控制装置的使用者提供影像获取模块获得的目标CPS设备实际场景，以及信息处理模块叠加融合计算得到的最终场景；
输出/操作设备，通过无线通讯的方式与信息处理模块形成绑定的通讯关系，用于为AR控制装置的使用者提供目标CPS设备操作控制数据输入。
作为对本发明的另一种限定：所述目标CPS设备具备的唯一身份标识为QR识别码、蓝牙、WIFI、NFC、RFID识别码中的一种，所述唯一身份标识包括有目标CPS设备的结构尺寸及位置信息。
作为对本发明的最后一种限定：所述AR控制装置为手机、平板、AR眼镜中的一种。
作为对本发明中影像获取模块的限定：所述影像获取模块采用摄像头，或这采用佩戴于使用者身上的AR眼镜。
本发明由于采用了上述的技术方案，其与现有技术相比，所取得的技术进步在于：
本发明的通过CPS自动化控制系统、AR控制装置、Digital Twin数据服务器构成，通过增强现实（AR）技术特有的情景感知特性，突破传统人机交互方式中以二维“窗口”界面为中心、单机设备数据驱动的交互框架，创新的实现了以“真实设备场景”为中心，基于CPS网络的“Digital Twin”数据为驱动的全新交互框架，有效提高了用户从庞大的CPS数据及时的获得关切数据的效率，进而提高了使用者的操作效率。
综上所述，本发明更加智能化，功能更加齐全，提高使用者的操作效率。
本发明适用于任意CPS自动化控制系统。
附图说明
图1为本发明实施例的原理框图；
图2为本发明实施例采集到的具有CPS功能的数控机床设备的真实场景；
图3为本发明实施例利用AR控制装置将图2的数据进行叠加后的显示图；
图4为本发明实施例选取设备的识别码图，识别代码为0422。
具体实施方式
以下结合附图对本发明的优选实施例进行说明。应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例 适用于CPS自动化控制系统的增强现实人机交互系统
本实施例基于CPS自动化控制系统而实现，用于对具有CPS自控化控制系统的车间数控机床或工业机器人进行人机交互，上述车间数控机床或工业机器人的共同特征是设备本身具有CNC或其他自动化控制器进行控制，具有完善的CPS网络,同时满足Digital Twin数据服务器对其进行数据采集及远程控制的基本要求。本实施例直接对车间数控机床进行人机交互，包括：
（1）AR控制装置，用于使用者握持或佩戴。由于具有CPS自动化控制系统的车间控制系统的每个设备（即目标CPS设备）具备至少一个唯一身份标识，且车间控制系统具有CPS网络，因此实施例中的AR控制装置能够通过CPS网络实时采集、并显示相应车间内目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联，如图2所示，采集到的数控机床设备的真实场景，如图4所示，该设备的唯一身份标识为0422；
（2）Digital Twin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集Digital Twin数据服务器采集存储的相应目标CPS设备的数据，以及大数据挖掘分析的间接关联数据。
Digital Twin数据服务器采集到的AR控制装置所采集到的具备CPS功能的数控机床设备的整体数据，包含有加工数据、生产数据、维护数据等。所述AR控制装置将实际场景与Digital Twin数据服务器采集到的数据叠加后得到的场景如图3所示。
其中，本实施例中AR控制装置包括：
影像获取模块，用于根据目标CPS设备的唯一身份标识获取目标CPS设备的实际场景信息。本实施例中的影像获取模块采用现有技术中的摄像头即可，也可采用佩戴于使用者身上的AR眼镜。
信息处理模块，用于根据影像获取模块获取的目标CPS设备实际场景信息与Digital Twin数据服务器获取的目标CPS设备的数据信息进行计算，完成目标CPS设备AR影像与实际场景信息叠加融合计算得到最终场景模式。
显示模块，用于向AR控制装置的使用者提供影像获取模块获得的目标CPS设备实际场景，以及信息处理模块叠加融合计算得到的最终场景。
输出/操作设备，通过无线通讯的方式与信息处理模块形成绑定的通讯关系，用于为AR控制装置的使用者提供目标CPS设备操作控制数据输入。
本实施例的AR控制装置可采用搭载有AR运算程序的手机、平板、AR眼镜中的一种，进而实现所用的手机、平板、AR眼镜具有上述的影像获取模块（手机、平板的摄像头，或AR眼镜本身）、信息处理模块（手机、平板、AR眼镜的CPU）、显示模块（手机、平板的显示屏，或AR眼镜本身），以及输出/操作设备（仅限于拥有触控屏的手机、平板）。在使用时，AR控制装置能够在影像获取模块中建立AR影像与真实设备场景的三维位置匹配关联，确保影像获取模块获取的AR影像与真实影像完美重叠融合。
而本实施例中的目标CPS设备具备的唯一身份标识包括有目标CPS设备的结构尺寸及位置信息，便于使用在不同角度快速匹配显示模块与目标CPS设备之间的关联。本实施例的唯一身份标识采用现有技术中的QR（Quick Response）识别码，该QR识别码是而为条码中的一种，比普通的条码可存储更多的资料，无需如其他普通条码般在扫描时需要直线对准扫描器，应用范围更广。但从经费方面考虑，也可利用蓝牙、WIFI、NFC、RFID识别码中的一种代替QR识别码。
Claims (4)
1.一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，其特征在于包括：
AR控制装置，用于通过CPS自动化控制系统内的目标CPS设备具备的唯一身份标识，利用CPS自动化控制系统内的CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联；
DigitalTwin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集DigitalTwin数据服务器采集存储的相应目标CPS设备的数据，以及大数据挖掘分析的间接关联数据；
其中，所述AR控制装置包括：
影像获取模块，用于根据目标CPS设备的唯一身份标识获取目标CPS设备的实际场景信息；
信息处理模块，用于根据影像获取模块获取的目标CPS设备实际场景信息与DigitalTwin数据服务器获取的目标CPS设备的数据信息进行计算，完成目标CPS设备AR影像与实际场景信息叠加融合计算得到最终场景模式；
显示模块，用于向AR控制装置的使用者提供影像获取模块获得的目标CPS设备实际场景，以及信息处理模块叠加融合计算得到的最终场景；
输出/操作设备，通过无线通讯的方式与信息处理模块形成绑定的通讯关系，用于为AR控制装置的使用者提供目标CPS设备操作控制数据输入。
2.根据权利要求1所述的适用于CPS自动化控制系统的增强现实人机交互系统，其特征在于：所述目标CPS设备具备的唯一身份标识为QR识别码、蓝牙、WIFI、NFC、RFID识别码中的一种，所述唯一身份标识包括有目标CPS设备的结构尺寸及位置信息。
3.根据权利要求1或2所述的适用于CPS自动化控制系统的增强现实人机交互系统，其特征在于：所述AR控制装置为手机、平板、AR眼镜中的一种。
4.根据权利要求1所述的适用于CPS自动化控制系统的增强现实人机交互系统，其特征在于：所述影像获取模块采用摄像头，或这采用佩戴于使用者身上的AR眼镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810514807.5A CN108776444B (zh) | 2018-05-25 | 2018-05-25 | 适用于cps自动化控制系统的增强现实人机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810514807.5A CN108776444B (zh) | 2018-05-25 | 2018-05-25 | 适用于cps自动化控制系统的增强现实人机交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108776444A CN108776444A (zh) | 2018-11-09 |
| CN108776444B true CN108776444B (zh) | 2021-09-03 |
Family
ID=64027560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810514807.5A Expired - Fee Related CN108776444B (zh) | 2018-05-25 | 2018-05-25 | 适用于cps自动化控制系统的增强现实人机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776444B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580024A (zh) * | 2019-09-17 | 2019-12-17 | Oppo广东移动通信有限公司 | 基于增强现实的车间辅助作业实现方法、系统及存储介质 |
| CN110751734B (zh) * | 2019-09-23 | 2022-06-14 | 华中科技大学 | 一种适用于工作现场的混合现实助手系统 |
| CN111176189A (zh) * | 2020-01-10 | 2020-05-19 | 哈尔滨工业大学 | 一种基于cps的机器人远程控制系统 |
| CN111553974A (zh) * | 2020-04-21 | 2020-08-18 | 北京金恒博远科技股份有限公司 | 一种基于混合现实的数据可视化远程协助方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
| CN104834379A (zh) * | 2015-05-05 | 2015-08-12 | 江苏卡罗卡国际动漫城有限公司 | 一种基于ar技术的维修向导系统 |
| CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能系统及其实现方法 |
| CN106339094A (zh) * | 2016-09-05 | 2017-01-18 | 山东万腾电子科技有限公司 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
| CN108628286A (zh) * | 2017-03-24 | 2018-10-09 | 郑芳田 | 机台维修系统与方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9472028B2 (en) * | 2014-06-23 | 2016-10-18 | GM Global Technology Operations LLC | Augmented reality based interactive troubleshooting and diagnostics for a vehicle |
-
2018
- 2018-05-25 CN CN201810514807.5A patent/CN108776444B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
| CN104834379A (zh) * | 2015-05-05 | 2015-08-12 | 江苏卡罗卡国际动漫城有限公司 | 一种基于ar技术的维修向导系统 |
| CN106339094A (zh) * | 2016-09-05 | 2017-01-18 | 山东万腾电子科技有限公司 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
| CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能系统及其实现方法 |
| CN108628286A (zh) * | 2017-03-24 | 2018-10-09 | 郑芳田 | 机台维修系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108776444A (zh) | 2018-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776444B (zh) | 适用于cps自动化控制系统的增强现实人机交互系统 | |
| US10838211B2 (en) | Maintenance support device and maintenance support system for factory equipment | |
| KR20190076770A (ko) | 증강현실 기반 조립 가이드 시스템 | |
| CN112416531B (zh) | 数字孪生系统仿真方法、系统、计算机设备及存储介质 | |
| KR102132330B1 (ko) | 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 | |
| CN103605342A (zh) | 基于互联网的远程分布式控制系统及方法 | |
| CN206863575U (zh) | 一种基于混合现实技术的工业设备全息智能管理系统 | |
| Schmitt et al. | Mobile interaction technologies in the factory of the future | |
| CN109426212A (zh) | 生成数控设备的运行模拟信息的方法、装置、设备和系统 | |
| CN103179401A (zh) | 多智能体协同视频采集与图像信息拼接处理方法及装置 | |
| CN111667162A (zh) | 一种基于工业互联网的中药或天然植物提取智能制造系统 | |
| CN110977981A (zh) | 一种机器人虚拟现实同步系统及同步方法 | |
| CN110751734B (zh) | 一种适用于工作现场的混合现实助手系统 | |
| CN108415386A (zh) | 用于智能车间的增强现实系统及其工作方法 | |
| CN106003035A (zh) | 一种智能家居机器人系统 | |
| CN104298169A (zh) | 一种视觉智能数控系统的数据变换方法 | |
| CN106003073A (zh) | 基于人工智能的智能机器人与客户端的交互系统 | |
| CN203732959U (zh) | 总线型集控式金属焊/熔接控制系统 | |
| CN105629943A (zh) | 一种基于可穿戴设备的制造系统及其运行方法 | |
| CN111352398B (zh) | 智能精密加工单元 | |
| CN106041966A (zh) | 机器人示教动作控制方法和装置 | |
| CN110991522A (zh) | 一种字符识别方法、系统及工业智能网关 | |
| CN205183185U (zh) | 手机马达自动识别抓取装置 | |
| CN112634433A (zh) | 一种数字工厂的实时控制及可视化系统 | |
| CN104268348A (zh) | 基于Intouch的可视化物流监控系统及其实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210903 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |