CN108919942A - 混合型增强现实人机交互系统 - Google Patents
混合型增强现实人机交互系统 Download PDFInfo
- Publication number
- CN108919942A CN108919942A CN201810514954.2A CN201810514954A CN108919942A CN 108919942 A CN108919942 A CN 108919942A CN 201810514954 A CN201810514954 A CN 201810514954A CN 108919942 A CN108919942 A CN 108919942A
- Authority
- CN
- China
- Prior art keywords
- equipment
- portable
- augmented reality
- mixed type
- identification code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
本发明公开了一种混合型增强现实人机交互系统，基于联网的工业设备实现，所述工业设备带有识别码，包括对工业设备进行控制的AR控制装置，以及用于使用者与AR控制装置进行交互的交互装置。本发明更加智能化，提高使用者与AR控制装置间人机交互操作效率。本发明适用于任意使用者与AR控制装置间的人机交互。
Description
技术领域
本发明属于增强现实系统领域，用于对CPS设备的智能控制，具体地说是一种混合型增强现实人机交互系统。
背景技术
增强现实（AR：Augmented Reality）技术是近二十年出现的新兴技术，该项技术已经广泛的应用于军事领域、航空航天领域、汽车领域等。而目前大多数增强现实系统的人机交互操作都直接发生在使用者个人层面上，因此使用者通过现有技术中常用的智能手机、平板电脑等与增强现实系统进行人机交互。当使用者是用网络摄像机、智能手机、平板电脑或可佩带取景装置（如智能眼镜等）访问增强现实系统时，基本可以借助触觉增强现实人机交互方法、协作式增强现实人机交互方法、多模态人机交互方法等交互方法实现与增强现实系统的人机交互。虽然现有的增强现实人机交互方法种类多样，但很难全面满足工业现场的应用需要，主要表现在：触觉方式可靠性和准确性难以保证，协作方式灵活性难以保证，多模态方式可靠性和高效性难以保证。而使用者与增强现实系统进行人机交互时要求具有高可靠性、高准确性、高灵活性、高效率性；
而混合型增强现实人机交互方法作为使用者与增强现实系统的另外一种交互方法，在形式上具备满足工业现场应用的条件，但具体的方法和系统在目前尚无有效的先例，所以相关技术有待进一步的创新改进。
发明内容
本发明的目的是提供一种混合型增强现实人机交互系统，以提供一种可靠性、稳定性、灵活性、高效性的人机交互，在实现工业现场环境的增强现实（AR）系统人机交互方式功能的同时，解决已有交互方式在工业现场部分不足和不便情况。
本发明为实现上述目的，所采用的技术方案如下：
一种混合型增强现实人机交互系统，基于联网的工业设备实现，所述工业设备带有识别码，包括：
对工业设备进行控制的AR控制装置，以及用于使用者与AR控制装置进行交互的交互装置，其中交互装置包括：
便携式AR取景显示设备，搭载有专用的嵌入式/应用软件，用于实现对工业设备的影像采集，通过模式识别技术辨识影像中的标示性影像特征，同时能够将场景中的设备与该设备的扩展信息关联并叠加融合显示；
可穿戴AR设备，搭载有与便携式AR取景显示装置中相同的专用的嵌入式/应用软件，通过无线配对技术与便携式AR取景显示设备数据互联互通，用于使用者在自由移动和动作过程中与AR控制装置进行交互操作；
第一输入设备，用于使用者对便携式AR取景显示设备中的软件界面进行高效、精准的输入操作，与便携式AR取景显示设备直接无线连接，或通过可穿戴AR设备与便携式AR取景显示设备间接无线连接；
所述AR控制装置包括：
AR网络服务器，作为AR控制装置的核心部分，其搭载有与便携式AR取景显示设备上相匹配的专用的AR服务软件，实时管理工业设备的真实现场环境与虚拟现场环境数据；
AR监控显示设备，用于AR控制装置采集现场的场景数据，使用者通过AR监控显示设备访问AR网络服务器；
工业现场AR服务网络，全面覆盖工业现场空间，用于使用者通过便携式AR取景显示设备对AR网络服务器采集的现场场景数据进行访问；
第二输入设备，自由放置于工业现场中，用于使用者对工业现场AR网络进行访问操作。
作为对本发明中便携式AR取景显示设备的限定：所述便携式AR取景显示设备包括带有摄像头的智能手机、平板电脑、智能眼镜中的至少一种。
作为对本发明的另一种限定：所述标示性影像特征包括地面特征图标、识别码、设备特征表面。
作为对本发明中可穿戴AR设备的限定：所述可穿戴AR设备包括智能手环、智能手表中的一种。
作为对本发明中第一输入设备的限定：所述第一输入设备包括键盘、鼠标、触控面板中的至少一种，且键盘/鼠标/触控面板通过蓝牙/NFC/WIFI与便携式AR取景显示设备直接或间接无线连接。
作为对本发明中AR监控显示设备的限定：所述AR监控显示设备包括AR摄像机、AR显示系统，所述AR摄像机与AR显示系统无线连接，且第二输入设备与AR显示系统通信。
作为对本发明中工业设备的识别码的限定：所述工业设备的识别码为QR识别码、蓝牙识别码、WIFI识别码、红外线识别码、NFC识别码、RFID识别码中的一种。
本发明由于采用了上述的技术方案，其与现有技术相比，所取得的技术进步在于：
本发明通过便携式AR取景显示设备对工业设备的真实场景与虚拟场景进行数据采集，分别设有第一输入设备、第二输入设备、AR监控显示设备，因此在使用者与AR控制装置进行人机交互时，能够实现利用混合型增强现实交互方式与AR控制装置进行交互，进而令使用者通过不同种类但功能互补的输入方式与增强现实网络系统交互，有效提高了人机交互操作环节中的系统可靠性、稳定性、灵活性、高效性，在实现用于工业现场环境的增强现实系统人机交互方式功能的同时，解决已有交互方式在工业现场部分不足和不便情况。
综上所述，本发明更加智能化，提高使用者与AR控制装置间人机交互操作效率。
本发明适用于任意使用者与AR控制装置间的人机交互。
附图说明
图1为本发明实施例的原理框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明。应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例 混合型增强现实人机交互系统
本实施例基于联网的工业设备实现，所述工业设备带有识别码，其中识别码可以为QR（Quick Response）识别码、蓝牙识别码、WIFI识别码、红外线识别码、NFC（Near FieldCommunication）识别码、RFID识别码中的一种，其中QR识别码码是二维条码的一种，源自发明者希望 QR 码可让其内容快速被解码，由于QR码比普通条码可储存更多资料，亦无需像普通条码般在扫描时需直线对准扫描器，因此本实施例采用QR识别码作为工业设备的识别码。
本实施例包括：
对工业设备进行控制的AR控制装置，以及用于使用者与AR控制装置进行交互的交互装置，其中
一、交互装置
如图1所示，包括：
（1）便携式AR取景显示设备，搭载有专用的嵌入式/应用软件，例如iOS或Android设备上开发的iOS app或AR app用于实现对工业设备的影像采集，通过模式识别技术辨识影像中的标示性影像特征，同时能够将场景中的设备与该设备的扩展信息关联并叠加融合显示。
本实施例中的所述便携式AR取景显示设备可采用现有技术中带有摄像头的智能手机、平板电脑、智能眼镜中的一种。且便携式AR取景显示设备辨识影像中的标示性影像特征包括地面特征图标、识别码、设备特征表面。
（2）可穿戴AR设备，搭载有专用的嵌入式/应用软件，该软件与便携式AR取景显示装置中的专用的嵌入式/应用软件相同，因此通过无线配对技术能够与便携式AR取景显示设备数据互联互通，用于使用者在自由移动和动作过程中与AR控制装置进行交互操作。
本实施例中的可穿戴AR设备采用现有技术中的智能手环、智能手表中的至少一种。
（3）第一输入设备，用于使用者对便携式AR取景显示设备中的软件界面进行高效、精准的输入操作，与便携式AR取景显示设备直接无线连接，或通过可穿戴AR设备与便携式AR取景显示设备间接无线连接。
本实施例中的第一输入设备采用键盘、鼠标、触控面板中的一种，且键盘/鼠标/触控面板通过蓝牙/NFC/WIFI与便携式AR取景显示设备直接或间接无线连接。
二、所述AR控制装置
如图1所示，包括：
（1）AR网络服务器，作为AR控制装置的核心部分，其搭载有专用的AR服务软件，所述专用的AR服务软件与便携式AR取景显示设备上搭载的嵌入式/应用软件相匹配，能够实时采集并管理工业设备的真实现场环境与虚拟现场环境数据，并为下述的工业现场AR服务网络提供内容服务。
（2）工业现场AR服务网络，以无线网络和有线网络结合的方式全面覆盖工业现场空间，用于使用者通过便携式AR取景显示设备对AR网络服务器采集的现场场景数据进行访问。确保使用者在使用便携式AR取景显示设备接入网络服务过程中的高速性和可靠性。
（3）第二输入设备，自由放置于工业现场中，用于使用者对工业现场AR网络进行访问操作。
本实施的第二输入设备包括搭载有专用的嵌入式/应用软件iOS app（或Androidapp）的键盘、触控屏、手机、平板键盘、触控板等，针对工业现场AR服务网络服务设计开发的具有输入功能app软件的便携式输入装置，能够令使用者自由地选择此类输入装置对工业现场AR服务网络进行访问，进而实现灵活的精准、高效输入操作。
（4）AR监控显示设备，用于AR控制装置采集现场的场景数据，使用者通过AR监控显示设备访问AR网络服务器。
本实施例的AR监控显示设备包括AR摄像机、AR显示系统，所述AR摄像机与AR显示系统无线连接，且第二输入设备与AR显示系统通信。其中AR摄像机采用现有技术中的摄像头即可，而AR显示系统则采用AR看板系统（如便携式AR终端的显示屏、工况现场的监控屏幕等）或AR远程监控系统，使用者借助安装于工业现场的AR摄像机，通过现场的AR看板系统或AR远程监控系统的第二输入装置实现对工业现场AR服务网络的访问。
Claims (10)
1.一种混合型增强现实人机交互系统，基于联网的工业设备实现，所述工业设备带有识别码，其特征在于包括：
对工业设备进行控制的AR控制装置，以及用于使用者与AR控制装置进行交互的交互装置，其中交互装置包括：
便携式AR取景显示设备，搭载有专用的嵌入式/应用软件，用于实现对工业设备的影像采集，通过模式识别技术辨识影像中的标示性影像特征，同时能够将场景中的设备与该设备的扩展信息关联并叠加融合显示；
可穿戴AR设备，搭载有与便携式AR取景显示装置中相同的专用的嵌入式/应用软件，通过无线配对技术与便携式AR取景显示设备数据互联互通，用于使用者在自由移动和动作过程中与AR控制装置进行交互操作；
第一输入设备，用于使用者对便携式AR取景显示设备中的软件界面进行高效、精准的输入操作，与便携式AR取景显示设备直接无线连接，或通过可穿戴AR设备与便携式AR取景显示设备间接无线连接；
所述AR控制装置包括：
AR网络服务器，作为AR控制装置的核心部分，其搭载有与便携式AR取景显示设备上相匹配的专用的AR服务软件，实时管理工业设备的真实现场环境与虚拟现场环境数据；
AR监控显示设备，用于AR控制装置采集现场的场景数据，使用者通过AR监控显示设备访问AR网络服务器；
工业现场AR服务网络，全面覆盖工业现场空间，用于使用者通过便携式AR取景显示设备对AR网络服务器采集的现场场景数据进行访问；
第二输入设备，自由放置于工业现场中，用于使用者对工业现场AR网络进行访问操作。
2.根据权利要求1所述的混合型增强现实人机交互系统，其特征在于：所述便携式AR取景显示设备包括带有摄像头的智能手机、平板电脑、智能眼镜中的至少一种。
3.根据权利要求1或2所述的混合型增强现实人机交互系统，其特征在于：所述标示性影像特征包括地面特征图标、识别码、设备特征表面。
4.根据权利要求1或2所述的混合型增强现实人机交互系统，其特征在于：所述可穿戴AR设备包括智能手环、智能手表中的至少一种。
5.根据权利要求3所述的混合型增强现实人机交互系统，其特征在于：所述可穿戴AR设备包括智能手环、智能手表中的至少一种。
6.根据权利要求1、2、5中任意一项所述的混合型增强现实人机交互系统，其特征在于：所述第一输入设备包括键盘、鼠标、触控面板中的至少一种，且键盘/鼠标/触控面板通过蓝牙/NFC/WIFI与便携式AR取景显示设备直接或间接无线连接。
7.根据权利要求3所述的混合型增强现实人机交互系统，其特征在于：所述第一输入设备包括键盘、鼠标、触控面板中的至少一种，且键盘/鼠标/触控面板通过蓝牙/NFC/WIFI与便携式AR取景显示设备直接或间接无线连接。
8.根据权利要求1、2、5、7中任意一项所述的混合型增强现实人机交互系统，其特征在于：所述AR监控显示设备包括AR摄像机、AR显示系统，所述AR摄像机与AR显示系统无线连接，且第二输入设备与AR显示系统通信。
9.根据权利要求1、2、5、7中任意一项所述的混合型增强现实人机交互系统，其特征在于：所述工业设备的识别为QR识别码、蓝牙识别码、WIFI识别码、红外线识别码、NFC识别码、RFID识别码中的一种。
10.根据权利要求3所述的混合型增强现实人机交互系统，其特征在于：所述工业设备的识别为QR识别码、蓝牙识别码、WIFI识别码、红外线识别码、NFC识别码、RFID识别码中的一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810514954.2A CN108919942A (zh) | 2018-05-25 | 2018-05-25 | 混合型增强现实人机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810514954.2A CN108919942A (zh) | 2018-05-25 | 2018-05-25 | 混合型增强现实人机交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108919942A true CN108919942A (zh) | 2018-11-30 |
Family
ID=64410112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810514954.2A Pending CN108919942A (zh) | 2018-05-25 | 2018-05-25 | 混合型增强现实人机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108919942A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599603A (zh) * | 2019-09-20 | 2019-12-20 | 上海大学 | 基于增强现实的机械设备可视化交互与设备状态监控系统及其方法 |
| CN113253830A (zh) * | 2020-02-11 | 2021-08-13 | 山东金佳园科技股份有限公司 | 一种混合型增强现实人机交互系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080150736A1 (en) * | 2006-12-20 | 2008-06-26 | Hsin-Fa Fang | Management system with real-time interaction for enviromental monitoring and method thereof |
| CN104820497A (zh) * | 2015-05-08 | 2015-08-05 | 东华大学 | 一种基于增强现实的3d交互显示系统 |
| CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能系统及其实现方法 |
| CN106374382A (zh) * | 2016-09-21 | 2017-02-01 | 厦门亿力吉奥信息科技有限公司 | 电网设备故障检修方法及其系统 |
| CN107168537A (zh) * | 2017-05-19 | 2017-09-15 | 山东万腾电子科技有限公司 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
| US20180131907A1 (en) * | 2016-11-08 | 2018-05-10 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
-
2018
- 2018-05-25 CN CN201810514954.2A patent/CN108919942A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080150736A1 (en) * | 2006-12-20 | 2008-06-26 | Hsin-Fa Fang | Management system with real-time interaction for enviromental monitoring and method thereof |
| CN104820497A (zh) * | 2015-05-08 | 2015-08-05 | 东华大学 | 一种基于增强现实的3d交互显示系统 |
| CN106374382A (zh) * | 2016-09-21 | 2017-02-01 | 厦门亿力吉奥信息科技有限公司 | 电网设备故障检修方法及其系统 |
| CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能系统及其实现方法 |
| US20180131907A1 (en) * | 2016-11-08 | 2018-05-10 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| CN107168537A (zh) * | 2017-05-19 | 2017-09-15 | 山东万腾电子科技有限公司 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599603A (zh) * | 2019-09-20 | 2019-12-20 | 上海大学 | 基于增强现实的机械设备可视化交互与设备状态监控系统及其方法 |
| CN113253830A (zh) * | 2020-02-11 | 2021-08-13 | 山东金佳园科技股份有限公司 | 一种混合型增强现实人机交互系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101237256B (zh) | 电子设备及其被其它电子设备通过nfc控制的方法 | |
| KR101422808B1 (ko) | 드로잉 화면 공유 서비스의 제공 장치 및 방법과 이를 위한 휴대 단말 | |
| CN106909297B (zh) | 一种数据通信处理方法、装置及电子设备、触摸显示设备 | |
| CN103902220B (zh) | 一种移动终端的界面显示方法和移动终端 | |
| CN103577108A (zh) | 视频文件传输方法及视频文件传输系统 | |
| CN105718043A (zh) | 用于控制电子装置的方法和设备 | |
| CN111314441B (zh) | 基于多区域控制的终端控制方法、装置和终端 | |
| US10952267B2 (en) | Terminal and method for connecting to target devices | |
| CN111290695B (zh) | 基于优先级控制的终端控制方法、装置和终端 | |
| CN104660494A (zh) | 一种通信系统 | |
| CN108919942A (zh) | 混合型增强现实人机交互系统 | |
| CN105302364A (zh) | 遥控安卓设备的方法及系统 | |
| CN104143066A (zh) | 用于安全性信息交互的设备 | |
| US11412555B2 (en) | Mobile terminal | |
| CN105578313B (zh) | 远程控制方法，系统，远控执行方法，系统及移动终端 | |
| CN104698728A (zh) | 微型投影装置及其操作方法和操作装置 | |
| CN102520681A (zh) | 基于外观信息识别的物联网终端智能配置方法及系统 | |
| CN103561087A (zh) | 一种设备互连方法及装置 | |
| KR102616289B1 (ko) | 비콘을 이용한 일행을 확인하기 위한 단말, pos 단말, 비콘 관리 서버, 비콘 신호 송출기, 일행 관리 서버 및 그를 포함하는 시스템, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
| CN112558833B (zh) | 应用运行方法、装置及电子设备 | |
| CN104469249A (zh) | 一种信息处理方法及第一电子设备 | |
| CN111653076A (zh) | Ar眼镜的控制方法、装置、存储介质及终端 | |
| CN104898958A (zh) | 一种数据转移方法、装置和系统 | |
| KR102621301B1 (ko) | 메타버스 기반의 비대면 사무실 분양을 위한 스마트 업무지원 시스템 | |
| CN109219035A (zh) | 嵌入式芯片卡的配置平台以及数据变更系统、方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181130 |