CN110716647A - 一种增强现实交互方法、装置及系统 - Google Patents
一种增强现实交互方法、装置及系统 Download PDFInfo
- Publication number
- CN110716647A CN110716647A CN201910990208.5A CN201910990208A CN110716647A CN 110716647 A CN110716647 A CN 110716647A CN 201910990208 A CN201910990208 A CN 201910990208A CN 110716647 A CN110716647 A CN 110716647A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- augmented reality
- information
- force
- feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 129
- 230000003993 interaction Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 239000000463 material Substances 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 35
- 230000002452 interceptive effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 210000001015 abdomen Anatomy 0.000 claims description 3
- 230000005294 ferromagnetic effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 238000007654 immersion Methods 0.000 abstract description 7
- 239000003550 marker Substances 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种增强现实交互方法、装置及系统。方法包括：接收增强现实客户端采集的现实环境的图像信息；基于图像信息中的特征标记实现虚拟物体的注册，并将虚拟物体的信息发送给增强现实客户端，以形成AR融合场景；确定AR融合场景中用户手指与虚拟物体的接触点；控制增强现实客户端向力反馈手套发送相应的反馈力度信息，以使力反馈手套根据反馈力度信息向用户手指反馈相应的作用力，其中，作用力关联虚拟物体上与用户手指接触的接触点的材质类型。本发明在用户与虚拟物体交互时，通过力反馈手套向用户手指反馈相应的作用力，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感。
Description
技术领域
本发明实施例涉及增强显示技术领域，尤其涉及一种增强现实交互方法、装置及系统。
背景技术
增强现实(Augmented Reality，简称AR)也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。
当前在增强现实技术中，已实现的交互方式有：手势识别、语音交互、凝视交互、手柄交互，如Hololens、Magic Leap。但手势识别、凝视交互、手柄交互都只能为体验者提供一个视觉结果，体验者只能进行视觉上的交互体验，无法与视觉结果再进行具有物理感知的交互，所以基于目前的增强现实技术无法带给体验者较强的沉浸感，体验者始终处于非自然人机交互状态，同时也限制了AR设备在不同应用场景之下的应用能力。
发明内容
本发明提供一种增强现实交互方法、装置及系统，在用户与虚拟物体交互时，通过力反馈手套向用户手指反馈相应的作用力，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感，使得交互更加贴近真实世界的自然交互。
第一方面，本发明实施例提供了一种增强现实交互方法，包括：
接收增强现实客户端采集的现实环境的图像信息；
基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；
确定所述AR融合场景中用户手指与所述虚拟物体的接触点；
控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。
可选的，所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点，包括：
基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。
可选的，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：
基于三角测量算法确定用户手指至增强现实客户端的第一向量；
基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。
可选的，所述增强现实交互方法，还包括：
预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。
可选的，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：
基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。
第二方面，本发明实施例还提供了一种增强现实交互装置，该装置包括：
接收模块，用于接收增强现实客户端采集的现实环境的图像信息；
注册模块，用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；
接触点确定模块，用于确定所述AR融合场景中用户手指与所述虚拟物体的接触点；
反馈力度信息发送模块，用于控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。
可选的，所述接触点确定模块包括：
接触点确定模块单元，用于基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。
可选的，所述装置还包括：
第一向量确定模块，用于在确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，基于三角测量算法确定用户手指至增强现实客户端的第一向量；
位置信息确定单元，用于基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。
可选的，所述装置还包括：
映射关系建立模块，用于预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。
可选的，所述装置还包括：
目标对象确定模块，用于在确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。
第三方面，本发明实施例还提供了一种增强现实交互系统，包括：云端服务器、增强现实客户端以及力反馈手套；
所述增强现实客户端与所述云端服务器无线连接，用于采集现实环境的图像信息，并上传给所述云端服务器；
所述云端服务器用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；以及确定所述AR融合场景中用户手指与所述虚拟物体的接触点，并控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息；
所述力反馈手套与所述增强现实客户端无线连接，用于在接收到所述反馈力度信息时，根据所述反馈力度信息向所述用户手指反馈相应的作用力，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。
可选的，所述增强现实客户端包括：
显示组件，用于显示虚拟物体；
图像采集组件，用于采集现实环境的图像信息；
第一通讯组件，用于与所述云端服务器无线连接，所述第一通讯组件包括5G通信模组或WIFI通信模组；
第二通讯组件，用于与所述力反馈手套无线连接，所述第二通讯组件包括蓝牙通信模组。
可选的，所述力反馈手套包括：
第三通讯组件，所述第三通讯组件用于与所述增强现实客户端无线连接，所述第三通讯组件包括蓝牙通信模组；
驱动器，所述驱动器用于根据所述第三通讯组件接收到的反馈力度信息，驱动力反馈执行组件；
力反馈执行组件，用于在所述驱动器的驱动下，向所述用户手指反馈作用力。
可选的，所述力反馈执行组件设置于所述力反馈手套的指腹位置，包括：
电磁铁，所述电磁铁与所述驱动器电连接；
铁磁体，与所述电磁铁相对设置；
缓冲片，设置于所述电磁铁和所述铁磁体之间。
本发明实施例提供的增强现实交互方法，基于接收到的图像信息中的特征标记实现虚拟物体的注册，并将虚拟物体的信息发送给增强现实客户端，以形成AR融合场景，确定AR融合场景中用户手指与虚拟物体的接触点，控制增强现实客户端向力反馈手套发送相应的反馈力度信息，以使力反馈手套根据反馈力度信息向用户手指反馈相应的作用力，其中，作用力关联虚拟物体上与用户手指接触的接触点的材质类型。本发明在用户与虚拟物体交互时，通过力反馈手套向用户手指反馈相应的作用力，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感，使得交互更加贴近真实世界的自然交互。
附图说明
图1为本发明实施例一提供的一种增强现实交互方法的流程图；
图2为本发明实施例二提供的一种增强现实交互装置的结构示意图；
图3为本发明实施例三提供的一种增强现实交互系统的结构示意图；
图4为本发明实施例中增强现实客户端的结构示意图；
图5为本发明实施例中力反馈手套的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
本发明实施例一提供了一种增强现实交互方法，本实施例可适用于增强现实交互，该方法可以由本发明实施例提供的增强现实交互装置来执行，该装置可采用软件和/或硬件的方式实现，并集成于增强现实交互系统中，图1为本发明实施例一提供的一种增强现实交互方法的流程图，如图1所示，本发明实施例的方法具体包括如下步骤：
S101、接收增强现实客户端采集的现实环境的图像信息。
示例性的，增强现实客户端可以为增强现实眼镜，增强现实眼镜搭载有图像采集组件，在具体实施例中，图像采集组件可以是单目摄像头或双目摄像头。增强现实客户端通过摄像头采集现实环境的图像，并将该图像信息发送给云端服务器，云端服务器接收增强现实客户端采集的现实环境的图像信息。
S102、基于图像信息中的特征标记实现虚拟物体的注册，并将虚拟物体的信息发送给增强现实客户端。
示例性的，本发明实施例的方法基于特征标记(Marker)，该特征标记用于确定增强现实客户端的空间位置以及虚拟物体的空间位置，特征标记可以是二维码，或者其他用于定位的标记，特征标记可以集成至任何真实世界的对象中。
具体的，云端服务器对采集的现实环境的图像信息进行图像处理，所述图像处理包括首先对图像进行颜色阈值的处理，提取出大致的轮廓线，使用多边形近似提取出是四边形的轮廓，识别出特征标记，基于该特征标记在图像中的位置，确定相机相对于该特征标记的空间位置，也即确定增强现实客户端相对于该特征标记的空间位置。同时，在识别出特征标记后，提取出特征标记携带的信息，根据该特征标记携带的信息，云端服务器计算出所要生成的虚拟物体，并将虚拟物体的信息发送给增强现实客户端，其中，虚拟物体的信息包括虚拟物体的几何信息和位置信息，增强现实客户端基于虚拟物体的几何信息和位置信息形成虚拟物体图像，对特征标记进行覆盖，从而将虚拟物体融合在现实环境的图像，形成AR融合场景。
需要说明的是，上述实施例以基于特征标记的AR为例对本发明实施例进行说明，在本发明其他实施例中也可以基于即时定位与地图构建(Simultaneously LocalizationAnd Mapping，SLAM)或基于地理位置，本发明在此不做限定。
S103、确定AR融合场景中用户手指与虚拟物体的接触点。
示例性的，用于穿戴有力反馈手套，当用户与虚拟物体交互时，用户的手指会进入增强现实客户端的采集范围，进而被增强现实客户端采集到，并上传给云端服务器，云端服务器基于三角测量算法确定用户手指至增强现实客户端的第一向量，增强现实客户端自身在虚拟世界的三维坐标向量为第二向量。因为虚拟世界和真实世界的坐标系是一比一的映射关系，那么根据第一向量和第二向量的矢量和可以计算出每个手指在虚拟世界的三维坐标，从而实现将真实世界的手指映射到虚拟世界中。
基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。
可选的，在本发明的一个实施例中，步骤S103之前，还可以包括：
基于虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定虚拟物体为可交互的目标对象。若该虚拟物体为不可交互的对象，则无需执行后续的步骤，减少云端服务器的运算负担。具体的，云端服务器在计算出所要生成的虚拟物体后，根据虚拟物体的几何信息，在预设特征数据库中查找是否由于该虚拟物体的几何信息匹配的对象，若有，则确定该虚拟物体为可交互的目标对象，若没有则确定该虚拟物体为不可交互的对象。
S104、控制增强现实客户端向力反馈手套发送相应的反馈力度信息，以使力反馈手套根据反馈力度信息向用户手指反馈相应的作用力。
示例性的，预先建立虚拟物体的材质种类与反馈力度信息的映射关系，例如，若虚拟物体的石头，对应的反馈力度为10，若虚拟物体为毛发，对应的反馈力度为1，虚拟物体与反馈力度的对应关系可以根据实际情况和用户需求自行设置。
云端服务器在确定用户手指与虚拟物体接触时，根据接触点的材质类型，向增强现实客户端发送控制信号，以控制增强现实客户端向力反馈手套发送相应的反馈力度信息，进而力反馈手套根据反馈力度信息向用户手指反馈相应的作用力。
本发明实施例提供的增强现实交互方法，基于接收到的图像信息中的特征标记实现虚拟物体的注册，并将虚拟物体的信息发送给增强现实客户端，以形成AR融合场景，确定AR融合场景中用户手指与虚拟物体的接触点，控制增强现实客户端向力反馈手套发送相应的反馈力度信息，以使力反馈手套根据反馈力度信息向用户手指反馈相应的作用力，其中，作用力关联虚拟物体上与用户手指接触的接触点的材质类型。本发明在用户与虚拟物体交互时，通过力反馈手套向用户手指反馈相应的作用力，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感，使得交互更加贴近真实世界的自然交互。
实施例二
本发明实施例二提供了一种增强现实交互装置，图2为本发明实施例二提供的一种增强现实交互装置的结构示意图，如图2所示，该装置包括：
接收模块201，用于接收增强现实客户端采集的现实环境的图像信息；
注册模块202，用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；
接触点确定模块203，用于确定所述AR融合场景中用户手指与所述虚拟物体的接触点；
反馈力度信息发送模块204，用于控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。
可选的，所述接触点确定模块203包括：
接触点确定模块单元，用于基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。
可选的，所述装置还包括：
第一向量确定模块，用于在确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，基于三角测量算法确定用户手指至增强现实客户端的第一向量；
位置信息确定单元，用于基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。
可选的，所述装置还包括：
映射关系建立模块，用于预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。
可选的，所述装置还包括：
目标对象确定模块，用于在确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。
上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
本发明实施例三提供了一种增强现实交互系统，图3为本发明实施例三提供的一种增强现实交互系统的结构示意图，如图3所示，该系统包括：云端服务器310、增强现实客户端320以及力反馈手套330。
示例性的，增强现实客户端320可以为增强现实眼镜，增强现实客户端320与云端服务器310无线连接，用于采集现实环境的图像信息，并上传给云端服务器310；
云端服务器310用于基于图像信息中的特征标记实现虚拟物体的注册，并将虚拟物体的信息发送给增强现实客户端320，以形成AR融合场景，虚拟物体的信息包括虚拟物体的几何信息和位置信息；云端服务器310还用于在用户手指与虚拟物体交互时，确定AR融合场景中用户手指与虚拟物体的接触点，并控制增强现实客户端向力反馈手套330发送相应的反馈力度信息；
力反馈手套330与增强现实客户端320无线连接，用于在接收到反馈力度信息时，根据反馈力度信息向用户手指反馈相应的作用力，作用力关联虚拟物体上与用户手指接触的接触点的材质类型。
具体的，该增强现实交互系统的工作过程如下：
增强现实客户端通过摄像头采集现实环境的图像，并将该图像信息发送给云端服务器。
云端服务器对采集的现实环境的图像信息进行图像处理，识别出特征标记，基于该特征标记在图像中的位置，确定相机相对于该特征标记的空间位置，也即确定增强现实客户端相对于该特征标记的空间位置。同时，在识别出特征标记后，提取出特征标记携带的信息，根据该特征标记携带的信息，云端服务器计算出所要生成的虚拟物体，并将虚拟物体的信息发送给增强现实客户端，其中，虚拟物体的信息包括虚拟物体的几何信息和位置信息，增强现实客户端基于虚拟物体的几何信息和位置信息形成虚拟物体图像，对特征标记进行覆盖，从而将虚拟物体融合在现实环境的图像，形成AR融合场景。
当用户与虚拟物体交互时，云端服务器基于三角测量算法确定用户手指至增强现实客户端的第一向量，增强现实客户端自身在虚拟世界的三维坐标向量为第二向量。因为虚拟世界和真实世界的坐标系是一比一的映射关系，那么根据第一向量和第二向量的矢量和可以计算出每个手指在虚拟世界的三维坐标，从而实现将真实世界的手指映射到虚拟世界中。
云端服务器在确定用户手指与虚拟物体接触时，根据接触点的材质类型，向增强现实客户端发送控制信号，以控制增强现实客户端向力反馈手套发送相应的反馈力度信息，进而力反馈手套根据反馈力度信息向用户手指反馈相应的作用力。
本发明实施例提供的增强现实交互系统，在用户与虚拟物体交互时，通过力反馈手套向用户手指反馈相应的作用力，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感，使得交互更加贴近真实世界的自然交互。此外，对采集的图像处理及运算由云端服务器完成，可以简化增强显示客户端的结构，使得增强显示客户端更轻便
图4为本发明实施例中增强现实客户端的结构示意图，可选的，如图4所示，增强现实客户端包括：
显示组件321，显示组件321可以是微型显示屏和棱镜、自由曲面、光波导等光学元件的组合。示例性的，以显示组件321可以是微型显示屏和棱镜为例，对显示原理进行说明。微型显示屏用于显示虚拟物体，微型显示屏发出的光经棱镜折射后，进入人眼，进而人眼透过AR眼镜的镜片就能看到虚拟物体与显示环境的融合场景。
图像采集组件322，用于采集现实环境的图像信息。示例性的，图像采集组件322可以是单目摄像头或双目摄像头；
第一通讯组件323，用于与云端服务器310无线连接，可选的，第一通讯组件323可以包括5G通信模组或WIFI通信模组，采用云端服务器进行云计算涉及到数据的上行和下行，数据传输是否通畅直接关系到用户的体验度，早些年国内外的网络技术都无法满足云电脑所需的传输需求，但近几年，在有线网络领域，随着网速的大幅提升，国内有线网络有了质的飞跃，20M以上的入户网速，将困扰用户体验的带宽问题就此消除，5G通讯技术最高可达10Gbits/s的传输速度，低于1毫秒的响应时间，满足高清视频、增强现实等大数据量传输，为云计算的大范围应用提供了必要的条件；
第二通讯组件324，用于与力反馈手套无线连接，可选的，第二通讯组件324可以包括蓝牙通信模组；
第一主控组件325，分别与显示组件321、图像采集组件322、第一通讯组件323和第二通讯组件324连接。
图5为本发明实施例中力反馈手套的结构示意图，可选的，如图5所示，可选的，力反馈手套包括：
第三通讯组件331，第三通讯组件331用于与增强现实客户端320无线连接，可选的，第三通讯组件331包括蓝牙通信模组；
驱动器332，驱动器332用于根据第三通讯组件331接收到的反馈力度信息，驱动力反馈执行组件333；
力反馈执行组件333，用于在驱动器332的驱动下，向用户手指反馈作用力；
第二主控组件334，分别与第三通讯组件331、驱动器332和力反馈执行组件333连接。
可选的，力反馈执行组件333设置于力反馈手套330的指腹位置，力反馈执行组件333包括：
电磁铁，电磁铁与驱动器电连接；
铁磁体，与电磁铁相对设置；
缓冲片，设置于电磁铁和永磁铁之间，缓冲片的材质可以为硅胶、软胶等柔软材料，用于柔化磁铁间的作用力，使指尖感受到更加接近于真实的触碰力度和保护手指因作用力太大而受伤。
具体的，AR眼镜和力反馈手套通过蓝牙连接，连接成功后，力反馈手套330的第三通讯组件331接收到AR眼镜发送的反馈力度信息时，通过串口通信和MCU进行数据传输，MCU(以STM32为例)通过反馈力度信息和脉冲宽度调制信号(Pulse Width Modulation，PWM)的占空比之间的关系算出力度对应的PWM占空比，然后利用其高级定时器产生一个一定占空比的PWM波。产生的PWM波通过GPIO口输出到电磁铁的驱动器中，驱动器根据对应的PWM波输出一个电流作用到电磁铁上，电磁铁根据不同的电流大小就能产生不同大小的磁场，该磁场与铁磁体作用，产生不同大小的吸引力。这个吸引力通过缓冲片作用到对应的手指指腹上，就可以产生不同程度的力度反馈，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感，使得交互更加贴近真实世界的自然交互。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得增强现实交互系统能够执行如上述方法实施例所述的增强现实交互方法。
需要说明的是，对于装置、设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的增强现实交互方法。
值得注意的是，上述增强现实交互装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种增强现实交互方法，其特征在于，包括：
接收增强现实客户端采集的现实环境的图像信息；
基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；
确定所述AR融合场景中用户手指与所述虚拟物体的接触点；
控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。
2.根据权利要求1所述的增强现实交互方法，其特征在于，所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点，包括：
基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。
3.根据权利要求2所述的增强现实交互方法，其特征在于，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：
基于三角测量算法确定用户手指至增强现实客户端的第一向量；
基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。
4.根据权利要求1所述的增强现实交互方法，其特征在于，还包括：
预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。
5.根据权利要求1所述的增强现实交互方法，其特征在于，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：
基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。
6.一种增强现实交互装置，其特征在于，包括：
接收模块，用于接收增强现实客户端采集的现实环境的图像信息；
注册模块，用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；
接触点确定模块，用于确定所述AR融合场景中用户手指与所述虚拟物体的接触点；
反馈力度信息发送模块，用于控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。
7.一种增强现实交互系统，其特征在于，包括：云端服务器、增强现实客户端以及力反馈手套；
所述增强现实客户端与所述云端服务器无线连接，用于采集现实环境的图像信息，并上传给所述云端服务器；
所述云端服务器用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；以及确定所述AR融合场景中用户手指与所述虚拟物体的接触点，并控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息；
所述力反馈手套与所述增强现实客户端无线连接，用于在接收到所述反馈力度信息时，根据所述反馈力度信息向所述用户手指反馈相应的作用力，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。
8.根据权利要求7所述的增强现实交互系统，其特征在于，所述增强现实客户端包括：
显示组件，用于显示虚拟物体；
图像采集组件，用于采集现实环境的图像信息；
第一通讯组件，用于与所述云端服务器无线连接，所述第一通讯组件包括5G通信模组或WIFI通信模组；
第二通讯组件，用于与所述力反馈手套无线连接，所述第二通讯组件包括蓝牙通信模组。
9.根据权利要求7所述的增强现实交互系统，其特征在于，所述力反馈手套包括：
第三通讯组件，所述第三通讯组件用于与所述增强现实客户端无线连接，所述第三通讯组件包括蓝牙通信模组；
驱动器，所述驱动器用于根据所述第三通讯组件接收到的反馈力度信息，驱动力反馈执行组件；
力反馈执行组件，用于在所述驱动器的驱动下，向所述用户手指反馈作用力。
10.根据权利要求9所述的增强现实交互系统，其特征在于，所述力反馈执行组件设置于所述力反馈手套的指腹位置，包括：
电磁铁，所述电磁铁与所述驱动器电连接；
铁磁体，与所述电磁铁相对设置；
缓冲片，设置于所述电磁铁和所述铁磁体之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910990208.5A CN110716647A (zh) | 2019-10-17 | 2019-10-17 | 一种增强现实交互方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910990208.5A CN110716647A (zh) | 2019-10-17 | 2019-10-17 | 一种增强现实交互方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110716647A true CN110716647A (zh) | 2020-01-21 |
Family
ID=69212805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910990208.5A Pending CN110716647A (zh) | 2019-10-17 | 2019-10-17 | 一种增强现实交互方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110716647A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111580661A (zh) * | 2020-05-09 | 2020-08-25 | 维沃移动通信有限公司 | 交互方法和增强现实设备 |
| CN112114663A (zh) * | 2020-08-05 | 2020-12-22 | 北京航空航天大学 | 适用于视触觉融合反馈的虚拟现实软件框架的实现方法 |
| CN117291852A (zh) * | 2023-09-07 | 2023-12-26 | 上海铱奇科技有限公司 | 一种基于ar的信息合成方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012007764A1 (en) * | 2010-07-15 | 2012-01-19 | University Of Ulster | Augmented reality system |
| CN106648044A (zh) * | 2015-11-03 | 2017-05-10 | 中华映管股份有限公司 | 扩增实境系统以及扩增实境互动方法 |
| CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
| CN109917911A (zh) * | 2019-02-20 | 2019-06-21 | 西北工业大学 | 一种基于信息物理交互的振动触觉反馈装置设计方法 |
| CN110096131A (zh) * | 2018-01-29 | 2019-08-06 | 华为技术有限公司 | 触感交互方法、装置、以及触感可穿戴设备 |
| CN110174949A (zh) * | 2019-05-28 | 2019-08-27 | 欣旺达电子股份有限公司 | 虚拟现实设备和姿态感知及触觉再现控制方法 |
-
2019
- 2019-10-17 CN CN201910990208.5A patent/CN110716647A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012007764A1 (en) * | 2010-07-15 | 2012-01-19 | University Of Ulster | Augmented reality system |
| CN106648044A (zh) * | 2015-11-03 | 2017-05-10 | 中华映管股份有限公司 | 扩增实境系统以及扩增实境互动方法 |
| CN110096131A (zh) * | 2018-01-29 | 2019-08-06 | 华为技术有限公司 | 触感交互方法、装置、以及触感可穿戴设备 |
| CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
| CN109917911A (zh) * | 2019-02-20 | 2019-06-21 | 西北工业大学 | 一种基于信息物理交互的振动触觉反馈装置设计方法 |
| CN110174949A (zh) * | 2019-05-28 | 2019-08-27 | 欣旺达电子股份有限公司 | 虚拟现实设备和姿态感知及触觉再现控制方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111580661A (zh) * | 2020-05-09 | 2020-08-25 | 维沃移动通信有限公司 | 交互方法和增强现实设备 |
| CN112114663A (zh) * | 2020-08-05 | 2020-12-22 | 北京航空航天大学 | 适用于视触觉融合反馈的虚拟现实软件框架的实现方法 |
| CN117291852A (zh) * | 2023-09-07 | 2023-12-26 | 上海铱奇科技有限公司 | 一种基于ar的信息合成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7130057B2 (ja) | 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム | |
| US10384348B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
| CN110716647A (zh) | 一种增强现实交互方法、装置及系统 | |
| CN105739525B (zh) | 一种配合体感操作实现虚拟飞行的系统 | |
| US20190142613A1 (en) | Hybrid augmented reality multimodal operation neural integration environment | |
| EP2568355A2 (en) | Combined stereo camera and stereo display interaction | |
| US10365767B2 (en) | Augmented reality image processing apparatus and method, and program | |
| CN107390863B (zh) | 设备的控制方法及装置、电子设备、存储介质 | |
| CN109126121B (zh) | Ar终端互联方法、系统、装置及计算机可读存储介质 | |
| Delmerico et al. | Spatial computing and intuitive interaction: Bringing mixed reality and robotics together | |
| WO2017143303A1 (en) | Apparatuses, methods and systems for sharing virtual elements | |
| WO2015026645A1 (en) | Automatic calibration of scene camera for optical see-through head mounted display | |
| EP3196734B1 (en) | Control device, control method, and program | |
| CN107030692B (zh) | 一种基于感知增强的机械手遥操作方法及系统 | |
| CN108682030B (zh) | 脸皮替换方法、装置及计算机设备 | |
| CN104656893A (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| WO2019028855A1 (zh) | 一种虚拟显示装置、智能交互方法和云端服务器 | |
| KR102142876B1 (ko) | 클라우드 기반의 가상현실 서비스를 위한 버퍼 관리 방법 및 장치 | |
| CN106774870A (zh) | 一种增强现实交互方法及系统 | |
| CN108052901B (zh) | 一种基于双目的手势识别智能无人机远程操控方法 | |
| US11520409B2 (en) | Head mounted display device and operating method thereof | |
| Lin et al. | The implementation of augmented reality in a robotic teleoperation system | |
| CN107885334A (zh) | 一种信息处理方法和虚拟设备 | |
| CN111179341B (zh) | 一种增强现实设备与移动机器人的配准方法 | |
| CN114581535B (zh) | 图像中用户骨关键点标注方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |
|
| RJ01 | Rejection of invention patent application after publication |