CN109917911B - 一种基于信息物理交互的振动触觉反馈装置设计方法 - Google Patents

一种基于信息物理交互的振动触觉反馈装置设计方法 Download PDF

Info

Publication number
CN109917911B
CN109917911B CN201910126217.XA CN201910126217A CN109917911B CN 109917911 B CN109917911 B CN 109917911B CN 201910126217 A CN201910126217 A CN 201910126217A CN 109917911 B CN109917911 B CN 109917911B
Authority
CN
China
Prior art keywords
real
virtual
vibration
tactile feedback
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910126217.XA
Other languages
English (en)
Other versions
CN109917911A (zh
Inventor
何卫平
孙梦梦
曹志伟
张利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910126217.XA priority Critical patent/CN109917911B/zh
Publication of CN109917911A publication Critical patent/CN109917911A/zh
Application granted granted Critical
Publication of CN109917911B publication Critical patent/CN109917911B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于信息物理交互的振动触觉反馈装置设计方法,将虚实交互系统的某些信息通过非视觉的方式,即通过振动触觉反馈装置进行反馈,并与视觉反馈系统相协调。该振动触觉反馈装置能在手部真实触觉反馈的基础上,通过振动叠加实物对虚拟物体的碰撞反馈,模拟虚拟对象与物理对象之间的碰撞交互,使人在虚实融合环境下,也能感知到实物与虚拟物体的接触碰撞,产生更为真实的交互体验,提高了人与AR环境和虚拟物体的多模式交互。视觉与触觉相结合的多模式交互有助于扩展信息反馈通道,提升人与系统的协调性,增强了信息物理融合系统下,参与者、真实环境和虚拟环境三者之间的无缝融合,实现自然的和谐人机交互。

Description

一种基于信息物理交互的振动触觉反馈装置设计方法
技术领域
本发明涉及智能制造和人机工程学领域,具体地说,涉及一种基于信息物理交互的振动触觉反馈装置设计方法。
背景技术
信息物理融合系统的核心是虚拟世界与物理世界的实时无缝连接和交互,其中增强现实技术是进行虚实融合显示和交互的基础。增强现实(Augmented Reality,简称AR),是一种将真实世界信息和虚拟世界信息“无缝”集成的技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息视觉、声音、味道、触觉等,通过模拟仿真后再叠加到真实世界,被人类感官所感知,从而达到超越现实的感官体验。
当前信息物理交互技术多是从AR虚拟视觉信息的叠加和显示入手,也已经有一些研究在AR系统中加入了触觉交互。
现有公开的文献“Object Manipulation by Hand with Force Feedback”(International Asia Haptics conference.Springer,Singapore,2016:261-266.Fujioka等人)中开发了一种带有力反馈的物体操纵装置。研制的能给拇指和四指提供单独力的力反馈数据手套SPIDAR-U,在手部模型与虚拟物体相互作用的仿真中,通过假设骨骼与物体碰撞,引入弹性非线性算法,实现了虚拟物体操作的力反馈仿真。
通过可穿戴设备数据手套所产生的模拟触觉由力学反馈模拟所获得,手部直接与力学材料接触,降低了手部的敏感性,力学反馈的准确度直接影响交互体验,存在着应用中的缺陷。而且这种触觉反馈所叠加的是对虚拟对象的感知,缺乏物理对象与虚拟对象的碰撞感知。
北京邮电大学于洋等人在文献“增强现实机械装配环境中装配过程的研究”(《机电产品开发与创新》,2009,22(5):1-3.)中,针对增强现实装配中虚实零件的装配过程,提出了碰撞条件下虚实零件碰撞结果与输出状态的关系,实现虚拟零件坐标的采集和反馈力的输出。利用Falcon力反馈设备,对虚拟小球与真实立方体发生碰撞并输出六个方向产生的反馈力,实现了虚实零件碰撞的效果与力触觉反馈。
这种固定式力反馈设备虽然可以将虚实碰撞的触觉反馈叠加到人手上,但这种设备通常具有有限的便携性,操作不灵活。而且这种触觉反馈无法直观地获取操作虚拟对象时的触觉感知,缺乏逼真的交互体验。
发明内容
为了避免现有技术存在的不足,本发明提出一种基于信息物理交互的振动触觉反馈装置设计方法。
本发明的思路是:虚实融合系统进行交互的重要方面是物理对象与虚拟对象之间的交互,需要在操纵物理对象的同时进行与虚拟对象之间的交互;因此,通过设计一种基于信息物理交互的振动触觉反馈装置,附加在物理实体上,替代数据手套与虚拟对象交互;在手部真实触觉反馈基础上,进行触觉叠加和增强,并将其应用于信息物理融合系统的交互中,产生更为直接、体验性更好的触觉交互效果。通过分布在实物不同区域的振动电机集成振动触觉反馈装置,将虚实系统的某些需要对人进行反馈的内容通过触觉叠加的方式表达,对于研究虚实系统与人的交互作用、扩展信息反馈通道、提升人与系统的协调性和和谐性有较大的实际意义。
本发明方法解决其技术问题所采用的技术方案是:基于信息物理交互的振动触觉反馈装置设计方法,其特征在于包括以下步骤:
步骤1.建立系统框架;采用客户端-服务器并行开发模式,进行数据间的接收和发送;AR眼镜和微控制器作为客户端,AR眼镜与服务器通过无线连接,微控制器控制触觉反馈装置与服务器通过串口进行数据传输;
步骤2.视觉系统设计;
(1)创建虚拟模型;在计算机中利用AR开发平台搭建三维场景,创建虚拟模型并预先设定虚拟模型的三维空间坐标;
(2)实时检测AR识别码;通过AR眼镜检测识别码,实时追踪实物和虚拟物体的空间位置;
(3)虚实场景融合;利用AR眼镜实现虚拟物体与真实场景和实物的融合显示;
步骤3.触觉反馈设计;
(1)结构设计;振动触觉反馈装置的硬件结构有振动触觉发生器和微控制器,以及电源供给系统;偏心旋转质量电机作为振动触觉发生器,振动频率为150Hz,额定电压为5V,工作电压为3~5.3V;不规则实物四周等距离对称分布四个振动电机;振动触觉反馈装置包括四个振动触觉发生器,由一个微控制器控制,微控制器的输出电压为3~5V;
(2)通过不同的识别码分别追踪实物和虚拟物体,以获取空间位置坐标;然后通过计算实物与虚物的距离d判断是否发生碰撞,若发生碰撞,进一步计算实物与虚物的坐标系偏转角θ,判断产生振动反馈的位置;
步骤4.触觉反馈控制;相机实时检测虚拟物体与实物的空间位置坐标,并把坐标传给服务器,服务器通过计算虚拟物体空间坐标与实物空间坐标是否发生干涉,集成碰撞信号,并把碰撞信号发送给微控制器,微控制器驱动振动触觉发生器产生振动,使人感知到实物与虚拟物体的碰撞,从而实现触觉反馈。
有益效果
本发明提出的一种基于信息物理交互的振动触觉反馈装置设计方法,将虚实交互系统的某些信息通过非视觉的方式,即通过振动触觉反馈装置进行反馈,并与视觉反馈系统相协调。该振动触觉反馈装置能够在手部真实触觉反馈的基础上,通过振动叠加实物对虚拟物体的碰撞反馈,模拟虚拟对象与物理对象之间的碰撞交互,使人在虚实融合环境下,也能够感知到实物与虚拟物体的接触碰撞,产生更为真实的交互体验,提高了人与AR环境和虚拟物体的多模式交互。视觉与触觉相结合的多模式交互,有助于扩展信息反馈通道,提升人与系统的协调性,增强了信息物理融合系统下,参与者、真实环境和虚拟环境三者之间的无缝融合,实现自然的和谐人机交互,使人获得更好的触觉增强体验。
附图说明
下面结合附图和实施方式对本发明一种基于信息物理交互的振动触觉反馈装置设计方法作进一步详细说明。
图1为振动触觉反馈装置实现虚实交互的框架图。
图2为系统的服务器—客户端的通信架构图。
图3为基于标识码的AR注册图。
图4为振动触觉反馈装置的结构设计图。
图5为视觉与触觉的协调反馈图。
图6为振动触觉反馈装置的原理设计图。
具体实施方式
本实施例是一种基于信息物理交互的振动触觉反馈装置设计方法。
参阅图1~图6,本实例应用基于信息物理交互的振动触觉反馈装置设计方法,具体步骤如下:
步骤1.建立系统框架;采用分布式开发模式,中央服务器和多客户端并行工作;服务器作为数据中心,负责信息的处理与中转;AR眼镜作为一个客户端,与服务器通过无线连接;微控制器作为一个客户端与服务器通过串口通信连接;图2中,实线箭头代表客户端之间数据的最终流向,虚线箭头代表客户端与服务器的相互通信。
步骤2.在AR开发平台上搭建三维场景,创建虚拟模型,并采用基于标识码的注册方法,将虚拟模型渲染到AR眼镜上,实现视觉反馈;
(a)坐标系转换;在图3中,设标识码坐标系为OmXmYmZm,相机坐标系为OcXcYcZc,标识码上任意一点P(xm,ym,zm),在相机坐标系下的坐标为(xc,yc,zc),二者之间的对应关系可以表示如下:
Figure BDA0001973675710000041
式中,R为旋转矩阵,T为平移向量,Mex为相机外部参数矩阵,通过该矩阵可将标识码坐标系转换到相机坐标系下;设图像坐标系为Oi(x,y),像素坐标系为Oo(u,v),则识别码上的点P(xm,ym,zm)与相机图像平面中的成像点p(u,v)之间的关系表示如下:
Figure BDA0001973675710000042
式中,(u0,v0)为图像平面中心,fx,fy为x轴和y轴的归一化焦距,Min是相机内部参数矩阵,通过该矩阵可将相机坐标系转换到图像平面坐标系下;假设zm=0,使用最小二乘法对上述方程(1)和方程(2)求解,计算得到相机的内部参数矩阵Min
(b)在AR开发平台中,将虚拟相机置于与真实相机在坐标系下相同的空间位置,由方程(1)计算得到相机的外部参数矩阵Mex,即识别码在相机坐标系下的空间坐标;结合内部参数矩阵Min将虚拟物体渲染注册到真实场景中,通过AR眼镜可看到叠加到识别码上的虚拟物体。
步骤3.将四个振动电机对称等距离分布在实物的四周,并在实物上贴上识别码b,设识别码b的坐标系为ObXbYbZb,通过识别码b实时追踪实物的空间位置;设识别码a的坐标系为OaXaYaZa,将识别码a的坐标系设为坐标系原点,相机通过识别码a检测虚拟物体的空间位置,并将虚拟物体渲染叠加到真实场景中;
(a)在坐标系下,相机实时捕获真实场景的视频流,并检测追踪识别码a和实物上的识别码b;在AR开发引擎中,计算出虚拟物体的空间坐标为Oa(x0,y0,z0),实物的空间坐标Ob(x1,y1,z1)以及实物旋转角β,其逆时针旋转为正,顺时针旋转为负;
(b)根据获得的虚拟物体和实物的空间坐标以及实物的旋转角β,计算虚拟物体和实物的距离d与偏转角度θ;由于AR开发引擎为左手坐标系,且是基于二维平面内的碰撞计算,因此不考虑y0和y1;根据公式(3)计算距离d,当d在一定范围内时,实物与虚拟物体发生碰撞;根据公式(4)计算出碰撞点相对于坐标系x轴的偏差角α;根据公式(5)计算出碰撞点相对于实物坐标系x轴的偏差角θ,并根据以下条件判断出需要响应的振动电机;
当θ=0,1#振动电机振动;
当0<θ<90°时,1#振动电机和2#振动电机同时振动;
当θ=90°时,2#振动电机振动;
当90<θ<180°时,2#振动电机和3振动电机#振动;
当θ=180°或-180°时,3#振动电机振动;
当-180<θ<-90°时,3#振动电机和4#振动电机同时振动;
当θ=90°时,4#振动电机振动;
当-90°<θ<0时,4#振动电机和1#振动电机同时振动。
Figure BDA0001973675710000051
Figure BDA0001973675710000052
θ=α-β (5)。
(c)以图6所示碰撞点为例,此时0<θ<90°,碰撞点位于1#振动电机和2#振动电机之间,因此1#振动电机和2#振动电机需要做出振动响应,3#振动电机和4#振动电机不做振动响应;假设实物与虚拟物体刚好发生碰撞,定义此时的碰撞力大小为F0,遵循平行四边形法则,根据公式(6)和公式(7)将碰撞力F0分解为F1和F2;
F1=F0*cosθ (6)
F2=F0*sinθ (7)
步骤4.服务器将碰撞信号通过串口通信发送给客户端—微控制器,微控制器根据碰撞信号,控制相应的振动电机做出振动响应;
(a)服务器集成碰撞信号“1,F1,2,F2”,将碰撞信号通过串口通信发送给微控制器,微控制器对信号进行解析,根据公式(8)将碰撞力大小F1和F2转换为对应的输出电压大小U1和U2:F的范围是0~F0,输出电压U的范围是3~5V;信号“1”表示1#振动电机振动,“2”表示2#振动电机振动,信号“0”表示振动结束;
Figure BDA0001973675710000061
(b)微控制器通过输出PWM波驱动分布在碰撞点两侧的1#振动电机和2#振动电机,使两个振动电机分别做出振动响应;通过不同的输出电压控制电机以不同强度振动,模拟真实物体碰撞时的触觉反馈,从而使人手真实地感知到实物与虚拟物体的接触碰撞,实现虚实交互的触觉反馈。

Claims (1)

1.一种基于信息物理交互的振动触觉反馈装置设计方法,其特征在于包括以下步骤:
步骤1.建立系统框架;采用客户端-服务器并行开发模式,进行数据间的接收和发送;AR眼镜和微控制器作为客户端,AR眼镜与服务器通过无线连接,微控制器控制触觉反馈装置与服务器通过串口进行数据传输;
步骤2.视觉系统设计;
(1)创建虚拟模型;在计算机中利用AR开发平台搭建三维场景,创建虚拟模型并预先设定虚拟模型的三维空间坐标;
(2)实时检测AR识别码;通过AR眼镜检测识别码,实时追踪实物和虚拟物体的空间位置;
(3)虚实场景融合;利用AR眼镜实现虚拟物体与真实场景和实物的融合显示;
步骤3.触觉反馈设计;
(1)结构设计;振动触觉反馈装置的硬件结构有振动触觉发生器和微控制器,以及电源供给系统;偏心旋转质量电机作为振动触觉发生器,振动频率为150Hz,额定电压为5V,工作电压为3~5.3V;不规则实物四周等距离对称分布四个振动电机;振动触觉反馈装置包括四个振动触觉发生器,由一个微控制器控制,微控制器的输出电压为3~5V;
(2)通过不同的识别码分别追踪实物和虚拟物体,以获取空间位置坐标;然后通过计算实物与虚物的距离d判断是否发生碰撞,若发生碰撞,进一步计算实物与虚物的坐标系偏转角θ,判断产生振动反馈的位置;
步骤4.触觉反馈控制;相机实时检测虚拟物体与实物的空间位置坐标,并把坐标传给服务器,服务器通过计算虚拟物体空间坐标与实物空间坐标是否发生干涉,集成碰撞信号,并把碰撞信号发送给微控制器,微控制器驱动振动触觉发生器产生振动,使人感知到实物与虚拟物体的碰撞,从而实现触觉反馈。
CN201910126217.XA 2019-02-20 2019-02-20 一种基于信息物理交互的振动触觉反馈装置设计方法 Expired - Fee Related CN109917911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910126217.XA CN109917911B (zh) 2019-02-20 2019-02-20 一种基于信息物理交互的振动触觉反馈装置设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910126217.XA CN109917911B (zh) 2019-02-20 2019-02-20 一种基于信息物理交互的振动触觉反馈装置设计方法

Publications (2)

Publication Number Publication Date
CN109917911A CN109917911A (zh) 2019-06-21
CN109917911B true CN109917911B (zh) 2021-12-28

Family

ID=66961707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910126217.XA Expired - Fee Related CN109917911B (zh) 2019-02-20 2019-02-20 一种基于信息物理交互的振动触觉反馈装置设计方法

Country Status (1)

Country Link
CN (1) CN109917911B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060284B (zh) * 2019-04-25 2021-10-22 王荩立 一种基于触觉感知的双目视觉环境探测系统及方法
CN110688006B (zh) * 2019-09-18 2023-05-05 哈尔滨工程大学 基于虚拟现实技术的真实手部触觉的陶器制作装置及方法
CN110716647A (zh) * 2019-10-17 2020-01-21 广州大西洲科技有限公司 一种增强现实交互方法、装置及系统
CN112099625B (zh) * 2020-08-25 2022-03-29 华南理工大学 基于微电流刺激的虚拟力反馈评估和调整系统与方法
CN112486319B (zh) * 2020-11-27 2023-04-18 联通(浙江)产业互联网有限公司 基于触觉渲染设备的vr交互方法、装置、设备及介质
CN114833826B (zh) * 2022-04-20 2023-07-04 上海傅利叶智能科技有限公司 实现机器人碰撞触觉的控制方法、装置以及康复机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287141A (zh) * 2007-03-07 2008-10-15 株式会社东芝 立体影像显示系统
CN107273008A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种虚拟环境中的碰撞处理方法、客户端、服务器及系统
EP3291536A1 (en) * 2016-09-06 2018-03-07 Thomson Licensing Methods, devices and systems for automatic zoom when playing an augmented reality scene
CN109032343A (zh) * 2018-07-04 2018-12-18 青岛理工大学 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN109243575A (zh) * 2018-09-17 2019-01-18 华南理工大学 一种基于移动交互和增强现实的虚拟针灸方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287141A (zh) * 2007-03-07 2008-10-15 株式会社东芝 立体影像显示系统
EP3291536A1 (en) * 2016-09-06 2018-03-07 Thomson Licensing Methods, devices and systems for automatic zoom when playing an augmented reality scene
CN107273008A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种虚拟环境中的碰撞处理方法、客户端、服务器及系统
CN109032343A (zh) * 2018-07-04 2018-12-18 青岛理工大学 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN109243575A (zh) * 2018-09-17 2019-01-18 华南理工大学 一种基于移动交互和增强现实的虚拟针灸方法及系统

Also Published As

Publication number Publication date
CN109917911A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN109917911B (zh) 一种基于信息物理交互的振动触觉反馈装置设计方法
Fisher Virtual environments, personal simulation and telepresence
EP2568355A2 (en) Combined stereo camera and stereo display interaction
US20030180697A1 (en) Multi-degree of freedom telerobotic system for micro assembly
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN111984114A (zh) 基于虚拟空间的多人交互系统及其多人交互方法
CN102221884B (zh) 一种基于摄像机实时定标的可视遥在装置及其工作方法
CN105808071A (zh) 一种显示控制方法、装置和电子设备
Naceri et al. The vicarios virtual reality interface for remote robotic teleoperation: Teleporting for intuitive tele-manipulation
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
WO2017061890A1 (en) Wireless full body motion control sensor
JP2003181785A (ja) 遠隔操作装置
CN108875966A (zh) 一种利用ar技术的机械设备维修用系统及方法
CN209746614U (zh) 一种虚拟机器人工作站的仿真互动可视化系统
Song et al. Mobile multimodal human-robot interface for virtual collaboration
Tripicchio et al. A 6-DOF haptic manipulation system to verify assembly procedures on CAD models
Banda et al. Investigations on collaborative remote control of virtual robotic manipulators by using a Kinect v2 sensor
Zhou et al. Development of a synchronized human-robot-virtuality interaction system using cooperative robot and motion capture device
JP2005011275A (ja) 立体画像表示システム及び立体画像表示プログラム
Agah et al. Multimedia human-computer interaction for presence and exploration in a telemuseum
Demir et al. Motion-Controlled Virtual Reality Robotic Arm with Kinect
Su et al. Manipulation system design for industrial robot manipulators based on tablet PC
Stone Virtual reality: A tool for Telepresence and Human factors Research
CN112000219B (zh) 一种可用于增强现实游戏的可移动式手势交互方法
Song et al. Multimodal human-robot interface with gesture-based virtual collaboration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211228

CF01 Termination of patent right due to non-payment of annual fee