CN106371573A - 触觉反馈的方法、装置和虚拟现实交互系统 - Google Patents

触觉反馈的方法、装置和虚拟现实交互系统 Download PDF

Info

Publication number
CN106371573A
CN106371573A CN201510885253.6A CN201510885253A CN106371573A CN 106371573 A CN106371573 A CN 106371573A CN 201510885253 A CN201510885253 A CN 201510885253A CN 106371573 A CN106371573 A CN 106371573A
Authority
CN
China
Prior art keywords
region
interaction controller
contact
relative motion
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510885253.6A
Other languages
English (en)
Other versions
CN106371573B (zh
Inventor
周梁
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510885253.6A priority Critical patent/CN106371573B/zh
Priority to US15/356,324 priority patent/US10353468B2/en
Publication of CN106371573A publication Critical patent/CN106371573A/zh
Priority to US16/428,571 priority patent/US10656717B2/en
Application granted granted Critical
Publication of CN106371573B publication Critical patent/CN106371573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3259—Power saving in cursor control device, e.g. mouse, joystick, trackball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供了一种触觉反馈的方法，包括：在虚拟现实VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。本申请还提供了一种触觉反馈的装置和一种虚拟现实交互系统。采用本申请实施例提供的技术方案，无需整个VR交互控制器上都向用户提供触觉反馈，大大节省了产生触觉反馈所需的能耗。

Description

触觉反馈的方法、装置和虚拟现实交互系统
技术领域
本申请涉及人机交互领域，尤其涉及一种触觉反馈的方法、装置和虚拟现实交互系统。
背景技术
虚拟现实(英文全称：Virtual Reality，英文简称：VR)技术是仿真技术的一个重要方向，其通过多维度的感观激励，例如，视觉、听觉、触觉、嗅觉等等让用户进入一个与身处物理环境不同的虚拟世界。理想的VR应该具有一切人所具有的感知功能。
在一个VR系统中，如果一个人看到一个杯子，想要去拿起它，可是因为这个杯子是虚拟的，所以人的手并没有真正触摸到杯子的感觉，反而会“穿过”这个虚拟的杯子。
传统的解决方案中，为了能让人们能更贴切的感受到类似上述触摸到杯子的感觉，通常是在VR交互控制器(例如，手套，或者操作棒，或者手柄等)上安装一些可以振动的触点来实现触觉反馈。
然而，这种传统的解决方案通常是在整个VR交互控制器上提供触觉上的反馈，能耗比较高。
发明内容
本申请的目的是：提供一种触觉反馈的方法、装置和VR交互系统。
根据本申请至少一个实施例的第一个方面，提供了一种触觉反馈的方法，所述方法包括：
在虚拟现实VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
基于上述第一个方面，在第一个方面的第一个实施方式中，在确定所述发生接触的区域之后，所述方法还包括：在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第一个方面的第一个实施方式，在第一个方面的第一个实施方式的第一个具体实现中，所述根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈，包括：根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；根据所述VR交互控制器所模拟的对象的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。
基于上述第一个方面的第一个实施方式，或者基于上述第一个方面的第一个实施方式的第一个具体实现，在上述第一个方面的第二个实施方式中，所述在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，包括：根据所述VR交互控制器表面分布的探测传感器，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第一个方面的第一个实施方式，或者基于上述第一个方面的第一个实施方式的第一个具体实现，在上述第一个方面的第三个实施方式中，所述在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，包括：根据所述VR交互控制器所模拟的对象，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第一个方面的第三个实施方式，在第一个方面的第三个实施方式的第一个具体实现中，所述根据所述VR交互控制器所模拟的对象，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，包括：根据所述VR交互控制器所模拟的对象，以及正在进行的虚拟内容情节，确定在一预设时间段后所述用户的持握部分将要进行的动作；根据在所述预设时间段后所述用户的持握部分将要进行的动作，在经过所述预设时间段后，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第一个方面的第一个实施方式，或者基于上述第一个方面的第一个实施方式的第一个具体实现，在上述第一个方面的第四个实施方式中，所述在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，包括：根据至少一摄像头获取的所述用户的持握部分发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第一个方面的第四个实施方式，在第一个方面的第四个实施方式的第一个具体实现中，所述根据至少一摄像头获取的所述用户的持握部分发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，包括：分析所述至少一摄像头采集到的所述用户的持握部分的静态画面或者动态影像；确定所述用户的持握部分的轮廓发生的变化；根据所述用户的持握部分的轮廓发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第一个方面，在第一个方面的第五个实施方式中，所述在虚拟现实VR交互控制器上，确定所述用户与所述VR交互控制器发生接触的区域，包括：根据所述VR交互控制器表面分布的探测传感器，在虚拟现实VR交互控制器上，确定所述用户与所述VR交互控制器发生接触的区域。
基于上述第一个方面的第二个实施方式，或者基于上述第一个方面的第五个实施方式，在第一个方面的第六个实施方式中，所述VR交互控制器表面分布的探测床干起包括压力传感器。
基于上述第一个方面，或者基于上述第一个方面的任一实施方式，或者基于上述第一个方面的任一实施方式的任一具体实现，在第一个方面的第七个实施方式中，所述第一触觉反馈包括：所述VR交互控制器所模拟的对象的物理材质反馈，和/或所述VR交互控制器所模拟的对象的纹理反馈。
基于上述第一个方面的第七个实施方式，在第一个方面的第七个实施方式的第一个具体实现中，所述纹理反馈包括以下反馈中的至少一种：凹凸感反馈，以及粘滞感反馈。
根据本申请至少一个实施例的第二个方面，提供一种触觉反馈的装置，所述装置包括：
接触确定模块，用于在虚拟现实VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
触觉反馈模块，用于根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
基于上述第二个方面，在第二个方面的第一个实施方式中，所述装置还包括：相对运动确定模块，用于在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第二个方面的第一个实施方式，在第二个方面的第一个实施方式的第一个具体实现中，所述触觉反馈模块包括：第一触觉反馈子模块，用于根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；第二触觉反馈子模块，用于根据所述VR交互控制器所模拟的对象的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。
基于上述第二个方面的第一个实施方式，或者基于上述第二个方面的第一个实施方式的第一个具体实现，在第二个方面的第二个实施方式中，所述相对运动确定模块包括：第一相对运动确定子模块，用于根据所述VR交互控制器表面分布的探测传感器，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域
基于上述第二个方面的第一个实施方式，或者基于上述第二个方面的第一个实施方式的第一个具体实现，在第二个方面的第三个实施方式中，所述相对运动确定模块包括：第二相对运动确定子模块，用于根据所述VR交互控制器所模拟的对象，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第二方面的第三个实施方式，在第二个方面的第三个实施方式的第一个具体实现中，所述第二相对运动确定子模块包括：预估单元，用于根据所述VR交互控制器所模拟的对象，以及正在进行的虚拟内容情节，确定在一预设时间段后所述用户的持握部分将要进行的动作；第一确定单元，根据在所述预设时间段后所述用户的持握部分将要进行的动作，在经过所述预设时间段后，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第二个方面的第一个实施方式，或者基于上述第二个方面的第一个实施方式的第一个具体实现，在第二个方面的第四个实施方式中，所述相对运动确定模块包括：第三相对运动确定子模块，用于根据至少一摄像头获取的所述用户的持握部分发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第二方面的第四个实施方式，在第二个方面的第四个实施方式的第一个具体实现中，所述第三相对运动确定子模块包括：分析单元，用于分析所述至少一摄像头采集到的所述用户的持握部分的静态画面或者动态影像；第二确定单元，用于确定所述用户的持握部分的轮廓发生的变化；第三确定单元，用于根据所述用户的持握部分的轮廓发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
基于上述第二个方面，在第二个方面的第五个实施方式中，所述接触确定模块包括：接触确定子模块，用于根据所述VR交互控制器表面分布的探测传感器，在虚拟现实VR交互控制器上，确定所述用户与所述VR交互控制器发生接触的区域。
根据本申请至少一个实施例的第三个方面，提供了一种VR交互系统，所述系统包括一存储器、一处理器以及一VR交互控制器，其中，所述存储器用于存储指令；所述处理器用于执行所述指令，以执行下列步骤：
在所述VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
本申请实施例所述的触觉反馈的方法、装置和VR交互系统，根据所述VR交互控制器所模拟的对象的相关信息，在一用户与所述VR交互控制器发生接触的区域至少产生第一接触反馈。从而无需整个VR交互控制器上都向用户提供触觉反馈，大大节省了产生触觉反馈所需的能耗。
附图说明
图1为本申请一个实施例所述触觉反馈的方法的流程示意图；
图2为本申请另一个实施例所述触觉反馈的方法的流程示意图；
图3为本申请另一个实施例所述触觉反馈的方法的流程示意图；
图4为本申请一个实施例提供的一种触觉反馈的具体实现示意图；
图5为本申请一个实施例提供的另一种触觉反馈的具体实现示意图；
图6a为本申请另一个实施例所述触觉反馈的方法的流程示意图；
图6b为本申请另一个实施例所述触觉反馈的方法的流程示意图；
图6c为本申请另一个实施例所述触觉反馈的方法的流程示意图；
图6d为本申请一个实施例中确定相对运动区域的具体实现示意图；
图7为本申请一个实施例所述触觉反馈的装置的模块结构示意图；
图8为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；
图9为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；
图10为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；
图11为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；
图12为本申请一个实施例所述第二相对运动确定子模块722结构示意图；
图13为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；
图14为本申请一个实施例所述第三相对运动确定子模块723结构示意图；
图15为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；
图16为本申请的一实施例提供的一种VR交互系统示意图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员理解，在本申请的实施例中，下述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
另外，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
图1是本申请一个实施例所述触觉反馈的方法的流程图，如图1所示，所述方法可以包括：
S100：在虚拟现实VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
S120：根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
采用本申请实施例所述的触觉反馈的方法，根据所述VR交互控制器所模拟的对象的相关信息，在一用户与所述VR交互控制器发生接触的区域至少产生第一接触反馈。从而无需整个VR交互控制器上都向用户提供触觉反馈，大大节省了产生触觉反馈所需的能耗。
示例性的，在本申请的实施例中，上述VR交互控制器可以是供用户与虚拟内容进行互动的硬件设备，包括但不限于：手套，操作棒，或者手柄等，本申请的实施例对此不作具体限定。
可选的，如图2所示，上述S100之后，所述方法还可以包括：
S110：在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
在一个可选的实施方式中，所述用户的持握部分可以是用户的手部，或者是用户的脚部，或者是用户身上其他用于佩戴或者持有VR交互控制器的部位，本申请的实施例对此不作具体限定。在所述发生相对运动的区域内，所述用户的持握部分与所述VR交互控制器之间的相对距离在一定时间内不为常量，即：发生了变化，示例性的，用户的持握部分在所述VR交互控制器的表面上发生了横向的移动；或者用户的持握部分在所述VR交互控制器的表面上施加了竖直方向的力，使得所述VR交互控制器的表面发生了形变，例如，用户使劲按压VR交互控制器，使得VR交互控制器的表面下凹了一定的距离。
可选的，如图3所示，在本申请的另一个可选实施方式中，所述S120中根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈，可以包括：
S121：根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；
可选的，在本申请的一个可选实施方式中，上述VR交互控制器所模拟的对象的相关信息可以包括：上述VR交互控制器所模拟的对象的属性信息，例如，所模拟的对象是什么设备，适合怎样的握持方式，形状和厚度是什么样的，由什么样的材料制成，新旧程度如何，表面什么花纹等等，本申请的实施例对此不作具体限定。
S122：根据所述VR交互控制器所模拟的对象的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。
可选的，在本申请的一个可选实施方式中，上述相对运动的参数可以包括：所述用户的持握部分与所述VR交互控制器之间的相对距离的变化量，或者，所述用户持的持握部分与所述VR交互控制器之间的相对距离的发生变化的时间等等，本申请的实施例对此不作具体限定
由于在发生相对运动的区域中，在用户的持握部分与VR交互控制器之间产生了作用力与反作用力，因此，除了第一触觉反馈，还至少会提供弹性力反馈。
可选的，在本申请的一个可选实施方式中，上述所述第一触觉反馈可以包括：所述VR交互控制器所模拟的对象的物理材质反馈，和/或所述VR交互控制器所模拟的对象的纹理反馈。示例性的，上述纹理反馈可以包括以下反馈中的一种或多种的组合：凹凸感反馈，以及粘滞感反馈。
在一种具体的实现中，可以激活所述VR交互控制器在所述发生接触的区域上的触觉反馈传感器，或者调整所述VR交互控制器上触觉反馈传感器的分布，如图4所示，从而产生上述第一触觉反馈，例如：
(1)调整所述VR交互控制器在所述发生接触的区域上的表面温度，以产生不同物理材质的触觉反馈；或者，
(2)调整所述VR交互控制器在所述发生接触的区域上的弹性，以产生不同粘滞感的触觉反馈；或者，
(3)调整所述VR交互控制器在所述发生接触的区域上的斜率或者梯度变化调制阻力，以产生不同凹凸感的触觉反馈。
在另一种具体的实现中，可以激活所述VR交互控制器在所述发生相对运动的区域上的触觉反馈传感器，或者调整所述VR交互控制器上触觉反馈传感器的分布，从而产生上述第二触觉反馈，例如，可以通过电振动(electrovibration)，调制皮肤和导电面之间的滑动阻力，以产生不同的弹性力(rubbery sensation)反馈。
在又一种具体的实现中，可以接收外部的信号，例如，可以是空间中分布的至少一个触觉反馈传感器产生的超声或者压缩空气信号，通过外部信号产生的场效应，在用户的持握部分上产生上述第一触觉反馈，和/或产生上述第二触觉反馈。如图5所示。
可选的，如图6a所示，在本申请的另一个可选实施方式中，所述S110中在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，可以包括：
S111：根据所述VR交互控制器表面分布的探测传感器，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
类似的，在S100中也可以根据所述VR交互控制器表面分布的探测传感器，在虚拟现实VR交互控制器上，确定所述用户与所述VR交互控制器发生接触的区域。
示例性的，上述探测传感器可以是压力传感器，通过检测压力传感器感应值的变化，确定用户的持握部分与所述VR交互控制的哪个区域发生了接触和/或相对运动。
可选的，如图6b所示，在本申请的另一个可选实施方式中，所述S110中在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，可以包括：
S112：根据所述VR交互控制器所模拟的对象，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
示例性的，可以根据所述VR交互控制器所模拟的对象，以及正在进行的虚拟内容情节，确定在一预设时间段后所述用户的持握部分(例如，左手或者右手)将要进行的动作；根据在所述预设时间段后所述用户的持握部分将要进行的动作，在经过所述预设时间段后，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
例如，VR交互控制器所模拟的对象为长枪，而正在进行虚拟内容情节为游戏人物将要开枪射击一猎物，则可以确定，在经过一预设时间段后，游戏人物扣下扳机时，VR交互控制器上对应长枪扳机的区域将与所述用户的手指发生相对运动。
可选的，如图6c所示，在本申请的另一个可选实施方式中，所述S110中在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，可以包括：
S113：根据至少一摄像头获取的所述用户的持握部分发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
示例性的，如图6d所示，可以通过空间中分布的至少一摄像头对所述用户进行拍摄，分析所述至少一摄像头采集到的所述用户的持握部分的静态画面或者动态影像；确定所述用户的持握部分的轮廓发生的变化(例如，可以确定用户的持握部分的3D深度图)；根据所述用户的持握部分的轮廓发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
图7是本申请一个实施例所述触觉反馈的装置的模块结构示意图，所述触觉反馈的装置可以是一个独立的实体设备，也可以是一个VR交互控制器中的一个或多个芯片，一部分电路，或者一个或多个功能模块。如图7所示，所述触觉反馈的装置可以包括：
接触确定模块710，用于在虚拟现实VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
触觉反馈模块730，用于根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
采用本申请实施例所述的触觉反馈的装置，根据所述VR交互控制器所模拟的对象的相关信息，在一用户与所述VR交互控制器发生接触的区域至少产生第一接触反馈。从而无需整个VR交互控制器上都向用户提供触觉反馈，大大节省了产生触觉反馈所需的能耗。
可选的，如图8所示，在一种可选的实施方式中，所述触觉反馈的装置700还可以包括：
相对运动确定模块720，用于在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
可选的，如图9所示，在一种可选的实施方式中，所述触觉反馈模块730可以包括：
第一触觉反馈子模块731，用于根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；
第二触觉反馈子模块732，用于根据所述VR交互控制器所模拟的对象的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。
可选的，如图10所示，在一种可选的实施方式中，所述相对运动确定模块720可以包括：
第一相对运动确定子模块721，用于根据所述VR交互控制器表面分布的探测传感器，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
可选的，如图11所示，在一种可选的实施方式中，所述相对运动确定模块720可以包括：
第二相对运动确定子模块722，用于根据所述VR交互控制器所模拟的对象，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
在一种具体的实现中，如图12所示，所述第二相对运动确定子模块722可以包括：
预估单元722-A，用于根据所述VR交互控制器所模拟的对象，以及正在进行的虚拟内容情节，确定在一预设时间段后所述用户的持握部分将要进行的动作；
第一确定单元722-B，根据在所述预设时间段后所述用户的持握部分将要进行的动作，在经过所述预设时间段后，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
可选的，如图13所示，在一种可选的实施方式中，所述相对运动确定模块720可以包括：
第三相对运动确定子模块723，用于根据至少一摄像头获取的所述用户的持握部分发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
在一种具体的实现中，如图14所示，所述第三相对运动确定子模块723可以包括：
分析单元723-A，用于分析所述至少一摄像头采集到的所述用户的持握部分的静态画面或者动态影像；
第二确定单元723-B，用于确定所述用户的持握部分的轮廓发生的变化；
第三确定单元723-C，用于根据所述用户的持握部分的轮廓发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
可选的，如图15所示，在一种可选的实施方式中，所述接触确定模块710可以包括：
接触确定子模块711，用于根据所述VR交互控制器表面分布的探测传感器，在虚拟现实VR交互控制器上，确定所述用户与所述VR交互控制器发生接触的区域。
图16是本申请的另一实施例提供的一种VR交互系统示意图。参见图16，所述VR交互系统可以包括：
一存储器1610、一处理器1630以及一VR交互控制器1650，其中，所述存储器1610用于存储指令；所述处理器1630用于执行所述指令，以执行下列步骤：
在所述VR交互控制器1650上，确定一用户与所述VR交互控制器1650发生接触的区域；
根据所述VR交互控制器1650所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
优选的，所述存储器1610和/或所述处理器1630可以集成在所述VR交互控制器1650上。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的触觉反馈的装置以及VR交互系统的具体工作过程，可以参考前述方法实施例中的触觉反馈的方法的对应过程描述，在此不再赘述。
综上，采用本申请实施例所述的VR交互系统，根据所述VR交互控制器所模拟的对象的相关信息，在一用户与所述VR交互控制器发生接触的区域至少产生第一接触反馈。从而无需整个VR交互控制器上都向用户提供触觉反馈，大大节省了产生触觉反馈所需的能耗。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，控制器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种触觉反馈的方法，其特征在于，包括：
在虚拟现实VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
2.如权利要求1所述的方法，其特征在于，在确定所述发生接触的区域之后，所述方法还包括：
在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
3.如权利要求2所述的方法，其特征在于，所述根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈，包括：
根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；
根据所述VR交互控制器所模拟的对象的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；
其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。
4.如权利要求2或3所述的方法，其特征在于，所述在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域，包括：
根据所述VR交互控制器表面分布的探测传感器，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域；或者
根据所述VR交互控制器所模拟的对象，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域；或者
根据至少一摄像头获取的所述用户的持握部分发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
5.一种触觉反馈的装置，其特征在于，包括：
接触确定模块，用于在虚拟现实VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
触觉反馈模块，用于根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
相对运动确定模块，用于在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
7.如权利要求6所述的装置，其特征在于，所述触觉反馈模块包括：
第一触觉反馈子模块，用于根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；
第二触觉反馈子模块，用于根据所述VR交互控制器所模拟的对象的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；
其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。
8.如权利要求6或7所述的装置，其特征在于，所述相对运动确定模块包括：
第一相对运动确定子模块，用于根据所述VR交互控制器表面分布的探测传感器，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域；或者
第二相对运动确定子模块，用于根据所述VR交互控制器所模拟的对象，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域；或者
第三相对运动确定子模块，用于根据至少一摄像头获取的所述用户的持握部分发生的变化，在所述发生接触的区域中确定所述用户的持握部分与所述VR交互控制器发生相对运动的区域。
9.如权利要求5所述的装置，其特征在于，所述接触确定模块包括：
接触确定子模块，用于根据所述VR交互控制器表面分布的探测传感器，在虚拟现实VR交互控制器上，确定所述用户与所述VR交互控制器发生接触的区域。
10.一种虚拟现实VR交互系统，其特征在于，所述系统包括一存储器、一处理器以及一VR交互控制器，其中，所述存储器用于存储指令；所述处理器用于执行所述指令，以执行下列步骤：
在所述VR交互控制器上，确定一用户与所述VR交互控制器发生接触的区域；
根据所述VR交互控制器所模拟的对象的相关信息，在所述发生接触的区域至少产生第一接触反馈。
CN201510885253.6A 2015-12-04 2015-12-04 触觉反馈的方法、装置和虚拟现实交互系统 Active CN106371573B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510885253.6A CN106371573B (zh) 2015-12-04 2015-12-04 触觉反馈的方法、装置和虚拟现实交互系统
US15/356,324 US10353468B2 (en) 2015-12-04 2016-11-18 Tactile feedback method and apparatus, and virtual reality interactive system
US16/428,571 US10656717B2 (en) 2015-12-04 2019-05-31 Tactile feedback method and apparatus, and virtual reality interactive system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510885253.6A CN106371573B (zh) 2015-12-04 2015-12-04 触觉反馈的方法、装置和虚拟现实交互系统

Publications (2)

Publication Number Publication Date
CN106371573A true CN106371573A (zh) 2017-02-01
CN106371573B CN106371573B (zh) 2020-06-02

Family

ID=57881014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510885253.6A Active CN106371573B (zh) 2015-12-04 2015-12-04 触觉反馈的方法、装置和虚拟现实交互系统

Country Status (2)

Country Link
US (2) US10353468B2 (zh)
CN (1) CN106371573B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152778A1 (en) * 2017-02-24 2018-08-30 Immersion Corporation Virtual affective touch
CN109032343A (zh) * 2018-07-04 2018-12-18 青岛理工大学 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN109316740A (zh) * 2017-07-30 2019-02-12 宏达国际电子股份有限公司 检测手指的电子装置、方法及系统以及非暂态可读取媒体
WO2019072064A1 (zh) * 2017-10-10 2019-04-18 腾讯科技（深圳）有限公司 虚拟现实环境下的控制方法、设备和存储介质
CN109669538A (zh) * 2018-12-05 2019-04-23 中国航天员科研训练中心 一种在虚拟现实中复杂运动约束下物体抓取交互方法
CN110101519A (zh) * 2019-05-08 2019-08-09 解涛 一种多功能血管神经外科用vr护理病床

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371573B (zh) 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809526A (zh) * 2007-09-28 2010-08-18 英默森公司 具有动态触觉效应的多触摸装置
CN101910977A (zh) * 2007-12-28 2010-12-08 诺基亚公司 基于视觉环境的音频和触觉反馈
CN102893241A (zh) * 2010-05-12 2013-01-23 诺基亚公司 检测触摸输入并生成可感知的触摸刺激
CN103488298A (zh) * 2013-09-29 2014-01-01 中山大学 一种基于柔性与滑动结合的触觉再现手型槽装置
CN103577043A (zh) * 2012-06-13 2014-02-12 英默森公司 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US9874935B2 (en) * 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US10722784B2 (en) * 2012-09-21 2020-07-28 Bright Cloud International Corporation Bimanual integrative virtual rehabilitation system and methods
KR20140135400A (ko) * 2013-05-16 2014-11-26 삼성전자주식회사 이동 단말기 및 그 제어 방법
WO2016140924A1 (en) * 2015-03-01 2016-09-09 Tactical Haptics Embedded grasp sensing devices, systems, and methods
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
JP6834962B2 (ja) * 2015-09-08 2021-02-24 ソニー株式会社 情報処理装置、方法およびコンピュータプログラム
CN106371573B (zh) 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
US20180059819A1 (en) * 2016-08-25 2018-03-01 Tactual Labs Co. Touch-sensitive objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809526A (zh) * 2007-09-28 2010-08-18 英默森公司 具有动态触觉效应的多触摸装置
CN101910977A (zh) * 2007-12-28 2010-12-08 诺基亚公司 基于视觉环境的音频和触觉反馈
CN102893241A (zh) * 2010-05-12 2013-01-23 诺基亚公司 检测触摸输入并生成可感知的触摸刺激
CN103577043A (zh) * 2012-06-13 2014-02-12 英默森公司 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置
CN103488298A (zh) * 2013-09-29 2014-01-01 中山大学 一种基于柔性与滑动结合的触觉再现手型槽装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152778A1 (en) * 2017-02-24 2018-08-30 Immersion Corporation Virtual affective touch
US10474238B2 (en) 2017-02-24 2019-11-12 Immersion Corporation Systems and methods for virtual affective touch
CN109316740A (zh) * 2017-07-30 2019-02-12 宏达国际电子股份有限公司 检测手指的电子装置、方法及系统以及非暂态可读取媒体
CN109316740B (zh) * 2017-07-30 2022-06-07 宏达国际电子股份有限公司 检测手指的电子装置、方法及系统以及非暂态可读取媒体
WO2019072064A1 (zh) * 2017-10-10 2019-04-18 腾讯科技（深圳）有限公司 虚拟现实环境下的控制方法、设备和存储介质
CN109032343A (zh) * 2018-07-04 2018-12-18 青岛理工大学 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN109032343B (zh) * 2018-07-04 2022-02-11 青岛理工大学 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN109669538A (zh) * 2018-12-05 2019-04-23 中国航天员科研训练中心 一种在虚拟现实中复杂运动约束下物体抓取交互方法
CN109669538B (zh) * 2018-12-05 2021-06-04 中国航天员科研训练中心 一种在虚拟现实中复杂运动约束下物体抓取交互方法
CN110101519A (zh) * 2019-05-08 2019-08-09 解涛 一种多功能血管神经外科用vr护理病床
CN110101519B (zh) * 2019-05-08 2020-12-01 解涛 一种多功能血管神经外科用vr护理病床

Also Published As

Publication number Publication date
US10353468B2 (en) 2019-07-16
US10656717B2 (en) 2020-05-19
US20190286239A1 (en) 2019-09-19
US20170160805A1 (en) 2017-06-08
CN106371573B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN106371573A (zh) 触觉反馈的方法、装置和虚拟现实交互系统
Arora et al. Magicalhands: Mid-air hand gestures for animating in vr
EP3040807B1 (en) Virtual sensor in a virtual environment
Burdea Haptics issues in virtual environments
Magnenat-Thalmann et al. Haptics in virtual reality and multimedia
US20110148607A1 (en) System,device and method for providing haptic technology
Magnenat-Thalmann et al. From Physics-based Simulation to the Touching of Textiles: The HAPTEX Project.
KR20190080802A (ko) 가상 물체의 터칭 및 파지와 관련된 햅틱 효과를 제공하는 시스템 및 방법
Salisbury Jr Making graphics physically tangible
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
KR100906576B1 (ko) 핸드 햅틱 인터페이스 장치 및 방법
CN110389659A (zh) 针对增强或虚拟现实环境提供动态触觉回放的系统和方法
JP2019519856A (ja) マルチモーダルハプティック効果
Yu et al. Force push: Exploring expressive gesture-to-force mappings for remote object manipulation in virtual reality
Falcao et al. Applications of haptic devices & virtual reality in consumer products usability evaluation
CN106371574B (zh) 触觉反馈的方法、装置和虚拟现实交互系统
JP3713381B2 (ja) 物体の把持動作シミュレーション装置
Pihuit et al. Hands on virtual clay
Oo et al. Closed-loop force control for haptic simulation: Sensory mode interaction
JP3745541B2 (ja) 液体の接触感シミュレーション装置
Sagia et al. Design and Prototyping of a Wearable Kinesthetic Haptic Feedback System to Support Mid-Air Interactions in Virtual Environments
Piviotti Providing force and vibrotactile feedback with haptic devices for simulating industrial tools in immersive Virtual Reality
Heravi Multimodal Object Representation Learning in Haptic, Auditory, and Visual Domains
Gama et al. Design of a Virtual Environment with Haptic Interface for Enhanced Immersive Experiences
Lousada et al. Exploring Pseudo-Haptics for Object Compliance in Virtual Reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant