CN106843475A - 一种实现虚拟现实交互的方法及系统 - Google Patents
一种实现虚拟现实交互的方法及系统 Download PDFInfo
- Publication number
- CN106843475A CN106843475A CN201710002398.6A CN201710002398A CN106843475A CN 106843475 A CN106843475 A CN 106843475A CN 201710002398 A CN201710002398 A CN 201710002398A CN 106843475 A CN106843475 A CN 106843475A
- Authority
- CN
- China
- Prior art keywords
- user
- information
- state information
- feedback
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003993 interaction Effects 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 46
- 230000008447 perception Effects 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000003825 pressing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000208202 Linaceae Species 0.000 description 1
- 235000004431 Linum usitatissimum Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000085 cashmere Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种实现虚拟现实交互的方法及系统,实现虚拟现实交互的方法包括:获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;根据状态信息生成触觉反馈信息;根据触觉反馈信息对用户进行触觉反馈。本发明实施例实现了虚拟现实交互时的触觉反馈,提升了虚拟现实的用户使用体验。
Description
技术领域
本文涉及但不限于虚拟现实技术,尤指一种实现虚拟现实交互的方法及系统。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。
以头盔式虚拟现实为例,目前虚拟现实实现时,主要通过计算机仿真系统将显示画面充满观看者的视线,用户通过计算机生成的模拟环境,获得了良好的沉浸感。
目前,虚拟现实技术主要在视觉显示上使用户获得了沉浸感,用户使用虚拟现实的体验单一;此外,用户穿戴虚拟显示设备时,由于无法准确掌握用户所在环境中人和物的位置,用户一般需要固定在一定的范围内活动(坐着或这站着),用户受活动范围影响无法完全投入到虚拟现实场景中;如果用户完全投入到虚拟显示场景中,用户不由自主的发生肢体活动,则很容易碰撞到用户所在环境中人和物,造成人体碰撞或物体损坏,影响用户的使用体验。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种实现虚拟现实交互的方法及系统,能够提升虚拟现实的用户使用体验。
本发明实施例提供了一种实现虚拟现实交互的方法,包括:
获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;
根据状态信息生成触觉反馈信息;
根据触觉反馈信息对用户进行触觉反馈。
可选的,所述获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息包括:
识别所述虚拟现实场景中的每一个物体,确定识别出的每一个物体对应的物理状态信息;和/或,
通过预设的雷达传感器或红外传感器监测所述用户所在环境中每一个物体的运动状态信息;
其中,所述物理状态信息包括:物体的软硬度、和/或粗糙度;
所述运动状态信息包括:位置、移动方向、和/或移动速度信息。
可选的,所述状态信息包括运动状态信息时,所述生成触觉反馈信息包括:
根据每一个物体的所述运动状态信息确定在所述用户所在环境中用户和物体的距离;如果确定的所述用户所在环境中用户和物体的距离大于0,根据预先设定的距离和反馈强度的对应关系,生成与每一个物体对应的反馈强度信息。
可选的,所述根据触觉反馈信息对用户进行触觉反馈包括:
采用压力装置对用户施加与所述反馈强度信息相对应的压力;和/或,
采用震动装置对用户施加与所述反馈强度信息相对应的震动。
可选的,所述状态信息包括物理状态信息时,所述生成触觉反馈信息包括:
根据在预设的触摸屏上显示的所述虚拟现实场景中每一个物体的物理状态信息,生成对应于每一个物体的触碰感知信息;
其中,所述触碰感知信息包括:触碰物体时感知物体软硬度和/或粗糙度所需的力的大小和分布区域信息。
可选的,所述根据触觉反馈信息对用户进行触觉反馈包括:
根据生成的所述触碰感知信息在触摸屏不同区域按照预先设定的匹配规则对发送电极和接收电极输入对应的输入电压信号;根据输入电压信号的不同产生每一个区域相应的静电力,以根据每一个区域产生的静电力感知触碰物体时的软硬度和/或粗糙度。
可选的,所述根据触觉反馈信息对用户进行触觉反馈之前,还包括:
检测用户触摸所述触摸屏的压力;
当检测到用户触摸所述触摸屏的压力大于预设阈值时,触发所述触摸屏根据触觉反馈信息对用户进行触觉反馈。
另一方面,本发明实施例还提供一种实现虚拟现实交互的系统,包括:获取装置、生成装置和反馈装置;其中,
获取装置配置为,获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;
生成装置配置为,根据获取装置获取到的每一个物体的状态信息,生成触觉反馈信息;
反馈装置配置为,根据生成装置生成的触觉反馈信息对用户进行触觉反馈。
可选的,所述获取装置包括识别确定单元和/或监测确定单元;其中,
识别确定单元配置为,识别所述虚拟现实场景中的每一个物体,确定识别出的每一个物体对应的物理状态信息;
监测确定单元配置为,通过预设的雷达传感器或红外传感器监测所述用户所在环境中每一个物体的运动状态信息;
其中,所述物理状态信息包括:物体的软硬度、和/或粗糙度;
所述运动状态信息包括:位置、移动方向、和/或移动速度信息。
可选的,所述生成装置包括强度生成单元,配置为状态信息包括运动状态信息时,根据每一个物体的运动状态信息确定在所述用户所在环境中用户和物体的距离;如果确定的所述用户所在环境中用户和物体的距离大于0,根据预先设定的距离和反馈强度的对应关系,生成与每一个物体对应的反馈强度信息。
可选的,所述反馈装置包括强度反馈单元,配置为:
采用压力装置对用户施加与所述反馈强度信息相对应的压力;和/或,
采用震动装置对用户施加与所述反馈强度信息相对应的震动。
可选的,所述生成装置包括感知生成单元,配置为:所述状态信息包括物理状态信息时,根据在预先设置的触摸屏上显示的所述虚拟现实场景中每一个物体的物理状态信息,生成对应于每一个物体的触碰感知信息;
其中,所述触碰感知信息包括:触碰物体时感知物体软硬度和/或粗糙度所需的力的大小和分布区域信息。
可选的,所述感知生成单元是配置为:
所述状态信息包括物理状态信息时,根据生成的所述触碰感知信息在所述触摸屏不同区域按照预先设定的匹配规则对发送电极和接收电极输入对应的输入电压信号;根据输入电压信号的不同产生每一个区域相应的静电力,以根据每一个区域产生的静电力感知触碰所述触摸屏上显示的所述虚拟现实场景中的物体时的软硬度和/或粗糙度。
可选的,所述反馈装置还包括触发单元,配置为:检测用户触摸所述触摸屏的压力;当检测到用户触摸所述触摸屏的压力大于预设阈值时,触发所述触摸屏根据触觉反馈信息对用户进行触觉反馈。
与相关技术相比,本申请技术方案包括:获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;根据状态信息生成触觉反馈信息;根据触觉反馈信息对用户进行触觉反馈。本发明实施例实现了虚拟现实交互时的触觉反馈,提升了虚拟现实的用户使用体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例实现虚拟现实交互的方法的流程图;
图2为建立差频和目标距离的分析示意图;
图3为实际速度与径向速度的对比示意图;
图4为计算平面方向角的几何结构示意图;
图5为实现定位的几何分布示意图;
图6为相关技术中触摸屏的结构示意图;
图7为本发明实施例实现虚拟现实交互的系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例实现虚拟现实交互的方法的流程图,如图1所示,包括:
步骤100、获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;
可选的,本发明实施例可以通过以下方式获取虚拟现实场景中每一个物体的状态信息:
识别虚拟现实场景中的每一个物体,确定识别出的每一个物体对应的物理状态信息;和/或,
通过预设的雷达传感器或红外传感器监测虚拟现实场景中每一个物体的运动状态信息;
其中,物理状态信息包括:物体的软硬度、和/或粗糙度;
运动状态信息包括:位置、移动方向、和/或移动速度信息。
需要说明的是,本发明实施例可以采用相关技术识别虚拟现实场景中每一个物体,可以包括:采用图像采集装置获取虚拟现实场景中的图像,对获取到的图像进行特征点提取后,将提取的特征点与预先存储在数据库中的用于图像匹配的特征点进行匹配,确定本发明实施例虚拟现实场景中包含的物品;又比如、通过预先设置的标识标识虚拟现实场景中的每一个物体,获取显示画面中显示的物体的标识,通过获取得到的标识确定显示的物体;采用图像匹配的方法,可以利用已有的特征数据库进行图像匹配处理,需要进行一定的计算;采用标识进行物体识别的方法,需要预先对每一种物体按照一一对应的关系设置标识,但该方法无需进行匹配计算。
另外,本发明实施例采用雷达传感器监测虚拟现实场景中每一个物体的运动状态信息时,雷达传感器可以包括天线、收发机、信号生成和调制单元、信号处理单元等;雷达将生成和调制好用于监测运动状态信息的雷达信号,通过天线发射到虚拟现实场景中,雷达遇到物体后反射,反射信号经过放大、滤波、混频等信号处理和计算,可以得出监测到的物体的位置、移动方向和移动速度;其中,通过移动方向和移动速度可以计算获得相对速度。这里,雷达信号可以为调频连续波,回波信号与发射信号存在差频,是距离的函数。差频可通过混频器测得,代入函数求得目标距离(用户和物体的距离)。计算距离的第一函数可以为:fb=(2△f*R)/(T*c),其中fb为混频器测量的回波信号频差,△f为发射的调频信号最大频差,T为调频周期,R为目标距离,即建立了差频与目标距离的关系;图2为建立差频和目标距离的分析示意图,其中,实线部分表示发送信号,虚线部分表示接收信号,参照图2中的相关参数,可以理解计算目标距离的过程。
计算相对速度时,主要基于多普勒原理,将测得的差频信号代入第二函数求的相对速度;其中,第二函数:fd=2(cosθv)/λ,v为物体与雷达相对实际速度,cosθv为物体与雷达相对径向速度;图3为实际速度与径向速度的对比示意图,参照图3可以理解:物体向着或远离雷达运动所产生的频移量是相同的,但目标移向雷达频移为正;目标远离雷达频移为负。
相对角度的测量是基于接受阵列的相位差。测得回波信号到达相邻接受阵列单元的相位差,代入第三函数求的平面方向角。第三函数θ=sin-1(λ△φ/2πd),图4为计算平面方向角的几何结构示意图,如图4所示,,θ为测量目标的方向角,△φ为相位差,λ为波长,d为两个接受阵元的间距;。通过合理排布接受阵列;如:采用3个接受阵元可实现定位;图5为实现定位的几何分布示意图,如图5所示,阵元1为中心,与同行的阵元2测量方位角φ,与同列的阵元3测量仰角θ。
上述获取物体的状态信息的方法,只是本发明的一个可选实施例,本发明实施例还可以通过其他方式获取物体的状态信息。
步骤101、根据状态信息生成触觉反馈信息;
作为一个可选实施例,当状态信息包括运动状态信息时,生成触觉反馈信息包括:
根据每一个物体的运动状态信息确定在用户所在环境中用户和物体的距离;如果确定的用户所在环境中用户和物体的距离大于0,根据预先设定的距离和反馈强度的对应关系,生成与每一个物体对应的反馈强度信息。
相应的,根据触觉反馈信息对用户进行触觉反馈包括:
采用压力装置对用户施加与所述反馈强度信息相对应的压力;和/或,
采用震动装置对用户施加与所述反馈强度信息相对应的震动。
可选的,采用预先设定的超声波装置,根据生成的反馈强度信息对用户发射超声波,以对用户施加与距离大小成对应关系的力;和/或,
对预先设定的震动装置,根据生成的反馈强度信息驱动震动装置进行震动,以产生与距离大小成对应关系的震动。
需要说明的是,在一个可选实施例中,状态信息包含运动状态信息时,根据用户与物体的距离大小可以进行触觉反馈;即使用虚拟现实技术时,如果在用户所在环境中用户和物体的距离发生变化,可以设定动态变化的反馈强度信息;例如、用户在实际环境(用户所在环境)中,在穿戴虚拟现实设备时,如果用户快速接近物体或者有人体快速接近用户,根据反馈强度信息,用户可以清楚感觉到由于距离减少造成的压力;人体快速远离用户或用户远物体,根据触觉反馈,用户可以清楚感觉到由于距离增大,压力逐渐减小;这样,即使用户穿戴着虚拟现实设备,用户也可以通过触觉感应获知周围人体或物体的运动状态,用户可以根据获得的运动状态,可以不用担心碰撞用户所在环境的人体或物体,更加放松的投入到虚拟现实场景中,获得更好的用户使用体验。本发明实施例,还可以设置,距离变化速度与压力大小的关系;即可以设置距离变化快时,压力变化较快,相反,距离变化慢时,压力变化较慢。本发明实施例可以设置根据触觉反馈信息对用户进行触觉反馈,例如、设置超声波根据触觉反馈信息对用户脸部和/或胸部根据距离远近施加压力。
另外,通过超声波和/或震动装置实现对用户的触觉反馈是本发明的一个可选实施例,即当用户与物体距离不断缩小时,超声波发射的力应该相应增大;同理,如果采用震动装置进行触觉反馈,则震动频率相应增大,通过触觉反馈提示用户物体在不断接近。相反,距离增大时,超声波和/或震动装置进行相反的处理。
作为一个可选实施例,当状态信息包括物理状态信息时,生成触觉反馈信息包括:
根据在预设的触摸屏上显示的虚拟现实场景中每一个物体的物理状态信息,生成对应于每一个物体的触碰感知信息;
其中,触碰感知信息包括:触碰物体时感知物体软硬度和/或粗糙度所需的力的大小和分布区域信息。
需要说明的是,本发明实施例,在预设的触摸屏上显示虚拟现实场景时,用户只要触摸了触摸屏,就可以获得基于触碰感知信息生成相应的静电力,获得感知物体软硬度和/或粗糙度的触觉感应。
步骤102、根据触觉反馈信息对用户进行触觉反馈。
本发明实施例提供的虚拟现实交互的方法,能够根据物体的状态信息进行触觉反馈;用户在应用虚拟现实技术时,可以获知使用虚拟现实技术时用户所在环境中人体或物体的运动状态,使用户可以根据触觉反馈更加深入的投入到虚拟现实场景中;在虚拟现实场景中,可以根据触觉反馈提升虚拟现实技术的使用体验。
可选的,本发明实施例根据触觉反馈信息对用户进行触觉反馈包括:
根据生成的触碰感知信息在触摸屏不同区域按照预先设定的匹配规则对发送电极和接收电极输入对应的输入电压信号;根据输入电压信号的不同产生每一个区域相应的静电力,以根据每一个区域产生的静电力感知触碰物体时的软硬度和/或粗糙度。
需要说明的是,预先设定的匹配规则的内容可以包括:预先存储的根据数据分析结果确定的感知触碰物体的软硬度和/或粗糙度时所需要的静电力。
图6为相关技术中触摸屏的结构示意图,如图6所示,触摸屏包含玻璃基板、打印在玻璃基本上的传送(Tx)电极和接收(Rx)电极,以及绝缘层;当给Tx电极和Rx电极相应的输入电压信号时,参照图6,用户如果通过手指接触静电触控层,则在手指触摸静电触控层的位置Tx电极和Rx电极可以产生感应电容,基于产生的感应电容获得静电力。手指滑动时,接触面积变化,静电力变化,根据静电力的变化得到触摸物体的触觉感应,例如、根据静电力的变化触摸羊绒、亚麻、岩石等触觉感应。本发明实施例还可以通过其他可以产生不同静电力的显示装置实现。
可选的,本发明实施例根据触觉反馈信息对用户进行触觉反馈之前,还包括:
检测用户触摸触摸屏的压力;
当检测到用户触摸触摸屏的压力大于预设阈值时,触发触摸屏根据触觉反馈信息对用户进行触觉反馈。
这里,本发明实施例用户对触摸屏压力大于设定预设阈值的情况下才确定用户在虚拟现实场景中进行了触碰物体的操作,使用户获得触觉反馈的时间更加准确,体验更佳。
作为一个可选的实施例,本发明实施例的虚拟按键,可以基于本发明实施例生成触觉感知信息的方法生成具有与虚拟按键所表示内容相对应的纹理图案,例如、在显示屏上根据触觉感知信息进行触觉反馈的原理生成可以触摸到方向图标的按键。
本发明实施例实现了虚拟现实交互时的触觉反馈,提升了虚拟现实的用户使用体验。
图7为本发明实施例实现虚拟现实交互的系统的结构框图,如图7所示,包括:获取装置、生成装置和反馈装置;其中,
获取装置配置为,获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;
可选的,本发明实施例,获取装置包括识别确定单元和/或监测确定单元;其中,
识别确定单元配置为,识别虚拟现实场景中的每一个物体,确定识别出的每一个物体对应的物理状态信息;
监测确定单元配置为,通过预设的雷达传感器或红外传感器监测用户所在环境中每一个物体的运动状态信息;
其中,物理状态信息包括:物体的软硬度、和/或粗糙度;
运动状态信息包括:位置、移动方向、和/或移动速度信息。
需要说明的是,本发明实施例可以采用相关技术识别虚拟现实场景中每一个物体,可以包括:采用图像采集装置获取虚拟现实场景中的图像,对获取到的图像进行特征点提取后,将提取的特征点与预先存储在数据库中的用于图像匹配的特征点进行匹配,确定本发明实施例虚拟现实场景中包含的物品;又比如、通过预先设置的标识标识虚拟现实场景中的每一个物体,获取显示画面中显示的物体的标识,通过获取得到的标识确定显示的物体;采用图像匹配的方法,可以利用已有的特征数据库进行图像匹配处理,需要进行一定的计算;采用标识进行物体识别的方法,需要预先对每一种物体按照一一对应的关系设置标识,但该方法无需进行匹配计算。
上述获取物体的状态信息的方法,只是本发明的一个可选实施例,本发明实施例还可以通过其他方式获取物体的状态信息。
生成装置配置为,根据获取装置获取到的每一个物体的状态信息,生成触觉反馈信息;
可选的,本发明实施例生成装置包括强度生成单元,配置为状态信息包括运动状态信息时,根据每一个物体的运动状态信息确定在用户所在环境中用户和物体的距离;如果确定的用户所在环境中用户和物体的距离大于0,根据预先设定的距离和反馈强度的对应关系,生成与每一个物体对应的反馈强度信息。
可选的,本发明实施例生成装置包括感知生成单元,配置为:所述状态信息包括物理状态信息时,根据在预先设置的触摸屏上显示的所述虚拟现实场景中每一个物体的物理状态信息,生成对应于每一个物体的触碰感知信息;
其中,触碰感知信息包括:触碰物体时感知物体软硬度和/或粗糙度所需的力的大小和分布区域信息。
可选的,本发明实施例感知生成单元是配置为:
状态信息包括物理状态信息时,根据生成的触碰感知信息在触摸屏不同区域按照预先设定的匹配规则对发送电极和接收电极输入对应的输入电压信号;根据输入电压信号的不同产生每一个区域相应的静电力,以根据每一个区域产生的静电力感知触碰触摸屏上显示的虚拟现实场景中的物体时的软硬度和/或粗糙度。
反馈装置配置为,根据生成装置生成的触觉反馈信息对用户进行触觉反馈。
可选的,本发明实施例生成装置包括强度生成单元时,对应的,反馈装置包括强度反馈单元,配置为:
采用压力装置对用户施加与反馈强度信息相对应的压力;和/或,
采用震动装置对用户施加与反馈强度信息相对应的震动。
可选的,强度反馈单元是配置为:采用预先设定的超声波装置,根据生成的反馈强度信息对用户发射超声波,以对用户施加与距离大小成对应关系的力;和/或,
对预先设定的震动装置,根据生成的反馈强度信息驱动震动装置进行震动,以产生与距离大小成对应关系的震动。
需要说明的是,在一个可选实施例中,状态信息包含运动状态信息时,根据用户与物体的距离大小可以进行触觉反馈;即使用虚拟现实技术时,如果在用户所在环境中用户和物体的距离发生变化,可以设定动态变化的反馈强度信息;例如、用户在实际环境(用户所在环境)中,在穿戴虚拟现实设备时,如果用户快速接近物体或者有人体快速接近用户,根据反馈强度信息,用户可以清楚感觉到由于距离减少造成的压力;人体快速远离用户或用户远物体,根据触觉反馈,用户可以清楚感觉到由于距离增大,压力逐渐减小;这样,即使用户穿戴着虚拟现实设备,用户也可以通过触觉感应获知周围人体或物体的运动状态,用户可以根据获得的运动状态,可以不用担心碰撞用户所在环境的人体或物体,更加放松的投入到虚拟现实场景中,获得更好的用户使用体验。本发明实施例,还可以设置,距离变化速度与压力大小的关系;即可以设置距离变化快时,压力变化较快,相反,距离变化慢时,压力变化较慢。本发明实施例可以设置根据触觉反馈信息对用户进行触觉反馈,例如、设置超声波根据触觉反馈信息对用户脸部和/或胸部根据距离远近施加压力。
另外,通过超声波和/或震动装置实现对用户的触觉反馈是本发明的一个可选实施例,即当用户与物体距离不断缩小时,超声波发射的力应该相应增大;同理,如果采用震动装置进行触觉反馈,则震动频率相应增大,通过触觉反馈提示用户物体在不断接近。相反,距离增大时,超声波和/或震动装置进行相反的处理。
可选的,本发明实施例反馈装置还包括触发单元,配置为:检测用户触摸触摸屏的压力;当检测到用户触摸触摸屏的压力大于预设阈值时,触发触摸屏根据触觉反馈信息对用户进行触觉反馈。
需要说明的是,本发明实施例触发单元在用户对触摸屏压力大于设定预设阈值的情况下才确定用户在虚拟现实场景中进行了触碰物体的操作,使用户获得触觉反馈的时间更加准确,体验更佳。
本发明实施例实现了虚拟现实交互时的触觉反馈,提升了虚拟现实的用户使用体验。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的每个模块/单元可以采用硬件的形式实现,例如通过集成电路来实现其相应功能,也可以采用软件功能模块的形式实现,例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (14)
1.一种实现虚拟现实交互的方法,包括:
获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;
根据状态信息生成触觉反馈信息;
根据触觉反馈信息对用户进行触觉反馈。
2.根据权利要求1所述的方法,其特征在于,所述获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息包括:
识别所述虚拟现实场景中的每一个物体,确定识别出的每一个物体对应的物理状态信息;和/或,
通过预设的雷达传感器或红外传感器监测所述用户所在环境中每一个物体的运动状态信息;
其中,所述物理状态信息包括:物体的软硬度、和/或粗糙度;
所述运动状态信息包括:位置、移动方向、和/或移动速度信息。
3.根据权利要求1或2所述的方法,其特征在于,所述状态信息包括运动状态信息时,所述生成触觉反馈信息包括:
根据每一个物体的所述运动状态信息确定在所述用户所在环境中用户和物体的距离;如果确定的所述用户所在环境中用户和物体的距离大于0,根据预先设定的距离和反馈强度的对应关系,生成与每一个物体对应的反馈强度信息。
4.根据权利要求3所述的方法,其特征在于,所述根据触觉反馈信息对用户进行触觉反馈包括:
采用压力装置对用户施加与所述反馈强度信息相对应的压力;和/或,
采用震动装置对用户施加与所述反馈强度信息相对应的震动。
5.根据权利要求1或2所述的方法,其特征在于,所述状态信息包括物理状态信息时,所述生成触觉反馈信息包括:
根据在预设的触摸屏上显示的所述虚拟现实场景中每一个物体的物理状态信息,生成对应于每一个物体的触碰感知信息;
其中,所述触碰感知信息包括:触碰物体时感知物体软硬度和/或粗糙度所需的力的大小和分布区域信息。
6.根据权利要求5所述的方法,其特征在于,所述根据触觉反馈信息对用户进行触觉反馈包括:
根据生成的所述触碰感知信息在所述触摸屏不同区域按照预先设定的匹配规则对发送电极和接收电极输入对应的输入电压信号;根据输入电压信号的不同产生每一个区域相应的静电力,以根据每一个区域产生的静电力感知触碰物体时的软硬度和/或粗糙度。
7.根据权利要求6所述的方法,其特征在于,所述根据触觉反馈信息对用户进行触觉反馈之前,还包括:
检测用户触摸所述触摸屏的压力;
当检测到用户触摸所述触摸屏的压力大于预设阈值时,触发所述触摸屏根据触觉反馈信息对用户进行触觉反馈。
8.一种实现虚拟现实交互的系统,包括:获取装置、生成装置和反馈装置;其中,
获取装置配置为,获取虚拟现实场景中和/或用户所在环境中每一个物体的状态信息;
生成装置配置为,根据获取装置获取到的每一个物体的状态信息,生成触觉反馈信息;
反馈装置配置为,根据生成装置生成的触觉反馈信息对用户进行触觉反馈。
9.根据权利要求8所述的系统,其特征在于,所述获取装置包括识别确定单元和/或监测确定单元;其中,
识别确定单元配置为,识别所述虚拟现实场景中的每一个物体,确定识别出的每一个物体对应的物理状态信息;
监测确定单元配置为,通过预设的雷达传感器或红外传感器监测所述用户所在环境中每一个物体的运动状态信息;
其中,所述物理状态信息包括:物体的软硬度、和/或粗糙度;
所述运动状态信息包括:位置、移动方向、和/或移动速度信息。
10.根据权利要求8或9所述的系统,其特征在于,所述生成装置包括强度生成单元,配置为状态信息包括运动状态信息时,根据每一个物体的运动状态信息确定在所述用户所在环境中用户和物体的距离;如果确定的所述用户所在环境中用户和物体的距离大于0,根据预先设定的距离和反馈强度的对应关系,生成与每一个物体对应的反馈强度信息。
11.根据权利要求8或9所述的系统,其特征在于,所述反馈装置包括强度反馈单元,配置为:
采用压力装置对用户施加与所述反馈强度信息相对应的压力;和/或,
采用震动装置对用户施加与所述反馈强度信息相对应的震动。
12.根据权利要求8所述的系统,其特征在于,所述生成装置包括感知生成单元,配置为:所述状态信息包括物理状态信息时,根据在预先设置的触摸屏上显示的所述虚拟现实场景中每一个物体的物理状态信息,生成对应于每一个物体的触碰感知信息;
其中,所述触碰感知信息包括:触碰物体时感知物体软硬度和/或粗糙度所需的力的大小和分布区域信息。
13.根据权利要求12所述的系统,其特征在于,所述感知生成单元是配置为:
所述状态信息包括物理状态信息时,根据生成的所述触碰感知信息在所述触摸屏不同区域按照预先设定的匹配规则对发送电极和接收电极输入对应的输入电压信号;根据输入电压信号的不同产生每一个区域相应的静电力,以根据每一个区域产生的静电力感知触碰所述触摸屏上显示的所述虚拟现实场景中的物体时的软硬度和/或粗糙度。
14.根据权利要求13所述的系统,其特征在于,所述反馈装置还包括触发单元,配置为:检测用户触摸所述触摸屏的压力;当检测到用户触摸所述触摸屏的压力大于预设阈值时,触发所述触摸屏根据触觉反馈信息对用户进行触觉反馈。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710002398.6A CN106843475A (zh) | 2017-01-03 | 2017-01-03 | 一种实现虚拟现实交互的方法及系统 |
US15/751,211 US20200201436A1 (en) | 2017-01-03 | 2017-08-09 | Method and device for providing haptic feedback in virtual reality system |
PCT/CN2017/096617 WO2018126682A1 (zh) | 2017-01-03 | 2017-08-09 | 用于在虚拟现实系统中提供触觉反馈的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710002398.6A CN106843475A (zh) | 2017-01-03 | 2017-01-03 | 一种实现虚拟现实交互的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106843475A true CN106843475A (zh) | 2017-06-13 |
Family
ID=59117177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710002398.6A Pending CN106843475A (zh) | 2017-01-03 | 2017-01-03 | 一种实现虚拟现实交互的方法及系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200201436A1 (zh) |
CN (1) | CN106843475A (zh) |
WO (1) | WO2018126682A1 (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108008820A (zh) * | 2017-12-14 | 2018-05-08 | 深圳位形空间科技有限公司 | 重定向行走方法、重定向行走服务器及重定向行走系统 |
WO2018126682A1 (zh) * | 2017-01-03 | 2018-07-12 | 京东方科技集团股份有限公司 | 用于在虚拟现实系统中提供触觉反馈的方法及装置 |
CN108874123A (zh) * | 2018-05-07 | 2018-11-23 | 北京理工大学 | 一种通用的模块化的虚拟现实被动力触觉反馈系统 |
CN108874125A (zh) * | 2018-05-28 | 2018-11-23 | 徐州昇科源信息技术有限公司 | 一种虚拟皮肤表面实时力反馈交互系统 |
CN109582132A (zh) * | 2018-11-01 | 2019-04-05 | 深圳岱仕科技有限公司 | 手部机械外骨骼及其反馈控制方法 |
CN109656361A (zh) * | 2018-12-11 | 2019-04-19 | 吉林大学 | 一种以平移交互效率为指标的最优驱动电压选择方法 |
CN109683713A (zh) * | 2018-12-27 | 2019-04-26 | 珠海市魅族科技有限公司 | 一种基于触觉反馈的交互方法及其相关设备 |
CN109960411A (zh) * | 2019-03-19 | 2019-07-02 | 上海俊明网络科技有限公司 | 一种辅助vr观测的可触摸式建筑素材数据库 |
CN110286760A (zh) * | 2019-06-19 | 2019-09-27 | 重庆城市管理职业学院 | 一种用于虚拟现实的力反馈控制方法及装置 |
CN110322268A (zh) * | 2019-05-09 | 2019-10-11 | 深圳报业集团控股公司 | 一种基于回波信号的场景交互系统及交互方法 |
CN110321002A (zh) * | 2019-05-09 | 2019-10-11 | 深圳报业集团控股公司 | 一种场景交互系统及交互方法 |
CN110580098A (zh) * | 2018-06-11 | 2019-12-17 | 罗伯特·博世有限公司 | 在操作空间的可变位置产生预定的声波额定压力的方法和装置及用于车辆的装置的操作装置 |
CN110928472A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 物品处理方法、装置及电子设备 |
CN111103973A (zh) * | 2019-11-11 | 2020-05-05 | 深圳岱仕科技有限公司 | 模型处理方法、装置、计算机设备和存储介质 |
CN112540674A (zh) * | 2020-12-09 | 2021-03-23 | 吉林建筑大学 | 虚拟环境交互方法及设备 |
CN112673334A (zh) * | 2018-09-11 | 2021-04-16 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
WO2023088361A1 (zh) * | 2021-11-18 | 2023-05-25 | 华为技术有限公司 | 触觉反馈装置及虚拟现实交互设备 |
TWI839214B (zh) * | 2023-04-10 | 2024-04-11 | 宏達國際電子股份有限公司 | 手無拘束的觸覺反饋系統及方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11402910B2 (en) * | 2017-12-01 | 2022-08-02 | Verizon Patent And Licensing Inc. | Tactile feedback array control |
US11347312B1 (en) * | 2019-09-23 | 2022-05-31 | Apple Inc. | Ultrasonic haptic output devices |
CN112034979B (zh) * | 2020-07-31 | 2022-03-08 | 西安交通大学 | 一种基于力反馈的可穿戴飞行感觉反馈系统 |
CN112991552B (zh) * | 2021-03-10 | 2024-03-22 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 人体虚实匹配方法、装置、设备及存储介质 |
CN113342171B (zh) * | 2021-06-15 | 2023-04-07 | 华北科技学院(中国煤矿安全技术培训中心) | 一种在虚拟现实空间中实时生成可触摸实体的方法和装置 |
CN114428483B (zh) * | 2022-01-26 | 2023-07-21 | 上海三一重机股份有限公司 | 作业机械遥控端力反馈控制方法、装置及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2568355A2 (en) * | 2011-09-12 | 2013-03-13 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
CN103793062A (zh) * | 2014-03-05 | 2014-05-14 | 吉林大学 | 应用阻抗检测的自适应多点静电力触觉再现装置及方法 |
CN105892645A (zh) * | 2015-02-16 | 2016-08-24 | 联发科技股份有限公司 | 触觉系统及用于触觉系统的控制方法 |
CN106200899A (zh) * | 2016-06-24 | 2016-12-07 | 北京奇思信息技术有限公司 | 根据用户头部动作控制虚拟现实交互的方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4926799B2 (ja) * | 2006-10-23 | 2012-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US9235265B2 (en) * | 2012-05-17 | 2016-01-12 | Sharp Kabushiki Kaisha | Touch-screen device including tactile feedback actuator |
TWI501109B (zh) * | 2012-11-05 | 2015-09-21 | Univ Nat Taiwan | 擬真觸覺力回饋裝置及其方法 |
CN104035561B (zh) * | 2014-06-11 | 2018-03-23 | 京东方科技集团股份有限公司 | 触觉反馈系统、方法和触摸显示装置 |
US10449445B2 (en) * | 2014-12-11 | 2019-10-22 | Elwha Llc | Feedback for enhanced situational awareness |
US9690374B2 (en) * | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
CN105893928A (zh) * | 2015-12-21 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
CN106155322A (zh) * | 2016-06-30 | 2016-11-23 | 联想(北京)有限公司 | 信息处理方法、电子设备以及控制系统 |
US10296091B2 (en) * | 2016-10-13 | 2019-05-21 | Immersion Corporation | Contextual pressure sensing haptic responses |
CN106843475A (zh) * | 2017-01-03 | 2017-06-13 | 京东方科技集团股份有限公司 | 一种实现虚拟现实交互的方法及系统 |
-
2017
- 2017-01-03 CN CN201710002398.6A patent/CN106843475A/zh active Pending
- 2017-08-09 US US15/751,211 patent/US20200201436A1/en not_active Abandoned
- 2017-08-09 WO PCT/CN2017/096617 patent/WO2018126682A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2568355A2 (en) * | 2011-09-12 | 2013-03-13 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
CN103793062A (zh) * | 2014-03-05 | 2014-05-14 | 吉林大学 | 应用阻抗检测的自适应多点静电力触觉再现装置及方法 |
CN105892645A (zh) * | 2015-02-16 | 2016-08-24 | 联发科技股份有限公司 | 触觉系统及用于触觉系统的控制方法 |
CN106200899A (zh) * | 2016-06-24 | 2016-12-07 | 北京奇思信息技术有限公司 | 根据用户头部动作控制虚拟现实交互的方法及系统 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018126682A1 (zh) * | 2017-01-03 | 2018-07-12 | 京东方科技集团股份有限公司 | 用于在虚拟现实系统中提供触觉反馈的方法及装置 |
CN108008820A (zh) * | 2017-12-14 | 2018-05-08 | 深圳位形空间科技有限公司 | 重定向行走方法、重定向行走服务器及重定向行走系统 |
CN108874123A (zh) * | 2018-05-07 | 2018-11-23 | 北京理工大学 | 一种通用的模块化的虚拟现实被动力触觉反馈系统 |
CN108874125A (zh) * | 2018-05-28 | 2018-11-23 | 徐州昇科源信息技术有限公司 | 一种虚拟皮肤表面实时力反馈交互系统 |
CN110580098B (zh) * | 2018-06-11 | 2023-06-09 | 罗伯特·博世有限公司 | 在操作空间的可变位置产生预定的声波额定压力的方法和装置及用于车辆的装置的操作装置 |
CN110580098A (zh) * | 2018-06-11 | 2019-12-17 | 罗伯特·博世有限公司 | 在操作空间的可变位置产生预定的声波额定压力的方法和装置及用于车辆的装置的操作装置 |
CN112673334A (zh) * | 2018-09-11 | 2021-04-16 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
US12053101B2 (en) | 2018-09-11 | 2024-08-06 | Sony Corporation | Information processing device, information processing method, and recording medium |
CN110928472B (zh) * | 2018-09-19 | 2023-05-05 | 阿里巴巴集团控股有限公司 | 物品处理方法、装置及电子设备 |
CN110928472A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 物品处理方法、装置及电子设备 |
CN109582132A (zh) * | 2018-11-01 | 2019-04-05 | 深圳岱仕科技有限公司 | 手部机械外骨骼及其反馈控制方法 |
CN109582132B (zh) * | 2018-11-01 | 2024-03-22 | 深圳岱仕科技有限公司 | 手部机械外骨骼及其反馈控制方法 |
CN109656361A (zh) * | 2018-12-11 | 2019-04-19 | 吉林大学 | 一种以平移交互效率为指标的最优驱动电压选择方法 |
CN109656361B (zh) * | 2018-12-11 | 2021-06-04 | 吉林大学 | 一种以平移交互效率为指标的最优驱动电压选择方法 |
CN109683713A (zh) * | 2018-12-27 | 2019-04-26 | 珠海市魅族科技有限公司 | 一种基于触觉反馈的交互方法及其相关设备 |
CN109960411A (zh) * | 2019-03-19 | 2019-07-02 | 上海俊明网络科技有限公司 | 一种辅助vr观测的可触摸式建筑素材数据库 |
CN110321002A (zh) * | 2019-05-09 | 2019-10-11 | 深圳报业集团控股公司 | 一种场景交互系统及交互方法 |
CN110322268A (zh) * | 2019-05-09 | 2019-10-11 | 深圳报业集团控股公司 | 一种基于回波信号的场景交互系统及交互方法 |
CN110286760A (zh) * | 2019-06-19 | 2019-09-27 | 重庆城市管理职业学院 | 一种用于虚拟现实的力反馈控制方法及装置 |
CN111103973A (zh) * | 2019-11-11 | 2020-05-05 | 深圳岱仕科技有限公司 | 模型处理方法、装置、计算机设备和存储介质 |
CN112540674A (zh) * | 2020-12-09 | 2021-03-23 | 吉林建筑大学 | 虚拟环境交互方法及设备 |
WO2023088361A1 (zh) * | 2021-11-18 | 2023-05-25 | 华为技术有限公司 | 触觉反馈装置及虚拟现实交互设备 |
TWI839214B (zh) * | 2023-04-10 | 2024-04-11 | 宏達國際電子股份有限公司 | 手無拘束的觸覺反饋系統及方法 |
US11983321B1 (en) | 2023-04-10 | 2024-05-14 | Htc Corporation | Hand-free haptic feedback system and method |
Also Published As
Publication number | Publication date |
---|---|
WO2018126682A1 (zh) | 2018-07-12 |
US20200201436A1 (en) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106843475A (zh) | 一种实现虚拟现实交互的方法及系统 | |
US11275442B2 (en) | Echolocation with haptic transducer devices | |
US10671168B2 (en) | Tactile feedback generated by non-linear interaction of surface acoustic waves | |
EP1604266B1 (en) | Multi-view display | |
US8884927B1 (en) | Tactile feedback generated by phase conjugation of ultrasound surface acoustic waves | |
CN110447014B (zh) | 经由循环缓冲器访问高帧率雷达数据 | |
EP2115497A2 (en) | Enhanced single-sensor position detection | |
US20080100588A1 (en) | Tactile-feedback device and method | |
CN108434726A (zh) | 自动局部触觉生成系统 | |
CN110297559A (zh) | 电子设备及压力信息获取方法 | |
US10936053B2 (en) | Interaction system of three-dimensional space and method for operating same | |
EP3676692B1 (en) | Selective scanning for touch-sensitive display device | |
CN109669530A (zh) | 用于触觉设备的振动触觉驱动器电路 | |
Xiao et al. | MilliBack: Real-time plug-n-play millimeter level tracking using wireless backscattering | |
CN110209303A (zh) | 电子设备和控制方法 | |
CN106843502B (zh) | 一种三维显示的触控互动系统及方法 | |
Kong et al. | Gesture recognition system based on ultrasonic FMCW and ConvLSTM model | |
TWI627430B (zh) | 可精確偵測生物動態特徵或物件微動的裝置 | |
CN104412123A (zh) | 用于3d超声体积测量的系统和方法 | |
CN109426715A (zh) | 触控终端及其指纹解锁装置和方法 | |
CN105849682A (zh) | 使用混合电容性感测的重影抑制 | |
Korres et al. | Characterization of ultrasound tactile display | |
KR102660559B1 (ko) | 초음파 프로브, 초음파 영상 장치, 초음파 영상 시스템 및 그 제어방법 | |
CN112764593A (zh) | 触控反馈控制方法、存储介质、触控反馈系统和终端设备 | |
CN105630364A (zh) | 一种信息处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170613 |