CN107479712A - 基于头戴式显示设备的信息处理方法及装置 - Google Patents

基于头戴式显示设备的信息处理方法及装置 Download PDF

Info

Publication number
CN107479712A
CN107479712A CN201710709739.3A CN201710709739A CN107479712A CN 107479712 A CN107479712 A CN 107479712A CN 201710709739 A CN201710709739 A CN 201710709739A CN 107479712 A CN107479712 A CN 107479712A
Authority
CN
China
Prior art keywords
virtual
sectional drawing
gesture
head
finder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710709739.3A
Other languages
English (en)
Other versions
CN107479712B (zh
Inventor
林形省
冯智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710709739.3A priority Critical patent/CN107479712B/zh
Publication of CN107479712A publication Critical patent/CN107479712A/zh
Application granted granted Critical
Publication of CN107479712B publication Critical patent/CN107479712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开是关于一种基于头戴式显示设备的信息处理方法及装置,属于图像处理技术领域。所述方法包括:通过所述头戴式显示设备的输入设备采集识别第一手势;根据所述第一手势,在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框,所述虚拟截图取景框用于确定截图的区域;根据所述虚拟截图取景框生成截图图像。本公开解决了由于用户在使用虚拟现实设备的过程中,看不到真实环境中的手机或电脑,无法通过操作手机或电脑将看到的画面截屏保存下来的问题,达到了根据用户所做的第一手势对三维场景进行截图生成截图图像的效果。

Description

基于头戴式显示设备的信息处理方法及装置
技术领域
本公开涉及图像处理技术领域,特别涉及一种基于头戴式显示设备的信息处理方法及装置。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统。随着虚拟现实技术的发展,出现许多虚拟现实设备,比如虚拟现实眼镜、虚拟现实头盔等。
用户在佩戴上虚拟现实设备后,能够在虚拟现实设备提供的三维虚拟场景中有身临其境的感觉,并且能够与三维虚拟场景中的对象进行交互。目前市场上很多虚拟现实设备是与手机或电脑相连,通过手机或电脑等外接设备提供三维虚拟场景的计算资源,然后用户通过佩戴上虚拟现实眼镜或虚拟现实头盔就可以看到对应的虚拟场景。
发明内容
为了解决由于用户在使用虚拟现实设备的过程中,看不到真实环境中的手机或电脑,无法通过操作手机或电脑将看到的画面截屏保存下来的问题,本公开实施例提供了一种基于头戴式显示设备的信息处理方法及装置。所述技术方案如下:
根据本公开实施例的第一方面,提供了一种基于头戴式显示设备的信息处理方法,所述方法包括:
通过所述头戴式显示设备的输入设备采集识别第一手势;
根据所述第一手势,在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框,所述虚拟截图取景框用于确定截图的区域;
根据所述虚拟截图取景框生成截图图像。
可选的,所述在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框,包括:
在所述三维场景中,将所述虚拟截图取景框悬浮显示在主观视角的正向方。
可选的,所述方法还包括:
通过所述头戴式显示设备接收头部转动信号;
根据所述头部转动信号在所述三维场景中移动所述虚拟截图取景框的显示位置。
可选的,所述在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框之后,还包括:
识别第二手势;
根据所述第二手势改变所述虚拟截图取景框的大小和位置中的至少一种。
可选的,所述根据所述第二手势改变所述虚拟截图取景框的大小和位置中的至少一种,包括:
在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;
控制所述虚拟手根据所述第二手势显示对应的虚拟手势;
通过所述虚拟手势改变所述虚拟截图取景框的大小和位置中的至少一种。
可选的,所述根据所述虚拟截图取景框生成截图图像,包括:
检测头戴式显示设备的位移是否小于位移阈值;
当所述头戴式显示设备的位移小于所述位移阈值的持续时长达到时间阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
可选的,所述根据所述虚拟截图取景框生成截图图像,包括:
识别第三手势;
根据所述第三手势对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
可选的,所述根据所述第三手势对位于所述虚拟截图取景框内的场景进行截图,生成截图图像,包括:
在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;
控制所述虚拟手根据所述第三手势显示对应的虚拟手势;
在所述虚拟手势的移动速度大于预定阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
根据本公开实施例的第二方面,提供了一种基于头戴式显示设备的信息处理装置,所述装置包括:
采集模块,被配置为通过所述头戴式显示设备的输入设备采集第一手势;
显示模块,被配置为根据所述采集模块采集的所述第一手势,在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框,所述虚拟截图取景框用于确定截图的区域;
生成模块,被配置为根据所述显示模块显示的所述虚拟截图取景框生成截图图像。
可选的,所述显示模块,还被配置为:
在所述三维场景中,将所述虚拟截图取景框悬浮显示在主观视角的正向方。
可选的,所述装置还包括:
接收模块,被配置为通过所述头戴式显示设备接收头部转动信号;
移动模块,被配置为根据所述接收模块接收的所述头部转动信号在所述三维场景中移动所述虚拟截图取景框的显示位置。
可选的,所述装置还包括:
识别模块,被配置为识别第二手势;
改变模块,被配置为根据所述识别模块识别出的所述第二手势改变所述虚拟截图取景框的大小和位置中的至少一种。
可选的,所述改变模块,包括:
显示子模块,被配置为在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;
控制子模块,被配置为控制所述显示子模块显示的所述虚拟手根据所述第二手势显示对应的虚拟手势;
改变子模块,被配置为通过所述虚拟手势改变所述虚拟截图取景框的大小和位置中的至少一种。
可选的,所述生成模块,包括:
检测子模块,被配置为检测头戴式显示设备的位移是否小于位移阈值;
第一生成子模块,被配置为当所述检测子模块检测到所述头戴式显示设备的位移小于所述位移阈值的持续时长达到时间阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
可选的,所述生成模块,包括:
识别子模块,被配置为识别第三手势;
第二生成子模块,被配置为根据所述识别子模块识别出的所述第三手势对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
可选的,所述第二生成子模块,还被配置为:
在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;
控制所述虚拟手根据所述第三手势显示对应的虚拟手势;
在所述虚拟手势的移动速度大于预定阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
根据本公开实施例的第三方面,提供了一种基于头戴式显示设备的信息处理装置,所述信息处理装置包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如第一方面所述的基于头戴式显示设备的信息处理方法。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面所述的基于头戴式显示设备的信息处理方法。
本公开实施例提供的技术方案可以包括以下有益效果:
通过识别第一手势,根据第一手势在三维场景中显示虚拟截图取景框,然后根据虚拟截图取景框生成截图图像,使得用户在不需要看到真实环境的情况下,通过手势即可进行截图,解决了由于用户在使用虚拟现实设备的过程中,看不到真实环境中的手机或电脑,无法通过操作手机或电脑将看到的画面截屏保存下来的问题,达到了根据用户所做的第一手势对三维场景进行截图生成截图图像的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的头戴式显示设备的示意图;
图2是根据一示例性实施例示出的一种基于头戴式显示设备的信息处理方法的方法流程图;
图3是根据另一示例性实施例示出的一种基于头戴式显示设备的信息处理方法的方法流程图;
图4是根据再一示例性实施例示出的一种基于头戴式显示设备的信息处理方法的方法流程图;
图5是根据一示例性实施例示出的虚拟手控制虚拟截图取景框的示意图;
图6是根据另一示例性实施例示出的虚拟手控制虚拟截图取景框的示意图;
图7是根据再一示例性实施例示出的虚拟手控制虚拟截图取景框的示意图;
图8是根据再一示例性实施例示出的虚拟手控制虚拟截图取景框的示意图;
图9是根据一示例性实施例示出的虚拟手握持截图图像的示意图;
图10是根据一示例性实施例示出的一种基于头戴式显示设备的信息处理装置的结构方框图;
图11是根据另一示例性实施例示出的一种基于头戴式显示设备的信息处理装置的结构方框图;
图12是根据一个示例性实施例示出的基于头戴式显示设备的信息处理装置的结构方框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的头戴式显示设备的示意图,如图1所示,头戴式显示设备100包括显示部110、佩戴部120。
头戴式显示设备100是用于佩戴在用户头部进行图像显示的显示设备。显示部110包括左眼显示屏和右眼显示屏,佩戴部120包括用于将头戴式显示设备100佩戴在用户头部的眼镜腿或弹性带。头戴式显示设备100能够在左眼显示屏和右眼显示屏显示不同的图像,从而为用户模拟出三维虚拟环境。
可选的,头戴式显示设备100为虚拟现实(英文:Virtual Reality,简称:VR)设备或增强现实(英文:Augmented Reality,简称:AR)设备。
需要说明的是,图1中的头戴式显示设备100以VR设备进行示例性的说明,左眼显示屏和右眼显示屏是不透明的。当头戴式显示设备100为AR设备时,左眼显示屏与右眼显示屏为透明或半透明的,采用的是投影式显示方式。
可选的,头戴式显示设备100上设置有运动传感器,用于捕捉用户的头部运动,以使得头戴式显示设备100根据头部运动改变显示部110中的显示画面。
可选的,头戴式显示设备100内集成有处理器和存储器。处理器用于建模三维虚拟环境、生成三维虚拟环境所对应的三维显示画面、生成三维虚拟环境中的虚拟物体等。当然,处理器也可以建模二维虚拟环境、生成二维虚拟环境所对应的二维显示画面、生成二维虚拟环境中的虚拟物体;或者,处理器还可以建模三维虚拟环境、根据用户的视角位置生成该三维虚拟环境所对应的二维显示画面、生成三维虚拟环境中虚拟物体的二维投影画面等,本实施例对此不进行限定。存储器用于存储处理器在建模三维虚拟环境时所需的计算机程序或数据。
可选的,处理器和存储器可以单独设置为独立的设备,比如:虚拟现实主机。可选的,处理器和存储器集成在与头戴式显示设备100不同的其他设备中,其中,其他设备可以为智能手机、台式电脑或服务器等。当处理器和存储器为独立于头戴式显示设备100的处理设备时,处理设备通过柔性电路板或硬件接口与头戴式显示设备100电性相连。
可选的,头戴式显示设备100上还包括至少两个摄像头130,摄像头130设置在头戴式显示设备100的外部,摄像头130用于采集头戴式显示设备100外部的图像,并将采集到的图像发送给处理器进行图像分析。
当用户使用头戴式显示设备100的过程中做某个手势时,每个摄像头130分别采集手势的图像,处理器对各个图像进行分析得到手势的手势特征,然后根据手势特征进行手势识别。由于头戴式显示设备100上设置有至少两个摄像头130,因此可以通过至少两个摄像头130对手势的深度(也即景深)进行识别。
可选的,头戴式显示设备100还包括输入设备140,头戴式显示设备100通过线缆、蓝牙连接或无线保真(英文:Wireless Fidelity,简称:WiFi)连接与输入设备140相连。
可选的,输入设备140包括体感手套141或手势臂环142中的至少一种。输入设备140还可以是手柄。
体感手套141上设置有加速度传感器、陀螺仪传感器等多种传感器,用户在佩戴上体感手套141后,体感手套141可以定位用户手指的位置,从而实现手势识别。
手势臂环142能够采集肌肉电信号,由于不同的手势调用的肌肉不同,通过大量的模型训练,得到不同手势各自对应的肌肉电信号。可选的,手势臂环142将采集到的肌肉电信号的量化信号发送给处理器进行匹配,处理器确定出与该量化信号对应的手势,从而实现手势识别。
需要说明的是,摄像头130、体感手套141和手势臂环142均为头戴式显示设备100的输入设备。
图2是根据一示例性实施例示出的一种基于头戴式显示设备的信息处理方法的方法流程图,本实施例以该信息处理方法应用于图1中的头戴式显示设备100中来举例说明。该信息处理方法可以包括如下几个步骤。
在步骤201中,通过头戴式显示设备的输入设备采集第一手势。
其中,头戴式显示设备的输入设备包括摄像头、体感手套和手势臂环中的至少一种。
在步骤202中,根据第一手势,在头戴式显示设备所显示的三维场景中显示虚拟截图取景框,虚拟截图取景框用于确定截图的区域。
可选的,当头戴式显示设备100是VR设备时,三维场景是三维虚拟场景;当头戴式显示设备100是AR设备时,三维场景是三维虚拟场景和三维现实场景混合后得到的场景。
可选的,虚拟截图取景框是显示在三维场景中的取景框。虚拟截图取景框可显示在主观视角的正前方。虚拟截图取景框的大小、外框形式和显示位置中的至少一项参数可预先设置或调整。
在步骤203中,根据虚拟截图取景框生成截图图像。
可选的,根据三维场景在虚拟截图取景框的取景范围内的显示内容,生成截图图像。
综上所述,本公开实施例提供的基于头戴式显示设备的信息处理方法,通过识别第一手势,根据第一手势在三维场景中显示虚拟截图取景框,然后根据虚拟截图取景框生成截图图像,使得用户在不需要看到真实环境的情况下,通过手势即可进行截图,解决了由于用户在使用虚拟现实设备的过程中,看不到真实环境中的手机或电脑,无法通过操作手机或电脑将看到的画面截屏保存下来的问题,达到了根据用户所做的第一手势对三维场景进行截图生成截图图像的效果。
图3是根据另一示例性实施例示出的一种基于头戴式显示设备的信息处理方法的方法流程图,本实施例以该信息处理方法应用于图1中的头戴式显示设备100中来举例说明。该信息处理方法可以包括如下几个步骤。
在步骤301中,通过头戴式显示设备的输入设备采集第一手势。
其中,头戴式显示设备的输入设备包括摄像头、体感手套和手势臂环中的至少一种。
用户做出第一手势,头戴式显示设备可以对第一手势进行识别。
可选的,手势识别的方法包括:通过至少两个外置摄像头采集手势的图像,针对采集的各个图像分析出手势的手势特征,然后根据手势特征进行手势识别。
可选的,手势识别的方法包括:通过体感手套上的传感器采集手指位置,根据手指位置进行手势识别。
可选的,手势识别的方法包括:通过手势臂环采集肌肉电信号,根据采集的肌肉电信号与预先通过模型训练得到的手势与肌肉电信号之间的对应关系进行手势识别。
在实际应用中,手势识别还可以通过其他方式来实现,本实施例不对手势识别的具体实现方式进行限定。
在步骤302中,根据第一手势,在头戴式显示设备所显示的三维场景中显示虚拟截图取景框,虚拟截图取景框用于确定截图的区域。
在进行手势识别之前,用户可以对头戴式显示设备进行设置,确定出对应预定功能的预设手势。比如:用于在三维场景中显示虚拟截图取景框的第一预设手势为用食指画圆圈。头戴式显示设备在识别第一手势后,将第一手势与第一预设手势进行比对,若第一手势符合第一预设手势,即第一手势是使用食指画圆圈,则头戴式显示设备在三维场景中显示虚拟截图取景框。
其中,在三维场景中显示虚拟截图取景框包括:在三维场景中,将虚拟截图取景框悬浮显示在主观视角的正向方。
可选地,由于用户在转动头部时,主观视角内显示的三维场景会随着头部的转动而变化,虚拟截图取景框始终显示在主观视角的正向方,当用户转动头部时,位于虚拟截图取景框内的显示内容也随之变化,用户根据虚拟截图取景框限定的区域,可以通过转动头部选择所要截图的内容。
在步骤303中,通过头戴式显示设备接收头部转动信号。
当用户转动头部时,头戴式显示设备通过加速度传感器、陀螺仪传感器等多个传感器采集头部转动信号,将头部转动信号发送给处理器进行分析,处理器确定出头部转动方向和转动速度,控制三维场景按照转动方向和转动速度进行变化。
在步骤304中,根据头部转动信号在三维场景中移动虚拟截图取景框的显示位置。
由于虚拟截图取景框始终显示在主观视角的正向方,因此当用户转动头部时,虚拟截图取景框需要根据头部转动信号移动,从而始终显示在主观视角的正向方,而虚拟截图取景框内的场景随头部转动而变化,用户根据虚拟截图取景框限定的区域,可以通过转动头部选择所要截图的内容。
在步骤305中,识别第二手势。
第二手势的识别方式与第一手势的识别方式类似。
在步骤306中,根据第二手势改变虚拟截图取景框的大小和位置中的至少一种。
虚拟截图取景框的大小和位置初始显示为默认状态,比如:默认大小为800*800,默认位置为主观视角的正向方。对于虚拟截图取景框的大小和位置,用户可以通过设置选项进行修改,也可以在三维场景中通过第二手势自由修改。
可选的,步骤306可以被替换成如图4所示的步骤306a至步骤306c。
在步骤306a中,在三维场景中显示虚拟手,虚拟手用于展示与用户的实际手势对应的虚拟手势。
当三维场景是虚拟现实场景时,为了便于用户能看到自己的手势,可以在三维场景中显示虚拟手。虚拟手根据用户的实际手势做出对应的虚拟手势,使用户能够直观的看到自己所做的手势,从而能够使手势的作用位置更加准确。
在步骤306b中,控制虚拟手根据第二手势显示对应的虚拟手势。
当用户做出第二手势时,虚拟手根据第二手势做出与第二手势相同或相似的虚拟手势。
在步骤306c中,通过虚拟手势改变虚拟截图取景框的大小和位置中的至少一种。
比如:用户移动手的位置,使得虚拟手显示在虚拟截图取景框的中间区域,然后用户做出手由捏合状态慢慢张开的手势,则虚拟手在虚拟截图取景框中显示由捏合状态慢慢张开的虚拟手势,类似于用户在手机上浏览图片,对图片进行放大的触屏操作,则虚拟截图取景框随着虚拟手势逐渐放大。结合参考图5,在三维场景10中显示有虚拟截图取景框20和虚拟手30,虚拟手30首先为捏合状态31,随着虚拟手30由捏合状态31变为张开状态32,虚拟截图取景框20被放大。
或者,用户做出手由张开状态慢慢捏合的手势,则虚拟手在虚拟截图取景框中显示有张开状态慢慢捏合的虚拟手势,虚拟截图取景框随着虚拟手势逐渐缩小。结合参考图6,在三维场景10中显示有虚拟截图取景框20和虚拟手30,虚拟手30首先为张开状态32,随着虚拟手30由张开状态32变为捏合状态31,虚拟截图取景框20被缩小。
又比如:用户移动双手的位置,使得双手对应的两个虚拟手分别显示在虚拟截图取景框的两个边框或两个对角上,然后用户做出捏合手势后两只手逐渐靠近或逐渐远离,则虚拟手按照两只手运动的方向压缩或拉伸虚拟截图取景框。结合参考图7,在三维场景10中显示有虚拟截图取景框20和两只虚拟手30,左虚拟手33为捏合状态,捏住虚拟截图取景框20的左下角,右虚拟手34为捏合状态,捏住虚拟截图取景框20的右上角,当左虚拟手33和右虚拟手34靠近时,虚拟截图取景框20逐渐变小,当左虚拟手33和右虚拟手34远离时,虚拟截图取景框20逐渐变大。
再比如:用户移动单手的位置,使得虚拟手移动至虚拟截图取景框的边框或顶角位置,然后用户做出捏合手势后向某个方向移动,则虚拟手按照手移动的方向改变虚拟截图取景框的位置。结合参考图8,在三维场景10中显示有虚拟截图取景框20和虚拟手30,当虚拟手30沿着箭头方向移动时,虚拟截图取景框20的位置按照箭头方向移动。
可选的,步骤305至步骤306可以在步骤303至步骤304之前执行。
在步骤307中,根据虚拟截图取景框生成截图图像。
可选的,步骤307可以被替换成图4中的步骤307a至307b或被替换成图4中的步骤307c至步骤307d。
在步骤307a中,检测头戴式显示设备的位移是否小于位移阈值。
检测头戴式显示设备的位移是否小于位移阈值,实际是为了检测用户的头部是否转动,当头戴式显示设备的位移小于位移阈值时,表明用户头部近似为静止状态。
在步骤307b中,当头戴式显示设备的位移小于位移阈值的持续时长达到时间阈值时,对位于虚拟截图取景框内的场景进行截图,生成截图图像。
当头戴式显示设备的位移小于位移阈值的持续时长达到时间阈值时,即用户头部维持静止状态达到较长时间,比如:用户保持头部静止不动达到3秒,表明客户选定了需要截图的场景,因此自动对截图取景框内的场景进行截图,生成截图图像后并保存至本地。
步骤307a至步骤307b中提供的方法是在用户保持头部静止预定时长后自动进行截图,另外,用户也可以通过手势控制头戴式显示设备进行截图,通过手势截图的方法请参考图307c至307d的描述。
在步骤307c中,识别第三手势。
第三手势的识别方式与第一手势的识别方式类似。
在步骤307d中,根据第三手势对位于虚拟截图取景框内的场景进行截图,生成截图图像。
可选的,步骤307d的一种可能的实现方式如下:
S1,在三维场景中显示虚拟手,虚拟手用于展示与用户的实际手势对应的虚拟手势。
S2,控制虚拟手根据第三手势显示对应的虚拟手势。
S3,在虚拟手势的移动速度大于预定阈值时,对位于虚拟截图取景框内的场景进行截图,生成截图图像。
举例说明,用户移动单手的位置,使得虚拟手移动至虚拟截图取景框的边框或顶角位置,然后用户做出捏合手势后快速向某个方向移动,若头戴式显示设备检测到虚拟手的移动速度大于预定阈值时,确定触发截图功能,则头戴式显示设备将位于虚拟截图取景框内的场景进行截图。结合参考图9,在三维场景10中显示有虚拟截图取景框20和虚拟手30,虚拟手30捏住虚拟截图取景框20的左下角,以速度v移动,当速度v大于预定阈值时,对虚拟截图取景框20中的场景进行截图,然后在三维场景10中显示虚拟手30握持截图图像40的场景。
可选的,当截图完成后,三维场景中显示虚拟手握持截图图像的场景,握持的截图图像上的画面即截图时虚拟截图取景框内的场景。
综上所述,本公开实施例提供的基于头戴式显示设备的信息处理方法,通过识别第一手势,根据第一手势在三维场景中显示虚拟截图取景框,然后根据虚拟截图取景框生成截图图像,使得用户在不需要看到真实环境的情况下,通过手势即可进行截图,解决了由于用户在使用虚拟现实设备的过程中,看不到真实环境中的手机或电脑,无法通过操作手机或电脑将看到的画面截屏保存下来的问题,达到了根据用户所做的第一手势对三维场景进行截图生成截图图像的效果。
针对步骤303至步骤304,通过根据头部转动信号在三维场景中移动虚拟截图取景框的显示位置,使得用户能够通过转动头部选取需要截图的区域。
针对步骤305至步骤306,通过根据第二手势改变虚拟截图取景框的大小和/或位置,使得用户能够通过手势对虚拟截图取景框的大小和位置,从而得到任意大小的截图图像。
针对步骤306a至步骤306c,通过在三维场景中显示虚拟手,使得用户能够在三维场景中看到自己的手势,从而能够准确的通过手势对虚拟截图取景框的大小或位置进行调整,丰富用户与虚拟截图取景框的交互方式。
针对步骤307a至步骤307b,通过在头戴式显示设备的位移小于位移阈值的持续时长达到时间阈值时,对虚拟截图取景框内的场景进行截图,使得用户在确定了截图区域后,只需要保持头部静止一段时间,就可以实现截图。
针对步骤307c至步骤307d,通过根据第三手势对虚拟截图取景框内的场景进行截图,使得用户头戴式显示设备能够根据用户所做的手势实现截图。
图10是根据一示例性实施例示出的一种基于头戴式显示设备的信息处理装置的结构方框图,本实施例以该信息处理装置应用于图1中的头戴式显示设备100中来举例说明。该信息处理装置可以包括:采集模块410、显示模块420和生成模块430。
采集模块410,被配置为通过头戴式显示设备的输入设备采集第一手势。
显示模块420,被配置为根据采集模块410采集的第一手势,在头戴式显示设备所显示的三维场景中显示虚拟截图取景框,虚拟截图取景框用于确定截图的区域。
生成模块430,被配置为根据显示模块420显示的虚拟截图取景框生成截图图像。
综上所述,本公开实施例提供的基于头戴式显示设备的信息处理装置,通过识别第一手势,根据第一手势在三维场景中显示虚拟截图取景框,然后根据虚拟截图取景框生成截图图像,使得用户在不需要看到真实环境的情况下,通过手势即可进行截图,解决了由于用户在使用虚拟现实设备的过程中,看不到真实环境中的手机或电脑,无法通过操作手机或电脑将看到的画面截屏保存下来的问题,达到了根据用户所做的第一手势对三维场景进行截图生成截图图像的效果。
图11是根据另一示例性实施例示出的一种基于头戴式显示设备的信息处理装置的结构方框图,本实施例以该信息处理装置应用于图1中的头戴式显示设备100中来举例说明。该信息处理装置可以包括:采集模块510、显示模块520和生成模块530。
采集模块510,被配置为通过头戴式显示设备的输入设备采集第一手势。
显示模块520,被配置为根据采集模块510识别出的第一手势,在三维场景中显示虚拟截图取景框,虚拟截图取景框用于确定截图的区域。
生成模块530,被配置为根据显示模块520显示的虚拟截图取景框生成截图图像。
可选的,显示模块520,还被配置为:在三维场景中,将虚拟截图取景框悬浮显示在主观视角的正向方。
可选的,信息处理装置还包括:接收模块540和移动模块550。
接收模块540,被配置为通过头戴式显示设备接收头部转动信号。
移动模块550,被配置为根据接收模块540接收的头部转动信号在三维场景中移动虚拟截图取景框的显示位置。
可选的,信息处理装置还包括:识别模块560和改变模块570。
识别模块560,被配置为识别第二手势。
改变模块570,被配置为根据识别模块560识别出的第二手势改变虚拟截图取景框的大小和位置中的至少一种。
可选的,改变模块570,包括:显示子模块571、控制子模块572和改变子模块573。
显示子模块571,被配置为在三维场景中显示虚拟手,虚拟手用于展示与用户的实际手势对应的虚拟手势。
控制子模块572,被配置为控制显示子模块571显示的虚拟手根据第二手势显示对应的虚拟手势。
改变子模块573,被配置为通过虚拟手势改变虚拟截图取景框的大小和位置中的至少一种。
可选的,生成模块530,包括:检测子模块531和第一生成子模块532。
检测子模块531,被配置为检测头戴式显示设备的位移是否小于位移阈值。
第一生成子模块532,被配置为当检测子模块531检测到头戴式显示设备的位移小于位移阈值的持续时长达到时间阈值时,对位于虚拟截图取景框内的场景进行截图,生成截图图像。
可选的,生成模块530,包括:识别子模块533和第二生成子模块534。
识别子模块533,被配置为识别第三手势。
第二生成子模块534,被配置为根据识别子模块533识别出的第三手势对位于虚拟截图取景框内的场景进行截图,生成截图图像。
可选的,第二生成子模块534,还被配置为:在三维场景中显示虚拟手,虚拟手用于展示与用户的实际手势对应的虚拟手势;控制虚拟手根据第三手势显示对应的虚拟手势;在虚拟手势的移动速度大于预定阈值时,对位于虚拟截图取景框内的场景进行截图,生成截图图像。
综上所述,本公开实施例提供的基于头戴式显示设备的信息处理装置,通过识别第一手势,根据第一手势在三维场景中显示虚拟截图取景框,然后根据虚拟截图取景框生成截图图像,使得用户在不需要看到真实环境的情况下,通过手势即可进行截图,解决了由于用户在使用虚拟现实设备的过程中,看不到真实环境中的手机或电脑,无法通过操作手机或电脑将看到的画面截屏保存下来的问题,达到了根据用户所做的第一手势对三维场景进行截图生成截图图像的效果。
通过根据头部转动信号在三维场景中移动虚拟截图取景框的显示位置,使得用户能够通过转动头部选取需要截图的区域。
通过根据第二手势改变虚拟截图取景框的大小和/或位置,使得用户能够通过手势对虚拟截图取景框的大小和位置,从而得到任意大小的截图图像。
通过在三维场景中显示虚拟手,使得用户能够在三维场景中看到自己的手势,从而能够准确的通过手势对虚拟截图取景框的大小或位置进行调整,丰富用户与虚拟截图取景框的交互方式。
通过在头戴式显示设备的位移小于位移阈值的持续时长达到时间阈值时,对虚拟截图取景框内的场景进行截图,使得用户在确定了截图区域后,只需要保持头部静止一段时间,就可以实现截图。
通过根据第三手势对虚拟截图取景框内的场景进行截图,使得用户头戴式显示设备能够根据用户所做的手势实现截图。
需要说明的一点是,上述实施例提供的装置在处理信息时,仅以上述各个功能模块的划分进行举例说明,实际应用中,可以根据实际需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一个示例性实施例示出的基于头戴式显示设备的信息处理装置的结构方框图。如图12所示,该信息处理装置包括:头戴式显示器610、处理设备620和输入设备630。
头戴式显示器610是用于佩戴在用户头部进行图像显示的显示器。
处理设备620通常集成在头戴式显示器610内部,也可以为独立的设备,当处理设备620为独立的设备时,头戴式显示器610通过柔性电路板或硬件接口与处理设备620电性相连。处理设备620包括处理器621和存储器622。存储器622是用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质,比如随机存取存储器(英文:Random Access Memory,简称:RAM)、只读存储器(英文:Read Only Memory,简称:ROM)、可擦除可编程只读存储器(英文:ErasableProgrammable Read Only Memory,简称:EPROM)、电可擦可编程只读存储器(英文:Electrically Erasable Programmable Read-Only Memory,简称:EEPROM)、闪存或其他固态存储技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。存储器622存储有一个或一个以上的计算机程序指令,该计算机程序指令包括用于实现上述各个方法实施例所提供的基于头戴式显示设备的信息处理方法的指令。处理器621用于执行存储器622中的计算机程序指令,来实现上述图2、图3和图4提供的基于头戴式显示设备的信息处理方法。
处理设备620通过线缆、蓝牙连接或WiFi连接与输入设备630相连。
输入设备630是体感手套、手势臂环、手柄等输入外设。
头戴式显示器610、处理设备620和输入设备630共同组成图1所示的头戴式显示设备100。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序指令,计算机程序指令被处理器621执行时实现图2、图3和图4所示方法实施例中的基于头戴式显示设备的信息处理方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种基于头戴式显示设备的信息处理方法,其特征在于,所述方法包括:
通过所述头戴式显示设备的输入设备采集第一手势;
根据所述第一手势,在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框,所述虚拟截图取景框用于确定截图的区域;
根据所述虚拟截图取景框生成截图图像。
2.根据权利要求1所述的方法,其特征在于,所述在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框,包括:
通过所述头戴式显示设备接收头部转动信号;
根据所述头部转动信号在所述三维场景中移动所述虚拟截图取景框的显示位置,在所述三维场景中,将所述虚拟截图取景框悬浮显示在主观视角的正向方。
3.根据权利要求1或2所述的方法,其特征在于,所述在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框之后,还包括:
识别第二手势;
在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;
控制所述虚拟手根据所述第二手势显示对应的虚拟手势;
通过所述虚拟手势改变所述虚拟截图取景框的大小和位置中的至少一种。
4.根据权利要求1或2所述的方法,其特征在于,所述根据所述虚拟截图取景框生成截图图像,包括:
检测头戴式显示设备的位移是否小于位移阈值;
当所述头戴式显示设备的位移小于所述位移阈值的持续时长达到时间阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
5.根据权利要求1或2所述的方法,其特征在于,所述根据所述虚拟截图取景框生成截图图像,包括:
识别第三手势;
在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;
控制所述虚拟手根据所述第三手势显示对应的虚拟手势;
在所述虚拟手势的移动速度大于预定阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
6.一种基于头戴式显示设备的信息处理装置,其特征在于,所述装置包括:
采集模块,被配置为通过所述头戴式显示设备的输入设备采集第一手势;
显示模块,被配置为根据所述采集模块采集的所述第一手势,在所述头戴式显示设备所显示的三维场景中显示所述虚拟截图取景框,所述虚拟截图取景框用于确定截图的区域;
生成模块,被配置为根据所述显示模块显示的所述虚拟截图取景框生成截图图像。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
接收模块,被配置为通过所述头戴式显示设备接收头部转动信号;
移动模块,被配置为根据所述接收模块接收的所述头部转动信号在所述三维场景中移动所述虚拟截图取景框的显示位置;
所述显示模块,还被配置为在所述三维场景中,将所述虚拟截图取景框悬浮显示在主观视角的正向方。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
识别模块,被配置为识别第二手势;
改变模块,被配置为根据所述识别模块识别出的所述第二手势改变所述虚拟截图取景框的大小和位置中的至少一种;
其中,所述改变模块,包括:
显示子模块,被配置为在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;
控制子模块,被配置为控制所述显示子模块显示的所述虚拟手根据所述第二手势显示对应的虚拟手势;
改变子模块,被配置为通过所述虚拟手势改变所述虚拟截图取景框的大小和位置中的至少一种。
9.根据权利要求6或7所述的装置,其特征在于,所述生成模块,包括:
检测子模块,被配置为检测头戴式显示设备的位移是否小于位移阈值;
第一生成子模块,被配置为当所述检测子模块检测到所述头戴式显示设备的位移小于所述位移阈值的持续时长达到时间阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
10.根据权利要求6或7所述的装置,其特征在于,所述生成模块,包括:
识别子模块,被配置为识别第三手势;
第二生成子模块,被配置为在所述三维场景中显示虚拟手,所述虚拟手用于展示与用户的实际手势对应的虚拟手势;控制所述虚拟手根据所述第三手势显示对应的虚拟手势;在所述虚拟手势的移动速度大于预定阈值时,对位于所述虚拟截图取景框内的场景进行截图,生成截图图像。
11.一种基于头戴式显示设备的信息处理装置,其特征在于,所述信息处理装置包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至5任一所述的基于头戴式显示设备的信息处理方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至5任一所述的基于头戴式显示设备的信息处理方法。
CN201710709739.3A 2017-08-18 2017-08-18 基于头戴式显示设备的信息处理方法及装置 Active CN107479712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710709739.3A CN107479712B (zh) 2017-08-18 2017-08-18 基于头戴式显示设备的信息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710709739.3A CN107479712B (zh) 2017-08-18 2017-08-18 基于头戴式显示设备的信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN107479712A true CN107479712A (zh) 2017-12-15
CN107479712B CN107479712B (zh) 2020-08-04

Family

ID=60600875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710709739.3A Active CN107479712B (zh) 2017-08-18 2017-08-18 基于头戴式显示设备的信息处理方法及装置

Country Status (1)

Country Link
CN (1) CN107479712B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861629A (zh) * 2017-12-20 2018-03-30 杭州埃欧哲建设工程咨询有限公司 一种基于vr的教学实训方法
CN109598800A (zh) * 2018-12-03 2019-04-09 湖北安心智能科技有限公司 一种三维电子沙盘显示方法、装置、设备和存储介质
CN109885170A (zh) * 2019-02-25 2019-06-14 努比亚技术有限公司 截屏方法、穿戴式设备及计算机可读存储介质
CN110568929A (zh) * 2019-09-06 2019-12-13 诺百爱(杭州)科技有限责任公司 一种虚拟场景交互的方法、装置和电子设备
CN110874132A (zh) * 2018-08-29 2020-03-10 塔普翊海(上海)智能科技有限公司 头戴式虚实交互装置和虚实交互方法
CN114339039A (zh) * 2021-12-24 2022-04-12 北京百度网讯科技有限公司 基于手势识别的虚拟拍照方法、装置、电子设备和介质
CN117131888A (zh) * 2023-04-10 2023-11-28 荣耀终端有限公司 一种自动扫描虚拟空间二维码方法、电子设备及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037102A (zh) * 2012-12-21 2013-04-10 广东欧珀移动通信有限公司 一种触屏手机的自由截屏方法及手机
EP2584531A1 (en) * 2010-06-15 2013-04-24 Sony Corporation Gesture recognition device, gesture recognition method, and program
CN103259978A (zh) * 2013-05-20 2013-08-21 邱笑难 一种使用手势拍照的方法
CN105183306A (zh) * 2015-06-12 2015-12-23 广东小天才科技有限公司 移动终端中展示内容的截屏方法和装置
CN106201259A (zh) * 2016-06-30 2016-12-07 乐视控股(北京)有限公司 一种虚拟现实系统中分享全景影像的方法和装置
CN106249879A (zh) * 2016-07-19 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实图像的显示方法及终端
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
CN106527709A (zh) * 2016-10-28 2017-03-22 惠州Tcl移动通信有限公司 一种虚拟场景调整方法及头戴式智能设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2584531A1 (en) * 2010-06-15 2013-04-24 Sony Corporation Gesture recognition device, gesture recognition method, and program
CN103037102A (zh) * 2012-12-21 2013-04-10 广东欧珀移动通信有限公司 一种触屏手机的自由截屏方法及手机
CN103259978A (zh) * 2013-05-20 2013-08-21 邱笑难 一种使用手势拍照的方法
CN105183306A (zh) * 2015-06-12 2015-12-23 广东小天才科技有限公司 移动终端中展示内容的截屏方法和装置
CN106201259A (zh) * 2016-06-30 2016-12-07 乐视控股(北京)有限公司 一种虚拟现实系统中分享全景影像的方法和装置
CN106249879A (zh) * 2016-07-19 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实图像的显示方法及终端
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
CN106527709A (zh) * 2016-10-28 2017-03-22 惠州Tcl移动通信有限公司 一种虚拟场景调整方法及头戴式智能设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861629A (zh) * 2017-12-20 2018-03-30 杭州埃欧哲建设工程咨询有限公司 一种基于vr的教学实训方法
CN110874132A (zh) * 2018-08-29 2020-03-10 塔普翊海(上海)智能科技有限公司 头戴式虚实交互装置和虚实交互方法
CN109598800A (zh) * 2018-12-03 2019-04-09 湖北安心智能科技有限公司 一种三维电子沙盘显示方法、装置、设备和存储介质
CN109885170A (zh) * 2019-02-25 2019-06-14 努比亚技术有限公司 截屏方法、穿戴式设备及计算机可读存储介质
CN110568929A (zh) * 2019-09-06 2019-12-13 诺百爱(杭州)科技有限责任公司 一种虚拟场景交互的方法、装置和电子设备
CN110568929B (zh) * 2019-09-06 2023-04-25 诺百爱(杭州)科技有限责任公司 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
CN114339039A (zh) * 2021-12-24 2022-04-12 北京百度网讯科技有限公司 基于手势识别的虚拟拍照方法、装置、电子设备和介质
CN117131888A (zh) * 2023-04-10 2023-11-28 荣耀终端有限公司 一种自动扫描虚拟空间二维码方法、电子设备及系统

Also Published As

Publication number Publication date
CN107479712B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN107479712A (zh) 基于头戴式显示设备的信息处理方法及装置
EP2601640B1 (en) Three dimensional user interface effects on a display by using properties of motion
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
WO2022022028A1 (zh) 虚拟对象控制方法及装置、设备、计算机可读存储介质
JP2017531221A (ja) 仮想現実環境の中に没入したときのつまずき対抗
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
CN106575153A (zh) 虚拟现实环境内基于注视的对象放置
US11620792B2 (en) Fast hand meshing for dynamic occlusion
US11302049B2 (en) Preventing transition shocks during transitions between realities
US11422380B2 (en) Eyewear including virtual scene with 3D frames
US9891713B2 (en) User input processing method and apparatus using vision sensor
US20230100689A1 (en) Methods for interacting with an electronic device
CN114327063A (zh) 目标虚拟对象的交互方法、装置、电子设备及存储介质
Bai Mobile augmented reality: Free-hand gesture-based interaction
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
US20240134493A1 (en) Three-dimensional programming environment
KR102316389B1 (ko) 가상 오브젝트의 좌표 추정 방법
Jarsaillon et al. Flexible visualization framework for head-mounted display with gesture interaction interface
CN116991228A (zh) Vr系统的界面交互方法、装置、设备及存储介质
WO2022192040A1 (en) Three-dimensional programming environment
Shoaei Shirehjini Smartphones as Visual Prosthesis
CN116868152A (zh) 用于在三维环境中呈现化身的界面
Heukers A Smartphone-based Controller for Virtual Reality Applications
CN117555419A (zh) 控制方法、装置、头戴显示设备及介质
CN118001726A (zh) 一种画面显示方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant