CN113961069B - 适用于实物的增强现实交互方法、装置及存储介质 - Google Patents
适用于实物的增强现实交互方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113961069B CN113961069B CN202111161758.XA CN202111161758A CN113961069B CN 113961069 B CN113961069 B CN 113961069B CN 202111161758 A CN202111161758 A CN 202111161758A CN 113961069 B CN113961069 B CN 113961069B
- Authority
- CN
- China
- Prior art keywords
- virtual
- real object
- interaction
- real
- inclusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 196
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000004044 response Effects 0.000 claims abstract description 24
- 230000004424 eye movement Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001788 irregular Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 239000000470 constituent Substances 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 54
- 210000004247 hand Anatomy 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 230000010399 physical interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种适用于实物的增强现实交互方法、装置及存储介质，交互方法包括以下步骤：在增强现实设备呈现的虚实混合空间中，选择用于交互的真实物体；虚拟紧包裹真实物体，建立虚拟包裹体；真实物体各功能区对应虚拟包裹体各部分；标注虚拟包裹体各部分，定义各部分的交互方式和内容，以同样的方式标注其他真实物体；用户与虚实混合空间中的真实物体交互，实际上交互事件落在真实物体的虚拟包裹体上，根据预先定义的各部分的交互形式和内容进行反馈。本发明交互方法能让用户随时随地与所处环境中的真实物体建立交互关系，方便地将真实物体纳入虚实混合空间中进行交互，在物体被移动时虚拟包裹体根据手的碰撞响应与真实物体一同移动自动保持可交互关系。
Description
技术领域
本发明属于增强现实交互技术领域，具体涉及一种适用于实物的增强现实交互方法、装置及存储介质。
背景技术
增强现实设备可以在现实世界中呈现出一些虚拟的全息投影，和真实物体相互叠加后，在用户视野中呈现一个虚实结合的场景。同时，增强现实设备还提供了多种交互方式：语音交互，使用语音指令作为输入，使场景中的物体发生相应的变化；手势交互，提供多种手势进行物体移动，点击等操作；眼动交互，用于根据眼动行为触发相应的动作。但是这些方式都是用于和虚拟物体进行交互，无法做到和真实物体进行有效的自然交互。虽然增强现实设备能够检测到环境中的真实物体，但是仅仅获得了以三角面片形式呈现的物体轮廓，还无法有效分割出单个物体并得到该物体的描述信息。这也导致了用户无法和真实物体进行交互。
然而用户在日常生活中和实物的接触非常频繁，所以很有必要设计出一些实用的交互方法使得用户在与真实物体的交互过程中获得更丰富的反馈从而辅助用户更好地完成某些任务。例如，用户常常会忘记某些物品的摆放位置，在寻找过程中浪费大量时间，需要有一种提示的方法来提醒用户；又如对于一些操作困难，对操作步骤顺序有严格要求的物体，需要对操作的步骤和方法进行提示；对于有危险性的物品，需要有一些警示的标志等等。
发明内容
本发明的目的在于针对上述现有技术中难以使用增强现实设备建立用户与真实物体交互关系的问题，提供一种适用于实物的增强现实交互方法、装置及存储介质，通过引入虚拟物体，使之与真实物体在增强现实系统的虚实空间中基本重合，并以它为媒介实现用户与实物间的数字化交互，让用户可以使用语音、手势、眼动等交互方式与真实物体进行交互，在交互过程中获得更加丰富的反馈，得到更多的辅助提示信息，辅助用户完成相应的任务。
为了实现上述目的，本发明有如下的技术方案：
第一方面，本发明实施例提供一种适用于实物的增强现实交互方法，包括以下步骤：
在增强现实设备呈现的虚实混合空间中，选择用于交互的真实物体；
对真实物体进行虚拟紧包裹，建立虚拟包裹体；
按照真实物体功能区的划分，把虚拟包裹体分成多个部分，每一部分对应于该部分所包裹真实物体的一个功能区；根据真实物体各个功能区需要提供的交互方式和交互内容，对虚拟包裹体各个部分的交互方式和交互内容进行标注；以同样的方式对在增强现实设备呈现的虚实混合空间中需要交互的其他真实物体都进行虚拟紧包裹和虚拟包裹体标注；标注完成后，将所有虚拟包裹体设置为不可见，同时将虚拟包裹体的状态设置为可响应各种增强现实交互行为的主动响应状态；
在增强现实设备呈现的虚实混合空间中，主观上从360°全方位的与被虚拟包裹的真实物体进行交互，客观的交互事件实际落在不可见的虚拟包裹体各个部分上，根据已标注的虚拟包裹体各个部分的交互方式和交互内容，用增强现实或实际响应的方式提供交互反馈。
作为本发明增强现实交互方法的一种优选方案，所述对真实物体进行虚拟紧包裹包括以下方式：通过对真实物体的三维扫描获得其虚拟三维模型用于包裹真实物体；或者选择虚拟模型库中的相似虚拟物体用于包裹真实物体，或者使用若干规则或不规则的虚拟几何体包裹真实物体的各个功能区，虚拟几何体的形状包括长方体、圆柱体、圆锥、棱锥、球体、椭球体、半球体，多面体中的任意一种或者任意几种的组合体；在增强现实设备呈现的虚实混合空间中，对用于包裹的虚拟物体进行移动、缩放、旋转以及进行包括扭转、局部拉伸或压缩在内变形，使之完全包裹真实物体，并且使得虚拟物体的体积尽可能小，从而建立该真实物体的虚拟包裹体。
作为本发明增强现实交互方法的一种优选方案，所述按照真实物体功能区的划分，把虚拟包裹体分成多个部分，包括用增强现实设备呈现的虚实混合空间中的虚拟平面，或虚拟曲面对虚拟包裹体按照真实物体的功能区进行切分，或将虚拟包裹体的组成部分进行分组，使虚拟包裹体各部分紧包裹与之对应的真实物体的各个功能区。
作为本发明增强现实交互方法的一种优选方案，所述的真实物体各个功能区需要提供的交互方式和交互内容为：交互方式包括手势交互、眼动交互和语音交互、或者增强现实设备支持的其他物体选择方式；交互内容包括真实物体各个功能区的相关辅助提示信息和真实物体实际功能的直接操作。
作为本发明增强现实交互方法的一种优选方案，所述客观的交互事件实际落在不可见的虚拟包裹体各个部分上是指：在增强现实设备呈现的虚实混合空间中，手势交互为手触碰真实物体的虚拟包裹体、手掌发出射线与真实物体的虚拟包裹体相交，眼动交互为视线与真实物体的虚拟包裹体相交，语音交互为说出真实物体各个功能区的名称或别名，或者增强现实设备支持的其他物体选择方式碰触真实物体的虚拟包裹体。
作为本发明增强现实交互方法的一种优选方案，所述的交互是指：当用户在增强现实设备呈现的虚实混合空间中，各种交互方式与虚拟包裹体的一个组成部分的每一次碰撞，就产生一个交互事件，根据该组成部分对应的真实物体的功能区，确定交互内容，做出交互反馈；其中，如果真实物体的功能区对应的虚拟包裹体的部分是规则或者不规则的虚拟几何体的组合体，只要该组合体中的任意一个部分收到交互事件，则整个组合体共享该交互事件，共同做出交互反馈。
作为本发明增强现实交互方法的一种优选方案，所述用增强现实或实际响应的方式提供交互反馈为：向用户提供交互提示、信息反馈和真实物体直接操作；交互提示包括交互位置附近显示虚拟三维窗体或指示牌，或收到交互事件的虚拟包裹体相应部分由不可见转为可见，以告知用户该真实物体可交互并提示交互方式；信息反馈包括显示真实物体各个功能区的状态信息、功能介绍及其他相关信息；真实物体直接操作为触发相应真实物体功能区或真实物体整体所具有的实际功能进行响应；在真实物体被移动时，虚拟包裹体可根据手的碰撞响应与真实物体一同移动，从而自动保持与真实物体的包裹关系。
第二方面，本发明实施例提供一种适用于实物的增强现实交互装置，包括：
增强现实设备模块：用于获取虚拟包裹体的位置信息、用户双手的位置信息、用户头部位置信息和眼动数据；提供多种交互方式；获取场景中用户与虚拟包裹体的碰撞信息，显示对应的辅助提示信息，并进行对应虚拟包裹体的高亮显示；
系统组件模型库：提供用于框取真实物体的虚拟包裹体模型或者规则与不规则的虚拟几何体，以及用于显示对应真实物体标注信息的辅助信息显示器；
手势交互模块：用于移动虚拟包裹体的位置，调整虚拟包裹体大小，使之与能够完全包裹真实物体，并且体积尽可能小；选择需要查看辅助提示信息的物体；用户移动场景中的真实物体的过程中附带移动对应的虚拟物体，保持该物体的可交互状态；
眼动追踪模块：用于采集眼动数据，当用户查看场景中的真实物体时，获取眼睛视线碰撞到的真实物体，使其对应虚拟包裹体的相应部分高亮并显示辅助提示信息；
语音交互模块：用户使用虚拟物体框取真实物体后，使用语音输入对应的辅助提示信息；用户通过语音的方式选择场景中的真实物体，对应真实物体高亮并显示辅助提示信息；
实物信息增强显示模块：根据被选择的真实物体，从该真实物体引出一个虚拟的指示牌用来增强显示之前标注的辅助提示信息。
第三方面，本发明实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述适用于实物的增强现实交互方法中的步骤。
相较于现有技术，本发明至少具有如下的有益效果：
本发明基于增强现实技术实现了一种与实物自然交互的方法，通过引入一个看不见的虚拟物体，使之与实际物体在增强现实系统的虚实空间中基本重合，并以它为媒介实现用户与实物间的数字化交互，让用户可以使用语音、手势、眼动等交互方式与真实的物体进行交互，让用户在交互过程中获得更加丰富的反馈，得到更多的辅助提示信息，辅助用户完成相应的任务。物体的辅助提示信息可以帮助用户了解该物体的操作步骤和方法，并且起到警示危险物品的作用。使用手势交互和眼动交互的方式触发辅助提示信息可以让用户在正常的物体操作过程中获得提示，十分自然，不需要进行多余的操作。使用语音交互方式触发辅助提示信息并显示在空间中，可以帮助用户顺利找到遗忘的物品，大大节约了用户的查找时间。移动物体的过程中，物体的可交互状态不会消失，不需要重新标注物体。利用增强现实设备可以随时随地对用户所处环境中的任何物体进行标注，并进行自然交互，不受时间空间的限制。本发明实物自然交互的方法并不会改变场景中物体原本的状态，是一种通用的方法。
附图说明
图1本发明实施例适用于实物的增强现实交互装置结构框图；
图2本发明实施例适用于实物的增强现实交互方法流程图；
图3本发明实施例真实物体几何体虚拟紧包裹示意图。
图4本发明实施例真实物体虚拟模型紧包裹示意图。
图5本发明实施例对真实物体建立虚拟紧包裹过程的示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明提出的一种适用于实物的增强现实交互方法，建立虚拟物体与真实物体之间关系的方法是在增强现实系统的虚实空间中让看不见的虚拟包裹体紧包裹真实物体。
针对环境中的所有重要的固定物体都分配虚拟包裹体，在虚拟包裹体上对真实物体进行标注，建立真实物体上不同的功能区与虚拟包裹体体不同部分的对应关系，记录虚拟包裹体的位置、对相应真实物体的描述以及真实物体各个部分的不同交互方式。具体为，a)按照真实物体的不同功能区用虚拟物体紧包裹形成虚拟包裹体；b)虚拟包裹体的各个部分和真实物体的各个功能区在增强现实设备的虚实空间中是基本重合的；c)将虚拟包裹体的各个部分与真实物体的各个功能区对应起来；d)按照真实物体各个功能区的具体情况标注虚拟包裹体各个部分，并定义交互方式。
在实际交互中，虚拟包裹体存在的位置与相应的真实物体重合，但对用户不可见，当用户通过增强现实设备与真实物体的各个功能区进行眼动交互、语音交互、手势交互时，实际上是与该真实物体的虚拟包裹体的各个部分进行交互。交互过程中，用户眼睛看到的是空间中的真实物体。因为虚拟包裹体与真实物体在增强现实的虚实空间中是重合的，增强现实设备检测到的是发生在虚拟包裹体各部分上的交互事件，即用户希望进行交互的真实物体目标区域所在的位置，利用该位置虚拟包裹体相关的部分事先定义的交互形式和信息即可进行相应的交互反馈。
参见图1，本发明实施例适用于实物的增强现实交互装置，包括增强现实设备模块、系统组件模型库、手势交互模块、眼动追踪模块、语音交互模块、实物信息增强显示模块。
增强现实设备可采用头戴式增强现实眼镜，增强现实头盔(例如HoloLens)，混合现实(Mixed Reality)设备，只要能够让使用者同时看到所处的真实外部环境和叠加的虚拟现实环境的设备都可用于本发明具体案例的实现。
增强现实设备模块：用于获取虚拟包裹体的位置信息、用户双手的位置信息、用户头部位置信息和眼动数据；提供多种交互方式；获取场景中用户与虚拟包裹体的碰撞信息，显示对应的辅助提示信息，并进行对应虚拟包裹体的高亮显示；
系统组件模型库：提供用于框取真实物体的虚拟包裹体模型或者规则与不规则的虚拟几何体，以及用于显示对应真实物体标注信息的辅助信息显示器；
手势交互模块：用于移动虚拟包裹体的位置，调整虚拟包裹体大小，使之与能够完全包裹真实物体，并且体积尽可能小；选择需要查看辅助提示信息的物体；用户移动场景中的真实物体的过程中附带移动对应的虚拟物体，保持该物体的可交互状态；
眼动追踪模块：用于采集眼动数据，当用户查看场景中的真实物体时，获取眼睛视线碰撞到的真实物体，使其对应虚拟包裹体的相应部分高亮并显示辅助提示信息；
语音交互模块：用户使用虚拟物体框取真实物体后，使用语音输入对应的辅助提示信息；用户通过语音的方式选择场景中的真实物体，对应真实物体高亮并显示辅助提示信息；
实物信息增强显示模块：根据被选择的真实物体，从该真实物体引出一个虚拟的指示牌用来增强显示之前标注的辅助提示信息。
各个模块的具体实现方式如下：
增强现实设备模块首先需要将预先编写好的程序烧录到设备中，并开启设备的眼动追踪的权限，使它能够获取眼动数据。空间中的虚拟包裹体在增强现实设备的视角下是固定不动的，增强现实设备可以通过检测用户的双手和眼睛注视点与场景中虚拟包裹体的位置关系触发相应的交互方式。
手势交互模块包含多种手势：
1)单手展开从手心发射一条射线，射线和物体碰撞后，拇指和食指并拢选中该物体，使之跟随手部的平移和旋转做同样的动作；
2)双手展开从手心共发射两条射线，射线和物体碰撞后，双手拇指和食指并拢选中该物体，使之跟随手部的平移和旋转做同样的动作，并且通过双手之间距离的拉开和靠近来缩放物体；
3)单手触摸场景中的虚拟物体后，将手握成拳选中该物体，使之跟随手部的平移和旋转做同样的动作；
4)单手或者双手拉拽场景中虚拟包裹体的顶点进行缩放和旋转；
5)拇指和食指并拢在空中点击触发某些功能；
6)食指点击。
涉及的功能包括单手隔空或者触摸的方式移动、旋转物体；双手隔空移动、旋转、缩放物体；单手拉拽物体的顶点进行缩放、旋转；空中点击生成新的虚拟包裹体；触摸点击已有虚拟包裹体，输入或修改辅助提示信息；触摸或者隔空指向已有虚拟包裹体，该物体高亮并且显示辅助提示信息。
眼动追踪模块中，增强现实设备开启眼动追踪功能后，实时采集用户的眼动数据。当用户查看场景中的物体时，增强现实设备可以获取用户眼睛的注视射线，当该注视射线和场景中的虚拟包裹体的各个部分发生碰撞时，在碰撞点处可视化一个注视点，虚拟包裹体的相应部分高亮并且获取碰撞到的物体的信息。
语音交互模块，在标注阶段，使用语音模块输入各个物体的辅助提示信息并进行记录；在交互阶段，使用语音选择场景中的真实物体时，将语音的内容和真实物体的信息进行匹配，确定被选的物体，使其高亮并显示辅助提示信息。
实物信息增强显示模块根据用户通过手势交互、眼动交互和语音交互选择的场景中的真实物体，从该物体的中心位置以一个虚拟指示牌的形式引出对应的辅助提示信息，协助用户完成相应的任务。
实施例1
真实物体虚拟紧包裹来建立虚拟包裹体：通过对真实物体的三维扫描获得其虚拟三维模型用于包裹真实物体；或者选择虚拟模型库中的相似虚拟物体用于包裹真实物体；或者使用多个规则或不规则的虚拟几何体包括长方体、圆柱体、圆锥、棱锥，以及他们的组合体包裹真实物体的各个功能区，从而包裹整个真实物体。对用于包裹的虚拟物体进行移动、缩放和旋转，使之完全包裹真实物体，并且使得虚拟物体的体积尽可能小，从而建立该真实物体的虚拟包裹体。
虚拟包裹体各部分与真实物体功能区的对应及标注：由虚拟包裹体所包裹的真实物体的功能区所具有的功能来确定交互方式和交互内容，交互方式包括手势交互、眼动交互和语音交互、或者增强现实设备支持的其他物体选择方式；交互内容包括真实物体各个功能区的相关辅助提示信息和真实物体实际功能的直接操作。一种实施方案是用户点击虚拟包裹体的各部分，呼出交互方式选择选项进行选择。通过语音输入的方式输入该部分的交互提示信息。最终完成虚拟包裹体的标注。交互提示包括交互位置附近显示虚拟三维窗体或指示牌，或收到交互事件的虚拟包裹体相应部分由不可见转为可见，以告知用户该真实物体可交互并提示交互方式；信息反馈包括显示真实物体各个功能区的状态信息、功能介绍及其他相关信息；真实物体直接操作为触发相应真实物体功能区或真实物体整体所具有的实际功能进行响应。
标注完成后，将虚拟包裹体设置为虚实混合空间中肉眼不可见，同时将虚拟包裹的状态设置为可响应各种增强现实交互行为的主动响应状态。这样在增强现实技术的支持下，虚拟包裹体就可以自动响应手或虚拟操作手柄触碰、虚拟手柄发出的虚拟射线或增强现实设备的虚拟指向光线，或用眼动视线扫视真实屏幕上显示的内容时的增强现实交互方式。
实物增强现实交互：用户主观上可从360°全方位与被虚拟紧包裹的真实物体进行交互，客观上用户的交互事件实际落在不可见的虚拟包裹体各个部分上，根据已标注的虚拟包裹体各个部分的交互方式和交互内容，用增强现实或实际响应的方式为用户提供交互反馈。当用户在增强现实设备呈现的虚实混合空间中，各种交互方式与虚拟包裹体的一个组成部分的每一次碰撞，就产生一个交互事件，根据该组成部分对应的真实物体的功能区，确定交互内容，做出交互反馈。其中如果真实物体的功能区对应的虚拟包裹体的相应部分是规则或者不规则的虚拟几何体的组合体，只要该组合体中的任意一个部分收到交互事件，整个组合体共享该交互事件，共同做出交互反馈。
具体的增强现实交互的功能包括：
1、实物交互：使用增强现实设备建立用户与环境中的真实物体的自然交互关系。
2、实物操作步骤说明：对于操作步骤繁琐的物品，辅助提示信息可以帮助用户更好更快地完成操作任务。
3、危险物品警示：对于环境中的危险物品，辅助提示信息可以起到警示的作用。
4、物品查找：可以通过语音输入，从而触发对应物品的辅助提示信息并显示在空间中，最终帮助用户快速找到想找的物品。
在真实物体被移动时，虚拟包裹体可根据手的碰撞响应与真实物体一同移动从而自动保持与真实物体的包裹关系。同样地，用户也可以在移动真实物体后，手动调整虚拟包裹体的位置，保持虚拟包裹体和真实物体的交互关系。
实施例2
参见图2，本发明实施例适用于实物的增强现实交互方法，包括以下步骤：
步骤S1，编写实物自然交互的程序作为一个应用烧录到增强现实设备中，命名为PhysicalInteraction，同时开启设备的眼动追踪权限，用于获取眼动数据。
步骤S2，在增强现实设备中点击打开PhysicalInteraction应用后，通过增强现实设备的视角观察整个场景中的所有物体。
步骤S3，用户选择房间中的任意一个想要进行交互的物体。
步骤S4，用户用食指和拇指之间并拢点击的方式(airTap)，在眼前生成一个虚拟的物体模型或者多个虚拟长方体或者相似虚拟模型。
步骤S5，通过手势交互模块，将该虚拟物体移动到真实物体和该物体的不同功能区上，缩放虚拟物体使之完全包含真实物体，调整虚拟物体的边界使之尽可能贴合真实物体。
步骤S6，点击调整好大小的虚拟物体，通过语音输入的方式赋予该虚拟物体一些辅助提示信息。
步骤S7，重复步骤S3-S6，给场景中的其他物体以同样的方式赋予辅助提示信息，完成整个的标注环节。
步骤S8，实物标注完毕，用户用手触摸某个物体，对应虚拟包裹体的区域高亮并显示辅助提示信息。
步骤S9，用户眼睛注视某个物体，对应虚拟包裹体的区域高亮并显示辅助提示信息。
步骤S10，用户通过语音输入实物信息，对应虚拟包裹体的区域高亮并显示辅助提示信息。
步骤S11，在场景中移动实物，手势交互模块使得对应的虚拟包裹体做同样的运动，和真实物体保持相对静止，所以该物体仍然是可交互的。
步骤S12，重复步骤S8-S11，与场景中的真实物体进行多种形式的自然交互。
实施例3
台灯
如图3所示，用户佩戴增强现实设备，在空中点击，通过三维扫描得到虚拟三维模型，或者从虚拟物体模型库中找到台灯的虚拟模型，或者使用多个不规则几何体框取台灯的各个功能区；使用手势交互模块，调整该虚拟物体使之紧包裹真实台灯；使用手势交互和语音输入的方式，赋予台灯各个部件相应的辅助提示信息。
用户下一次使用该台灯时，语音说出台灯名称或别名(例如书房的灯)的方式查找到该台灯，该台灯位置显示一个虚拟指示牌，用户通过虚拟指示牌很容易确定台灯位置。当用户与该台灯的不同区域交互时，交互事件实际上落在台灯虚拟包裹体的各个部分，对应部分的辅助提示信息显示在空间中；本系统还提供多种实际响应和虚拟响应方式，实际响应方式为真实物体直接操作，触发相应真实物体功能区或真实物体整体所具有的实际功能进行响应，包括开启关闭台灯，调整台灯的亮度等等；虚拟响应方式包括手势交互和语音交互触发的相应辅助提示信息，如显示台灯的点亮时间，台灯的型号。
例如“开启关闭台灯”作为真实物体直接操作的实际响应方式可按以下方案实现：假定一个台灯接到一个智能开关上，智能开关可以无线控制通断电；台灯的开关为实物台灯的一个独立的功能区，有包裹体专门部分与之对应并定义好了交互及响应方式；用户视线注视“台灯的开关”，触发相应的包裹体部分由不可见变成高亮显示，并出现虚拟提示牌提示用户开灯或关灯两个选项，如果用户再用语音说出关灯，响应机制通过无线通信，控制智能开关断电，完成“关闭台灯”的实际响应方式。
实施例4
电视
如图4所示，用户佩戴增强现实设备，在空中点击，通过三维扫描得到虚拟三维模型，或从虚拟物体模型库中找到电视的虚拟模型，或者使用多个不规则几何体框取台灯的各个功能区；使用手势交互模块，调整该虚拟物体使之紧包裹真实台灯；使用手势交互和语音交互对虚拟包裹体的各个部分的交互方式和交互内容进行定义，如电视的型号，电视的开启时间，电视观看历史记录等辅助提示信息。
用户下一次使用电视，可以通过语音说出电视名称的方式找到电视的位置，当用户使用手势交互模块或者眼动交互模块与该电视的不同区域交互时，交互事件实际上落在台灯虚拟包裹体的各个部分，对应部分的辅助提示信息显示在空间中。本系统还提供多种实际响应和虚拟响应方式，实际响应方式包括开启关闭电视，选择想要继续观看的节目，调整电视的画面亮度、对比度等等；虚拟响应方式包括手势交互和语音交互触发的相应辅助提示信息，如通过观看记录位置的辅助提示信息获得观看节目历史记录等等。
实施例5
结合图5给出对真实物体进行虚拟紧包裹的一个实施方案。过程⑤给出了通过对真实物体的三维扫描获得其虚拟三维模型用于包裹真实物体的一个实施示例；过程⑥给出了选择虚拟模型库中的相似虚拟物体用于包裹真实物体的一个实施示例；过程①②③④给出了本发明中使用若干规则或不规则的虚拟几何体包裹真实物体的各个功能区的一个实施示例。过程④⑤⑥中真实物体外围的虚线框体部分表示虚拟紧包裹完成后形成的虚拟包裹体。
在增强现实设备呈现的虚实混合空间中，过程①根据真实物体的形态选择两种立方体和圆柱两种虚拟几何体来包裹真实物体沙发椅的各个功能区；过程②对每一个功能区创建一个对应类型的几何体，并将几何体变形，旋转使之适配真实物体各功能区的实际大小形状；过程③将变形、旋转后的几何体移动到对应真实物体功能区相同的虚实混合空间的位置上；过程④再通过移动、变形、旋转微调几何体的位置、形状大小、角度使之完全包裹真实物体对应功能区，并且体积尽可能的小。对示例中包括靠背、坐垫、底座、扶手及椅腿在内的所有功能区都包裹完成后即完成对整个真实物体沙发椅的紧包裹。
当使用过程⑤和过程⑥完成真实物体的紧包裹之后，可以在增强现实设备呈现的虚实混合空间中用虚拟平面，或虚拟曲面对虚拟包裹体按照真实物体的功能区进行切分，把虚拟包裹体分成多个部分，使虚拟包裹体切分后的各部分紧包裹与之对应的真实物体的各个功能区。
本发明建立了用户与真实物体之间的交互关系，使用辅助提示信息在用户的日常生活中起到提示和警示的作用，并且可以节省用户寻找物品的时间，提高了用户的工作效率。
本发明还提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述适用于实物的增强现实交互方法中的步骤。
示例性的，所述的计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在计算机可读存储介质中，并由所述处理器执行，以完成本申请所述适用于实物的增强现实交互方法中的步骤。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在服务器中的执行过程。
所述服务器可以是智能手机、笔记本、掌上电脑及云端服务器等计算设备。所述服务器可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述服务器还可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(CentraL Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitaL SignaL Processor，DSP)、专用集成电路(AppLication Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieLd-ProgrammabLe Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述服务器的内部存储单元，例如服务器的硬盘或内存。所述存储器也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure DigitaL,SD)卡，闪存卡(FLash Card)等。进一步地，所述存储器还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机可读指令以及所述服务器所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (9)
1.一种适用于实物的增强现实交互方法，其特征在于，包括以下步骤：
在增强现实设备呈现的虚实混合空间中，选择用于交互的真实物体；
对真实物体进行虚拟紧包裹，建立虚拟包裹体；
按照真实物体功能区的划分，把虚拟包裹体分成多个部分，每一部分对应于该部分所包裹真实物体的一个功能区；根据真实物体各个功能区需要提供的交互方式和交互内容，对虚拟包裹体各个部分的交互方式和交互内容进行标注；以同样的方式对在增强现实设备呈现的虚实混合空间中需要交互的其他真实物体都进行虚拟紧包裹和虚拟包裹体标注；标注完成后，将所有虚拟包裹体设置为不可见，同时将虚拟包裹体的状态设置为可响应各种增强现实交互行为的主动响应状态；
在增强现实设备呈现的虚实混合空间中，主观上从360°全方位的与被虚拟包裹的真实物体进行交互，客观的交互事件实际落在不可见的虚拟包裹体各个部分上，根据已标注的虚拟包裹体各个部分的交互方式和交互内容，用增强现实或实际响应的方式提供交互反馈。
2.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述对真实物体进行虚拟紧包裹包括以下方式：通过对真实物体的三维扫描获得其虚拟三维模型用于包裹真实物体；或者选择虚拟模型库中的相似虚拟物体用于包裹真实物体，或者使用若干规则或不规则的虚拟几何体包裹真实物体的各个功能区，虚拟几何体的形状包括长方体、圆柱体、圆锥、棱锥、球体、椭球体、半球体，多面体中的任意一种或者任意几种的组合体；在增强现实设备呈现的虚实混合空间中，对用于包裹的虚拟物体进行移动、缩放、旋转以及进行包括扭转、局部拉伸或压缩在内变形，使之完全包裹真实物体，并且使得虚拟物体的体积尽可能小，从而建立该真实物体的虚拟包裹体。
3.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述按照真实物体功能区的划分，把虚拟包裹体分成多个部分，包括用增强现实设备呈现的虚实混合空间中的虚拟平面，或虚拟曲面对虚拟包裹体按照真实物体的功能区进行切分，或将虚拟包裹体的组成部分进行分组，使虚拟包裹体各部分紧包裹与之对应的真实物体的各个功能区。
4.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述的真实物体各个功能区需要提供的交互方式和交互内容为：交互方式包括手势交互、眼动交互和语音交互、或者增强现实设备支持的其他物体选择方式；交互内容包括真实物体各个功能区的相关辅助提示信息和真实物体实际功能的直接操作。
5.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述客观的交互事件实际落在不可见的虚拟包裹体各个部分上是指：在增强现实设备呈现的虚实混合空间中，手势交互为手触碰真实物体的虚拟包裹体、手掌发出射线与真实物体的虚拟包裹体相交，眼动交互为视线与真实物体的虚拟包裹体相交，语音交互为说出真实物体各个功能区的名称或别名，或者增强现实设备支持的其他物体选择方式碰触真实物体的虚拟包裹体。
6.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述的交互是指：当用户在增强现实设备呈现的虚实混合空间中，各种交互方式与虚拟包裹体的一个组成部分的每一次碰撞，就产生一个交互事件，根据该组成部分对应的真实物体的功能区，确定交互内容，做出交互反馈；其中，如果真实物体的功能区对应的虚拟包裹体的部分是规则或者不规则的虚拟几何体的组合体，只要该组合体中的任意一个部分收到交互事件，则整个组合体共享该交互事件，共同做出交互反馈。
7.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述用增强现实或实际响应的方式提供交互反馈为：向用户提供交互提示、信息反馈和真实物体直接操作；交互提示包括交互位置附近显示虚拟三维窗体或指示牌，或收到交互事件的虚拟包裹体相应部分由不可见转为可见，以告知用户该真实物体可交互并提示交互方式；信息反馈包括显示真实物体各个功能区的状态信息、功能介绍及其他相关信息；真实物体直接操作为触发相应真实物体功能区或真实物体整体所具有的实际功能进行响应；在真实物体被移动时，虚拟包裹体可根据手的碰撞响应与真实物体一同移动，从而自动保持与真实物体的包裹关系。
8.一种适用于实物的增强现实交互装置，其特征在于，包括：
增强现实设备模块：用于获取虚拟包裹体的位置信息、用户双手的位置信息、用户头部位置信息和眼动数据；提供多种交互方式；获取场景中用户与虚拟包裹体的碰撞信息，显示对应的辅助提示信息，并进行对应虚拟包裹体的高亮显示；
系统组件模型库：提供用于框取真实物体的虚拟包裹体模型或者规则与不规则的虚拟几何体，以及用于显示对应真实物体标注信息的辅助信息显示器；
手势交互模块：用于移动虚拟包裹体的位置，调整虚拟包裹体大小，使之与能够完全包裹真实物体，并且体积尽可能小；选择需要查看辅助提示信息的物体；用户移动场景中的真实物体的过程中附带移动对应的虚拟物体，保持该物体的可交互状态；
眼动追踪模块：用于采集眼动数据，当用户查看场景中的真实物体时，获取眼睛视线碰撞到的真实物体，使其对应虚拟包裹体的相应部分高亮并显示辅助提示信息；
语音交互模块：用户使用虚拟物体框取真实物体后，使用语音输入对应的辅助提示信息；用户通过语音的方式选择场景中的真实物体，对应真实物体高亮并显示辅助提示信息；
实物信息增强显示模块：根据被选择的真实物体，从该真实物体引出一个虚拟的指示牌用来增强显示之前标注的辅助提示信息。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述适用于实物的增强现实交互方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111161758.XA CN113961069B (zh) | 2021-09-30 | 2021-09-30 | 适用于实物的增强现实交互方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111161758.XA CN113961069B (zh) | 2021-09-30 | 2021-09-30 | 适用于实物的增强现实交互方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113961069A CN113961069A (zh) | 2022-01-21 |
| CN113961069B true CN113961069B (zh) | 2024-05-07 |
Family
ID=79463349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111161758.XA Active CN113961069B (zh) | 2021-09-30 | 2021-09-30 | 适用于实物的增强现实交互方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113961069B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI796192B (zh) * | 2022-03-31 | 2023-03-11 | 國立勤益科技大學 | 具有手部姿勢操控之虛擬系統 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536288A (zh) * | 2018-03-27 | 2018-09-14 | 网易（杭州）网络有限公司 | 虚拟现实中交互操作的处理方法和装置 |
| KR20180134522A (ko) * | 2017-06-09 | 2018-12-19 | 한국전자통신연구원 | 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 |
| CN111897422A (zh) * | 2020-07-14 | 2020-11-06 | 山东大学 | 一种虚实物体实时融合的实物交互方法与系统 |
| CN113325952A (zh) * | 2021-05-27 | 2021-08-31 | 百度在线网络技术（北京）有限公司 | 用于展示虚拟对象的方法、装置、设备、介质和产品 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9898869B2 (en) * | 2015-09-09 | 2018-02-20 | Microsoft Technology Licensing, Llc | Tactile interaction in virtual environments |
-
2021
- 2021-09-30 CN CN202111161758.XA patent/CN113961069B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180134522A (ko) * | 2017-06-09 | 2018-12-19 | 한국전자통신연구원 | 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 |
| CN108536288A (zh) * | 2018-03-27 | 2018-09-14 | 网易（杭州）网络有限公司 | 虚拟现实中交互操作的处理方法和装置 |
| CN111897422A (zh) * | 2020-07-14 | 2020-11-06 | 山东大学 | 一种虚实物体实时融合的实物交互方法与系统 |
| CN113325952A (zh) * | 2021-05-27 | 2021-08-31 | 百度在线网络技术（北京）有限公司 | 用于展示虚拟对象的方法、装置、设备、介质和产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113961069A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220091722A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US20240094866A1 (en) | Devices, Methods, and Graphical User Interfaces for Displaying Applications in Three-Dimensional Environments | |
| US20210097776A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20220084279A1 (en) | Methods for manipulating objects in an environment | |
| US10268339B2 (en) | Enhanced camera-based input | |
| CN109891368A (zh) | 活动对象在增强和/或虚拟现实环境中的切换 | |
| US11567625B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| CN113508361A (zh) | 用于呈现计算机生成现实文件的设备、方法和计算机可读介质 | |
| CN113961069B (zh) | 适用于实物的增强现实交互方法、装置及存储介质 | |
| CN113849112B (zh) | 适用于电网调控的增强现实交互方法、装置及存储介质 | |
| CN113961107A (zh) | 面向屏幕的增强现实交互方法、装置及存储介质 | |
| US20240094882A1 (en) | Gestures for selection refinement in a three-dimensional environment | |
| CN111901518B (zh) | 显示方法、装置和电子设备 | |
| US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20240152245A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments | |
| US20240103682A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments | |
| US20240103676A1 (en) | Methods for interacting with user interfaces based on attention | |
| US20240152256A1 (en) | Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments | |
| US20230206572A1 (en) | Methods for sharing content and interacting with physical devices in a three-dimensional environment | |
| CN111078107B (zh) | 一种屏幕交互的方法、装置、设备和存储介质 | |
| WO2023049146A1 (en) | Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments | |
| WO2024064373A1 (en) | Devices, methods, and graphical user interfaces for interacting with window controls in three-dimensional environments | |
| CN116027908A (zh) | 颜色获取方法、装置、电子设备及存储介质 | |
| WO2024064380A1 (en) | User interfaces for gaze tracking enrollment | |
| WO2024020061A1 (en) | Devices, methods, and graphical user interfaces for providing inputs in three-dimensional environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |