CN113961107A - 面向屏幕的增强现实交互方法、装置及存储介质 - Google Patents
面向屏幕的增强现实交互方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113961107A CN113961107A CN202111165149.1A CN202111165149A CN113961107A CN 113961107 A CN113961107 A CN 113961107A CN 202111165149 A CN202111165149 A CN 202111165149A CN 113961107 A CN113961107 A CN 113961107A
- Authority
- CN
- China
- Prior art keywords
- virtual
- screen
- real
- augmented reality
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 140
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002452 interceptive effect Effects 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 12
- 230000001960 triggered effect Effects 0.000 claims abstract description 11
- 230000004424 eye movement Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000007474 system interaction Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Abstract
一种面向屏幕的增强现实交互方法、装置及存储介质，交互方法包括在虚实混合空间中，创建虚拟操作面，调整其形状、大小、位置和角度，使之与真实的屏幕显示区域重合；创建一个或多个辅助屏幕，辅助真实屏幕显示其他相关内容；通过空间坐标计算，建立虚实混合空间中虚拟操作面上各个点的空间坐标与真实屏幕上像素点之间的数学对应关系。这样使用手势、眼动等交互方式既可以触发操作系统内的交互事件由原操作系统进行响应，也根据关注内容在虚实混合空间中进行增强现实响应；碰触真实屏幕周围的虚拟屏幕或者碰触真实屏幕的虚拟操作面实现多屏切换和信息显示。本发明能够基于真实屏幕提供虚实结合的内容显示交互功能，也支持大屏实现远距离交互操作。
Description
技术领域
本发明属于增强现实交互技术领域，具体涉及一种面向屏幕的增强现实交互方法、装置及存储介质。
背景技术
增强现实设备可以实现虚拟物体和真实物体的叠加，营造一种虚实结合的用户体验。同时，增强现实设备提供了多种交互方式，包括语音交互、手势交互和眼动交互等，使用户可以和设备视角下的虚拟物体进行自然交互。
然而，增强现实环境下，用户难以与传统的以屏幕为显示终端的实体设备(如电脑显示器，手机，平板电脑等)进行交互，无法与设备中原有的计算机交互体系融合。在与电脑显示器交互时，用户只能采用鼠标、键盘等传统的交互设备，无法像触屏设备一样通过点击、滑动屏幕触发系统的交互事件。在与手机、平板电脑等触屏设备交互时，用户也不满足于滑动、点击等目的性强但费力的交互方式，需要眼动等更加灵活的交互方式来解放用户的双手。在进行大屏演示时，教棒、激光笔等工具只起到了指示或者切换页面的作用，用户无法进行点击对象、输入文字及绘图等复杂的交互行为，具有诸多局限性亟待解决。
发明内容
本发明的目的在于提供一种面向屏幕的增强现实交互方法、装置及存储介质，解决增强现实环境下无法与传统的以屏幕为显示终端的实体设备进行交互的问题，并且提供更为强大的虚实结合的内容显示交互功能，简化用户操作，提升用户体验。
为了实现上述目的，本发明有如下技术方案：
第一方面，本发明实施例提供一种面向屏幕的增强现实交互方法，包括以下步骤：
在增强现实设备支持生成的虚实混合空间中，创建虚拟操作平面，调整其形状、大小、位置和角度，使之与真实的屏幕显示区域重合；对应于曲面屏幕，创建虚拟操作曲面，使之尽量与真实的屏幕显示区域重合；虚拟操作平面或曲面统称为虚拟操作面，重合设置完成后，将虚拟操作面设置为虚实混合空间中肉眼不可见，同时将虚拟操作面的状态设置为可响应各种增强现实交互行为的主动响应状态；创建一个或多个的辅助屏幕，将其布置在真实屏幕的周围，辅助真实屏幕显示其他相关内容；
通过空间坐标计算，建立虚实混合空间中，虚拟操作面上各个点的空间坐标与真实屏幕上像素点之间的数学对应关系，虚拟操作面上每个点有唯一与之对应的真实屏幕像素点；
通过图像层面的界面元素提取、图像分割匹配或操作层面的界面窗体结构分析，提取当前屏幕上显示的关键信息和各种可操作控件，包括关键信息和控件的类型、内容及显示位置；
获取能够直接响应的交互事件并发送给操作系统进行响应；
获取关注位置处的关键信息，以增强现实的方式显示该关键信息所对应的辅助提示信息；
碰触真实屏幕周围的虚拟屏幕时，根据事先的约定触发虚拟屏幕与真实屏幕上显示内容的互换；碰触真实屏幕对应的虚拟操作面时，根据事先的约定触发真实屏幕之间显示内容的互换，实现多屏切换和信息显示。
作为本发明交互方法的一种优选方案，所述建立虚实混合空间中，虚拟操作面上各个点的空间坐标与真实屏幕上像素点之间的数学对应关系为：虚拟操作面碰撞点的三维坐标通过坐标变换转换为二维真实屏幕上的相对坐标。
作为本发明交互方法的一种优选方案，所述获取能够直接响应的交互事件并发送给操作系统进行响应具体包括：当用手或虚拟操作手柄触碰真实屏幕控件时，感知到手或手柄与不可见的虚拟操作面相碰撞，根据碰撞位置换算出对应真实屏幕上显示区域的位置p1，将碰撞定义为p1处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。
作为本发明交互方法的一种优选方案，所述获取能够直接响应的交互事件并发送给操作系统进行响应具体包括：当查看真实屏幕上显示的内容时，检测用户的视线与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置p2，将视线与虚拟操作面的碰撞事件定义为p2处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。
作为本发明交互方法的一种优选方案，所述获取能够直接响应的交互事件并发送给操作系统进行响应具体包括：当用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕时，增强现实设备检测到虚拟射线或指向光线与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置p3，将虚拟射线或虚拟指向光线与虚拟操作面的碰撞事件定义为p3处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。
作为本发明交互方法的一种优选方案，所述的关注位置通过以下方式确定：当用手或虚拟操作手柄触碰真实屏幕控件，用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕，或用眼动视线扫视真实屏幕上显示的内容时，增强现实设备检测到交互方式与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置，该位置即为关注位置；所述以增强现实的方式显示该关键信息所对应的辅助提示信息是指，将与关键信息相关的信息或内容显示在真实屏幕周围的虚拟屏幕上，或以虚拟三维对象的方式显示在关键信息周围，用户可在虚实混合空间中与所显示的内容进行互动和交互。
作为本发明交互方法的一种优选方案，所述碰触真实屏幕周围的虚拟屏幕方式为通过手势、视线、虚拟手柄射线或设备指向光线来触碰。
第二方面，本发明实施例还提供一种面向屏幕的增强现实交互装置，包括：
交互设备模块：包括增强现实设备和以屏幕为显示终端的实体设备；其中，增强现实设备用于确定场景中虚拟物体和用户的位置信息，提供多种交互方式，采集眼动数据，与实体设备通信，显示辅助提示信息；实体设备用于显示交互的实际页面内容，并根据屏幕相对位置坐标生成对应的网页辅助提示信息，响应该位置处的交互事件，与增强现实设备通信；
模型组件：包括虚拟操作面、菜单面板、由虚拟屏幕组成的待观察页面内容候选区及辅助幕布；
手势交互模块：用于移动虚拟操作面的位置，调整其大小，使之与真实的待观察屏幕重合；选择需要查看的虚拟屏幕呈现的内容；点击菜单面板上的各种功能按键；用手或虚拟操作手柄触碰真实屏幕控件，用虚拟手柄上的虚拟射线指向真实屏幕实现与真实屏幕的交互；
眼动追踪模块：用于采集眼动数据，获取观察真实屏幕时注视点的三维坐标，并将三维坐标转换为相对于屏幕的二维坐标；
通信模块：用于完成增强现实设备给实体设备传递被选作用于观察的页面，以及眼睛或者手势交互模块在虚拟操作面上的碰撞点；还用于完成实体设备给增强现实设备传递页面对应坐标处的辅助提示信息；
辅助信息生成模块：根据所提供的页面以及眼睛或者手势交互模块与虚拟操作面碰撞点转换后的二维相对坐标，返回该坐标对应关键信息的辅助提示信息；
辅助信息增强显示模块：根据得到的辅助提示信息，在对应的用户交互位置，用虚拟三维窗体、虚拟对象或者虚拟指示牌的形式增强显示提示信息。
第三方面，本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述面向屏幕的增强现实交互方法中的步骤。
相较于现有技术，本发明至少具有如下的有益效果：提供了一种用户与真实屏幕之间交互的方法，建立了真实屏幕与虚拟物体之间的联系。本发明设计了多种利用增强现实设备与真实屏幕之间的交互方式，既可以将虚拟交互方式转换成交互事件，也可以通过理解屏幕内容触发虚拟响应，以增强现实的方式显示辅助提示信息。通过多屏切换可根据事先的约定触发虚拟屏幕与真实屏幕上显示内容的互换，实现相关信息的近距离显示和便捷切换查看。本发明适用于电脑、手机、平板电脑、超大演示屏等一系列面向屏幕的设备，实现电脑显示器的触屏化、触屏设备的免手动滑动、演示大屏的隔空勾画等。通过屏幕交互衍生出的网页辅助信息提示可以帮助用户更好地了解子网页的内容，从而减少了点击子网页的次数，起到了信息筛选的作用，改善用户体验。此外，本发明利用增强现实设备的虚实结合技术对显示信息的增强显示，并不会改变原页面中显示内容的显示和排版，具有很强的通用性。
附图说明
图1本发明面向屏幕的增强现实交互装置框架结构示意图；
图2本发明面向屏幕的增强现实交互方法操作实例展示图；
图3本发明面向屏幕的增强现实交互方法进行网页信息检索的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
参见图1，本发明面向屏幕的增强现实交互装置包括交互设备模块、模型组件、手势交互模块、眼动追踪模块、通信模块、辅助信息生成模块、辅助信息增强显示模块。
增强现实设备可采用头戴式增强现实眼镜，增强现实头盔(例如HoloLens)，混合现实(Mixed Reality)设备，只要能够让使用者同时看到所处的真实外部环境和叠加的虚拟现实环境的设备都可用于本发明具体案例的实现。
交互设备模块：包括增强现实设备和用于交互的以传统屏幕为显示终端的实体设备，其中，增强现实设备用于确定场景中的虚拟物体和用户的位置信息，提供眼动和手势等多种交互方式，采集眼动数据，与实体设备通信，显示辅助提示信息。而实体设备用于显示交互的实际页面内容，根据屏幕相对位置坐标生成对应的网页辅助提示信息，响应该位置处的系统交互事件，与增强现实设备通信。
模型组件：包括虚拟操作面、菜单UI面板、待观察页面内容候选区、辅助信息显示器。
手势交互模块：用于移动虚拟操作面的位置，调整其大小，使之与真实的待观察屏幕重合；选择需要查看的虚拟屏幕呈现的内容；点击菜单面板上的各种功能按键；用手或虚拟操作手柄触碰真实屏幕控件，用虚拟手柄上的虚拟射线指向真实屏幕实现与真实屏幕的交互。
眼动追踪模块：用于采集眼动数据，获取用户观察真实屏幕时的注视点的三维坐标，将三维坐标转换为相对于屏幕的二维坐标。
通信模块：用于增强现实设备端给实体设备端传递被选作的用于观察的实际页面，以及眼睛或者手势交互模块与虚拟操作面碰撞点；还用于实体设备端给增强现实设备端传递该页面对应坐标处的辅助提示信息。
辅助信息生成模块：根据所给的页面以及眼睛或者手势交互模块与虚拟操作面碰撞点转换后的屏幕上的二维相对坐标，返回该坐标对应的关键信息的辅助提示信息。
辅助信息增强显示模块：根据得到的辅助提示信息，在对应的用户交互位置，用虚拟窗体，虚拟对象或者虚拟指示牌的形式增强显示提示信息。
各个模块的具体实现方式如下：
手势交互模块包含多种手势，包括以下几种：
1、单手隔空移动，旋转物体；
2、单手触摸移动，旋转物体；
3、双手隔空移动，旋转物体；
4、双手隔空缩放物体；
5、单手拉拽物体的顶点进行缩放，旋转；
6、触摸点击；
涉及的功能包括选择物体，平移、旋转、缩放物体，点击菜单栏等。
使用手势交互模块移动虚拟操作面使之与真实屏幕贴合的过程可以使用一些辅助贴合的方法。因为，增强显示视角下物体的尺寸和显示物体的尺寸是1:1，所以可以预先设置虚拟操作面的大小，并且在真实屏幕和虚拟操作面的中央相同的位置，显示一个小方框。在移动的过程中，从多个视角下，查看两个小方框是否完全重合，从而来辅助虚拟操作面与真实屏幕的贴合工作。
眼动追踪模块中，当用户注视虚拟操作平面中的内容时，增强现实设备获取用户眼睛视线对应的射线，从而得到该射线与虚拟操作平面的交点，即为用户的眼睛注视点。
通信模块使用TCP/IP协议，将实体设备端作为服务器端，增强现实设备端作为用户端，从而实现通讯。
辅助信息生成模块，通过指定的页面和用户交互行为的交互点，确定用户注视的关键信息，将对应的关键信息对应的辅助提示信息返回给增强现实设备端。
辅助信息增强显示模块在虚拟窗体，虚拟对象或者虚拟指示牌上显示辅助提示信息。
实施例1
本发明的一个实施过程如图2所示。
过程①为设置虚拟操作面与真实屏幕显示区域重合。根据屏幕形状在增强现实设备呈现的虚实混合空间中生成虚拟操作面。如果真实屏幕为平面，则生成虚拟操作平面；如果真实屏幕为曲面，则生成对应曲率的虚拟操作曲面。通过平移、旋转、缩放使虚拟操作面与真实屏幕的整个显示区域完全重合。如图2所示，用户首先通过移动虚拟操作面的位置，使之与真实屏幕重合，并且调整其他虚拟操作面在空间中的位置。将虚拟操作面设置为虚实混合空间中肉眼不可见，同时将虚拟操作面的状态设置为可响应各种增强现实交互行为的主动响应状态。这样在增强现实技术的支持下，虚拟操作面就可以自动响应手或虚拟操作手柄触碰、虚拟手柄发出的虚拟射线或增强现实设备的虚拟指向光线，或用眼动视线扫视真实屏幕上显示的内容时的增强现实交互方式。
虚拟操作面上的坐标点与真实屏幕上像素点数学对应关系的建立：增强现实设备呈现的虚实混合空间中所有虚拟物体的坐标都是已知的。因为虚拟操作面与真实屏幕显示区域完全重合，所以虚拟操作面的四个顶点和屏幕显示区域的四个顶点上的像素点在虚实混合空间中的位置是完全重合的。可以以这四对顶点之间的对应关系为基础，建立整个虚拟操作面上的坐标点与真实屏幕上像素点的数学对应关系。
以下公开一种面向真实平面屏幕的建立整个虚拟操作面上的坐标点与真实屏幕上像素点的数学对应关系的实施方案。可以将虚拟操作面的四个顶点的三维坐标，映射为相对于屏幕的二维坐标，得到一个变换矩阵。最后，将得到的三维注视点通过该变换矩阵映射为虚拟操作平面上的二维相对坐标。具体的推导过程如下：
V2*4＝T2*3R3*4 (1)
T＝VRT(RRT)-1 (2)
v2*1＝T2*3r3*1 (3)
式中，V2*4表示由屏幕坐标系下4个顶点相对坐标组成的矩阵，R3*4表示空间世界坐标系下虚拟操作平面4个顶点的三维坐标组成的矩阵，T2*3表示变换矩阵，可以由(2)式求得。r3*1表示世界坐标系下用户注视点的三维坐标的向量表示，v2*1表示屏幕坐标系下用户注视点的相对二维坐标的向量表示。最终可以通过求得的变换矩阵和结果取整操作，将该用户注视点的三维坐标映射为屏幕坐标系下的二维坐标，并研究对应坐标处的内容。
当计算虚拟操作曲面上的坐标点与曲面屏幕上像素点的对应关系时，可以参照虚拟操作平面的处理方式，建立虚拟操作曲面和屏幕曲面精确的数学模型，并通过数学计算的方法准确给出两者之间坐标点和像素点的对应关系。实际上不管是对于虚拟操作平面或是曲面，都可以通过在真实屏幕上的几个关键点位置显示定标点，再用虚拟射线指向定标点，虚拟射线和虚拟操作平面或曲面之间的交点坐标，就是对应关键点在虚拟操作面上的投影。其他坐标点和像素点的对应关系，可以通过相邻关键点的对应关系按比例求得，比例系数由这些点之间的相对位置决定。进行标注的定标点数目越多，最后建立的虚拟操作面上的坐标点与真实屏幕上像素点的对应关系越准确。
屏幕显示内容的解析：可以使用图像分割匹配算法、目标检测算法、视频内容理解的方法，对当前屏幕上的包括窗体、按钮、文本、图像等界面元素进行解析标注，提取当前屏幕上显示的关键信息和各种可操作控件，包括关键信息和控件的类型、内容及显示位置。关键信息与具体的任务相关，如浏览器网页上的关键信息为超链接和对超链接进行说明的图像和文字，对于关键信息“超链接”的内容为超链接的位置、文字表述及超链接指向的地址等；对于关键信息“图片”的内容为图片在屏幕上的位置、大小、图片的内容等；屏幕上的控件包括窗体、菜单、应用图标、窗体上的按钮、文本框等，其内容为控件的名称、显示内容、触发方式及触发后会产生的系统响应等；
屏幕显示内容的解析也可以通过操作层面的界面窗体结构分析来实现，根据当前窗体对应应用的进程编号，在windows操作系统中，可以获得对应进程的窗体句柄对象，并从该对象中获取该应用窗体上各个元件对象的名称、位置、大小、显示内容等信息。
虚拟操作面支持下的真实屏幕的增强现实交互方式，交互方式有两种：1)通过虚拟操作面定位交互事件在真实屏幕上对应的位置，将其转化为操作系统级的交互事件，交由操作系统直接响应；2)根据屏幕内容解析的结果，确定交互事件在真实屏幕上对应的关键信息，根据关键信息的内容，用增强现实的方式，对交互事件进行响应。
对于第一种交互方式，如过程⑥所示，在虚实混合空间中用户可采用的手或虚拟操作手柄触碰真实屏幕控件时，感知到手或手柄与不可见的虚拟操作面相碰撞，根据碰撞位置换算出对应真实屏幕上显示区域的位置p1，将碰撞定义为p1处发生的当前能够直接响应的交互事件，将其发送给操作系统进行响应。比如转换成鼠标点击事件，操作系统就会将手或手柄触碰不可见的虚拟操作面作为鼠标点击事件进行处理。同样，对于用户通过视线或眼动与真实屏幕交互，如过程④所示，增强现实设备检测用户的视线与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置p2，将视线与虚拟操作面的碰撞事件定义为p2处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。或者也可以用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕，如过程③和⑤所示，增强现实设备检测到虚拟射线或指向光线与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置p3，将虚拟射线或虚拟指向光线与虚拟操作面的碰撞事件定义为p3处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。
对于第二种交互方式，当用手或虚拟操作手柄触碰真实屏幕控件，用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕，或用眼睛查看真实屏幕上显示的内容时，增强现实设备检测到交互方式与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置，该位置即为交互的关注位置。根据屏幕内容解析的结果，确定交互事件在真实屏幕上对应的关键信息，根据关键信息的内容，用增强现实的方式显示该关键信息所对应的辅助提示信息，将与关键信息相关的信息或内容显示在真实屏幕周围的虚拟屏幕上，或以虚拟三维对象的方式显示在关键信息周围，用户可在虚实混合空间中与所显示的内容进行互动和交互。所述虚拟三维对象包括虚拟三维窗体、相关的虚拟三维模型或立体影像；用户可在虚实混合空间中与所显示的内容进行互动和交互是指，能够与这些对象进行实时交互，包括平移、旋转、缩放；用户接触到这些虚拟三维对象，接触不同部分，能够显示该部分的描述信息，并按程序的设定进行响应。
多块真实与虚拟屏幕的管理：设计一个多屏管理子系统用于管理多块真实屏幕与多块虚拟屏幕上显示的内容，及真实或虚拟屏幕上显示内容的相互切换。
多屏管理子系统将所有虚拟屏幕的状态设置为可响应各种增强现实交互行为的主动响应状态，并使用与每块真实屏幕重合的虚拟操作面作为中介实现多屏间显示内容的切换：1、一块虚拟屏幕与一块真实屏幕间的内容切换：1)虚拟屏幕显示内容拷贝到与真实屏幕重合的虚拟操作面上显示；2)真实屏幕内容和其虚拟操作面上的显示内容进行切换；3)将与真实屏幕重合的虚拟操作面上的显示内容拷贝到虚拟屏幕上显示；4)虚拟操作面恢复到不可见状态；2、两块真实屏幕间的内容切换：1)两块真实屏幕上的显示内容分别拷贝到其虚拟操作面上显示；2)将两个虚拟操作面上的显示内容进行切换；3)将虚拟操作面上的显示内容分别拷贝到对应的真实屏幕上显示；4)两块虚拟操作面恢复到不可见状态。
该设计有两个好处：1)系统实现简洁：只涉及真实屏幕和虚拟操作面之间的显示内容拷贝和切换，以及虚拟屏幕或虚拟操作面间的显示内容拷贝和切换，把虚实交换封装在第一个环节，简化实现时的技术复杂度；2)虚拟操作面可用在现实内容切换时进行提示，用户可以方便感知哪几块屏幕的显示内容会发生切换，方便用户进行切换选择。
以下给出虚拟操作面支持下的多块真实与虚拟屏幕的管理的一个实现方案：
如过程②所示，用户轻点虚拟屏幕时，系统默认选择离该虚拟屏幕最近的真实屏幕实现屏幕切换。用户长按虚拟屏幕时，原本用于重合真实屏幕的不可见虚拟操作面切换为可见模式，显示对应真实屏幕的内容，所有真实屏幕对应的虚拟操作面按照一定时间间隔轮流高亮。当用户想要切换的真实屏幕的虚拟操作面高亮时，用户取消长按动作，此时该真实屏幕与被选虚拟屏幕实现屏幕切换，切换完毕，虚拟操作面重新切换为不可见模式。用户轻点真实屏幕时，实际上交互事件落在真实屏幕对应的虚拟操作面上，此时所有真实屏幕的虚拟操作面切换为可见模式并显示对应真实屏幕的内容，两块真实屏幕上的内容实现切换，切换完毕，虚拟操作面重新切换为不可见模式。
本发明实施例面向屏幕的增强现实交互方法的整体流程为，在过程①中，用户首先通过移动虚拟操作面的位置，使之与真实屏幕重合，并且调整其他虚拟操作面在空间中的位置。在过程②中，用户根据自身的需求，选择想要查看的具体页面，点击该页面，使之呈现在真实屏幕中。在过程③和⑤中，用户用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕，在过程④中，用户用眼睛注视真实屏幕上的内容，在过程⑥中，用户用手或手柄与不可见的虚拟操作面相碰撞。在过程③④⑤⑥所展示的交互行为中，可以触发相应关键信息处的系统的交互事件，也可通过增强现实的方式显示相应关键信息的辅助提示信息。
实施例2
参见图3，本发明实施例面向屏幕的增强现实交互方法在网页信息检索中包括：
步骤S1，程序的编写，并将程序烧录到增强现实设备中，命名为GazeAnnotation应用，并且赋予可以使用眼动追踪的应用权限。
步骤S2，佩戴增强现实设备，打开GazeAnnotation应用，可以看到“网页辅助信息提示系统”的幕布，虚拟操作面就附着在幕布上。
步骤S3，通过手势交互模块，将黑色虚拟操作面移动到真实屏幕的位置，并且进行缩放、旋转等操作，使得虚拟操作面和真实电脑屏幕尽可能重合。如图2的过程①所示，通过这样的方式，使用户可以利用增强现实设备与真实的屏幕进行交互。
步骤S4，低头可以看到菜单面板，点击菜单面板中stick按键，将虚拟操作面设置成固定，点击conceal按键，将虚拟操作面设置为不可见，让用户的体验更好，更真实。
步骤S5，如图2过程②所示，用户在屏幕右边呈现的内容候选区中查看可以用于后续观察的待选页面，并通过触摸点击的方式进行选择。由通信模块将选择的结果传递给PC端。
步骤S6，根据增强现实设备端传递过来的被选网页信息，在电脑屏幕上显示对应的页面。
步骤S7，如图2过程③④⑤⑥所示，用户佩戴增强现实设备，用手或虚拟操作手柄触碰真实屏幕控件，注视真实屏幕上显示的内容，用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕。增强现实设备检测到这些交互行为，得到与虚拟操作面碰撞点的三维坐标，并通过坐标变换转换为二维屏幕的相对坐标。最终得到用户交互的信息在虚拟操作面的相对位置坐标。
步骤S8，将用户交互的屏幕中的关键信息的相对位置坐标通过通信模块传递给PC端。
步骤S9，PC端根据用户注册的关键信息相对位置坐标，获取该坐标处的网页超链接所对应的内容作为辅助提示信息。同时根据交互方式和关键信息的内容，触发电脑系统内部的交互事件，如鼠标的移动，键盘的输入等等。
步骤S10，通过通信模块，将辅助提示信息传递给增强现实设备端。
步骤S11，增强现实端得到辅助提示信息，使用一个虚拟指示牌的形式在用户注视点的位置增强显示辅助提示信息。
循环步骤S5-S11，最终实现一个使用虚拟环境下的提示信息来辅助用户查看和更快筛选真实电脑屏幕中的页面信息的虚实结合辅助信息提示系统。
实施例3
本发明实施例面向屏幕的增强现实交互方法在电脑屏幕上使用的步骤包括：
使用电脑屏幕时，用户佩戴增强现实设备，如图2过程①所示，在增强现实设备视角下的虚实混合空间中，创建虚拟操作面，调整其形状、大小、位置和角度，使之与真实电脑屏幕显示区域完全重合；将虚拟操作面设置为虚实混合空间中肉眼不可见。创建一个或多个的辅助虚拟屏幕，将其摆放在真实电脑屏幕的周围，用于辅助真实电脑屏幕显示其他相关内容。
如图2过程②所示，用户选择想要查看的页面。如图2过程③④⑤⑥所示，用户通过手或虚拟操作手柄触碰真实电脑屏幕控件时，增强现实系统感知到手或手柄与不可见的虚拟操作面相碰撞，根据碰撞位置换算出对应真实屏幕上显示区域的位置，此时触发系统内部鼠标在该碰撞位置的点击事件，使原本的传统电脑屏幕具有触屏交互的功能，而且在增强现实视野下还可以看到在这个碰撞位置处有一个虚拟指示牌显示该位置的辅助提示信息。多屏切换技术可以随时切换到当前页面的其他相关页面。
实施例4
本发明实施例面向屏幕的增强现实交互方法在触屏手机、平板电脑上使用的步骤包括：
使用触屏设备屏幕时，用户佩戴增强现实设备，在增强现实设备视角下的虚实混合空间中，创建虚拟操作面，调整其形状、大小、位置和角度，使之与真实触屏设备屏幕显示区域完全重合；将虚拟操作面设置为虚实混合空间中肉眼不可见。创建一个或多个的辅助虚拟屏幕，将其摆放在真实触屏设备屏幕的周围，用于辅助真实屏幕显示其他相关内容。
用户查看屏幕上显示的内容时，增强现实设备检测到用户的视线与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置。此时系统在该位置处的交互事件，如在看电子书时，不需要滑动屏幕来翻页或者上下翻阅，只需要眼睛注视屏幕中间偏上的位置，电子书的内容就会自动向上缓慢移动，可以解放双手。而且，当用户看到某段语句时，在增强现实视野下还可以看到在该位置处有一个虚拟指示牌显示其他读者对这段话的评论。使用多屏切换技术，可以随时切换成其他想要阅读的电子书。
实施例5
本发明实施例面向屏幕的增强现实交互方法在超大展示屏上使用的步骤包括：
使用超大展示设备屏幕时，用户佩戴增强现实设备，在增强现实设备视角下的虚实混合空间中，创建虚拟操作面，调整其形状、大小、位置和角度，使之与真实超大显示屏幕显示区域完全重合；将虚拟操作面设置为虚实混合空间中肉眼不可见。创建一个或多个的辅助虚拟屏幕，将其摆放在用户的身边，用于辅助真实超大显示屏幕显示其他相关内容。
用户用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实超大显示屏幕时，增强现实设备检测到虚拟射线或指向光线与虚拟操作面的交点，根据交点的位置换算出对应真实超大显示屏幕上显示区域的位置，触发相应的系统交互事件，并且以增强现实方式显示该位置的辅助提示信息。在使用超大屏进行展示时，讲演者可以佩戴增强现实眼镜，在远处用手柄或手势，在虚实混合空间中发出虚拟指向射线，在较远的位置与屏幕中的内容交互，通过把虚拟射线在虚拟操作面上移动时产生的碰撞事件作为操作系统可直接响应的鼠标操作事件，发给操作系统，实现展示的幻灯片光标指示和翻页的功能，还可以将虚拟射线作为画笔，通过把虚拟射线在虚拟操作面上移动时产生的碰撞事件作为操作系统可直接响应的鼠标左键按下的移动事件，在幻灯片的应用中可被解释为画笔在幻灯片展示页面上勾画，让听众在真实超大屏幕上看到讲演者的勾画和标注，帮助听众抓住汇报的重点和思路，提高汇报的展示效果。讲演者还可以用身边摆放的虚拟屏幕显示幻灯片展示时需要用到的辅助内容，使用本发明的虚实多屏切换功能，将临时需要展示的内容快速切换到超大屏幕上，展示完成后还可以方便的切换回来。
本发明面向屏幕的增强现实交互方法具有比较好的通用性，可以在不同的屏幕上使用，与屏幕显示的页面内容进行交互，在原有图形化交互手段基础上提供了更为方便强大的增强现实技术支持的虚实空间中的交互方式。
综上所述，本发明实现了一种增强现实环境下的屏幕交互方式，通过使用增强现实设备，在虚实空间中将一个不可见的虚拟操作面与真实屏幕完全重合，建立真实屏幕中的每一个像素点与虚拟操作面中的每一个位置坐标的映射关系。用户使用增强现实设备与真实屏幕的交互，实际上是与虚拟操作面上的每一个位置坐标点交互，从而建立用户与真实屏幕之间的数字化交互。针对触屏，在佩戴增强现实设备时，用户可以用手或者手柄与不可见的虚拟操作面相碰撞，触发相应位置的交互事件和增强现实交互反馈。本发明的方法适用于具有触屏功能的显示设备，用户通过眼动查看真实屏幕上显示的内容，在眼睛注视的位置触发交互事件和增强现实交互反馈。还方便了与远处超大屏幕的交互，用户可以用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实大屏，在远处触发所指位置的交互事件和增强现实交互反馈。而且，本发明通过多屏切换可以在真实屏幕的周围放置一些可见的虚拟屏幕来显示当前查看内容的相关内容，用户可以用手势、视线、虚拟手柄射线、设备指向光线等交互手段，实现显示内容的切换，帮助用户进行信息的检索。
本发明的另一实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述面向屏幕的增强现实交互方法中的步骤。
示例性的，所述的计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在计算机可读存储介质中，并由所述处理器执行，以完成本申请所述自监督单目相机深度估计方法中的步骤。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在服务器中的执行过程。
所述服务器可以是智能手机、笔记本、掌上电脑及云端服务器等计算设备。所述服务器可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述服务器还可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(CentraL Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitaL SignaL Processor，DSP)、专用集成电路(AppLication Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieLd-ProgrammabLe Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述服务器的内部存储单元，例如服务器的硬盘或内存。所述存储器也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure DigitaL,SD)卡，闪存卡(FLash Card)等。进一步地，所述存储器还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机可读指令以及所述服务器所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见上文，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请的精神和构思，均应包含在本申请的保护范围之内。
Claims (9)
1.一种面向屏幕的增强现实交互方法，其特征在于，包括以下步骤：
在增强现实设备支持生成的虚实混合空间中，创建虚拟操作平面，调整其形状、大小、位置和角度，使之与真实的屏幕显示区域重合；对应于曲面屏幕，创建虚拟操作曲面，使之尽量与真实的屏幕显示区域重合；虚拟操作平面或曲面统称为虚拟操作面，重合设置完成后，将虚拟操作面设置为虚实混合空间中肉眼不可见，同时将虚拟操作面的状态设置为可响应各种增强现实交互行为的主动响应状态；创建一个或多个的辅助屏幕，将其布置在真实屏幕的周围，辅助真实屏幕显示其他相关内容；
通过空间坐标计算，建立虚实混合空间中，虚拟操作面上各个点的空间坐标与真实屏幕上像素点之间的数学对应关系，虚拟操作面上每个点有唯一与之对应的真实屏幕像素点；
通过图像层面的界面元素提取、图像分割匹配或操作层面的界面窗体结构分析，提取当前屏幕上显示的关键信息和各种可操作控件，包括关键信息和控件的类型、内容及显示位置；
获取能够直接响应的交互事件并发送给操作系统进行响应；
获取关注位置处的关键信息，以增强现实的方式显示该关键信息所对应的辅助提示信息；
碰触真实屏幕周围的虚拟屏幕时，根据事先的约定触发虚拟屏幕与真实屏幕上显示内容的互换；碰触真实屏幕对应的虚拟操作面时，根据事先的约定触发真实屏幕之间显示内容的互换，实现多屏切换和信息显示。
2.根据权利要求1所述面向屏幕的增强现实交互方法，其特征在于，所述建立虚实混合空间中，虚拟操作面上各个点的空间坐标与真实屏幕上像素点之间的数学对应关系为：虚拟操作面碰撞点的三维坐标通过坐标变换转换为二维真实屏幕上的相对坐标。
3.根据权利要求1所述面向屏幕的增强现实交互方法，其特征在于，所述获取能够直接响应的交互事件并发送给操作系统进行响应具体包括：当用手或虚拟操作手柄触碰真实屏幕控件时，感知到手或手柄与不可见的虚拟操作面相碰撞，根据碰撞位置换算出对应真实屏幕上显示区域的位置p1，将碰撞定义为p1处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。
4.根据权利要求1所述面向屏幕的增强现实交互方法，其特征在于，所述获取能够直接响应的交互事件并发送给操作系统进行响应具体包括：当查看真实屏幕上显示的内容时，检测用户的视线与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置p2，将视线与虚拟操作面的碰撞事件定义为p2处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。
5.根据权利要求1所述面向屏幕的增强现实交互方法，其特征在于，所述获取能够直接响应的交互事件并发送给操作系统进行响应具体包括：当用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕时，增强现实设备检测到虚拟射线或指向光线与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置p3，将虚拟射线或虚拟指向光线与虚拟操作面的碰撞事件定义为p3处发生的当前能够直接响应的交互事件，并发送给操作系统进行响应。
6.根据权利要求1所述面向屏幕的增强现实交互方法，其特征在于，所述的关注位置通过以下方式确定：当用手或虚拟操作手柄触碰真实屏幕控件，用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕，或用眼动视线扫视真实屏幕上显示的内容时，增强现实设备检测到交互方式与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置，该位置即为关注位置；
所述以增强现实的方式显示该关键信息所对应的辅助提示信息是指，将与关键信息相关的信息或内容显示在真实屏幕周围的虚拟屏幕上，或以虚拟三维对象的方式显示在关键信息周围，用户可在虚实混合空间中与所显示的内容进行互动和交互。
7.根据权利要求1所述面向屏幕的增强现实交互方法，其特征在于，所述碰触真实屏幕周围的虚拟屏幕方式为通过手势、视线、虚拟手柄射线或设备指向光线来触碰。
8.一种面向屏幕的增强现实交互装置，其特征在于，包括：
交互设备模块：包括增强现实设备和以屏幕为显示终端的实体设备；其中，增强现实设备用于确定场景中虚拟物体和用户的位置信息，提供多种交互方式，采集眼动数据，与实体设备通信，显示辅助提示信息；实体设备用于显示交互的实际页面内容，并根据屏幕相对位置坐标生成对应的网页辅助提示信息，响应该位置处的交互事件，与增强现实设备通信；
模型组件：包括虚拟操作面、菜单面板、由虚拟屏幕组成的待观察页面内容候选区及辅助幕布；
手势交互模块：用于移动虚拟操作面的位置，调整其大小，使之与真实的待观察屏幕重合；选择需要查看的虚拟屏幕呈现的内容；点击菜单面板上的各种功能按键；用手或虚拟操作手柄触碰真实屏幕控件，用虚拟手柄上的虚拟射线指向真实屏幕实现与真实屏幕的交互；
眼动追踪模块：用于采集眼动数据，获取观察真实屏幕时注视点的三维坐标，并将三维坐标转换为相对于屏幕的二维坐标；
通信模块：用于完成增强现实设备给实体设备传递被选作用于观察的页面，以及眼睛或者手势交互模块在虚拟操作面上的碰撞点；还用于完成实体设备给增强现实设备传递页面对应坐标处的辅助提示信息；
辅助信息生成模块：根据所提供的页面以及眼睛或者手势交互模块与虚拟操作面碰撞点转换后的二维相对坐标，返回该坐标对应关键信息的辅助提示信息；
辅助信息增强显示模块：根据得到的辅助提示信息，在对应的用户交互位置，用虚拟三维窗体、虚拟对象或者虚拟指示牌的形式增强显示提示信息。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述面向屏幕的增强现实交互方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111165149.1A CN113961107B (zh) | 2021-09-30 | 2021-09-30 | 面向屏幕的增强现实交互方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111165149.1A CN113961107B (zh) | 2021-09-30 | 2021-09-30 | 面向屏幕的增强现实交互方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113961107A true CN113961107A (zh) | 2022-01-21 |
| CN113961107B CN113961107B (zh) | 2024-04-16 |
Family
ID=79463514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111165149.1A Active CN113961107B (zh) | 2021-09-30 | 2021-09-30 | 面向屏幕的增强现实交互方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113961107B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114415837A (zh) * | 2022-01-25 | 2022-04-29 | 中国农业银行股份有限公司 | 一种操作辅助系统及方法 |
| CN116400839A (zh) * | 2023-06-01 | 2023-07-07 | 北京虹宇科技有限公司 | 一种三维空间中的输入方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| CN108646997A (zh) * | 2018-05-14 | 2018-10-12 | 刘智勇 | 一种虚拟及增强现实设备与其他无线设备进行交互的方法 |
| CN108762482A (zh) * | 2018-04-16 | 2018-11-06 | 北京大学 | 一种大屏幕和增强现实眼镜间数据交互方法和系统 |
| WO2020228643A1 (zh) * | 2019-05-14 | 2020-11-19 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
| CN112068752A (zh) * | 2020-08-28 | 2020-12-11 | 北京五八信息技术有限公司 | 一种空间展示方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-30 CN CN202111165149.1A patent/CN113961107B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| CN108762482A (zh) * | 2018-04-16 | 2018-11-06 | 北京大学 | 一种大屏幕和增强现实眼镜间数据交互方法和系统 |
| CN108646997A (zh) * | 2018-05-14 | 2018-10-12 | 刘智勇 | 一种虚拟及增强现实设备与其他无线设备进行交互的方法 |
| WO2020228643A1 (zh) * | 2019-05-14 | 2020-11-19 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
| CN112068752A (zh) * | 2020-08-28 | 2020-12-11 | 北京五八信息技术有限公司 | 一种空间展示方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 徐敏;童强;张行文;熊旭辉;许新山;: "增强现实技术在移动学习上的应用研究", 湖北师范大学学报(自然科学版), no. 01, 25 March 2017 (2017-03-25) * |
| 罗康;李欣;: "基于增强现实技术的产品三维展示的实现", 金陵科技学院学报, no. 01, 30 March 2019 (2019-03-30) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114415837A (zh) * | 2022-01-25 | 2022-04-29 | 中国农业银行股份有限公司 | 一种操作辅助系统及方法 |
| CN116400839A (zh) * | 2023-06-01 | 2023-07-07 | 北京虹宇科技有限公司 | 一种三维空间中的输入方法、装置及设备 |
| CN116400839B (zh) * | 2023-06-01 | 2023-08-22 | 北京虹宇科技有限公司 | 一种三维空间中的输入方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113961107B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220084279A1 (en) | Methods for manipulating objects in an environment | |
| JP5167523B2 (ja) | 操作入力装置および操作判定方法並びにプログラム | |
| CN108762482B (zh) | 一种大屏幕和增强现实眼镜间数据交互方法和系统 | |
| Normand et al. | Enlarging a smartphone with ar to create a handheld vesad (virtually extended screen-aligned display) | |
| US20130154913A1 (en) | Systems and methods for a gaze and gesture interface | |
| Henderson et al. | Opportunistic tangible user interfaces for augmented reality | |
| CN102779000B (zh) | 一种用户交互系统和方法 | |
| Henderson et al. | Opportunistic controls: leveraging natural affordances as tangible user interfaces for augmented reality | |
| WO2012039140A1 (ja) | 操作入力装置および方法ならびにプログラム | |
| CN110968187B (zh) | 由外围设备启用的远程触摸检测 | |
| Budhiraja et al. | Using a HHD with a HMD for mobile AR interaction | |
| CN113961107B (zh) | 面向屏幕的增强现实交互方法、装置及存储介质 | |
| US20170263033A1 (en) | Contextual Virtual Reality Interaction | |
| JP2013016060A (ja) | 操作入力装置および操作判定方法並びにプログラム | |
| US20190050132A1 (en) | Visual cue system | |
| Shim et al. | Gesture-based interactive augmented reality content authoring system using HMD | |
| US10621766B2 (en) | Character input method and device using a background image portion as a control region | |
| CN113849112B (zh) | 适用于电网调控的增强现实交互方法、装置及存储介质 | |
| Shajideen et al. | Hand gestures-virtual mouse for human computer interaction | |
| CN115328304A (zh) | 一种2d-3d融合的虚拟现实交互方法及设备 | |
| CN111901518B (zh) | 显示方法、装置和电子设备 | |
| Malik | An exploration of multi-finger interaction on multi-touch surfaces | |
| CN111708504A (zh) | 一种扩展屏幕的显示方法 | |
| JP2012048656A (ja) | 画像処理装置、画像処理方法 | |
| JP6699406B2 (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |