CN115268751A - 一种基于虚拟显示平面的操控方法与设备 - Google Patents
一种基于虚拟显示平面的操控方法与设备 Download PDFInfo
- Publication number
- CN115268751A CN115268751A CN202210263151.0A CN202210263151A CN115268751A CN 115268751 A CN115268751 A CN 115268751A CN 202210263151 A CN202210263151 A CN 202210263151A CN 115268751 A CN115268751 A CN 115268751A
- Authority
- CN
- China
- Prior art keywords
- display plane
- virtual display
- effective
- plane
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 230000008859 change Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本申请的目的是提供一种虚拟显示平面的操控方法与设备。与现有技术相比，本申请当基于第一触发指令进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息，并基于所述第一距离信息构建一个或多个虚拟显示平面，其中，所述虚拟显示平面与所述实体显示平面上的点的位置基于第一映射关系一一对应，基于所述第一距离信息以及所述多个虚拟显示平面距离所述实体显示平面的多个第二距离信息，从所述多个虚拟显示平面中确定有效虚拟显示平面，以通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。这种方式提高了用户与虚拟显示平面的交互性，使目标操控点更好操控，降低了延迟性、提高了用户体验。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种用于虚拟显示平面的操控技术。
背景技术
随着计算机、软件、显示设备、人工智能技术的发展，人机交互技术已经从传动的手柄、按键方式转变为触控等交互方式，极大的提高了用户体验，同时随着虚拟现实或增强现实等技术的发展，虚拟触控或者操控技术将成为未来交互技术的主要发展方向，但有限的虚拟触控技术存在交互性低、延迟高等问题。
发明内容
本申请的目的是提供一种用于虚拟显示平面的操控的方法与设备。
根据本申请的一个方面，提供了一种基于虚拟显示平面的操控方法，其中，所述方法包括：
当基于第一触发指令进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息；
基于所述第一距离信息构建一个或多个虚拟显示平面，其中，所述虚拟显示平面与所述实体显示平面上的点的位置基于第一映射关系一一对应；
基于所述第一距离信息以及所述多个虚拟显示平面距离所述实体显示平面的多个第二距离信息，从所述多个虚拟显示平面中确定有效虚拟显示平面，以通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。
其中，所述方法还包括：
当所述目标操控点在所述有效虚拟显示平面上，基于所述第一映射关系确定所述目标操控点在所述实体显示平面上的对应位置，并在该对应位置处生成指示信息。
可选地，其中，若所述有效虚拟显示平面与所述实体显示平面处于同一中轴线，所述方法还包括：
当检测到第二触发指令，获取所述有效虚拟显示平面的初始中心点位置以及所述目标操控点的位置，其中，所述第二触发指令用于触发重新配置所述有效虚拟显示平面的中心点；
基于所述初始中心点位置以及所述目标操控点的位置，重新配置所述有效虚拟显示平面的中心点。
可选地，其中，所述方法还包括：
当检测到所述目标操控点的移动距离大于预设值，基于所述目标操控点的当前位置重新建立一个或多个虚拟显示平面并从所述多个虚拟显示平面中确定有效虚拟显示平面。
可选地，其中，所述方法还包括：
在所述有效虚拟显示平面的预设距离处构建与所述有效虚拟显示平面的点的位置垂直对应的有效虚拟定位平面，其中，所述有效虚拟定位平面与所述实体显示平面上的点的位置基于第二映射关系一一对应，其中，所述通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控包括：
通过所述目标操控点、有效虚拟显示平面及述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控。
进一步地，其中，所述通过所述目标操控点、有效虚拟显示平面及所述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控包括：
当检测到所述目标操控点在所述有效虚拟定位平面上的第一位置，基于所述第二映射关系确定在所述实体显示平面上对应的第二位置；
当检测到所述目标操控点从第一位置移动至所述有效虚拟显示平面的第三位置，基于所述第一映射关系确定在所述实体显示平面上对应的第四位置；
若所述第二位置与所述第四位置的距离小于预设距离阈值，基于预设操控指令对所述第二位置和/或所述第四位置所在位置区域或对象元素进行操控。
进一步地，其中，所述方法还包括：
通过检测所述目标操控点在所述第三位置的停留时长或者检测所述目标操控点在垂直所述有效虚拟显示平面方向上的距离变化或者检测所述目标操控点从所述第三位置的移动距离确定所述预设操控指令。
进一步地，其中，所述方法还包括：
将所述有效虚拟显示平面预设距离范围作为有效操作空间，其中，所述第三位置是基于在所述有效操作空间内所述目标操控点与所述有效虚拟显示平面的正交投影点坐标确定的。
进一步地，其中，所述方法还包括：
当检测到所述目标操控点进入所述有效操作空间内，在所述实体显示平面上生成有效触控指示标识；
当检测到所述目标操控点离开所述有效操作空间内，取消或者改变所述有效触控指示标识。
进一步地，其中，所述方法还包括：
配置所述虚拟显示平面基于所述实体显示平面的缩放参数；
当获取到预设缩放指令，基于所述缩放参数对所述有效虚拟显示平面实现对应的缩放操作，其中，缩放后的有效虚拟显示平面与所述实体显示平面上的点的位置基于第三映射关系一一对应。
可选地，其中，所述有效虚拟显示平面处于可视状态或者不可视状态。
可选地，其中，所述方法还包括：
获取用户触发的多个操控点的位置信息，基于所述多个操控点的位置信息确定目标操控点。
可选地，其中，所述一个或多个虚拟显示平面与所述实体显示平面处在同一平面内或处于所述实体显示平面的前方，且所述多个虚拟显示平面之间以预设距离分布且平行。
根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述方法的操作。
根据本申请的再一方面，还提供了一种基于虚拟显示平面的操控设备，其中，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述方法的操作。
与现有技术相比，本申请中当基于第一触发指令进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息，并基于所述第一距离信息构建一个或多个虚拟显示平面，其中，所述虚拟显示平面与所述实体显示平面上的点的位置基于第一映射关系一一对应，基于所述第一距离信息以及所述多个虚拟显示平面距离所述实体显示平面的多个第二距离信息，从所述多个虚拟显示平面中确定有效虚拟显示平面，以通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。通过这种方式提高了用户与虚拟显示平面的交互性，使目标操控点更好的操控，降低了延迟性、提高了用户体验。
而且，本申请中，当检测到所述目标操控点的移动距离大于预设值，基于所述目标操控点的当前位置重新建立一个或多个虚拟显示平面并从所述多个虚拟显示平面中确定有效虚拟显示平面。这种方式，能够灵活地更改有效虚拟显示平面，提高了灵活性。
此外，在本申请中会在所述有效虚拟显示平面的预设距离处构建与所述有效虚拟显示平面的点的位置垂直对应的有效虚拟定位平面，其中，所述有效虚拟定位平面与所述实体显示平面上的点的位置基于第二映射关系一一对应，其中，所述通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控包括通过所述目标操控点、有效虚拟显示平面及述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控。通过这种方式提高了对对象元素操作的准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种基于虚拟显示平面的操控方法流程图；
图2示出根据本申请一个优选实施例的一种基于虚拟显示平面的操控方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及较佳实施例，对本申请的技术方案，进行清楚和完整的描述。
图1示出本申请一个方面提供的一种基于虚拟显示平面的操控方法，其中，该方法包括：
S11当基于第一触发指令进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息；
S12基于所述第一距离信息构建一个或多个虚拟显示平面，其中，所述虚拟显示平面与所述实体显示平面上的点的位置基于第一映射关系一一对应；
S13基于所述第一距离信息以及所述多个虚拟显示平面距离所述实体显示平面的多个第二距离信息，从所述多个虚拟显示平面中确定有效虚拟显示平面，以通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。
在本申请中所述方法通过设备1执行，在此，所述设备1包括能够实现虚拟触控的任意设备，包括但不限于平板电脑、手机、电脑、抬头显示器(HUD)、VR/AR、智能眼镜等等，在此，所述设备1仅为举例，不做具体限定。
在该实施例中，在所述步骤S11中，所述第一触发指令用以触发实现该方法的执行设备进入虚拟触控模式，例如，所述第一触发指令包括但不限于键盘指令、手势指令或者语音指令等等，例如，以一种具有虚拟触控功能的平板电脑设备为例，当用户因距离设备较远或不便于用手直接触控时，通过预设手势指令或者语音信息激活该设备的虚拟触控模式，该设备响应该触发指令，进入虚拟触控操作模式。
其中，所述目标操控点包括能够通过虚拟显示平面实现对实体显示平面上的对象元素操控的任一操控点，例如，该目标操控点包括但不限于用户的手指、指示棒或者其他预设的能够实现操控的方式。
具体地，当获取到第一触发指令启动进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息，例如，若目标操控点为用户的手指尖，则获取用户的手指尖的当前位置与实体显示平面的距离作为第一距离信息。其中，对于目标操控点的识别可以通过图像识别的方式进行。
优选地，其中，所述方法还包括：获取用户触发的多个操控点的位置信息，基于所述多个操控点的位置信息确定目标操控点。在该实施例中，对于目标操控点的当前位置的确定可以基于统计的方法，例如，若目标操控点为用户的手指尖，则可以获取用户的手或者手指部位的多个点的空间坐标信息，然后基于所述多个点的空间坐标信息确定该目标操控点的当前位置，例如，选取所述多个点的几何中心作为该目标操控点的当前位置。
继续在该实施例中，在所述步骤S12中，基于所述第一距离信息构建一个或多个虚拟显示平面，优选的，其中，所述一个或多个虚拟显示平面距离所述实体显示平面的距离大于、小于或等于所述第一距离信息。例如，在所述第一距离信息所在平面的前后预设距离处确定两个虚拟显示平面，然后基于预设的虚拟显示平面之间的距离确定其他虚拟显示平面，在此，所述一个或多个虚拟显示平面的确定方式仅为举例，不做具体限定。其中，所述第一映射关系用于将所述实体显示平面上的点一一映射至所述一个或多个虚拟显示平面。
优选地，其中，所述一个或多个虚拟显示平面与所述实体显示平面处在同一平面内或处于所述实体显示平面的前方，且所述多个虚拟显示平面之间以预设距离分布且平行。其中，所述前方包括所述实体显示平面的正投影前方或者斜前方。
例如，若第一距离信息为finger_d，实体显示平面为phy_P，在该实体显示平面的正投影方向构建至少1个或多个虚拟显示平面vir_Pi(i∈1～n)(vir_P1、vir_P2……vir_Pn)，其中，各个虚拟显示平面vir_Pi以预设距离分布且平行，其中，vir_Pi距phy_P的距离为vir_di，该vir_Pi平面上的点位置通过第一映射关系与phy_P平面上的点位置一一对应，且当目标操控点在预设条件下处于该虚拟显示平面某位置时，通过第一映射关系对实体显示平面上的对象元素进行操作。
继续在该实施例中，在所述步骤S13中，根据第一距离信息finger_d和每个虚拟显示平面的距离vir_d确定有效虚拟显示平面，例如，当配置多个虚拟显示平面时，距离满足vir_di+h＞finger_d＞vir_di时，则距离为vir_di所在的vir_Pi平面为当前有效虚拟显示平面，其中，vir_di+h＜vir_di+1。将vir_di确定为当前有效虚拟显示平面后，进而通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。优选地，其中，所述有效虚拟显示平面处于可视状态或者不可视状态。其中，可视状态为用户肉眼可见状态，在此，所述有效虚拟显示平面是否处于可视状态可由基于用户预先设置确定。
优选地，其中，所述方法还包括：S14(未示出)当所述目标操控点在所述有效虚拟显示平面上，基于所述第一映射关系确定所述目标操控点在所述实体显示平面上的对应位置，并在该对应位置处生成指示信息。
具体地，将当前目标操控点在平面vir_Pi正投影坐标位置(x’，y’，z’)通过第一映射关系(x，y，z)＝f1(x’，y’，z’)，映射到实体显示平面(x，y，z)处，并在该对应位置处生成指示信息。在此，所述指示信息可以基于预设的图标呈现，例如，指示信息为手指图标指示信息，在此，所述指示信息仅为举例，不做具体限定。
优选地，其中，若所述有效虚拟显示平面与所述实体显示平面处于同一中轴线，所述方法还包括：
当检测到第二触发指令，获取所述有效虚拟显示平面的初始中心点位置以及所述目标操控点的位置，其中，所述第二触发指令用于触发重新配置所述有效虚拟显示平面的中心点；
基于所述初始中心点位置以及所述目标操控点的位置，重新配置所述有效虚拟显示平面的中心点。
具体地，在确定了有效虚拟显示平面之后，还可以重新配置有效虚拟显示平面中心，例如，当确定有效虚拟显示平面后，由于用户可能在屏幕非正前方，因此需要调整有效虚拟显示平面中心点。其中，所述第二触发指令用于触发重新配置有效虚拟显示平面中心，例如，所述第二触发指令包括但不限于预设手势指令或者预设语音指令等等。
例如，在一种情形中，初始状态时默认虚拟显示平面中心与实体显示平面中心处于同一中轴线，并从多个虚拟显示平面中选定有效虚拟显示平面，此时，默认当前同轴有效虚拟显示平面为当前可操作面，当检测到重新配置有效虚拟显示平面中心的指令时，如五指张开、三指张开、握拳等手势指令时，表示需要重新配置有效虚拟显示平面中心，即用户可在一定可视范围内在不正对屏幕时完成整个虚拟触控操作。
具体地，以目标操控点为用户手指为例，先获取初始状态时有效虚拟显示平面中心点原始坐标(x0’，y0’，z0’)，初始状态时该中心点与屏幕中心点在同一中轴线，然后获取当前用户手指指定中心点坐标(a，b，c)，计算当前手指指定坐标(a，b，c)与有效虚拟显示平面中心点原始坐标(x0’，y0’，z0’)间的差值(dx，dy，dz)，进一步地，基于偏离差值(dx，dy)重新校正修订有效虚拟显示平面中心位置(x0’+dx，y0’+dy，z0’)。
优选地，其中，所述方法还包括：S15(未示出)当检测到所述目标操控点的移动距离大于预设值，基于所述目标操控点的当前位置重新建立一个或多个虚拟显示平面并从所述多个虚拟显示平面中确定有效虚拟显示平面。具体地，在初次确定出有效虚拟显示平面后，为通过所述有效虚拟显示平面实现操控，目标操控点会在该有效虚拟显示平面附近处移动，但若目标操控点移动到距离该当前有效虚拟显示平面较远处，比如大于预设距离处时，可在移动到的新位置处重新建立新的有效虚拟显示平面，优选地，可基于预设指令进行触发，以重新建立新的有效虚拟显示平面，在此，所述预设指令不做具体限定。
优选地，其中，所述方法还包括：
S16(未示出)在所述有效虚拟显示平面的预设距离处构建与所述有效虚拟显示平面的点的位置垂直对应的有效虚拟定位平面，其中，所述有效虚拟定位平面与所述实体显示平面上的点的位置基于第二映射关系一一对应，其中，所述通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控包括：通过所述目标操控点、有效虚拟显示平面及述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控。
在该实施例中，为了实现对实体显示平面上的对象元素的准确操控，增加了有效虚拟定位平面来实现对对象元素或者区域的预定位和预选择。
优选地，其中，所述通过所述目标操控点、有效虚拟显示平面及所述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控包括：
当检测到所述目标操控点在所述有效虚拟定位平面上的第一位置，基于所述第二映射关系确定在所述实体显示平面上对应的第二位置；
当检测到所述目标操控点从第一位置移动至所述有效虚拟显示平面的第三位置，基于所述第一映射关系确定在所述实体显示平面上对应的第四位置；
若所述第二位置与所述第四位置的距离小于预设距离阈值，基于预设操控指令对所述第二位置和/或所述第四位置所在位置区域或对象元素进行操控。其中，若所述第二位置与所述第四位置的距离大于预设距离阈值，则当前操作无效，并在实体显示平面上对应的第四位置处生成提示标志信息，例如，图标或者文字等等。
优选地，其中，所述方法还包括：通过检测所述目标操控点在所述第三位置的停留时长或者检测所述目标操控点在垂直所述有效虚拟显示平面方向上的距离变化或者检测所述目标操控点从所述第三位置的移动距离确定所述预设操控指令。具体地，所述预设参考指令包括但不至于单击、双击或移动指令等等。如双击，可通过检测手指在短时间内的距离变化频率、幅度经过滤波处理后作为响应指令，其中，当大于预设时长时可定义为选定或者唤醒事件指令、若选定且移动至新位置后定义为移动事件指令、若停留时间小于预设时长可定义为选中单击事件等等。
优选地，其中，所述方法还包括：将所述有效虚拟显示平面预设距离范围作为有效操作空间，其中，所述第三位置是基于在所述有效操作空间内所述目标操控点与所述有效虚拟显示平面的正交投影点坐标确定的。在此，当超出所述有效操作空间时，操作无效。通过这种方式，能够提高操控的灵敏度及准确度。
如图2示出根据本申请一个优选实施例的一种基于虚拟显示平面的操控方法流程图。其中，虚线框内为有效操作空间，当手指可在该有效操作空间内移动。
优选地，其中，所述方法还包括：当检测到所述目标操控点进入所述有效操作空间内，在所述实体显示平面上生成有效触控指示标识；当检测到所述目标操控点离开所述有效操作空间内，取消或者改变所述有效触控指示标识。
具体地，若目标操控点为用户手指，当用户手指进入有效虚拟显示平面所在的有效操作空间时，实体显示平面在显示屏图形界面周围生成有效触控指示标识，所述有效触控指示标识可以是以不同颜色填充，用于提示用户当前可对填充的图像界面及其对象元素进行操作；当检测到用户在手指离开有效操作空间后，可通过配置显示屏周边不同色彩或取消该指示标识，提示用户离开了有效操作空间。
进一步地，可通过改变所述指示颜色深浅提示用户当前手指距离有效虚拟显示平面距离远近。由于在实际触控操作过程中，手指可能距有效定位平面有一定距离，此时当由于手指还处于有效操作空间中，获取当前有效定位平面上的第一位置是通过手指坐标在有效定位平面上的正投影来确定第一位置，因此若距离较远则在对界面进行连续操作时造成第二位置点漂移不准，若手指距离有效定位平面越近则可以尽可能的降低漂移带来的误操作事件。
进一步地，设备可被配置随时更新有效虚拟显示平面，当用户离开当前第一有效虚拟显示平面区域后进入其他第二有效虚拟显示平面所在区域后，则配置该第二有效虚拟显示平面为当前有效操作平面，由于人手在空中触控操作时，姿态位置随意性较大，因此设置多个虚拟显示平面作为备选，在手指距离发生变化时可随时保证用户操控处于有效操作空间内。
优选地，其中，所述方法还包括：
配置所述虚拟显示平面基于所述实体显示平面的缩放参数；
当获取到预设缩放指令，基于所述缩放参数对所述有效虚拟显示平面实现对应的缩放操作，其中，缩放后的有效虚拟显示平面与所述实体显示平面上的点的位置基于第三映射关系一一对应。
具体地，由于实体显示平面过小或过大(如手机屏幕、大尺寸投影界面或显示器等)，通常生成的虚拟显示平面与实体显示平面大小正对，且两个平面上点一一对应，也即界面尺寸一致，因此，通常实体显示平面对应的虚拟显示平面大小被限定，但虚拟触控过程中人手移动自由度较大且触摸分辨率低，在过小情况下很容易超出虚拟显示平面边沿范围，若过大则很难对触控平面边缘位置进行操作，同时容易误触发，为虚拟触控操作带了很大的不便性。
所以，为了消除因虚拟显示平面过小或过大以及触控分辨率低等带来的操作不便的问题，本发明还提出通过配置虚拟显示平面缩放参数，对虚拟界面大小根据原实体显示平面屏幕尺寸及用户初始状态时手指距离等信息，对虚拟显示平面生成大小进行配置，具体包括：
获取实体显示平面的尺寸参数及当前手指位置距离参数；
根据该上述参数，确定虚拟显示平面尺寸缩放系数
基于第三映射关系函数f3及缩放系数生成新的虚拟显示平面，同理对虚拟定位平面按上述方法缩放处理；
获取当前手指触摸位置信息，并根据第三映射关系函数f3，将当前位置信息转换为原尺寸条件下的位置信息，然后根据第一映射关系f1和/或第二映射关系f2，获取实体显示平面上的第二和/或第四位置信息，并根据预设操作指令执行对应操作；
其中，第三映射关系函数f3：
s＝缩放系数
src_x:原虚拟触控平面横坐标
src_y:原虚拟触控平面纵坐标
des_x:缩放后虚拟触控平面横坐标
des_y:缩放后虚拟触控平面横坐标
src_w:原虚拟触控平面宽
des_w:缩放后虚拟触控平面宽
src_h:原虚拟触控平面高
des_h:缩放后拟触控平面高
其中，大尺寸向小尺寸平面进行位置映射或小尺寸向大尺寸平面进行位置映射时，会出现多个大尺寸平面位置点对应一个小尺寸平面位置点，反之亦然。则将经过f3映射计算后的坐标中的x、y进行取整运算(四舍五入、向上/向下取整等)后，作为映射变换后的最终坐标数据。
与现有技术相比，本申请中当基于第一触发指令进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息，并基于所述第一距离信息构建一个或多个虚拟显示平面，其中，所述虚拟显示平面与所述实体显示平面上的点的位置基于第一映射关系一一对应，基于所述第一距离信息以及所述多个虚拟显示平面距离所述实体显示平面的多个第二距离信息，从所述多个虚拟显示平面中确定有效虚拟显示平面，以通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。通过这种方式提高了用户与虚拟显示平面的交互性，使目标操控点更好的操控，降低了延迟性、提高了用户体验。
而且，本申请中，当检测到所述目标操控点的移动距离大于预设值，基于所述目标操控点的当前位置重新建立一个或多个虚拟显示平面并从所述多个虚拟显示平面中确定有效虚拟显示平面。这种方式，能够灵活地更改有效虚拟显示平面，提高了灵活性。
此外，在本申请中会在所述有效虚拟显示平面的预设距离处构建与所述有效虚拟显示平面的点的位置垂直对应的有效虚拟定位平面，其中，所述有效虚拟定位平面与所述实体显示平面上的点的位置基于第二映射关系一一对应，其中，所述通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控包括通过所述目标操控点、有效虚拟显示平面及述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控。通过这种方式提高了对对象元素操作的准确度。
根据本申请的再一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述方法的操作。
此外，本申请还提供一种基于虚拟显示平面的操控设备，其中，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行前述方法的操作。
例如，计算机可读指令在被执行时使所述一个或多个处理器：当基于第一触发指令进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息；基于所述第一距离信息构建一个或多个虚拟显示平面，其中，所述虚拟显示平面与所述实体显示平面上的点的位置基于第一映射关系一一对应；基于所述第一距离信息以及所述多个虚拟显示平面距离所述实体显示平面的多个第二距离信息，从所述多个虚拟显示平面中确定有效虚拟显示平面，以通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (15)
1.一种基于虚拟显示平面的操控方法，其中，所述方法包括：
当基于第一触发指令进入虚拟触控模式，获取目标操控点的当前位置距离实体显示平面的第一距离信息；
基于所述第一距离信息构建一个或多个虚拟显示平面，其中，所述虚拟显示平面与所述实体显示平面上的点的位置基于第一映射关系一一对应；
基于所述第一距离信息以及所述多个虚拟显示平面距离所述实体显示平面的多个第二距离信息，从所述多个虚拟显示平面中确定有效虚拟显示平面，以通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控。
2.根据权利要求1所述的方法，其中，所述方法还包括：
当所述目标操控点在所述有效虚拟显示平面上，基于所述第一映射关系确定所述目标操控点在所述实体显示平面上的对应位置，并在该对应位置处生成指示信息。
3.根据权利要求1或2所述的方法，其中，若所述有效虚拟显示平面与所述实体显示平面处于同一中轴线，所述方法还包括：
当检测到第二触发指令，获取所述有效虚拟显示平面的初始中心点位置以及所述目标操控点的位置，其中，所述第二触发指令用于触发重新配置所述有效虚拟显示平面的中心点；
基于所述初始中心点位置以及所述目标操控点的位置，重新配置所述有效虚拟显示平面的中心点。
4.根据权利要求1或2所述的方法，其中，所述方法还包括：
当检测到所述目标操控点的移动距离大于预设值，基于所述目标操控点的当前位置重新建立一个或多个虚拟显示平面并从所述多个虚拟显示平面中确定有效虚拟显示平面。
5.根据权利要求1所述的方法，其中，所述方法还包括：
在所述有效虚拟显示平面的预设距离处构建与所述有效虚拟显示平面的点的位置垂直对应的有效虚拟定位平面，其中，所述有效虚拟定位平面与所述实体显示平面上的点的位置基于第二映射关系一一对应，其中，所述通过所述目标操控点及有效虚拟显示平面实现对所述实体显示平面上的对象元素的操控包括：
通过所述目标操控点、有效虚拟显示平面及述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控。
6.根据权利要求5所述的方法，其中，所述通过所述目标操控点、有效虚拟显示平面及所述所有效虚拟定位平面实现对所述实体显示平面上的对象元素的操控包括：
当检测到所述目标操控点在所述有效虚拟定位平面上的第一位置，基于所述第二映射关系确定在所述实体显示平面上对应的第二位置；
当检测到所述目标操控点从第一位置移动至所述有效虚拟显示平面的第三位置，基于所述第一映射关系确定在所述实体显示平面上对应的第四位置；
若所述第二位置与所述第四位置的距离小于预设距离阈值，基于预设操控指令对所述第二位置和/或所述第四位置所在位置区域或对象元素进行操控。
7.根据权利要求6所述的方法，其中，所述方法还包括：
通过检测所述目标操控点在所述第三位置的停留时长或者检测所述目标操控点在垂直所述有效虚拟显示平面方向上的距离变化或者检测所述目标操控点从所述第三位置的移动距离确定所述预设操控指令。
8.根据权利要求6或7所述的方法，其中，所述方法还包括：
将所述有效虚拟显示平面预设距离范围作为有效操作空间，其中，所述第三位置是基于在所述有效操作空间内所述目标操控点与所述有效虚拟显示平面的正交投影点坐标确定的。
9.根据权利要求8所述的方法，其中，所述方法还包括：
当检测到所述目标操控点进入所述有效操作空间内，在所述实体显示平面上生成有效触控指示标识；
当检测到所述目标操控点离开所述有效操作空间内，取消或者改变所述有效触控指示标识。
10.根据权利要求1至9中任一项所述的方法，其中，所述方法还包括：
配置所述虚拟显示平面基于所述实体显示平面的缩放参数；
当获取到预设缩放指令，基于所述缩放参数对所述有效虚拟显示平面实现对应的缩放操作，其中，缩放后的有效虚拟显示平面与所述实体显示平面上的点的位置基于第三映射关系一一对应。
11.根据权利要求1至10中任一项所述的方法，其中，所述有效虚拟显示平面处于可视状态或者不可视状态。
12.根据权利要求1至11中任一项所述的方法，其中，所述方法还包括：
获取用户触发的多个操控点的位置信息，基于所述多个操控点的位置信息确定目标操控点。
13.根据权利要求1至12中任一项所述的方法，其中，所述一个或多个虚拟显示平面与所述实体显示平面处在同一平面内或处于所述实体显示平面的前方，且所述多个虚拟显示平面之间以预设距离分布且平行。
14.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至13中任一项所述的方法。
15.一种基于虚拟显示平面的操控设备，其中，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至13中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210263151.0A CN115268751A (zh) | 2022-03-17 | 2022-03-17 | 一种基于虚拟显示平面的操控方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210263151.0A CN115268751A (zh) | 2022-03-17 | 2022-03-17 | 一种基于虚拟显示平面的操控方法与设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115268751A true CN115268751A (zh) | 2022-11-01 |
Family
ID=83758472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210263151.0A Pending CN115268751A (zh) | 2022-03-17 | 2022-03-17 | 一种基于虚拟显示平面的操控方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115268751A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294377A (zh) * | 2012-02-28 | 2013-09-11 | 深圳泰山在线科技有限公司 | 虚拟屏的标定方法及系统 |
| CN105094675A (zh) * | 2015-07-28 | 2015-11-25 | 中国联合网络通信集团有限公司 | 一种人机交互方法及触屏可穿戴设备 |
| CN107390922A (zh) * | 2017-06-30 | 2017-11-24 | 广东欧珀移动通信有限公司 | 虚拟触控方法、装置、存储介质及终端 |
| CN107678540A (zh) * | 2017-09-08 | 2018-02-09 | 广东广业开元科技有限公司 | 基于深度传感器的虚拟触屏人机交互方法、系统及装置 |
| WO2019218815A1 (zh) * | 2018-05-18 | 2019-11-21 | 腾讯科技（深圳）有限公司 | 虚拟场景中的标记元素显示方法、装置、计算机设备及计算机可读存储介质 |
-
2022
- 2022-03-17 CN CN202210263151.0A patent/CN115268751A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294377A (zh) * | 2012-02-28 | 2013-09-11 | 深圳泰山在线科技有限公司 | 虚拟屏的标定方法及系统 |
| CN105094675A (zh) * | 2015-07-28 | 2015-11-25 | 中国联合网络通信集团有限公司 | 一种人机交互方法及触屏可穿戴设备 |
| CN107390922A (zh) * | 2017-06-30 | 2017-11-24 | 广东欧珀移动通信有限公司 | 虚拟触控方法、装置、存储介质及终端 |
| CN107678540A (zh) * | 2017-09-08 | 2018-02-09 | 广东广业开元科技有限公司 | 基于深度传感器的虚拟触屏人机交互方法、系统及装置 |
| WO2019218815A1 (zh) * | 2018-05-18 | 2019-11-21 | 腾讯科技（深圳）有限公司 | 虚拟场景中的标记元素显示方法、装置、计算机设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11422694B2 (en) | Disambiguation of multitouch gesture recognition for 3D interaction | |
| US11290651B2 (en) | Image display system, information processing apparatus, image display method, image display program, image processing apparatus, image processing method, and image processing program | |
| US20170315720A1 (en) | Method and apparatus for performing touch operation in a mobile device | |
| KR101735442B1 (ko) | 표시장치에서 객체의 오리엔테이션을 조작하기 위한 장치 및 방법 | |
| US20150355827A1 (en) | User control of the trade-off between rate of navigation and ease of acquisition in a graphical user interface | |
| CN111443863A (zh) | 页面操控方法、装置、存储介质及终端 | |
| CN114546212B (zh) | 界面显示状态的调整方法及装置、设备、存储介质 | |
| CN106897321B (zh) | 显示地图数据的方法及装置 | |
| US11275501B2 (en) | Creating tables using gestures | |
| CN111833243B (zh) | 一种数据展示方法、移动终端和存储介质 | |
| CN111427505A (zh) | 页面操作方法、装置、终端及存储介质 | |
| CN105912101B (zh) | 一种投影控制方法和电子设备 | |
| CN113559501B (zh) | 游戏中的虚拟单位选取方法及装置、存储介质及电子设备 | |
| US10073612B1 (en) | Fixed cursor input interface for a computer aided design application executing on a touch screen device | |
| CN107967091B (zh) | 一种人机交互方法及用于人机交互的计算设备 | |
| CN115268751A (zh) | 一种基于虚拟显示平面的操控方法与设备 | |
| EP2791773B1 (en) | Remote display area including input lenses each depicting a region of a graphical user interface | |
| CN113457144B (zh) | 游戏中的虚拟单位选取方法及装置、存储介质及电子设备 | |
| CN110941389A (zh) | 一种焦点触发ar信息点的方法及装置 | |
| CN112308767A (zh) | 一种数据展示方法、装置、存储介质以及电子设备 | |
| CN106371642A (zh) | 一种触摸屏设备的处理方法和装置 | |
| KR100537568B1 (ko) | 숫자키를 이용한 커서 이동방법 및 장치 | |
| JP2006139806A (ja) | 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法 | |
| CN112306344A (zh) | 一种数据处理方法及移动终端 | |
| CN117784919A (zh) | 虚拟输入设备的显示方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |