CN114167997B - 一种模型显示方法、装置、设备和存储介质 - Google Patents
一种模型显示方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114167997B CN114167997B CN202210137976.8A CN202210137976A CN114167997B CN 114167997 B CN114167997 B CN 114167997B CN 202210137976 A CN202210137976 A CN 202210137976A CN 114167997 B CN114167997 B CN 114167997B
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- position information
- model
- information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本公开涉及一种模型显示方法、装置、设备和存储介质。方法具体包括:实时获取操控输入设备的手部对应的手部模型在虚拟现实场景中的第一定位信息,同时接收输入设备的输入信号,并确定输入信号对应的按键在三维模型中的位置信息,随后根据输入信号对应的按键在三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息,并在虚拟现实系统对应的虚拟现实场景中、第二定位信息处显示三维模型,能够将现实空间中的输入设备对应的模型准确的显示在虚拟现实场景中,方法简便,便于实施。
Description
技术领域
本公开涉及数据技术领域,尤其涉及一种模型显示方法、装置、设备和存储介质。
背景技术
目前,在虚拟现实应用场景中,要实现虚拟和现实的交互,通常需要识别现实中设备的整体外形,或是在设备上安装其他装置,来对设备进行识别和定位,但是,设备在操作的过程中会存在被手部大面积遮挡的情况,通过拍摄图像识别和定位的准确性比较低;对于在设备上安装其他装置的方法,需要预先通过繁琐的步骤安装其他装置,无法在实际应用中便捷的使用,受到的限制比较多。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种模型显示方法、装置、设备和存储介质,能够虚拟现实场景中快速准确的显示键盘模型,操作简便,便于后续根据虚拟现实场景中的键盘模型,使用键盘设备进行交互操作。
第一方面,本公开实施例提供了一种模型显示方法,包括:
获取手部对应的手部模型在虚拟现实系统中的第一定位信息;
接收输入设备的至少一个输入信号;
根据输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息;
在虚拟现实系统的虚拟场景中、第二定位信息处显示三维模型。
可选的,根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息,包括:
根据至少一个输入信号中任一输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息中的空间位置信息,确定三维模型的空间位置信息;
根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息;
根据三维模型的空间位置信息和三维模型的姿态信息,确定三维模型在虚拟现实系统中的第二定位信息。
可选的,根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,包括:
根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键的空间位置信息;
根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向;
根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。
可选的,根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,包括:
若预设数量为第一数量,则根据第一数量的第一定位信息中的空间位置信息,确定三维模型所在平面的空间位置信息;
基于第一数量的按键构成的多边形的朝向、第一数量的空间位置信息和第一数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,包括:
若预设数量为第二数量,则确定手部模型中按下第二数量的按键的目标部位;
根据第一定位信息中的姿态信息,确定目标部位所在平面的空间位置信息和目标部位的朝向;
基于目标部位所在平面的空间位置信息进行推算,确定三维模型所在平面的空间位置信息;
根据目标部位的朝向确定第二数量的按键的朝向,并基于按键的朝向和第二数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,显示三维模型之后,方法还包括:
若接收到输入设备的至少一个输入信号,则在三维模型中显示至少一个输入信号对应的按键的被操控效果。
可选的,输入设备包括键盘和鼠标。
可选的,在虚拟现实系统的虚拟场景中、第二定位信息处显示三维模型后,方法还包括:
接收输入设备的输入信号,得到更新后的输入信号;
获取更新后的第一定位信息;
根据更新后的输入信号和更新后的第一定位信息,在虚拟现实场景中更新三维模型。
第二方面,本公开实施例提供了一种模型显示装置,包括:
获取单元,用于获取手部对应的手部模型在虚拟现实系统中的第一定位信息;
接收单元,用于接收输入设备的至少一个输入信号;
确定单元,用于根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息;
显示单元,用于在虚拟现实系统的虚拟场景中、第二定位信息处显示三维模型。
第三方面,本公开实施例提供了一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如上述的模型显示方法。
第四方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述的模型显示方法的步骤。
本公开实施例提供的一种模型显示方法,实时获取手部对应的手部模型在虚拟现实系统中的第一定位信息,也可以显示手部模型,接收输入设备的输入信号,并确定输入信号对应的按键在输入设备对应的三维模型中的位置信息,随后将输入信号对应的按键在三维模型中的位置信息和手部模型在虚拟现实系统中的第一定位信息对应,确定三维模型在虚拟现实系统中的第二定位信息,随后在虚拟现实系统对应的虚拟现实场景中、第二定位信息处显示三维模型。本公开的模型显示方法,通过手部按键的方式,不需要拍摄输入设备的图像,不受手部遮挡输入设备问题的影响,且也不需要安装外置装置,就能够在虚拟现实场景中快速准确的显示现实空间中的输入设备对应的三维模型,在实际应用中能够快速上手,方便性大大提升,也便于后续用户根据虚拟现实场景中显示的三维模型高效的使用输入设备进行交互操作。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种虚拟现实设备的示意图;
图2为本公开实施例提供的一种模型显示方法的流程示意图;
图3a为本公开实施例提供的另一种应用场景的示意图;
图3b为本公开实施例提供的一种键盘的示意图;
图3c为本公开实施例提供的一种虚拟现实场景的示意图;
图4为本公开实施例提供的一种模型显示方法的流程示意图;
图5为本公开实施例提供的一种模型显示方法的流程示意图;
图6为本公开实施例提供的一种模型显示装置的结构示意图;
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
随着虚拟现实技术的快速发展,基于虚拟现实技术的设备被广泛应用,例如图1所示的虚拟现实设备100,图1所示的虚拟现实设备100可以称为头戴式显示器,一种可行的实现方式为:头戴式显示器执行本公开提供的模型显示方法,三维模型具体可以显示在头戴式显示器的显示屏幕上;另一种可行的实现方式为,头戴式显示器获取输入信号,将输入信号传输至头戴式显示器连接的主机进行处理得到第二定位信息,随后主机将第二定位信息发送至头戴式显示器,头戴式显示器基于第二定位信息显示三维模型,实现虚拟和现实的交互。
针对上述技术问题,本公开实施例提供了一种模型显示方法,通过实时获取用户控制输入设备的手部对应的手部模型在虚拟现实系统中的第一定位信息,随后接收输入设备发出的一个或多个输入信号,确定输入信号对应的按键,最后将确定的按键在三维模型上的位置信息和手部模型在虚拟现实系统上的第一行为信息对应,确定三维模型在虚拟现实系统中的第二定位信息,随后基于该第二定位信息将三维模型在虚拟现实系统对应的虚拟现实场景中显示出来,不需要安装其他设备就能够将现实空间中的输入设备对应的三维模型准确的映射到虚拟现实场景中,且能够最大限度降低遮挡的影响,用户还可以在虚拟现实场景中观看到手部模型显示在三维模型上,可以准确的确定在现实空间中,用户手部在输入设备上的具体位置,便于后续根据虚拟现实场景中显示的三维模型和手部模型的状况,高效的使用输入设备进行交互。具体的,通过下述一个或多个实施例对模型显示方法进行详细说明。
图2为本公开实施例提供的一种模型显示方法的流程示意图,应用于虚拟现实系统,具体包括如图2所示的步骤S210至S250:
可理解的,输入设备包括键盘和鼠标,下述实施例以输入设备是键盘为例进行说明。
示例性的,参见图3a,图3a为本公开实施例提供的另一种应用场景的示意图,图3a中包括键盘310、头戴式显示器320和用户手部330,用户头部佩戴头戴式显示器320,用户手部330操作键盘310,用户手部330是指用户双手,用户双手操控键盘310,按下按键A会产生一个键盘信号,键盘310的操作效果为按键A按下和按键A抬起,按下按键W会产生一个键盘信号,按键W同样会产生按键W按下和按键W抬起的效果;其中,键盘310内按键的具体布局如图3b中所示的键盘310,图3c中的340是图3a中头戴式显示器320上运行的虚拟现实软件系统内构建的场景,可以称为虚拟现实场景340。
针对上述用户和虚拟场景的交互存在的问题,本公开实施例提供的方法能够根据键盘310在现实空间中的空间位置和姿态,将键盘310对应的键盘模型350映射到头戴式显示器320构建的虚拟现实场景340中,实现用户观看虚拟现实场景340中显示的键盘310对应的键盘模型350来了解并操控键盘310,可理解的是,用户实际操作键盘310的情况和虚拟现实场景中显示的情况在一定程度上是同步的,例如,在图3c中,虚拟现实场景340中显示手部模型360中右手放置在键盘模型350右侧数字区域,此时,现实空间中,也就是图3a的场景中,用户手部330也放置在键盘310的右侧数字区域,便于用户根据虚拟现实场景340中显示的情况,操作现实空间中键盘310。
S210、获取手部对应的手部模型在虚拟现实系统中的第一定位信息。
可理解的,虚拟现实系统包括上述图1中头戴式显示器(虚拟现实设备)和虚拟现实软件系统,例如虚拟现实软件系统可以指头戴式显示器上运行的操作系统,还可以指和头戴式显示器相连的主机上的操作系统。
可理解的,可以采用相关技术中图像识别或者手部跟踪设备来确定用户手部对应的手部模型在虚拟现实系统中的第一定位信息,手部跟踪设备可以佩戴在用户的双手上,对手部跟踪设备不作限定,只要可以根据手部轮廓构建完整的手部模型、展示手部姿势以及确定手部模型在虚拟现实系统中的第一定位信息即可。虚拟现实软件系统还可以根据获取的手部模型的模型信息,构建手部模型,随后根据第一定位信息将手部模型在虚拟现实系统对应的虚拟现实场景中进行显示,其中第一定位信息包括位置信息和姿态信息。
示例性的,图3a中显示的头戴式显示器320会配置多个摄像头,用于实时拍摄用户头部周围的环境信息,根据环境信息构建目标空间,目标空间可以是以头戴式显示器为中心构建的立体空间,上述应用场景中的键盘310和用户手部330就在确定的目标空间内,手部模型在虚拟现实系统中的第一定位信息也就是手部模型在目标空间的定位信息,虚拟现实场景中显示目标空间内的物体,也就是实现虚拟现实场景和目标空间的交互。第一定位信息包括位置信息和姿态信息,姿态信息是指在目标空间中的旋转角、俯仰角和翻滚角等,位置信息是指是指在目标空间内的三维坐标。
S220、接收输入设备的至少一个输入信号。
可理解的,在上述S210的基础上,虚拟现实软件系统接收键盘设备的至少一个输入信号,输入信号是指键盘设备上每个按键的按下或抬起时产生的信号,每个按键产生的信号不同,也就是键盘设备上的每个按键都存在对应的信号,虚拟现实软件系统可以根据接收到的信号判断是哪个按键产生的。可理解的是,在图3a所示的应用场景中,键盘310可以和头戴式显示器320连接,头戴式显示器320上运行虚拟现实软件系统,头戴式显示器320相当于一体机,同时虚拟现实软件系统可以对头戴式显示器320进行控制,虚拟现实软件系统执行本公开提供的模型显示方法。
可理解的,虚拟现实软件系统还可以接收鼠标按下按键产生的输入信号,输入设备为鼠标时的鼠标模型的显示方法和键盘模型的显示方法相同,在此不作赘述。
S230、根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息。
可选的,在确定三维模型在虚拟现实系统中的第二定位信息之前,需要确定输入设备对应的三维模型,具体包括:获取输入设备的配置信息,配置信息包括型号信息;根据型号信息,确定输入设备对应的三维模型。
示例性的,键盘设备的输入信号的按键为A,在键盘模型中找到按键A的位置信息,在虚拟现实场景中,显示的手部模型中左手中指按下了按键A,也就是现实空间中用户左手的中指按下了物理键盘上的按键A,产生了关于按键A的输入信号,现实空间中的手部状态发生了变化,在虚拟现实场景中显示的手部模型也会同步发生改变,此时,获取手部模型的左手中指在虚拟现实系统中的第一定位信息,也就是手部模型的左手中指在目标空间中的第一定位信息,将手部模型的左手中指在虚拟现实系统中的第一定位信息和键盘模型上字符A的位置信息对应,即键盘模型上字符A的位置信息和手部模型的左手中指在虚拟现实系统中的第一定位信息相同。最后,根据键盘模型上字符A的位置信息,将包括按键A的键盘模型映射到虚拟现实场景中,在虚拟现实场景中就可以观看到手部模型的左手中指与键盘模型的按键A有接触。
可理解的,在确定键盘模型后,每个按键在键盘模型上的位置信息就确定了,每个按键在键盘模型上的位置信息也是固定的,或是可以确定的,每个按键在键盘模型上的位置信息包括每个按键在键盘模型上的距离、每个按键之间的空间距离和每个按键之间的相对位置,还可以是按键相对预设标识之间的空间距离和相对位置,预设标识可以是预先在键盘设备上设置的,预设标识在键盘上的位置不作限定,例如预设标识可以是白色的点,其中每个型号的键盘对应的三维模型上的按键之间的距离以及按键之间的方向是固定的,例如,不管键盘模型的位置以及姿态信息,按键A和按键W之间的空间距离是固定的,按键W在按键A的斜上方的相对位置关系也是固定的。
可选的,根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息,包括:根据至少一个输入信号中任一输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息中的空间位置信息,确定三维模型的空间位置信息;根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息;根据三维模型的空间位置信息和三维模型的姿态信息,确定三维模型在虚拟现实系统中的第二定位信息。
可理解的,获取手部模型在虚拟现实系统中的第一定位信息,也就是手部模型在上述目标空间中的第一定位信息,具体是指现实空间中手指按下按键时,手部模型中该手指在目标空间中的第一定位信息,因为手部模型中该手指也对应执行了按下操作,所以可以按照预设规则,根据手部模型中该手指的在目标空间中的第一定位信息中的空间位置信息,得到被按下的按键在目标空间中的空间位置信息,每次手指按下按键均会得到一个输入信号,根据输入信号确定是哪个按键被按下了,进而确定该按键在目标空间中的空间位置信息;确定任一按键的空间位置信息后,根据该按键在三维模型中的位置信息和该按键的空间位置信息,可以确定整个三维模型的空间位置信息。
可理解的,确定键盘设备的空间位置信息后,继续确定键盘设备在目标空间中的姿态信息,主要是确定键盘所在平面和键盘设备朝向,也就确定了三维模型所在的平面和三维模型的朝向。具体的,根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,姿态信息包括横滚角、俯仰角和偏航角,预设数量可以是第一数量或第二数量,第一数量为3个及以上按键,第二数量为3个以下按键。
可理解的,确定三维模型的姿态信息和空间位置信息后,根据三维模型的姿态信息和空间位置信息,确定整个三维模型在目标空间中的第二定位信息。
S240、在虚拟现实系统的虚拟场景中、第二定位信息处显示三维模型。
可理解的,在上述S240的基础上,确定键盘模型在虚拟现实系统中的定位信息后,也就是确定键盘模型在目标空间内的定位信息后,将键盘模型映射到虚拟现实系统构建的虚拟现实场景中,也就是将确定的键盘对应的待显示的键盘模型在虚拟现实系统中虚拟现实软件系统所构建的虚拟现实场景中显示出来。在虚拟现实场景中该三维模型在目标空间中的位置和姿态和键盘(物理键盘)在现实空间的位置和姿态相同,用户可以通过头戴式显示器中显示屏幕上显示的虚拟现实场景中键盘模型的状态,来确定现实空间中物理键盘的情况,进而去控制物理键盘实现文字的快速输入或其他功能。
可选的,显示三维模型之后,方法还包括:若接收到输入设备的至少一个输入信号,则在三维模型中显示至少一个输入信号对应的按键的被操控效果。
可理解的,在虚拟现实场景显示三维模型后,用户在现实中使用输入设备后,例如按下输入设备的某一按键后,该按键产生输入信号,虚拟现实软件系统接收到该输入信号后,在三维模型中显示该按键被按下的被操控效果。
本公开实施例提供的一种模型显示方法,确定输入设备对应的三维模型,同时实时获取手部对应的手部模型在虚拟现实系统中的定位信息,也可以显示手部模型,接收输入设备的输入信号,并确定输入信号对应的按键在三维模型中的位置信息,随后将输入信号对应的按键在三维模型中的位置信息和手部模型在虚拟现实系统中的定位信息对应,确定三维模型在虚拟现实系统中的定位信息,随后将三维模型映射到虚拟现实系统对应的虚拟现实场景中。本公开的三维模型的映射方法,能够将现实空间中的输入对应的三维模型准确的映射到虚拟现实场景中,方法简便,不需要外接其他设备,且能够对大限度的减少遮挡的影响,用户可以在虚拟现实场景中观看到手部模型显示在三维模型上,便于后续根据虚拟现实场景中显示的三维模型,高效的使用输入设备进行交互。
在上述实施例的基础上,图4为本公开实施例提供的一种模型显示方法的流程示意图,可选的,根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,具体还包括如图4所示的如下步骤S410至S430:
S410、根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键的空间位置信息。
可理解的,手部按下按键时,会产生输入信号,根据此时手部模型的第一定位信息中的空间位置信息,可以确定该按键的空间位置信息,具体的,手部可以按下预设数量的按键,产生预设数量的输入信号,预设数量具体可以是第一数量或第二数量。例如,手部指尖按下按键时,手部模型中该指尖的空间位置信息可以近似等于按键的空间位置信息。手部可以同时按下多个按键,也可以一次只按下一个按键,具体按下方式不做限定。可理解的是,能按下按键的情况默认有按键的键盘正面朝上。
S420、根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向。
可选的,上述S420具体包括:若预设数量为第一数量,则根据第一数量的第一定位信息中的空间位置信息,确定三维模型所在平面的空间位置信息;基于第一数量的按键构成的多边形的朝向、第一数量的空间位置信息和第一数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可理解的,在上述S410的基础上,若预设数量是第一数量,第一数量为3个及3个以上,以按下3个按键为例,根据不在一条直线上的3个按键的空间位置确定键盘设备所在平面的空间位置信息,键盘设备所在平面的空间位置信息也就是三维模型所在平面的空间位置信息,三维模型所在平面的空间位置信息中包括三维模型姿态的横滚角和俯仰角;随后根据不在一条直线上的3个按键构成三角形(多边形)的朝向、3个按键的空间位置信息和3个按键在三维模型中的位置信息,确定三维模型的朝向,三维模型的朝向包括三维模型姿态的偏航角。
可选的,上述S420具体包括:若预设数量为第二数量,则确定手部模型中按下第二数量的按键的目标部位;根据第一定位信息中的姿态信息,确定目标部件所在平面的空间位置信息和目标部位的朝向;基于目标部位所在平面的空间位置信息进行推算,确定三维模型所在平面的空间位置信息;根据目标部位的朝向确定第二数量的按键的朝向,并基于按键的朝向和第二数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可理解的,在上述S410的基础上,若预设数量是第二数量,第二数量的按键可以是1个和或2个按键,手指按下按键A后,获取到的第一定位信息中包括该手指在按下按键A时的空间位置信息,下述实施例以按下1个按键A为例进行说明。确定手部模型中按下第二数量的按键的目标部位,目标部位可以是按下按键的手指的指肚,例如右手食指按下按键A时,右手食指的指肚记为目标部位,目标部位还可以是手指的指关节;随后根据第一定位信息中目标部位的姿态信息,也就是指肚的姿态信息,确定目标部位所在平面的空间位置信息;随后对指肚所在平面的空间位置信息进行估算,确定放置键盘的平面的空间位置信息,也就是确定三维模型所在平面的空间位置信息,三维模型所在平面的空间位置信息包括横滚角和俯仰角,具体的估算方法不作限定;最后根据第一定位信息中按下的按键A的指尖的朝向确定被按下的按键A的朝向,例如键盘面对用户,用户按下的按键A时指尖是斜向下的,键盘处于不同位置,指尖的朝向不同,再基于按键A的朝向和按键A在三维模型中的位置信息,确定三维模型的朝向,三维模型的朝向包括偏航角。
S430、根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。
可理解的,在上述S420的基础上,根据三维模型所在平面的空间位置信息和三维模型的朝向,确定三维模型在虚拟现实系统中的姿态信息。
本公开实施例提供的一种模型显示方法,通过根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键在虚拟现实系统中的空间位置信息;根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向;最后根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。本公开提供的方法,根据手部模型的定位信息,基于较少的输入信号即可确定三维模型的定位信息,方法简便的同时,采用按键按下产生的输入信号确定按键的方式还能够最大限度的降低遮挡的影响,应用的场景比较广泛。
在上述实施例的基础上,图5为本公开实施例提供的一种模型显示方法的流程示意图,可选的,在虚拟现实系统的虚拟场景中、第二定位信息处显示三维模型后,方法具体还包括如图5所示的如下步骤S510至S530:
S510、接收输入设备的输入信号,得到更新后的输入信号。
可理解的,在将键盘的键盘模型映射到虚拟现实场景中后,实时接收键盘设备的输入信号,用于随时调整虚拟现实场景中键盘模型的姿态和位置等,确保虚拟现实场景中模型显示状态和现实空间中键盘设备的状态同步。
S520、获取更新后第一定位信息。
可理解的,实时获取更新后的手部模型在虚拟现实场景中的定位信息,随后可以根据获取的更新后的关于用户手部的定位信息和模型信息,更新手部模型在虚拟现实场景中的定位信息,更新手部模型是指更新手部模型在虚拟现实场景中的显示状态,包括用户手部中各手指的显示状态等,例如用户左手产生了位移,在虚拟现实场景中左手的显示状态就发生了变化。
S530、根据更新后的输入信号和更新后第一定位信息,在虚拟现实场景中更新三维模型。
可理解的,在上述S510和S520的基础上,将更新后的输入信号对应的按键在键盘模型的位置信息和更新后的手部模型在虚拟现实系统中的第一定位信息对应,将更新后的键盘模型映射到虚拟现实场景中,也就是改变键盘模型在虚拟现实场景中的显示状态。可以理解为,键盘模型随着手部模型发生了“跳转”现象,根据手部模型在虚拟现实系统中的定位信息,将键盘模型“移动”到手部模型处。
可以理解的是,物理键盘设备以及用户手部是随时移动的,手部跟踪设备检测的关于手部的数据也是实时生成的,可以实时确定手部模型在目标空间中的定位信息,也就是随时改变手部模型在虚拟现实场景中的显示状态,再根据手部模型在目标空间中的定位信息,确定键盘模型在目标空间中的定位信息。其中,首次确定键盘模型后,若没有更换键盘设备,后续可以不用根据物理键盘的型号重新选择键盘模型,可以直接确定输入信号的字符的定位信息即可,从而加快更新键盘模型显示状态的速率。
可理解的,当用户没有按下键盘上的按键,但是键盘发生了移动时,可以获取键盘设备上设置的惯性传感器实时采集到的数据,也就是对于键盘模型在目标空间中的定位信息的确定还可以通过惯性传感器确定,惯性传感器会实时采集键盘设备的相关数据,该数据包括键盘的定位信息。
可选的,在虚拟现实系统的虚拟场景中、第二定位信息处显示所述三维模型后,方法还包括:接收输入设备的输入信号;根据输入信号更新三维模型在虚拟现实场景中的显示状态,并在虚拟现实场景中显示输入信号对应的按键的操作效果。
可理解的,在将键盘模型显示在虚拟现实场景中后,用户可以操作键盘,按下或抬起键盘上的按键,虚拟现实软件系统接收到该按键的输入信号后,在键盘模型上同步显示该按键按下或抬起的操作,也就是根据用户对键盘的操作实时改变键盘模型在虚拟现实场景中的显示状态,同时在虚拟现实场景中显示该按键对应的字符,后续根据该字符实现对应的操作。
本公开实施例提供的一种模型显示方法,通过实时接收的输入信号,以及实时获取手部模型在目标空间中的定位信息,能够及时准确的将现实空间中输入设备和手部的位置变化同步到虚拟现实场景中,也就是最大限度的保证虚拟现实场景中显示的三维模型和手部模型的对应关系与现实空间中输入设备和用户手部的对应关系一致,以便于用户通过观看虚拟现实场景就能够了解现实空间的情况,近而对输入设备进行操控。
图6为本公开实施例提供的模型显示装置的结构示意图。本公开实施例提供的模型显示装置可以执行上述模型显示方法实施例提供的处理流程,如图6所示,装置600包括:
获取单元610,用于获取手部对应的手部模型在虚拟现实系统中的第一定位信息;
接收单元620,用于接收输入设备的至少一个输入信号;
确定单元630,用于根据输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息;
映射单元640,用于在虚拟现实系统的虚拟场景中、第二定位信息处显示三维模型。
可选的,确定单元630中根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实系统中的第二定位信息,具体用于:
根据至少一个输入信号中任一输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息中的空间位置信息,确定三维模型的空间位置信息;
根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息;
根据三维模型的空间位置信息和三维模型的姿态信息,确定三维模型在虚拟现实系统中的第二定位信息。
可选的,确定单元630中根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,具体用于:
根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键的空间位置信息;
根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向;
根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。
可选的,确定单元630中根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,具体用于:
若预设数量为第一数量,则根据第一数量的第一定位信息中的空间位置信息,确定三维模型所在平面的空间位置信息;
基于第一数量的按键构成的多边形的朝向、第一数量的空间位置信息和第一数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,确定单元630中根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,具体用于:
若预设数量为第二数量,则确定手部模型中按下第二数量的按键的目标部位;
根据第一定位信息中的姿态信息,确定目标部位所在平面的空间位置信息和目标部位的朝向;
基于目标部位所在平面的空间位置信息进行推算,确定三维模型所在平面的空间位置信息;
根据目标部位的朝向确定第二数量的按键的朝向,并基于按键的朝向和第二数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,装置600还包括效果单元,效果单元用于显示三维模型之后,具体用于:
若接收到输入设备的至少一个输入信号,则在三维模型中显示至少一个输入信号对应的按键的被操控效果。
可选的,装置600中输入设备包括键盘和鼠标。
可选的,装置600还包括更新单元,更新单元用于在虚拟现实系统的虚拟场景中、第二定位信息处显示三维模型后,具体用于:
接收输入设备的输入信号,得到更新后的输入信号;
获取更新后的第一定位信息;
根据更新后的输入信号和更新后的第一定位信息,在虚拟现实场景中更新三维模型。
图6所示实施例的模型显示装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本公开实施例提供的一种电子设备的结构示意图。本公开实施例提供的电子设备可以执行上述实施例提供的处理流程,如图7所示,电子设备700包括:处理器710、通讯接口720和存储器730;其中,计算机程序存储在存储器730中,并被配置为由处理器710执行如上述的模型显示方法。
另外,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的模型显示方法。
此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上所述的模型显示方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种模型显示方法,其特征在于,包括:
获取手部对应的手部模型在虚拟现实系统中的第一定位信息;
接收输入设备的至少一个输入信号,其中,所述输入设备包括键盘和鼠标,所述输入信号是所述输入设备上的按键产生的;
根据所述至少一个输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息,确定所述三维模型在所述虚拟现实系统中的第二定位信息;
在所述虚拟现实系统的虚拟场景中、所述第二定位信息处显示所述三维模型,以实现所述输入设备和所述虚拟场景的交互;
显示所述三维模型之后,所述方法还包括:
若接收到所述输入设备的至少一个输入信号,则在所述三维模型中显示所述至少一个输入信号对应的按键的被操控效果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息,确定所述三维模型在所述虚拟现实系统中的第二定位信息,包括:
根据所述至少一个输入信号中任一输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息中的空间位置信息,确定所述三维模型的空间位置信息;
根据所述第一定位信息和预设数量的输入信号对应的按键在所述三维模型中的位置信息,确定所述三维模型的姿态信息;
根据所述三维模型的空间位置信息和所述三维模型的姿态信息,确定所述三维模型在所述虚拟现实系统中的第二定位信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一定位信息和预设数量的输入信号对应的按键在所述三维模型中的位置信息,确定所述三维模型的姿态信息,包括:
根据所述第一定位信息中的空间位置信息,确定所述预设数量的输入信号对应的按键的空间位置信息;
根据预设数量的第一定位信息和预设数量的按键在所述三维模型中的位置信息,确定所述三维模型所在平面的空间位置信息和所述三维模型的朝向;
根据所述平面的空间位置信息和所述三维模型的朝向,确定所述三维模型的姿态信息。
4.根据权利要求3所述的方法,其特征在于,所述根据预设数量的第一定位信息和预设数量的按键在所述三维模型中的位置信息,确定所述三维模型所在平面的空间位置信息和所述三维模型的朝向,包括:
若预设数量为第一数量,则根据所述第一数量的第一定位信息中的空间位置信息,确定所述三维模型所在平面的空间位置信息;
基于所述第一数量的按键构成的多边形的朝向、所述第一数量的空间位置信息和所述第一数量的按键在所述三维模型中的位置信息,确定所述三维模型的朝向。
5.根据权利要求3所述的方法,其特征在于,所述根据预设数量的第一定位信息和预设数量的按键在所述三维模型中的位置信息,确定所述三维模型所在平面的空间位置信息和所述三维模型的朝向,包括:
若预设数量为第二数量,则确定所述手部模型中按下所述第二数量的按键的目标部位;
根据所述第一定位信息中的姿态信息,确定所述目标部位所在平面的空间位置信息和所述目标部位的朝向;
基于所述目标部位所在平面的空间位置信息进行推算,确定所述三维模型所在平面的空间位置信息;
根据所述目标部位的朝向确定所述第二数量的按键的朝向,并基于所述按键的朝向和所述第二数量的按键在所述三维模型中的位置信息,确定所述三维模型的朝向。
6.根据权利要求1所述的方法,其特征在于,在所述虚拟现实系统的虚拟场景中、所述第二定位信息处显示所述三维模型后,所述方法还包括:
接收所述输入设备的输入信号,得到更新后的所述输入信号;
获取更新后的第一定位信息;
根据所述更新后的输入信号和所述更新后的第一定位信息,在所述虚拟现实场景中更新所述三维模型。
7.一种模型显示装置,其特征在于,包括:
获取单元,用于获取手部对应的手部模型在虚拟现实系统中的第一定位信息;
接收单元,用于接收输入设备的至少一个输入信号,其中,所述输入设备包括键盘和鼠标,所述输入信号是所述输入设备上的按键产生的;
确定单元,用于根据所述至少一个输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息,确定所述三维模型在所述虚拟现实系统中的第二定位信息;
显示单元,用于在所述虚拟现实系统的虚拟场景中、所述第二定位信息处显示所述三维模型,以实现所述输入设备和所述虚拟场景的交互;显示所述三维模型之后,若接收到所述输入设备的至少一个输入信号,则在所述三维模型中显示所述至少一个输入信号对应的按键的被操控效果。
8.一种电子设备,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1至6中任一所述的模型显示方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的模型显示方法的步骤。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210137976.8A CN114167997B (zh) | 2022-02-15 | 2022-02-15 | 一种模型显示方法、装置、设备和存储介质 |
PCT/CN2023/073666 WO2023155672A1 (en) | 2022-02-15 | 2023-01-29 | Input device model projecting method, apparatus and system |
PCT/CN2023/073649 WO2023155670A1 (en) | 2022-02-15 | 2023-01-29 | Model display method, apparatus and system |
US18/198,828 US20230290071A1 (en) | 2022-02-15 | 2023-05-17 | Model display method, apparatus and system |
US18/209,471 US11869145B2 (en) | 2022-02-15 | 2023-06-13 | Input device model projecting method, apparatus and system |
US18/518,871 US20240144603A1 (en) | 2022-02-15 | 2023-11-24 | Input device model projecting method, apparatus and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210137976.8A CN114167997B (zh) | 2022-02-15 | 2022-02-15 | 一种模型显示方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114167997A CN114167997A (zh) | 2022-03-11 |
CN114167997B true CN114167997B (zh) | 2022-05-17 |
Family
ID=80490026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210137976.8A Active CN114167997B (zh) | 2022-02-15 | 2022-02-15 | 一种模型显示方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114167997B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023155670A1 (en) * | 2022-02-15 | 2023-08-24 | Beijing Source Technology Co., Ltd. | Model display method, apparatus and system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101589425A (zh) * | 2006-02-16 | 2009-11-25 | Ftk技术有限公司 | 将数据输入计算系统的系统和方法 |
CN105975067A (zh) * | 2016-04-28 | 2016-09-28 | 上海创米科技有限公司 | 应用于虚拟现实产品的按键输入设备及方法 |
JP2021033978A (ja) * | 2019-08-14 | 2021-03-01 | 藤沼 伊代子 | 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード(vr・キーボード、仮想キーボード、エア・キーボード、ar・キーボード、エア・キーボード入力方式) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224069B (zh) * | 2014-07-03 | 2019-03-19 | 王登高 | 一种增强现实虚拟键盘输入方法及使用该方法的装置 |
US9766806B2 (en) * | 2014-07-15 | 2017-09-19 | Microsoft Technology Licensing, Llc | Holographic keyboard display |
CN105320258B (zh) * | 2014-08-05 | 2019-01-01 | 深圳Tcl新技术有限公司 | 虚拟键盘系统及其键入方法 |
CN105912110B (zh) * | 2016-04-06 | 2019-09-06 | 北京锤子数码科技有限公司 | 一种在虚拟现实空间中进行目标选择的方法、装置及系统 |
US20180188923A1 (en) * | 2016-12-30 | 2018-07-05 | Cirque Corporation | Arbitrary control mapping of input device |
CN107357434A (zh) * | 2017-07-19 | 2017-11-17 | 广州大西洲科技有限公司 | 一种虚拟现实环境下的信息输入设备、系统及方法 |
-
2022
- 2022-02-15 CN CN202210137976.8A patent/CN114167997B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101589425A (zh) * | 2006-02-16 | 2009-11-25 | Ftk技术有限公司 | 将数据输入计算系统的系统和方法 |
CN105975067A (zh) * | 2016-04-28 | 2016-09-28 | 上海创米科技有限公司 | 应用于虚拟现实产品的按键输入设备及方法 |
JP2021033978A (ja) * | 2019-08-14 | 2021-03-01 | 藤沼 伊代子 | 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード(vr・キーボード、仮想キーボード、エア・キーボード、ar・キーボード、エア・キーボード入力方式) |
Also Published As
Publication number | Publication date |
---|---|
CN114167997A (zh) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230218983A1 (en) | Information processing device, control method of information processing device, and program | |
CN107615214B (zh) | 界面控制系统、界面控制装置、界面控制方法及程序 | |
WO2019120032A1 (zh) | 模型构建方法、拍照方法、装置、存储介质及终端 | |
US11995254B2 (en) | Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses | |
CN107357428A (zh) | 基于手势识别的人机交互方法及装置、系统 | |
JP6344530B2 (ja) | 入力装置、入力方法、及びプログラム | |
KR20120068253A (ko) | 사용자 인터페이스의 반응 제공 방법 및 장치 | |
CN114170407B (zh) | 输入设备的模型映射方法、装置、设备和存储介质 | |
EP3131064A1 (en) | Searching image content | |
CN114706489B (zh) | 一种输入设备的虚拟方法、装置、设备和存储介质 | |
CN114167997B (zh) | 一种模型显示方法、装置、设备和存储介质 | |
JP6501806B2 (ja) | 情報処理装置、操作検出方法、及びコンピュータプログラム | |
CN116954367A (zh) | 一种虚拟现实的交互方法、系统及设备 | |
US11500453B2 (en) | Information processing apparatus | |
WO2019127325A1 (zh) | 信息处理方法、装置、云处理设备及计算机程序产品 | |
CN108459782A (zh) | 一种输入方法、装置、设备、系统和计算机存储介质 | |
US8681100B2 (en) | Apparatus system and method for human-machine-interface | |
JP7513262B2 (ja) | 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム | |
CN114740997A (zh) | 交互控制装置及交互控制方法 | |
US11869145B2 (en) | Input device model projecting method, apparatus and system | |
US20240281730A1 (en) | Control device and information presentation method | |
JP7373090B1 (ja) | 情報処理システム、情報処理装置、プログラム及び情報処理方法 | |
JP7480408B1 (ja) | 情報処理システム、情報処理装置、プログラム及び情報処理方法 | |
US20210374991A1 (en) | Method, system and non-transitory computer-readable recording medium for supporting object control | |
JP6523509B1 (ja) | ゲームプログラム、方法、および情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |