CN114170407B - 输入设备的模型映射方法、装置、设备和存储介质 - Google Patents

输入设备的模型映射方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114170407B
CN114170407B CN202210137977.2A CN202210137977A CN114170407B CN 114170407 B CN114170407 B CN 114170407B CN 202210137977 A CN202210137977 A CN 202210137977A CN 114170407 B CN114170407 B CN 114170407B
Authority
CN
China
Prior art keywords
dimensional model
virtual reality
model
information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210137977.2A
Other languages
English (en)
Other versions
CN114170407A (zh
Inventor
罗子雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sosi Information Technology Co ltd
Original Assignee
Beijing Sosi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sosi Information Technology Co ltd filed Critical Beijing Sosi Information Technology Co ltd
Priority to CN202210137977.2A priority Critical patent/CN114170407B/zh
Publication of CN114170407A publication Critical patent/CN114170407A/zh
Application granted granted Critical
Publication of CN114170407B publication Critical patent/CN114170407B/zh
Priority to PCT/CN2023/073666 priority patent/WO2023155672A1/en
Priority to PCT/CN2023/073649 priority patent/WO2023155670A1/en
Priority to US18/198,828 priority patent/US20230290071A1/en
Priority to US18/209,471 priority patent/US11869145B2/en
Priority to US18/518,871 priority patent/US20240144603A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种输入设备的模型映射方法、装置、设备和存储介质。方法具体包括:确定输入设备对应的三维模型,获取虚拟现实系统的摄像头拍摄的输入设备的图像,随后识别图像中输入设备的至少一个特征标识,并计算至少一个特征标识对应于虚拟现实系统中的目标信息,最后基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中,基于较少的特征标识就能将现实空间中的输入设备对应的三维模型准确的映射到虚拟现实场景中,便于后续根据虚拟现实场景中输入设备的三维模型使用真实的输入设备进行交互。

Description

输入设备的模型映射方法、装置、设备和存储介质
技术领域
本公开涉及数据技术领域,尤其涉及一种输入设备的模型映射方法、装置、设备和存储介质。
背景技术
目前,虚拟现实技术(Virtual Reality,VR)应用广泛,虚拟现实技术是将虚拟和现实结合起来,给用户带来沉浸式的体验。但是,在基于虚拟现实技术将现实中的物体映射到虚拟场景的过程中,需要采集该物体的大量数据,导致映射时间比较长;其次,现有方法通过拍摄图像来识别键盘等输入设备,需要通过识别设备的整体外形图像来分析判断设备类型和型号,若输入设备部分被遮挡,导致拍摄的图像不完整,则会对现有方法的识别产生很大影响,造成识别不准确甚至失效,对遮挡的容错性比较低,进一步导致该模型在虚拟场景中的定位也不够精准,用户体验比较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种输入设备的模型映射方法、装置、设备和存储介质,能够将现实空间中的输入设备对应的三维模型准确的映射到虚拟现实场景中,便于后续根据虚拟现实场景中输入设备的三维模型使用真实的输入设备进行交互操作。
第一方面,本公开实施例提供了一种输入设备的模型映射方法,包括:
确定输入设备对应的三维模型;
获取虚拟现实系统的摄像头拍摄的输入设备的图像;
识别图像中输入设备的至少一个特征标识;
计算至少一个特征标识对应于虚拟现实系统中的目标信息;
基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可选的,确定输入设备对应的三维模型,包括:
获取输入设备的配置信息,配置信息包括型号信息;
根据型号信息,确定输入设备对应的三维模型。
可选的,根据型号信息,确定输入设备对应的三维模型,包括:
根据型号信息,若预设数据库中存在和输入设备相同的型号,则在预设数据库中,根据型号确定输入设备对应的三维模型;或者,
若预设数据库中不存在和输入设备相同的型号,则计算预设数据库中存储的型号和输入设备的型号的相似值,并判断相似值是否小于或等于预设值;若是,则在预设数据库中,根据相似值对应的型号确定输入设备对应的三维模型;
若相似值大于预设值,则在预设数据库中确定目标模型。
可选的,输入设备包括键盘,键盘的特征标识为字符。
可选的,识别图像中输入设备的至少一个特征标识,包括:
若相似值大于预设值,则识别图像中键盘对应的预设区域内的至少一个字符。
可选的,在识别图像中键盘对应的预设区域内的至少一个字符后,方法还包括:
计算键盘对应的预设区域内的至少一个字符的第一空间距离;
计算目标模型中至少一个字符的第二空间距离;
若第一空间距离和第二空间距离的差值大于预设阈值,则根据第一空间距离和第二空间距离,确定键盘对应的至少一个字符所在的预设区域的位置关系;根据预设区域的位置关系更新目标模型;或者,
若第一空间距离和第二空间距离的差值小于或等于预设阈值,则确定目标模型为键盘对应的三维模型。
可选的,基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中,包括:
基于目标信息,将更新后的目标模型映射到虚拟现实系统对应的虚拟现实场景中。
可选的,输入设备还包括鼠标,鼠标对应的特征标识为元件。
可选的,识别图像中输入设备的至少一个特征标识,包括:
若相似值大于预设值,则识别图像中鼠标的至少一个元件。
可选的,计算至少一个特征标识对应于虚拟现实系统中的目标信息,包括:
通过空间位置算法计算至少一个特征标识对应于虚拟现实系统中的目标信息。
可选的,目标信息包括位置信息和姿态信息。
可选的,计算至少一个特征标识对应于虚拟现实系统中的目标信息,包括:
针对第一预设数量的特征标识,获取至少两个摄像头在不同角度同时拍摄的同一个特征标识的图像,并基于该同一个特征标识在不同角度下的图像,确定该同一个特征标识的姿态信息;或者,
针对第二预设数量的特征标识,基于不在一条直线上的至少三个特征标识的位置信息,确定至少三个特征标识构成的多边形的横滚角和俯仰角;基于多边形的朝向和多边形与三维模型的位置关系,确定多边形的偏航角;其中,横滚角、俯仰角和偏航角构成多边形的姿态信息。
可选的,基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中,包括:
基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息;
基于三维模型的位置信息和姿态信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可选的,基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息,包括:
基于一个特征标识的位置信息和该特征标识与三维模型的位置关系,确定三维模型的位置信息。
可选的,基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的姿态信息,包括:
针对第一预设数量的特征标识,基于一个特征标识的姿态信息和该特征标识与三维模型的位置关系,确定三维模型的姿态信息;
针对第二预设数量的特征标识,基于多边形的姿态信息和多边形与三维模型的位置关系,确定三维模型的姿态信息。
第二方面,本公开实施例提供了一种输入设备的模型映射装置,包括:
确定单元,用于确定输入设备对应的三维模型;
获取单元,用于获取虚拟现实系统的摄像头拍摄的输入设备的图像;
识别单元,用于识别图像中特征标识的至少一个字符;
计算单元,用于计算至少一个特征标识对应于虚拟现实系统中的目标信息;
映射单元,用于基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
第三方面,本公开实施例提供了一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如上述的输入设备的模型映射方法。
第四方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述的输入设备的模型映射方法的步骤。
本公开实施例提供了一种输入设备的模型映射方法、装置、设备和存储介质。方法具体包括:确定输入设备对应的三维模型,获取虚拟现实系统的摄像头拍摄的输入设备的图像,随后识别图像中输入设备的至少一个特征标识,并计算至少一个特征标识对应于虚拟现实系统中的目标信息,最后基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。本公开提供的方法通过图像识别设备的部分特征标识来定位设备的空间位置和姿态,能够将现实空间中的键盘对应的三维模型准确的映射到虚拟现实场景中,便于后续根据虚拟现实场景中输入设备的三维模型,高效的使用输入设备。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种应用场景的示意图;
图2为本公开实施例提供的一种输入设备的模型映射方法的流程示意图;
图3a为本公开实施例提供的另一种应用场景的示意图;
图3b为本公开实施例提供的一种键盘的示意图;
图3c为本公开实施例提供的一种虚拟现实场景的示意图;
图3d为本公开实施例提供的另一种应用场景的示意图;
图3e为本公开实施例提供的另一种虚拟现实场景的示意图;
图4为本公开实施例提供的一种输入设备的模型映射方法的流程示意图;
图5为本公开实施例提供的一种输入设备的模型映射方法的流程示意图;
图6为本公开实施例提供的一种输入设备的模型映射装置的结构示意图;
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
目前,在虚拟现实系统中,用户和虚拟场景的交互方式通常是通过控制器手柄实现的,虚拟现实系统包括虚拟现实设备和虚拟现实软件系统,虚拟现实设备具体可以是控制器手柄、鼠标、键盘、头戴式显示器和头戴式显示器连接的主机等,虚拟现实软件系统具体可以包括操作系统、用于图像识别的软件算法、用于空间计算的软件算法和用于渲染虚拟场景的渲染软件(渲染后的虚拟场景显示在头戴式显示器的显示屏幕上),其中虚拟现实软件系统可以配置在头戴式显示器上,头戴式显示设备会直接连接摄像头和键盘等,可以理解为一体机;虚拟现实软件系统还可以配置在和头戴式显示器连接的主机上,摄像头以及键盘和主机相连接,可以理解为分体机。参见图1,图1为本公开实施例提供的一种应用场景的示意图,图1中包括控制器手柄110和头戴式显示器120,下述实施例以头戴式显示器120上运行虚拟现实软件系统(一体机)为例进行说明,头戴式显示器连接的主机上运行的虚拟现实软件系统执行本公开的方法和上述类似,在此不作赘述。控制器手柄110和头戴式显示器120连接,头戴式显示器120中包括显示屏幕和虚拟现实软件系统,虚拟现实软件系统可以接收控制器手柄110的输入信号并进行处理,随后将处理结果对应的显示内容在显示屏幕上显示,显示屏幕上显示的场景可以称为虚拟场景;其中控制器手柄110具体可以是带位置跟踪的控制器手柄,该手柄上可以配置方向键和确定键等简单的按键,用户可以双手各持一个控制器手柄110或单手手持一个控制器手柄110,通过点击控制器手柄110上的按键和拖拽移动控制器手柄110,对头戴式显示器120构建的虚拟场景中的界面和物体进行点击和拖拽等交互操作。在头戴式显示器120构建的虚拟场景中需要输入文字的时候,一种实现方法是,在头戴式显示器120构建的虚拟场景中显示一个有键盘按键布局的虚拟界面,用户使用控制器手柄110点击虚拟键盘界面上的虚拟按键进行字符的输入。但是,头戴式显示器120构建的虚拟场景中的虚拟键盘和控制器手柄110不对应,用户在通过控制器手柄110在头戴式显示器120构建的虚拟场景中进行输入时,只能通过点击虚拟键盘界面上的虚拟按键,一个按键一个按键的输入字符,操作繁琐且不方便,例如,进行文字输入时,输入文字的速度和效率也比较低,最终导致对头戴式显示器120构建的虚拟场景的操作效率低,且不灵活。另外,在虚拟场景中也没有显示鼠标对应的三维模型,用户也无法通过观看虚拟场景,来了解现实空间中鼠标的使用情况,进而去操控现实空间中的鼠标去实现日常使用鼠标时进行的其他复杂操作,操作不方便,也不符合日常使用鼠标时的使用习惯,且实现交互的效率也比较低。
针对上述技术问题,本公开实施例提供了一种输入设备的模型映射方法,利用现实空间中的输入设备实现和头戴式显示设备的交互,输入设备可以是键盘和鼠标。具体的,通过确定输入设备对应的三维模型,获取虚拟现实系统安装的摄像头拍摄的输入设备的图像,识别图像中至少一个特征标识,并计算得到至少一个特征标识对应于虚拟现实系统中的目标信息,同时确定至少一个特征标识在三维模型上的位置信息,也就是三维模型上特征标识的位置信息,根据上述计算得到的特征标识的目标信息和三维模型上的同一特征标识的位置信息,确定整个三维模型在虚拟现实系统对应的虚拟现实系统中的目标信息,随后将三维模型映射到虚拟现实场景中,也就是将现实空间中的输入设备对应的三维模型在虚拟现实系统构建的虚拟现实场景中显示出来,便于用户根据观看到的输入设备对应的三维模型来操控输入设备,高效、快速的完成输入设备和虚拟现实场景的交互。具体的,通过下述一个或多个实施例对输入设备的模型映射方法进行详细说明。
可理解的,本公开提供的输入设备的模型映射方法主要识别和确定输入设备的三个关键信息:1、设备对应的三维模型;2、设备对应于虚拟空间中的空间坐标位置;3、设备对应于虚拟空间中的姿态。其中,输入设备对应的三维模型通过设备连接后的系统信号确定设备型号,或确定相似设备型号,或由默认三维模型根据识别操控区域的间距后调整生成三维模型;设备对应于虚拟空间中的空间坐标位置,则根据识别设备上部分特征标识在虚拟现实空间的位置和该部分特征标识在设备上的位置结合计算;设备对应于虚拟空间中的姿态,主要是确定设备所在平面和朝向,根据识别不在一条直线上的三个或三个以上特征标识的空间位置确定设备所在的平面,并根据不在一条直线上的三个特征标识构成三角形的朝向和该三角形在设备上的位置计算设备的朝向,从而得到设备的姿态信息。当识别至少一个特征标识的时候,除了需要特征标识的空间位置,还需要识别特征标识的姿态,比如键盘上字符A的姿态。通过特征标识所在平面,能得到设备所在平面。通过特征标识的朝向和特征标识在设备上的位置,能计算设备的朝向,从而得到设备的姿态信息。
图2为本公开实施例提供的一种输入设备的模型映射方法的流程示意图,应用于虚拟现实系统,具体包括如图2所示的如下步骤S210至S250:
可理解的,虚拟现实软件系统可以配置在头戴式显示器中,虚拟现实软件系统可以对接收到的由键盘、鼠标或其他输入设备传输的数据进行处理,并将处理结果返回至头戴式显示器中的显示屏幕,具体参见下述图3a所示的键盘的应用场景和图3d所示的鼠标的应用场景,随后显示屏幕根据处理结果改变虚拟现实场景中各物件的显示状态。
示例性的,参见图3a,图3a为本公开实施例提供的另一种应用场景的示意图,图3a中包括键盘310、头戴式显示器320和用户手部330,用户头部佩戴头戴式显示器320,手部330操作键盘310,键盘310内按键的具体布局如图3b中所示的键盘310,图3c中的340是图3a中头戴式显示器320上运行的虚拟现实软件系统内构建的场景。可以理解的是,用户头部佩戴头戴式显示器后,双眼可以观看到头戴式显示器320上运行的虚拟现实软件系统构建的虚拟现实场景,但无法看到现实空间的物体并对物体进行操作,为了实现对虚拟现实场景的交互,使用的设备多是功能简单的手柄或是其他手部设备,只包括一些不需要双眼观看即可操作的按键,例如方向键、确定键和摇杆等,也就无法对类似于键盘310包括众多按键的设备进行准确的操作。
针对上述用户和虚拟场景的交互存在的问题,本公开实施例提供的方法能够根据键盘310在现实空间中的空间位置和姿态,将键盘310对应的三维模型350映射到头戴式显示器320显示的虚拟现实场景340中,实现用户观看虚拟现实场景340中显示的键盘310对应的三维模型350来了解并操控键盘310,让用户可以看到在虚拟现实场景340中,用户手部330对应的三维模型360操作键盘310对应的三维模型350,在虚拟现实场景340中的操作情况和用户手部330实际使用物理键盘310进行操作的情况在一定程度上可以同步,从而实现高效快速的文字输入,相当于用户双眼直接看到物理键盘中的按键并进行后续操作,能够基于少量的数据准确的确定键盘对应的模型在虚拟现实场景中的定位,且定位也比较准确,提高了用户的使用体验。
示例性的,参见图3d,图3d为本公开实施例提供的另一种应用场景的示意图,图3d中包括鼠标370、头戴式显示器320和用户手部330,用户头部佩戴头戴式显示器320,手部330操作鼠标370,图3e中的380是图3d中头戴式显示器320内构建的场景,可以称为虚拟现实场景380。可以理解的是,用户头部佩戴头戴式显示器后,双眼可以观看到头戴式显示器320构建的虚拟现实场景,但无法看到现实空间的物体并对物体进行操作,为了实现对虚拟现实场景的交互,使用的设备多是功能简单的手柄或是其他手部设备,只包括一些不需要双眼观看即可操作的按键,例如方向键、确定键和摇杆等,对于功能复杂的设备则不适用,例如无法对设置多种按键的鼠标进行准确的操作,以实现鼠标中复杂操作所对应的功能。
针对上述用户和虚拟场景的交互存在的问题,本公开实施例提供的方法能够根据鼠标370在现实空间中的空间位置和姿态,将鼠标370对应的三维模型390映射到头戴式显示器320显示的虚拟现实场景380中,实现用户观看虚拟现实场景380中显示的鼠标370对应的三维模型390来了解并操控鼠标370,让用户可以看到在虚拟现实场景380中,用户手部330对应的三维模型360操作鼠标370对应的三维模型390,图3e中还包括操作界面,操作界面类似于终端的显示屏,在虚拟现实场景380中的操作情况和用户手部330实际使用鼠标370进行操作的情况在一定程度上可以同步,相当于用户双眼直接看到鼠标中的按键并进行后续操作,能够基于少量的数据准确的确定鼠标对应的模型在虚拟现实场景中的定位,且定位也比较准确,提高了用户的使用体验,提高了交互速度。
可理解的,本公开实施例提供的方法不仅适用于上述两种应用场景,还适用于其他应用场景,在此不作赘述。下述实施例主要以输入设备是键盘为例进行详细说明。
S210、确定输入设备对应的三维模型。
可选的,确定输入设备对应的三维模型的具体方法包括:获取输入设备的配置信息,配置信息包括型号信息;根据型号信息,确定输入设备对应的三维模型。
可理解的,以输入设备是键盘为例进行说明,具体的,虚拟现实软件系统获取键盘的配置信息,配置信息中可以包括键盘的型号信息,键盘的不同型号设置的各功能区的分布、内容以及各功能区之间的距离不同,功能区也可以理解为键盘上分布的多种键区,每个键区包括的字符不同,键区之间的距离不同;随后根据物理键盘的型号选择该键盘对应的三维模型,该三维模型可以从预先构建的模型数据库中比对分析后选择,确定该型号的键盘对应的精确的三维模型或是与键盘各键区分布相近的三维模型。可理解的,通常情况下,物理键盘分为主键盘区(包括字符键和空格、回车等功能键)、方向键区(包括上下左右4个带箭头的方向键)、控制键区(包括Insert和PageDown等6个功能键)、数字键区(包括数字键和确定键等17个功能键)、顶部功能键区(包括退出和F12键等13个功能键)。每个型号对应的物理键盘的每个键区(功能区)中按键的布局和位置关系是标准且确定的,不同键区之间的相对位置关系也是标准且确定的。例如,参见图3b所示的常见的物理键盘310中,包括控制键区311和方向键区312等,数字键区分布在键盘的最右边,也就是控制键区311和方向键区312的右边,方向键区312和控制键区311上下分布,各键区之间的相对位置关系是确定的,数字键区中由下到上、由左至右分布数字1至9对应的按键,每个键区(功能区)中按键的布局是确定的,数字1在数字2的前方,按键的位置关系是确定的;方向键区312中下方向对应的按键在上方向对应的按键的下方,左方向对应的按键在下方向对应的按键的左边,右方向对应的按键在下方向对应的按键的右边,方向键区312内各按键的相对位置关系是确定的。
可理解的,以输入设备是鼠标为例进行说明,具体的,虚拟现实软件系统获取鼠标的配置信息,配置信息中可以包括鼠标的型号信息,鼠标的不同型号设置的各元件的分布以及各元件之间的距离不同,其中元件可以是鼠标上设置的按键或者标识,按键包括左键、右键、滚轮和侧键等,标识可以是鼠标的标志或者预先在鼠标上设置的标识等;随后根据鼠标的型号选择该鼠标对应的三维模型,该三维模型可以从预先构建的模型数据库中比对分析后选择,确定该型号的鼠标对应的精确的三维模型或是与鼠标中元件分布相近的三维模型。下面以鼠标中的按键和滚轮为例进行说明,按键和标识同时存在的情况类似,在此不作赘述。可理解的,通常情况下,鼠标包括3个元件,分别是左键、右键和滚轮,同时还存在包括多个按键的鼠标,例如4个按键、5个按键等,鼠标中设备的按键数量越多能够进行的操作也就越复杂,实现的功能就越多,相关的交互方法就不适用。每个型号对应的鼠标的每个按键之间的位置关系是标准且确定的,例如,参见图3d所示的常见的鼠标370,鼠标370包括左键371、右键373和滚轮372,滚轮372分别和左键371、右键373相邻,各按键之间的相对位置关系是确定的,左键371、滚轮372和右键373之间的空间距离是确定。
可选的,根据型号信息,确定输入设备对应的三维模型,具体包括:根据型号信息,若预设数据库中存在和输入设备相同的型号,则在预设数据库中,根据型号确定输入设备对应的三维模型;或者,若预设数据库中不存在和输入设备相同的型号,则计算预设数据库中存储的型号和输入设备的型号的相似值,并判断相似值是否小于或等于预设值;若是,则在预设数据库中,根据相似值对应的型号确定输入设备对应的三维模型;若相似值大于预设值,则在预设数据库中确定目标模型。
可理解的,获取到输入设备键盘的型号信息后,判断预设数据库中是否存在和键盘相同的型号,预设数据库中预先存储不同型号的键盘对应的三维模型,预设数据库中存储的多个三维模型包括各自对应的键盘型号,例如键盘的型号可以是AAAA,预设数据库中该键盘对应的三维模型的型号也是AAAA;若预设数据库中存在和键盘相同的型号,则可以直接在预设数据库中,将该型号对应的三维模型确定为键盘对应的三维模型,能够进一步减少交互时间。可理解的,输入设备是鼠标时确定目标模型的过程与输入设备是键盘时确定目标模型的过程相同,在此不作赘述。
可理解的,若预设数据库中不存在和输入设备键盘相同的型号,也就是预设数据库中不存在该型号的键盘对应的三维模型,则需要继续计算预设数据库中存储的型号和输入设备的型号的相似值,并判断相似值是否小于或等于预设值,也就是判断预设数据库中是否存在和键盘的型号相似的型号,型号相似的键盘各自的布局也比较相似,还可以预先设置确定相似的型号的规则,例如将型号AAAA和型号AAAB设置为相似的型号,型号AAAA和型号AAAB的键盘布局比较相似且匹配度比较高,型号AAAA包括4个字符,型号AAAB也包括4个字符,型号AAAA和型号AAAB中3个字符的位置以及字符均相同为A,仅第4个字符不相同,因此可以计算得到二者型号的相似值为0.25,预设值可以根据需求设置为0.4,相似值0.25小于预设值0.4,可以确定预设数据库中存在和键盘的型号相似的型号,随后,在预设数据库中,根据相似值对应的型号AAAB确定型号为AAAA的输入设备所对应的三维模型。可理解的,在预设数据库中可以只存储一个相似的三维模型即可,以减少被占用的存储空间,还可以直接将相似的型号关联;若预设数据库中存在和键盘的型号相似的型号,则在预设数据库中,可以直接根据相似的型号确定键盘对应的三维模型。
可理解的,若相似值大于预设值,也就是预设数据库中不存在和键盘的型号相同的型号,也不存在和键盘的型号相似的型号,则在预设数据库中确定目标模型,目标模型可以是预先存储在预设数据库中的通用模型,或者是在预设数据库中选择的和键盘相似的三维模型。
S220、获取虚拟现实系统的摄像头拍摄的输入设备的图像。
可理解的,虚拟现实软件系统获取摄像头实时拍摄输入设备键盘,生成包括键盘的图像,其中摄像头可以是红外摄像头、彩色摄像头或者灰度摄像头,例如,采用灰度摄像头进行拍摄时可以生成黑色背景白色字符的图像,获取虚拟现实系统中头戴式显示器上安装的摄像头实时拍摄的包括键盘的图像,黑色背景为键盘的整体背景,白色字符表示每个按键上的字符,便于后续快速准确的进行二分类,识别出图像中的字符。具体的,可以由图3a中头戴式显示器320上安装的摄像头拍摄包括键盘310的图像,并将图像传输至虚拟现实软件系统进行处理。虚拟现实软件系统获取摄像头实时拍摄输入设备鼠标,生成包括鼠标的图像,鼠标图像中按键和滚轮之间结构清晰,可以明确的区分出按键之间的空隙,便于后续快速准确的对鼠标上的按键进行识别,准确的识别出图像中鼠标的左键、右键和滚轮所在的区域。
S230、识别图像中输入设备的至少一个特征标识。
可选的,输入设备包括键盘,键盘对应的特征标识为字符;输入设备还包括鼠标,鼠标对应的特征标识为元件。
可理解的,在上述S220的基础上,虚拟现实软件系统可以基于图像识别算法识别图像中键盘上的至少一个字符,可以识别上述获取的黑白图像中的白色字符,或是,识别按键上字符有明显颜色区分的字符,以便于提高识别速度。优选的,可以识别3个字符,3个字符可以是上述5个键区内任意键区内的3个字符,3个字符可以不在一条水平线上,例如,3个字符可以是同一键区内的A、W和D,还可以是不同键区内的F3、M和N,3个字符的选择形式不作限定;图像识别算法可以是具有识别字符功能的算法,在此不作限定。虚拟现实软件系统可以基于图像识别算法识别图像中鼠标上的至少一个元件,具体的,可以识别鼠标上的3个按键左键、右键和滚轮。
可选的,若相似值大于预设值,则识别图像中键盘对应的预设区域内的至少一个字符。
可理解的,若相似值大于预设值,也就是预设数据库中不存在和该键盘具有相同或相似型号的三维模型,也就是预设数据库中不存在和键盘相匹配的三维模型,此时可以选择和键盘相似的三维模型或者通用的三维模型(目标模型),下述以选择相似的三维模型为例进行说明。需要分别在图像中键盘的5个预设区域内都识别字符,预设区域可以是上述5个键盘区域,也就是在每个键区内都要识别至少一个字符,例如,在数字键区内识别字符4,在主键盘区识别字符A,在方向键区向上的方向键,在控制键区识别Insert字符以及在顶部功能键区识别F12的字符;随后可以根据物理键盘中每个键区内的字符的位置信息,对该相似的三维模型进行调整,或是直将该相似的三维模型作为和键盘相匹配的三维模型。
可选的,若相似值大于预设值,则识别图像中鼠标的至少一个元件。
可理解的,若预设数据库中不存在和该鼠标具有相同或相似型号的三维模型,也就是预设数据库中不存在和鼠标相匹配的三维模型,此时可以选择和鼠标相似的三维模型或者通用的三维模型(目标模型)。
S240、计算至少一个特征标识对应于虚拟现实系统中的目标信息。
可理解的,在上述S230的基础上,虚拟现实软件系统确定图像中键盘的至少一个字符之后,计算每个字符对应于虚拟现实系统中的目标信息,其中,目标信息包括位置信息和方向属性信息(姿态信息)。
示例性的,图3a中显示的头戴式显示器320会配置3至4个摄像头,来实时拍摄用户头部周围的环境信息,并确定拍摄到的环境信息和头部佩戴的头戴式显示器的位置关系,构建空间,该空间可以称为目标空间,键盘和用户手部就在确定的目标空间内,在该目标空间内,计算键盘上至少一个字符的目标信息,也就是字符在目标空间内的目标信息,位置信息是指字符在目标空间中的空间三维坐标(XYZ),方向属性信息是指字符在目标空间中的姿态信息,例如字符在目标空间中的旋转角、俯仰角和翻滚角等,空间三维坐标是指在目标空间内的三维坐标,姿态信息是指在目标空间内的姿态;通过上述字符的目标信息,能够确定目标空间内的字符的位置和姿态。
可选的,确定特征标识的目标信息具体包括:通过空间位置算法计算至少一个特征标识对应于虚拟现实系统中的目标信息。
可理解的,在上述S230的基础上,可以利用空间位置算法计算输入设备键盘的每个字符在目标空间中的目标信息。空间位置算法具体可以是求解二维空间和三维空间中的点相对运动的方法(Perspective-n-Point/PnP)。
可选的,计算至少一个特征标识对应于虚拟现实系统中的目标信息,包括:针对第一预设数量的特征标识,获取至少两个摄像头在不同角度同时拍摄的同一个特征标识的图像,并基于该同一个特征标识在不同角度下的图像,确定该同一个特征标识的姿态信息;或者,针对第二预设数量的特征标识,基于不在一条直线上的至少三个特征标识的位置信息,确定所述至少三个特征标识构成的多边形的横滚角和俯仰角;基于多边形的朝向和多边形与三维模型的位置关系,确定多边形的偏航角;其中,横滚角、俯仰角和偏航角构成多边形的姿态信息。
可理解的,目标信息包括位置信息和姿态信息,上述确定特征标识在虚拟现实系统中的位置信息后,计算特征标识在虚拟现实系统中的姿态信息。具体的,针对第一预设数量的特征标识,第一预设数量是指最多2个特征标识,最少1个特征标识,以1个特征标识为例进行说明,获取虚拟现实系统包括的至少两个摄像头在不同角度同时拍摄的同一个特征标识的图像,同一个特征标识可以是输入设备键盘上的字符A,也就是利用两个摄像头在不同角度、同一时刻拍摄包括字符A的图像,并基于该一个特征标识在不同角度下的图像,确定该同一个特征标识的姿态信息,也就是确定字符A的姿态信息,可理解的是,通过两个以上不同角度拍摄的图像可以确定图像中某一特征标识的姿态,具体实现方法在此不作赘述;或者,针对第二预设数量的特征标识,第二预设数量可以是至少3个,也就是对于3个以上特征标识来说,以输入设备键盘为例,基于不在一条直线上的三个特征标识的位置信息,不在一条直线上的三个特征标识可以是字符A、W、C,确定三个特征标识构成的多边形(AWC三角形)的横滚角和俯仰角,三个点可以确定一个三角形,三角形的横滚角和俯仰角也是可以确定的,随后基于三个特征标识构成的三角形的朝向,确定三角形的偏航角,例如朝向是指三角形AWC中W在A的斜上方,字符A在字符C的斜上方,以此来确定三个点组成的三角形的偏航角,其中,横滚角、俯仰角和偏航角构成三角形的姿态信息,可以预先定义键盘或鼠标正面的朝向为正,背面的朝向为负,因此,横滚角、俯仰角和偏航角这三个角也就有正负之分,能够更精准的确定三角形的姿态信息。本公开提供的方法,至多采集3个特征标识就可以精确的确定模型在虚拟现实场景中的位置和姿态,进而准确的将三维模型完整的显示出来,实现虚拟和现实的交互,对遮挡的容错性较高,即使存在遮挡,但是只要能识别出比较少的特征标识就不影响模型映射的过程和精度,不需要识别物体完整的外形,且实现也比较方便。
S250、基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可理解的,在上述S240和S210的基础上,基于每个字符的目标信息,将三维模型映射到虚拟现实系统构建的虚拟现实场景中,也就是将S210确定的键盘对应的待显示的三维模型在虚拟现实系统中虚拟现实软件系统所构建的虚拟现实场景中显示出来。在虚拟现实场景中该三维模型在目标空间中的位置和姿态和键盘(物理键盘)在现实空间的位置和姿态相同,用户可以通过头戴式显示器中显示屏幕上显示的虚拟现实场景中三维模型的状态,来确定现实空间中物理键盘的情况,进而去控制物理键盘实现文字的快速输入或其他功能。
可选的,上述S250具体包括:基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息;基于三维模型的位置信息和姿态信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可理解的,根据计算得到的每个字符的目标信息以及每个字符在键盘对应的三维模型上的位置信息(至少一个特征标识与三维模型的位置关系),确定整个三维模型在虚拟现实系统中的目标信息,也就是确定三维模型在虚拟现实系统中的位置信息和姿态信息,计算得到的每个字符的目标信息是在构建的目标空间内的,每个字符在键盘对应的三维模型上的位置关系是固定的,或是可以确定的;每个字符在键盘对应的三维模型上的位置包括每个字符之间的空间距离和每个字符之间的相对位置,还可以是字符相对预设标识之间的空间距离和相对位置,预设标识可以是预先在键盘设备上设置的,预设标识在键盘上的位置不作限定,例如预设标识可以是白色的点,其中每个型号的键盘对应的三维模型上的字符之间的距离以及字符之间的方向是固定的,例如,不管三维模型的位置以及姿态信息,字符A和字符W之间的空间距离是固定的,字符W在字符A的上方的相对位置关系也是固定的,也就是根据计算得到的字符的目标信息和三维模型上字符之间的位置信息,可以确定整个三维模型在虚拟现实系统中的目标信息;随后在虚拟现实场景中、三维模型的目标信息处显示三维模型,也可以理解为将现实中的物理键盘真实、准确、快速的映射到虚拟现实场景中。
可选的,基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息,包括:基于一个特征标识的位置信息和该特征标识与三维模型的位置关系,确定三维模型的位置信息。
可理解的,基于一个特征标识在目标空间中的位置信息和该特征标识与三维模型的位置关系,确定三维模型在目标空间中的位置信息,特征标识与三维模型的位置关系可以理解为该特征标识在三维模型中的具体位置。
可选的,基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息,包括:针对第一预设数量的特征标识,基于一个特征标识的姿态信息和该特征标识与三维模型的位置关系,确定三维模型的姿态信息;针对第二预设数量的特征标识,基于多边形的姿态信息和多边形与三维模型的位置关系,确定三维模型的姿态信息。
可理解的,基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息,具体包括:针对第一预设数量的特征标识,也就是针对1个或2个特征标识,例如可以只根据上述字符A或字符B,基于该一个特征标识的姿态信息和该特征标识与三维模型的位置关系,即根据字符A在虚拟现实系统中的姿态信息以及字符A在三维模型上的位置信息,确定三维模型在虚拟现实系统中的姿态信息,进而得到了三维模型在虚拟现实系统中的姿态信息。
可理解的,针对第二预设数量的特征标识,第二预设数量的特征标识为3个以上的特征标识,也就是可以根据键盘上的不在一条直线上的字符A、字符W和字符C在键盘对应的三维模型上的位置信息,以及上述通过计算得到的字符A、字符W和字符C在虚拟现实系统中的姿态信息,计算得到三维模型在虚拟现实系统中的姿态信息,也就是得到该物理键盘的三维模型在目标空间中的姿态信息;从而根据三维模型的位置信息和姿态信息将键盘对应的三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可理解的,还可以获取用户手部的定位信息,定位信息中可以包括手部在目标空间内的位置信息和姿态信息等,随后构建手部三维模型,并在定位信息处、将手部三维模型映射到头戴式显示器中显示屏幕上显示的虚拟现实场景中。此时,在虚拟现实场景中手部三维模型的目标信息和键盘对应的三维模型的目标信息对应。例如图3a所示的现实中物理键盘310和手部330的位置对应关系,手部330可以操作键盘310,在虚拟现实场景340中键盘对应的三维模型350和手部对应的三维模型360可以以同样的显示状态进行显示,显示状态也可以是手部对应的三维模型360操作键盘对应的三维模型350。
可以理解的是,物理键盘是可以随时移动的,摄像头拍摄的包括物理键盘的图像也是实时生成的,可以实时确定物理键盘对应的三维模型在虚拟现实系统中的目标信息,也就是可以随时改变三维模型在虚拟现实场景中的显示状态。首次确定三维模型后,若没有更换物理键盘,后续可以不用根据物理键盘的型号重复选择三维模型,可以直接计算字符的目标信息即可,从而加快确定三维模型的目标信息的速度。
本公开实施例提供的一种输入设备的模型映射方法,通过确定输入设备对应的三维模型,获取虚拟现实系统的摄像头拍摄的输入设备的图像,随后识别图像中输入设备的至少一个特征标识,并计算至少一个特征标识对应于虚拟现实系统中的目标信息,最后基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。本公开提供的方法只需要较少的特征标识,就能够将现实空间中的输入设备准确的映射到虚拟现实场景中,对于遮挡的容错性比较高,便于后续根据虚拟现实场景中输入设备的三维模型高效的使用真实输入设备进行交互,快速完成文字输入以及其他操作。
在上述实施例的基础上,图4为本公开实施例提供的一种输入设备的模型映射方法的流程示意图,可选的,在识别图像中键盘对应的预设区域内的至少一个字符后,具体还包括如图4所示的如下步骤S410至S440:
S410、计算键盘对应的预设区域内的至少一个字符的第一空间距离。
可理解的,在预设的5个键区内均识别至少一个字符之后,即在每个键区内均识别一个字符之后,计算在5个键区内的5个字符之间的空间距离,例如,计算数字键区内字符4和主键盘区内字符A之间的第一空间距离,计算字符Insert和字符A之间的第一空间距离等,其余按键之间的第一空间距离的计算不作赘述。
可理解的,若输入设备是鼠标,鼠标中存在多个元件时,可以识别3个元件,也可以多个元件都识别,确保后续确定三维模型的目标信息的准确性,即左键、右键和滚轮,识别图像中鼠标的至少一个元件之后,以鼠标中存在5个元件为例进行说明,5个元件可以是左键1、左键2、滚轮、右键1和右键2,此时可以识别图像中鼠标的5个元件,也就是鼠标的每个元件都要识别;随后根据鼠标对应的三维模型中确定的每个元件之间的位置信息(空间距离和相对位置关系),对该相似的三维模型(目标模型)进行调整,得到和鼠标相匹配的三维模型。
S420、计算目标模型中至少一个字符的第二空间距离。
可理解的,根据上述确定的每个键区识别的字符,相应的,在目标模型(相似的三维模型)的5个键区内也计算和上述相同的字符之间的第二空间距离,例如,在目标模型中同样计算数字键区内字符4和主键盘区内字符A之间的第二空间距离,计算Insert和字符A之间的第二空间距离等,也就是在键盘上计算第一空间距离时应用的字符和在目标空间上计算第二空间距离时应用的字符相同。
可理解的,对于鼠标来说,根据上述识别的元件,相应的,在目标模型(相似的三维模型)内也计算和上述相同的元件之间的第二空间距离,例如,在目标模型中同样计算左键1和左键2之间的第二空间距离,计算左键1和右键1之间的第二空间距离等,也就是在识别上计算第一空间距离时应用的元件和在目标空间上计算第二空间距离时应用的元件相同,要一一对应。
S430、若第一空间距离和第二空间距离的差值大于预设阈值,则根据第一空间距离和第二空间距离,确定键盘对应的至少一个字符所在的预设区域的位置关系;根据预设区域的位置关系更新目标模型。
可理解的,在上述S410和S420的基础上,若计算得到目标模型中字符4和字符A之间的第二空间距离为5,计算得到的图像中物理键盘上的字符4和字符A之间的第一空间距离为7,计算第一空间距离5和第二空间距离7之间的差值2是否大于预设阈值,预设阈值可以根据用户需求自行设置,可以设置为1,差值2大于预设阈值1,则需要对相似的三维模型进行调整,根据第二空间距离5和第一空间距离7调整相似的三维模型中数字键区和主键盘区之间的空间距离,将相似的三维模型中预先确定的数字键区的中心点和主键盘区的中心点之间的空间距离调整为7,键区内的其他字符和按键也相应的进行调整,也就是增加2个键区之间的空间距离,其余键区之间的空间距离的调整和上述数字键区和主键盘区的空间距离调整方式相同,在此不作赘述;每个键区的位置(空间距离)调整后,即可得到和键盘相匹配的更新后的目标模型,或是得到和键盘匹配度更高的目标模型,匹配度更高是指字符与字符之间的位置关系,以及键区与键区之间的位置关系差距比较小,也就是调整后的目标模型的空间布局和键盘的空间布局相匹配,也可以理解为根据相似的三维模型生成和键盘相匹配的三维模型,避免出现物理键盘和三维模型匹配度不高,造成按键错位的情况,例如现实空间中用户按下了按键D,但是因为物理键盘和三维模型匹配度不高,导致虚拟现实场景中显示的手部模型按下了三维模型上的按键E,容易误导用户,同时输入也不准确。三维模型的整体外形不同时可以不作调整。
可选的,基于目标信息,将更新后的目标模型映射到虚拟现实系统对应的虚拟现实场景中。
可理解的,上述识别键盘每个键区的至少一个字符后,至少一个字符是指一个键区内至少一个字符,若键盘设备划分了5个键区,那么5个键区至少包括5个字符。根据每个键区内的至少一个字符在三维模型中的位置信息,进而确定更新后的目标模型在虚拟显示系统中的目标信息,更新后的目标模型也就是键盘对应的三维模型,并将更新后的目标模型映射到虚拟现实场景中。
S440、若第一空间距离和第二空间距离的差值小于或等于预设阈值,则确定目标模型为键盘对应的三维模型。
可理解的,在上述S430的基础上,若计算得到目标模型中字符4和字符A之间的第二空间距离为6.5,计算得到的图像中物理键盘上的字符4和字符A之间的第一空间距离为7,第一空间距离6.5和第二空间距离7之间的差值为0.5小于预设阈值1,还比如,在物理键盘中控制键区中的字符Insert和数字键区上的字符4之间的第一空间距离为3,在相似的三维模型中控制键区中的字符Insert和数字键区上的字符4之间的第二空间距离为2.5,第一空间距离3和第二空间距离2.5之间空间距离的差值为0.5小于预设阈值1,若其他键区内的字符之间的空间距离的差值也小于预设阈值,则说明目标模型和键盘的相似度比较高,该种情况下可以直接选择该相似度较高的目标模型作为键盘对应的三维模型,就不需要对目标模型进行调整。
本公开实施例提供的一种输入设备的模型映射方法,若在预先构建的模型数据库(预设数据库)中不存在和输入设备相匹配的三维模型,可以先确定和输入设备相似的三维模型(目标模型),随后根据输入设备中各键区内字符的分布情况,以及键区内字符之间的位置关系,对相似的三维模型进行调整,使得输入设备和三维模型的匹配度比较高,方法比较灵活,可以适用于多种应用场景,例如预设数据库中不存在与该型号的输入设备对应的三维模型时,也可以自行调整目标模型,且便于实施,可实施性强,或者,当目标模型和输入设备的相似度比较高时,也就是各键区之间的空间距离差值比较小时,可以直接将该目标模型确定为输入设备对应的三维模型。
在上述实施例的基础上,图5为本公开实施例提供的一种输入设备的模型映射方法的流程示意图,可选的,若虚拟现实系统的摄像头拍摄的图像中输入设备出现大范围的遮挡,无法采集到的特征标识时,还可以进行如图5所示的如下步骤S510至S520:
可选的,输入设备预先配置有惯性传感器。
可理解的,输入设备上预先配置有惯性传感器,惯性传感器会实时采集关于输入设备的相关数据,惯性传感器可以作为一个独立的装置设置在输入设备表面,或者设置在输入设备内部电路中。
S510、获取惯性传感器的数据。
可理解的,获取惯性传感器采集到的数据,当图像识别方法无法确定输入设备对应的三维模型的目标信息时,可以获取拍摄图像时,惯性传感器同步采集到的数据。
S520、若未识别到图像中输入设备的至少一个特征标识,则根据惯性传感器的数据确定输入设备对应的三维模型在虚拟现实系统中的目标信息。
可理解的,在上述S510的基础上,若获取到的图像中存在大规模的遮挡,大规模的遮挡可能是实时拍摄的照片被手部遮挡了,或是拍摄的角度不正确等,导致虚拟现实软件系统无法识别到图像中输入设备上的特征标识时,该种情况下,可以通过IMU获得该输入设备的定位信息,再根据该定位信息确定输入设备在目标空间内的目标信息。
可理解的,若获取到的图像中存在大规模的遮挡,虚拟现实软件系统还可以接收输入设备的输入信号,根据输入信号确定输入设备的目标信息。
可理解的是,摄像头是实时拍摄输入设备的图像的,当用户操作的输入设备发生移动或位置的变化后,虚拟现实场景中显示的三维模型同样会随之变化。
本公开实施例提供的一种输入设备的模型映射方法,若获取到的图像中存在大规模的遮挡,导致虚拟现实系统无法识别到图像中输入设备上的字符,还可以通过输入设备上配置的惯性传感器的数据或接收输入设备的输入信号等方式来确定输入设备对应于虚拟现实系统中的目标信息,确保出现突发状况,也能够在虚拟现实场景中实时准确的显示输入设备对应的三维模型,有效避免了用户无法确定现实中输入设备位置的问题,提高了用户体验。
图6为本公开实施例提供的输入设备的模型映射装置的结构示意图。本公开实施例提供的输入设备的模型映射装置可以执行上述输入设备的模型映射方法实施例提供的处理流程,如图6所示,装置600包括:
确定单元610,用于确定输入设备对应的三维模型;
获取单元620,用于获取虚拟现实系统的摄像头拍摄的输入设备的图像;
识别单元630,用于识别图像中输入设备的至少一个特征标识;
计算单元640,用于计算至少一个特征标识对应于虚拟现实系统中的目标信息;
映射单元650,用于基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可选的,确定单元610中确定输入设备对应的三维模型,具体用于:
获取输入设备的配置信息,配置信息包括型号信息;
根据型号信息,确定输入设备对应的三维模型。
可选的,确定单元610中根据型号信息,确定输入设备对应的三维模型,具体用于:
根据型号信息,若预设数据库中存在和输入设备相同的型号,则在预设数据库中,根据型号确定输入设备对应的三维模型;或者,
若预设数据库中不存在和输入设备相同的型号,则计算预设数据库中存储的型号和输入设备的型号的相似值,并判断相似值是否小于或等于预设值;若是,则在预设数据库中,根据相似值对应的型号确定输入设备对应的三维模型;
若相似值大于预设值,则在预设数据库中确定目标模型。
可选的,确定单元610中输入设备包括键盘,键盘对应的特征标识为字符。
可选的,识别单元630中识别图像中输入设备的至少一个特征标识,具体用于:
若相似值大于预设值,则识别图像中键盘对应的预设区域内的至少一个字符。
可选的,装置600中还包括更新单元,更新单元用于在识别图像中键盘对应的预设区域内的至少一个字符后,具体用于:
计算键盘对应的预设区域内的至少一个字符的第一空间距离;
计算目标模型中至少一个字符的第二空间距离;
若第一空间距离和第二空间距离的差值大于预设阈值,则根据第一空间距离和第二空间距离,确定键盘对应的至少一个字符所在的预设区域的位置关系;根据预设区域的位置关系更新目标模型;或者,
若第一空间距离和第二空间距离的差值小于或等于预设阈值,则确定目标模型为键盘对应的三维模型。
可选的,确定单元610中输入设备还包括鼠标,鼠标对应的特征标识为元件。
可选的,识别单元630中识别图像中输入设备的至少一个特征标识,具体用于:
若相似值大于预设值,则识别图像中鼠标的至少一个元件。
可选的,映射单元650中基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中,具体用于:
基于目标信息,将更新后的目标模型映射到虚拟现实系统对应的虚拟现实场景中。
可选的,计算单元640中计算至少一个特征标识对应于虚拟现实系统中的目标信息,具体用于:
通过空间位置算法计算至少一个特征标识对应于虚拟现实系统中的目标信息。
可选的,装置600中目标信息包括位置信息和姿态信息。
可选的,计算单元640中计算至少一个特征标识对应于虚拟现实系统中的目标信息,具体用于:
针对第一预设数量的特征标识,获取至少两个摄像头在不同角度同时拍摄的同一个特征标识的图像,并基于该同一个特征标识在不同角度下的图像,确定该同一个特征标识的姿态信息;或者,
针对第二预设数量的特征标识,基于不在一条直线上的至少三个特征标识的位置信息,确定至少三个特征标识构成的多边形的横滚角和俯仰角;基于多边形的朝向和多边形与三维模型的位置关系,确定多边形的偏航角;其中,横滚角、俯仰角和偏航角构成多边形的姿态信息。
可选的,映射单元650中基于目标信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中,具体用于:
基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息;
基于三维模型的位置信息和姿态信息,将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可选的,映射单元650中基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息,包括:
基于一个特征标识的位置信息和该特征标识与三维模型的位置关系,确定三维模型的位置信息。
可选的,映射单元650中基于目标信息以及至少一个特征标识与三维模型的位置关系,确定三维模型的位置信息和姿态信息,具体用于:
针对第一预设数量的特征标识,基于一个特征标识的姿态信息和该特征标识与三维模型的位置关系,确定三维模型的姿态信息;
针对第二预设数量的特征标识,基于多边形的姿态信息和多边形与三维模型的位置关系,确定三维模型的姿态信息。
可选的,装置600中输入设备预先配置有惯性传感器。
可选的,装置600还包括辅助获取单元,具体用于:
获取惯性传感器的数据;
若未识别到图像中输入设备的至少一个特征标识,则根据惯性传感器的数据确定输入设备对应的三维模型在虚拟现实系统中的目标信息。
图6所示实施例的输入设备的模型映射装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本公开实施例提供的一种电子设备的结构示意图。本公开实施例提供的电子设备可以执行上述实施例提供的处理流程,如图7所示,电子设备700包括:处理器710、通讯接口720和存储器730;其中,计算机程序存储在存储器730中,并被配置为由处理器710执行如上述的输入设备的模型映射方法。
另外,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的输入设备的模型映射方法。
此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上所述的输入设备的模型映射方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种输入设备的模型映射方法,其特征在于,包括:
确定输入设备对应的三维模型,其中,所述输入设备包括键盘和鼠标;
获取虚拟现实系统的摄像头拍摄的所述输入设备的图像;
识别所述图像中所述输入设备的至少一个特征标识;
计算所述至少一个特征标识对应于所述虚拟现实系统中的目标信息;
基于所述目标信息,将所述三维模型映射到所述虚拟现实系统对应的虚拟现实场景中,以实现所述输入设备和所述虚拟现实场景的交互;
其中,所述目标信息包括位置信息和姿态信息;所述计算所述至少一个特征标识对应于所述虚拟现实系统中的目标信息,包括:
针对第一预设数量的特征标识,获取至少两个摄像头在不同角度同时拍摄的同一个特征标识的图像,并基于该同一个特征标识在不同角度下的图像,确定该同一个特征标识的姿态信息;或者
针对第二预设数量的特征标识,基于不在一条直线上的至少三个特征标识的位置信息,确定所述至少三个特征标识构成的多边形的横滚角和俯仰角;基于所述多边形的朝向和所述多边形与所述三维模型的位置关系,确定所述多边形的偏航角;其中,所述横滚角、所述俯仰角和所述偏航角构成所述多边形的姿态信息。
2.根据权利要求1所述的方法,其特征在于,所述确定输入设备对应的三维模型,包括:
获取输入设备的配置信息,所述配置信息包括型号信息;
根据所述型号信息,确定所述输入设备对应的三维模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述型号信息,确定所述输入设备对应的三维模型,包括:
根据所述型号信息,若预设数据库中存在和所述输入设备相同的型号,则在所述预设数据库中,根据所述型号确定所述输入设备对应的三维模型;或者,
若所述预设数据库中不存在和所述输入设备相同的型号,则计算所述预设数据库中存储的型号和所述输入设备的型号的相似值,并判断所述相似值是否小于或等于预设值;若是,则在所述预设数据库中,根据所述相似值对应的型号确定所述输入设备对应的三维模型;
若所述相似值大于所述预设值,则在所述预设数据库中确定目标模型。
4.根据权利要求3所述的方法,其特征在于,所述输入设备包括键盘,所述键盘的特征标识为字符;
所述识别所述图像中所述输入设备的至少一个特征标识,包括:
若所述相似值大于所述预设值,则识别所述图像中所述键盘对应的预设区域内的至少一个字符。
5.根据权利要求4所述的方法,其特征在于,在识别所述图像中所述键盘对应的预设区域内的至少一个字符后,所述方法还包括:
计算所述键盘对应的预设区域内的所述至少一个字符的第一空间距离;
计算所述目标模型中所述至少一个字符的第二空间距离;
若所述第一空间距离和所述第二空间距离的差值大于预设阈值,则根据所述第一空间距离和所述第二空间距离,确定所述键盘对应的至少一个字符所在的所述预设区域的位置关系;根据所述预设区域的位置关系更新所述目标模型;或者,
若所述第一空间距离和所述第二空间距离的差值小于或等于所述预设阈值,则确定所述目标模型为所述键盘对应的三维模型。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标信息,将所述三维模型映射到所述虚拟现实系统对应的虚拟现实场景中,包括:
基于所述目标信息,将更新后的所述目标模型映射到所述虚拟现实系统对应的虚拟现实场景中。
7.根据权利要求3所述的方法,其特征在于,所述输入设备还包括鼠标,所述鼠标对应的特征标识为元件;
所述识别所述图像中所述输入设备的至少一个特征标识,包括:
若所述相似值大于所述预设值,则识别所述图像中所述鼠标的至少一个元件。
8.根据权利要求1所述的方法,其特征在于,所述计算所述至少一个特征标识对应于所述虚拟现实系统中的目标信息,包括:
通过空间位置算法计算所述至少一个特征标识对应于所述虚拟现实系统中的目标信息。
9.根据权利要求1所述的方法,其特征在于,所述基于所述目标信息,将所述三维模型映射到所述虚拟现实系统对应的虚拟现实场景中,包括:
基于所述目标信息以及所述至少一个特征标识与所述三维模型的位置关系,确定所述三维模型的位置信息和姿态信息;
基于所述三维模型的位置信息和姿态信息,将所述三维模型映射到所述虚拟现实系统对应的虚拟现实场景中。
10.根据权利要求9所述的方法,其特征在于,基于所述目标信息以及所述至少一个特征标识与所述三维模型的位置关系,确定所述三维模型的位置信息和姿态信息,包括:
基于一个特征标识的位置信息和该特征标识与所述三维模型的位置关系,确定所述三维模型的位置信息。
11.根据权利要求9所述的方法,其特征在于,基于所述目标信息以及所述至少一个特征标识与所述三维模型的位置关系,确定所述三维模型的姿态信息,包括:
针对第一预设数量的特征标识,基于一个特征标识的姿态信息和该特征标识与所述三维模型的位置关系,确定所述三维模型的姿态信息;
针对第二预设数量的特征标识,基于所述多边形的姿态信息和所述多边形与所述三维模型的位置关系,确定所述三维模型的姿态信息。
12.一种输入设备的模型映射装置,其特征在于,包括:
确定单元,用于确定输入设备对应的三维模型,其中,所述输入设备包括键盘和鼠标;
获取单元,用于获取虚拟现实系统的摄像头拍摄的所述输入设备的图像;
识别单元,用于识别所述图像中所述输入设备的至少一个特征标识;
计算单元,用于计算所述至少一个特征标识对应于所述虚拟现实系统中的目标信息,其中,所述目标信息包括位置信息和姿态信息;所述计算所述至少一个特征标识对应于所述虚拟现实系统中的目标信息,具体用于:针对第一预设数量的特征标识,获取至少两个摄像头在不同角度同时拍摄的同一个特征标识的图像,并基于该同一个特征标识在不同角度下的图像,确定该同一个特征标识的姿态信息;或者,针对第二预设数量的特征标识,基于不在一条直线上的至少三个特征标识的位置信息,确定所述至少三个特征标识构成的多边形的横滚角和俯仰角;基于所述多边形的朝向和所述多边形与所述三维模型的位置关系,确定所述多边形的偏航角;其中,所述横滚角、所述俯仰角和所述偏航角构成所述多边形的姿态信息;
映射单元,用于基于所述目标信息,将所述三维模型映射到所述虚拟现实系统对应的虚拟现实场景中,以实现所述输入设备和所述虚拟现实场景的交互。
13.一种电子设备,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1至11中任一所述的输入设备的模型映射方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11中任一所述的输入设备的模型映射方法的步骤。
CN202210137977.2A 2022-02-15 2022-02-15 输入设备的模型映射方法、装置、设备和存储介质 Active CN114170407B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202210137977.2A CN114170407B (zh) 2022-02-15 2022-02-15 输入设备的模型映射方法、装置、设备和存储介质
PCT/CN2023/073666 WO2023155672A1 (en) 2022-02-15 2023-01-29 Input device model projecting method, apparatus and system
PCT/CN2023/073649 WO2023155670A1 (en) 2022-02-15 2023-01-29 Model display method, apparatus and system
US18/198,828 US20230290071A1 (en) 2022-02-15 2023-05-17 Model display method, apparatus and system
US18/209,471 US11869145B2 (en) 2022-02-15 2023-06-13 Input device model projecting method, apparatus and system
US18/518,871 US20240144603A1 (en) 2022-02-15 2023-11-24 Input device model projecting method, apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210137977.2A CN114170407B (zh) 2022-02-15 2022-02-15 输入设备的模型映射方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114170407A CN114170407A (zh) 2022-03-11
CN114170407B true CN114170407B (zh) 2022-05-10

Family

ID=80490024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210137977.2A Active CN114170407B (zh) 2022-02-15 2022-02-15 输入设备的模型映射方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114170407B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155672A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
CN117440140B (zh) * 2023-12-21 2024-03-12 四川师范大学 一种基于虚拟现实技术的多人异地过节服务系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648093A (zh) * 2016-12-19 2017-05-10 珠海市魅族科技有限公司 虚拟现实设备输入方法和装置
CN109191590B (zh) * 2018-09-26 2023-11-07 浙江优创信息技术有限公司 一种用于制作虚拟现实应用的处理系统及处理方法
CN109471533B (zh) * 2018-11-09 2021-09-07 深圳职业技术学院 一种vr/ar教室内的学生端系统及其使用方法
CN109445620B (zh) * 2018-11-13 2021-10-01 宁波视睿迪光电有限公司 一种交互笔自动识别方法
CN109710056A (zh) * 2018-11-13 2019-05-03 宁波视睿迪光电有限公司 虚拟现实交互装置的显示方法及装置
US11113891B2 (en) * 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality

Also Published As

Publication number Publication date
CN114170407A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US10394334B2 (en) Gesture-based control system
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
CN114170407B (zh) 输入设备的模型映射方法、装置、设备和存储介质
US20140240267A1 (en) Method Using a Finger Above a Touchpad for Controlling a Computerized System
US20140313168A1 (en) Method for user input from alternative touchpads of a computerized system
JP2001282456A (ja) マンマシーン・インターフェース・システム
JP2009265809A (ja) 情報端末装置
US10621766B2 (en) Character input method and device using a background image portion as a control region
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
WO2023160697A1 (zh) 一种鼠标的模型映射方法、装置、设备和存储介质
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN114706489A (zh) 一种输入设备的虚拟方法、装置、设备和存储介质
WO2021258862A1 (zh) 打字方法及装置、设备、存储介质
KR20160141023A (ko) 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법
CN114167997B (zh) 一种模型显示方法、装置、设备和存储介质
US11314981B2 (en) Information processing system, information processing method, and program for displaying assistance information for assisting in creation of a marker
WO2023155670A1 (en) Model display method, apparatus and system
JP2022185872A (ja) 画像処理装置、画像処理方法、撮像装置
CN113282164A (zh) 一种处理方法和装置
CN114578956A (zh) 设备控制方法、装置、虚拟穿戴设备以及存储介质
CN112416121A (zh) 基于物体和手势感应的智能交互方法、装置及存储介质
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
US11789543B2 (en) Information processing apparatus and information processing method
CN112534379B (zh) 媒体资源推送装置、方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant