CN109407825A - 基于虚拟物品的互动方法与装置 - Google Patents

基于虚拟物品的互动方法与装置 Download PDF

Info

Publication number
CN109407825A
CN109407825A CN201811005228.4A CN201811005228A CN109407825A CN 109407825 A CN109407825 A CN 109407825A CN 201811005228 A CN201811005228 A CN 201811005228A CN 109407825 A CN109407825 A CN 109407825A
Authority
CN
China
Prior art keywords
human body
virtual objects
manikin
real human
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811005228.4A
Other languages
English (en)
Inventor
曹逸凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811005228.4A priority Critical patent/CN109407825A/zh
Publication of CN109407825A publication Critical patent/CN109407825A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于虚拟物品的互动方法与装置,所述的方法,包括:控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化;若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。本发明可适用多样的动作和运动,灵活性与普适性均较佳。

Description

基于虚拟物品的互动方法与装置
技术领域
本发明涉及人机交互领域,尤其涉及一种基于虚拟物品的互动方法与装置。
背景技术
在人体与虚拟物品进行互动的场景中,具有多样的真实人体直接或间接与虚拟物品发生碰撞的应用,例如真实人体拍打虚拟的篮球,或者真实人体利用虚拟的网球拍拍打虚拟的网球。
现有的相关技术中,通常需利用传感器检测真实人体的运动参数,进而根据运动参数判断真实人体是否发生了预设的动作,若发生了,则控制虚拟物品产生预设的运动,例如若检测到挥拍的动作,则控制网球执行挥拍所产生的运动。
然而,人体的动作是多样的,而多样的动作都可能对虚拟物品产生不同的作用,现有的技术只能够针对预设的动作控制虚拟物品产生预设的运动,所能够适用的动作和运动都极为有限,灵活性与普适性均不佳。
发明内容
本发明提供一种基于虚拟物品的互动方法与装置,以解决所能够适用的动作和运动都极为有限,灵活性与普适性均不佳的问题。
根据本发明的第一方面,提供了一种基于虚拟物品的互动方法,包括:
控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化;
若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
可选的,所述控制所述虚拟物品发生与所述碰撞相匹配的后续运动,包括:
根据所述虚拟物品的预设的物理参数和所述预设模型体的预设的物理参数,获取所述后续运动的第一运动参数;
根据所述后续运动的第一运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
可选的,所述预设的物理参数包括以下至少之一:质量、质量分布、接触表面的材料、接触表面的形状。
可选的,所述控制所述虚拟物品发生与所述碰撞相匹配的后续运动,包括:
根据所述预设模型体在碰撞前的运动参数,获取所述后续运动的第二运动参数;
根据所述后续运动的第二运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
可选的,所述控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,包括:
采集真实人体的实时图像;
根据所述实时图像,确定所述实时图像中所述真实人体的第一位姿信息;
根据所述第一位姿信息,确定所述三维场景中所述人体模型的第二位姿信息;
根据所述第二位姿信息,控制所述人体模型发生位置和/或姿态的变化。
可选的,所述第一位姿态信息包括第一部位信息,所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化;所述第二位姿信息包括第二部位信息,所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化;所述第二部位信息是根据所述第一部位信息确定的。
可选的,所述人体部位包括以下至少之一:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
可选的,所述第一位姿信息包括尺寸变化信息,所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化;所述第二位姿信息包括移动信息,所述移动信息用于表征人体模型沿所述三维场景的深度方向的位置变化,所述移动信息是根据所述尺寸变化信息确定的。
可选的,所述至少部分真实人体为所述真实人体的躯干部分。
根据本发明的第二方面,提供了一种基于虚拟物品的互动装置,包括:
第一控制模块,用于控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化;
第二控制模块,用于若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
可选的,所述第二控制模块,包括:
第一运动参数获取单元,用于根据所述虚拟物品的预设的物理参数和所述预设模型体的预设的物理参数,获取所述后续运动的第一运动参数;
第一后续运动控制单元,用于根据所述后续运动的第一运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
可选的,所述预设的物理参数包括以下至少之一:质量、质量分布、接触表面的材料、接触表面的形状。
可选的,所述第二控制模块,包括:
第二运动参数获取单元,用于根据所述预设模型体在碰撞前的运动参数,获取所述后续运动的第二运动参数;
第二后续运动控制单元,用于根据所述后续运动的第二运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
可选的,所述第一控制模块,包括:
采集单元,用于采集真实人体的实时图像;
第一位姿确定单元,用于根据所述实时图像,确定所述实时图像中所述真实人体的第一位姿信息;
第二位姿确定单元,用于根据所述第一位姿信息,确定所述三维场景中所述人体模型的第二位姿信息;
位姿控制单元,用于根据所述第二位姿信息,控制所述人体模型发生位置和/或姿态的变化。
可选的,所述第一位姿态信息包括第一部位信息,所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化;所述第二位姿信息包括第二部位信息,所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化;所述第二部位信息是根据所述第一部位信息确定的。
可选的,所述人体部位包括以下至少之一:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
可选的,所述第一位姿信息包括尺寸变化信息,所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化;所述第二位姿信息包括移动信息,所述移动信息用于表征人体模型沿所述三维场景的深度方向的位置变化,所述移动信息是根据所述尺寸变化信息确定的。
可选的,所述至少部分真实人体为所述真实人体的躯干部分。
根据本发明的第三方面,提供了一种电子设备,包括存储器与处理器;
所述存储器,用于存储所述处理器的可执行指令;
所述处理器配置为经由执行所述可执行指令来执行第一方面及其可选方案涉及的基于虚拟物品的互动方法。
根据本发明的第四方面,提供了一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现第一方面及其可选方案涉及的基于虚拟物品的互动方法。
本发明提供的基于虚拟物品的互动方法与装置,通过控制三维场景中的人体模型,以及绑定于人体模型的预设模型体随真实人体同步发生位置和/或姿态的变化,可以保障人体的任何动作都能够被检测到,本发明还通过若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动,实现了预设模型体与虚拟物品的碰撞模拟,该预设模型体可例如表征人手的模型体,或者球拍的模型体等等,由于预设模型体是随真实人体同步运动的,预设模型体与虚拟物品的碰撞,可表征人体与虚拟物品之间的互动,进而,由于预设模型体是随真实人体同步运动的,其位姿变化可以是多样的,基于多样的位姿变化,其所能产生碰撞后的后续运动也可以是多样的,可见,本发明可适用多样的动作和运动,灵活性与普适性均较佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例应用场景的示意图;
图2是本发明一实施例中基于虚拟物品的互动方法的流程示意图;
图3是本发明另一实施例中基于虚拟物品的互动方法的流程示意图;
图4是本发明一实施例中人体模型与预设模型体的示意图;
图5是本发明一实施例中步骤S22的流程示意图;
图6是本发明一实施例中步骤S23的流程示意图;
图7是本发明另一实施例中步骤S23的流程示意图;
图8是本发明一实施例中预设模型体与虚拟物品的碰撞示意图;
图9是本发明一实施例中基于虚拟物品的互动装置的结构示意图;
图10是本发明另一实施例中基于虚拟物品的互动装置的结构示意图;
图11是本发明一实施例中第一控制模块的结构示意图;
图12是本发明一实施例中第二控制模块的结构示意图;
图13是本发明另一实施例中第二控制模块的结构示意图;
图14是本发明一实施例中电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明一实施例应用场景的示意图。
请参考图1,为了便于理解,图示了本发明实施例可适用的一种应用场景中,该场景中,终端102的显示装置显示出真实人体101的实时图像,以及虚拟物品103,从中可以看到:真实人体101与虚拟物品103之间的可能会需要互动,而该种互动可从图1所示的显示装置中被表征。
此外,以上利用显示装置进行显示,只是为了便于对本发明实施例应用场景的理解,本发明实施例还可适用于其他不具有显示装置,或者显示装置中不显示真实人体101的实时图像的场景。
执行本发明实施例所涉及方法的主体可以为终端、服务器、服务器组等;其中的终端,可理解为具有存储器与处理器的设备,具体可例如手机、平板电脑、计算机、照相机、摄像机等等,由于虚拟物品的交互在游戏场景下较为常见,该终端也可以为游戏机或者任意游戏辅助设备。
虚拟物品,可理解为任意二维或三维的虚拟对象,其为创建于三维场景中的虚拟对象,虚拟物品可以是不依据现实物品而创建的,也可以是根据现实物品而创建的,故而,该虚拟物品的尺寸、形状、材质、运动状态等至少之一,均可以与该现实物品相同。
图2是本发明一实施例中基于虚拟物品的互动方法的流程示意图。
请参考图2,基于虚拟物品的互动方法,包括:
S11:控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化。
三维场景,可理解为提供了一个虚拟的三维空间,同时,在三维场景中还需对人体模型进行图像渲染,进而适于实现人体模型的显示与表征。
人体模型,可理解为用于模拟所述真实人体的模型,其可以为二维或三维的且处于三维场景下的模型。
预设模型体,可理解为绑定于人体模型,并占据三维空间的模型实体,其可用特定的体积,以及其所对应的形状、位置等来描述。绑定后可在三维场景内形成一个实体对象,通过预设模型体的绑定,可为虚拟物品的碰撞判断提供依据。具体实施过程中,预设模型体可以是表征人身体的一部分,例如表征手、手臂、腿、脚等,也可以是表征人身体以外的部分,例如球拍、球杆、手套等等。
人体模型的位置,可以包含三维场景内三个维度下的位置。其可利用模型的部分或全部相关点的坐标,或坐标的统计值来表征。人体模型的姿态,可参照人体的姿态来理解。本发明实施例中,真实人体的位置和/或姿态的变化,会同步带来人体模型的位置和/或姿态的变化,其可理解为两者的变化是同步的,即人体模型的变化是以真实人体为依据的。
然而,具体的变化可以是不完全一致的,即真实人体的变化并不必然带来人体模型的变化,具体实施过程中,其会受到人体模型本身建模能力的限制,也会受到建模需求的限制,例如,若模型并未区分手指与手腕,则人体模型的位置和/或姿态变化并不会随真实人体手指和手腕变化而变化,若模型无需关注脖子手臂的弯曲,则模型的手肘可不随真实人体的手肘一同弯曲。
S12:若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
碰撞,可理解为虚拟物品与预设模型体至少之一在运动的过程中,并在运动过程中两者发生了接触,由于虚拟物品与预设模型体均可在三维场景中表征为占据一定空间的三维的封闭的实体,故而,可参照领域内针对三维场景中两个实体发生碰撞的情况理解,其中一种实施方式中,通过计算其表面各点的位置,可在具有多个点的位置重合时,确定发生了该碰撞。
后续运动,指的是碰撞对虚拟物品的运动产生的影响,其运动的规则可以根据虚拟物品、预设模型体所配置的物理参数,两者的运动状态等来确定,其可基于力学原理来推导。
本实施例提供的基于虚拟物品的互动方法,通过控制三维场景中的人体模型,以及绑定于人体模型的预设模型体随真实人体同步发生位置和/或姿态的变化,可以保障人体的任何动作都能够被检测到,本发明还通过若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动,实现了预设模型体与虚拟物品的碰撞模拟,该预设模型体可例如表征人手的模型体,或者球拍的模型体等等,由于预设模型体是随真实人体同步运动的,预设模型体与虚拟物品的碰撞,可表征人体与虚拟物品之间的互动,进而,由于预设模型体是随真实人体同步运动的,其位姿变化可以是多样的,基于多样的位姿变化,其所能产生碰撞后的后续运动也可以是多样的,可见,本实施例可适用多样的动作和运动,灵活性与普适性均较佳。
图3是本发明另一实施例中基于虚拟物品的互动方法的流程示意图。
请参考图3,基于虚拟物品的互动方法,包括:
S21:创建三维场景,以及其中的人体模型。
同时,还可在人体模型上绑定预设模型体。
有关步骤S21涉及的技术名词及其可选实施方式,可参照图2所示步骤S11与S12的相关解释理解,对于重复的内容,在此不再累述。
图4是本发明一实施例中人体模型与预设模型体的示意图。
请参考图4,其中一种实施方式中,为了确定人体模型,可根据真实人体的人体部位,确定与每个人体部位对应的模型部位点104,进而,模型部位点104之间可通过直线单元105连接,形成人体模型。
进而,由于基于直线单元105与模型部位点104,还无法完整体现出需与虚拟物体发生碰撞交互的模型实体,故而,还可基于模型部位点和/或直线单元绑定占据三维空间的模型实体,即预设模型体106,其可用特定的体积,以及其所对应的形状、位置等来描述。
在图4所示实施例中,与虚拟物品发生碰撞交互的对象为腿和脚,故而,图4中所表征的预设模型体106是根据模型部位点104中的脚部部位点、膝盖部位点,以及胯部部位点,以及其对应的直线单元105产生的。
S22:控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化。
步骤S22所涉及的技术名词、技术特征、技术效果与可选实施方式可参照图图2所示步骤S11的描述理解,对于重复的内容,在此不再累述。
图5是本发明一实施例中步骤S22的流程示意图。
请参考图5,其中一种实施方式中,步骤S22可以包括:
S221:采集真实人体的实时图像。
实时图像,可以理解为任意利用图像采集部件采集,并能够实时更新的包含真实人体的图像。该图像采集部件可以为实施本发明实施例所涉及方法的主体的图像采集部件,例如终端的图像采集部件,也可以为与该主体直接或间接连接的图像采集部件。
其中一种实施方式中,实时图像中可仅具有一个真实人体,对应的人体模型也可以仅具有一个,若仅具有一个真实人体和人体模型,可方便且准确地实现人体和肢体的识别,以及同步的运动控制。
其他可选实施方式中,实时图像中也可具有多个真实人体,对应的人体模型可以为一个,该人体模型与多个真实人体中的一个同步,对应的人体模型也可以为多个,每个人体模型与一个真实人体同步。
具体实施方式中,若真实人体的数量为多个,则可通过真实人体的当前位置来区分人体模型需关联哪个真实人体,也可通过真实人体的初始位置来区分人体模型需关联哪个真实人体,还可通过真实人体上设置有的标识来区分人体模型需关联哪个真实人体。其中的关联,可理解为确定哪个真实人体与哪个人体模型同步运动,通过真实人体与人体模型的关联,可避免真实人体为多个时,造成混淆,其中的混淆可理解为不知哪个人体模型与哪个真实人体同步。
S222:根据所述实时图像,确定所述实时图像中所述真实人体的第一位姿信息。
S223:根据所述第一位姿信息,确定所述三维场景中所述人体模型的第二位姿信息。
S224:根据所述第二位姿信息,控制所述人体模型发生位置和/或姿态的变化。
第一位姿信息,可理解为用于表征真实人体的位置与姿态,第二位姿信息,可理解为用于表征人体模型的位置与姿态。同时,第二位姿信息可以是根据第一位姿信息的至少部分确定的,进而,人体模型的位置与姿态可以与真实人体不完全一致,换言之,如前文提到的:人体模型的变化是以真实人体为依据的,以及:真实人体的变化并不必然带来人体模型的变化。
通过以上步骤S221至步骤S224,可实现人体模型的同步运动,保障碰撞检测的准确性。
其中一种实施方式中,所述第一位姿态信息包括第一部位信息,所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化;所述第二位姿信息包括第二部位信息,所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化;所述第二部位信息是根据所述第一部位信息确定的。
其中,所述人体部位包括以下至少之一:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
其中一种实施方式中,第一部位信息可包括实时图像中真实人体的人体部位的坐标集合,或者人体部位的真实部位点的坐标,该真实部位点可理解为根据人体部位确定的,例如,对于人的头部,可定义其中心点为对应的真实部位点,也可基于预设的置信度信息确定。
第二部位信息可包括人体模型的模型部位点的坐标,若人体模型为二维模型,则具体可以指垂直于深度方向的两个维度的坐标。若结合深度摄像头,人体模型可以为三维模型,第二部位信息可以为三个维度的坐标。
其中一种实施方式中,还可实现人体模型沿垂直于深度方向上的位置变化,例如横向的左右移动。人体模型沿横向,即左右方向的运动位置,其实就是人体模型的模型部位点中的脚部位点或腿部位点的位置沿该横向的运动位置,而该运动位置则是根据真实人体中的脚部或脚部点的位置确定的。
然而,通过真实人体的各部位在二维平面的运动,难以判断真实人体沿深度方向上的移动,故而,其中一种实施方式中,所述第一位姿信息包括尺寸变化信息,所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化;所述第二位姿信息包括移动信息,所述移动信息用于表征人体模型沿所述三维场景的深度方向的位置变化,所述移动信息是根据所述尺寸变化信息确定的。
其中,若所述尺寸变化信息为用于表征所述至少部分真实人体变大的第一尺寸变化信息;则所述移动信息为用于表征所述人体模型朝向所述三维场景的近场口移动的第一移动信息;
若所述尺寸变化信息为用于表征所述至少部分真实人体变小的第二尺寸变化信息;则所述移动信息为用于表征所述人体模型朝向所述三维场景的远场口移动的第二移动信息。
具体实施过程中,为了能确定移动信息,需要先确定差距,所述差距,可以理解为用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距。
若差距小于差距阈值,则认为例如躯干部分的至少部分真实人体并未发生大幅度的人体变化,此时,其躯干部分在二维的实时图像中的尺寸变化可表征出真实人体的前后移动。故而,可以根据所述至少部分真实人体的长度变化量或宽度变化量,确定所述移动信息。
若差距大于差距阈值,则需先确定所述实时图像中所述真实人体的脚部位置沿深度方向发生了变化;再在所述至少部分真实人体的长度变化量与宽度变化量中,选择变化量较大的目标变化量,最后根据所述目标变化量,确定所述移动信息。
确定脚部位置沿深度方向发生变化的目的在于:在例如躯干部分的至少部分真实人体发生了大幅度人体变化时,由于尺寸变化并不意味着移动,故而,需要实施步骤S205,进而利用真实人体的脚部的位置变化辅助判断是否发生了移动。
具体实施过程中,若标准长宽比为初始长宽比,且至少部分真实人体为躯干部分,则在第一次获取真实人体的实时图像时,可指引用户保持人体以正常姿态站立,且躯干部位无遮挡。此时获取躯干部分的长与宽,计算长宽比,作为正常的长宽比情况,即标准长宽比。当获取后续的真实人体的实时图像时,计算当前的长宽比,进行躯干长宽比比较,如果长宽比的变化在正常范围之内,即差距小于差距阈值,则可进行躯干部分的绝对长度的比较,该绝对长度指的是长度或宽度,如果绝对长度比标准长度大,则说明真实人体在向前移动,反之,则说明人体在向后移动。同时,还可通过数学函数,基于以上逻辑实现平滑的处理。
S23:若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
步骤S23所涉及的技术名词、技术特征、技术效果与可选实施方式可参照图图2所示步骤S12的描述理解,对于重复的内容,在此不再累述。
图6是本发明一实施例中步骤S23的流程示意图;图7是本发明另一实施例中步骤S23的流程示意图。
请参考图6,其中一种实施方式中,步骤S23包括:
S231:根据所述虚拟物品的预设的物理参数和所述预设模型体的预设的物理参数,获取所述后续运动的第一运动参数。
预设的物理参数,可以理解为对虚拟物品与预设模型体的任意物理属性进行描述的参数,具体可以包括以下至少之一:质量、质量分布、接触表面的材料、接触表面的形状。
第一运动参数,可理解为基于物理参数得到的第一运动参数,其可表征碰撞时的运动参数,也可表征碰撞后一定时间内的运动参数。
S232:根据所述后续运动的第一运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
请参考图7,其中一种实施方式中,步骤S23可包括:
S233:根据所述预设模型体在碰撞前的运动参数,获取所述后续运动的第二运动参数。
S234:根据所述后续运动的第二运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
第二运动参数,可理解为基于碰撞前运动参数得到的运动参数,其可表征碰撞时的运动参数,也可表征碰撞后一定时间内的运动参数。
具体实施过程中,可以仅使用第一运动参数来确定所述后续运动,或者仅使用第二运动参数来确定所述后续运动,其他具体实施过程中,也可同时使用第一运动参数与第二运动参数来确定所述后续运动。
通过以上步骤,可以使得碰撞后的运动可满足多样的虚拟物品与预设模型体之间的碰撞,进而,使得碰撞后效果的模拟更佳真实可靠。
图8是本发明一实施例中预设模型体与虚拟物品的碰撞示意图。
请参考图8,例如腿和脚的预设模型体106在碰撞时可以是运动的,也可以是不运动的,同样的,例如足球的虚拟物品103可以是运动的,也可以是不运动的,在两者发生碰撞后,可控制例如足球的虚拟物品103发生后续运动。
本实施例提供的基于虚拟物品的互动方法,通过控制三维场景中的人体模型,以及绑定于人体模型的预设模型体随真实人体同步发生位置和/或姿态的变化,可以保障人体的任何动作都能够被检测到,本发明还通过若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动,实现了预设模型体与虚拟物品的碰撞模拟,该预设模型体可例如表征人手的模型体,或者球拍的模型体等等,由于预设模型体是随真实人体同步运动的,预设模型体与虚拟物品的碰撞,可表征人体与虚拟物品之间的互动,进而,由于预设模型体是随真实人体同步运动的,其位姿变化可以是多样的,基于多样的位姿变化,其所能产生碰撞后的后续运动也可以是多样的,可见,本实施例可适用多样的动作和运动,灵活性与普适性均较佳。
图9是本发明一实施例中基于虚拟物品的互动装置的结构示意图。
请参考图9,基于虚拟物品的互动装置3,包括:
第一控制模块31,用于控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化;
第二控制模块32,用于若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
本实施例提供的基于虚拟物品的互动装置,通过控制三维场景中的人体模型,以及绑定于人体模型的预设模型体随真实人体同步发生位置和/或姿态的变化,可以保障人体的任何动作都能够被检测到,本发明还通过若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动,实现了预设模型体与虚拟物品的碰撞模拟,该预设模型体可例如表征人手的模型体,或者球拍的模型体等等,由于预设模型体是随真实人体同步运动的,预设模型体与虚拟物品的碰撞,可表征人体与虚拟物品之间的互动,进而,由于预设模型体是随真实人体同步运动的,其位姿变化可以是多样的,基于多样的位姿变化,其所能产生碰撞后的后续运动也可以是多样的,可见,本实施例可适用多样的动作和运动,灵活性与普适性均较佳。
图10是本发明另一实施例中基于虚拟物品的互动装置的结构示意图。
请参考图10,基于虚拟物品的互动装置4,包括:
创建模块41,用于创建三维场景,以及其中的人体模型。
第一控制模块42,用于控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化;
第二控制模块43,用于若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
图11是本发明一实施例中第一控制模块的结构示意图。
请参考图11,第一控制模块42,包括:
采集单元421,用于采集真实人体的实时图像;
第一位姿确定单元422,用于根据所述实时图像,确定所述实时图像中所述真实人体的第一位姿信息;
第二位姿确定单元423,用于根据所述第一位姿信息,确定所述三维场景中所述人体模型的第二位姿信息;
位姿控制单元424,用于根据所述第二位姿信息,控制所述人体模型发生位置和/或姿态的变化。
可选的,所述第一位姿态信息包括第一部位信息,所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化;所述第二位姿信息包括第二部位信息,所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化;所述第二部位信息是根据所述第一部位信息确定的。
可选的,所述人体部位包括以下至少之一:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
可选的,所述第一位姿信息包括尺寸变化信息,所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化;所述第二位姿信息包括移动信息,所述移动信息用于表征人体模型沿所述三维场景的深度方向的位置变化,所述移动信息是根据所述尺寸变化信息确定的。
可选的,所述至少部分真实人体为所述真实人体的躯干部分。
图12是本发明一实施例中第二控制模块的结构示意图。
请参考图12,所述第二控制模块43,包括:
第一运动参数获取单元431,用于根据所述虚拟物品的预设的物理参数和所述预设模型体的预设的物理参数,获取所述后续运动的第一运动参数;
第一后续运动控制单元432,用于根据所述后续运动的第一运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
可选的,所述预设的物理参数包括以下至少之一:质量、质量分布、接触表面的材料、接触表面的形状。
图13是本发明另一实施例中第二控制模块的结构示意图。
请参考图13,所述第二控制模块43,包括:
第二运动参数获取单元433,用于根据所述预设模型体在碰撞前的运动参数,获取所述后续运动的第二运动参数;
第二后续运动控制单元434,用于根据所述后续运动的第二运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
本实施例提供的基于虚拟物品的互动装置,通过控制三维场景中的人体模型,以及绑定于人体模型的预设模型体随真实人体同步发生位置和/或姿态的变化,可以保障人体的任何动作都能够被检测到,本发明还通过若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动,实现了预设模型体与虚拟物品的碰撞模拟,该预设模型体可例如表征人手的模型体,或者球拍的模型体等等,由于预设模型体是随真实人体同步运动的,预设模型体与虚拟物品的碰撞,可表征人体与虚拟物品之间的互动,进而,由于预设模型体是随真实人体同步运动的,其位姿变化可以是多样的,基于多样的位姿变化,其所能产生碰撞后的后续运动也可以是多样的,可见,本实施例可适用多样的动作和运动,灵活性与普适性均较佳。
图14是本发明一实施例中电子设备的结构示意图。
请参考图14,本实施例还提供了一种电子设备50包括:处理器51以及存储器52;其中:
存储器52,用于存储计算机程序。
处理器51,用于执行存储器存储的执行指令,以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器52既可以是独立的,也可以跟处理器51集成在一起。
当所述存储器52是独立于处理器51之外的器件时,所述电子设备50还可以包括:
总线53,用于连接所述存储器52和处理器51。
本实施例还提供一种可读存储介质,可读存储介质中存储有计算机程序,当电子设备的至少一个处理器执行该计算机程序时,电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种基于虚拟物品的互动方法,其特征在于,包括:
控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化;
若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
2.根据权利要求1所述的方法,其特征在于,所述控制所述虚拟物品发生与所述碰撞相匹配的后续运动,包括:
根据所述虚拟物品的预设的物理参数和所述预设模型体的预设的物理参数,获取所述后续运动的第一运动参数;
根据所述后续运动的第一运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
3.根据权利要求2所述的方法,其特征在于,所述预设的物理参数包括以下至少之一:质量、质量分布、接触表面的材料、接触表面的形状。
4.根据权利要求1所述的方法,其特征在于,所述控制所述虚拟物品发生与所述碰撞相匹配的后续运动,包括:
根据所述预设模型体在碰撞前的运动参数,获取所述后续运动的第二运动参数;
根据所述后续运动的第二运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,包括:
采集真实人体的实时图像;
根据所述实时图像,确定所述实时图像中所述真实人体的第一位姿信息;
根据所述第一位姿信息,确定所述三维场景中所述人体模型的第二位姿信息;
根据所述第二位姿信息,控制所述人体模型发生位置和/或姿态的变化。
6.根据权利要求5所述的方法,其特征在于,所述第一位姿态信息包括第一部位信息,所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化;所述第二位姿信息包括第二部位信息,所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化;所述第二部位信息是根据所述第一部位信息确定的。
7.根据权利要求6所述的方法,其特征在于,所述人体部位包括以下至少之一:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
8.根据权利要求5所述的方法,其特征在于,所述第一位姿信息包括尺寸变化信息,所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化;所述第二位姿信息包括移动信息,所述移动信息用于表征人体模型沿所述三维场景的深度方向的位置变化,所述移动信息是根据所述尺寸变化信息确定的。
9.根据权利要求8所述的方法,其特征在于,所述至少部分真实人体为所述真实人体的躯干部分。
10.一种基于虚拟物品的互动装置,其特征在于,包括:
第一控制模块,用于控制三维场景中用于模拟真实人体的人体模型随所述真实人体同步发生位置和/或姿态的变化,并使得绑定于所述人体模型的预设模型体随所述人体模型发生位置和/或姿态的变化;
第二控制模块,用于若检测到所述预设模型体在所述三维场景中与虚拟物品发生碰撞,则控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
11.根据权利要求10所述的装置,其特征在于,所述第二控制模块,包括:
第一运动参数获取单元,用于根据所述虚拟物品的预设的物理参数和所述预设模型体的预设的物理参数,获取所述后续运动的第一运动参数;
第一后续运动控制单元,用于根据所述后续运动的第一运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
12.根据权利要求11所述的装置,其特征在于,所述预设的物理参数包括以下至少之一:质量、质量分布、接触表面的材料、接触表面的形状。
13.根据权利要求10所述的装置,其特征在于,所述第二控制模块,包括:
第二运动参数获取单元,用于根据所述预设模型体在碰撞前的运动参数,获取所述后续运动的第二运动参数;
第二后续运动控制单元,用于根据所述后续运动的第二运动参数控制所述虚拟物品发生与所述碰撞相匹配的后续运动。
14.根据权利要求10至13任一项所述的装置,其特征在于,所述第一控制模块,包括:
采集单元,用于采集真实人体的实时图像;
第一位姿确定单元,用于根据所述实时图像,确定所述实时图像中所述真实人体的第一位姿信息;
第二位姿确定单元,用于根据所述第一位姿信息,确定所述三维场景中所述人体模型的第二位姿信息;
位姿控制单元,用于根据所述第二位姿信息,控制所述人体模型发生位置和/或姿态的变化。
15.根据权利要求14所述的装置,其特征在于,所述第一位姿态信息包括第一部位信息,所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化;所述第二位姿信息包括第二部位信息,所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化;所述第二部位信息是根据所述第一部位信息确定的。
16.根据权利要求15所述的装置,其特征在于,所述人体部位包括以下至少之一:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
17.根据权利要求14所述的装置,其特征在于,所述第一位姿信息包括尺寸变化信息,所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化;所述第二位姿信息包括移动信息,所述移动信息用于表征人体模型沿所述三维场景的深度方向的位置变化,所述移动信息是根据所述尺寸变化信息确定的。
18.根据权利要求17所述的装置,其特征在于,所述至少部分真实人体为所述真实人体的躯干部分。
19.一种电子设备,其特征在于,包括存储器与处理器;
所述存储器,用于存储所述处理器的可执行指令;
所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的基于虚拟物品的互动方法。
20.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至9任一项所述的基于虚拟物品的互动方法。
CN201811005228.4A 2018-08-30 2018-08-30 基于虚拟物品的互动方法与装置 Pending CN109407825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811005228.4A CN109407825A (zh) 2018-08-30 2018-08-30 基于虚拟物品的互动方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811005228.4A CN109407825A (zh) 2018-08-30 2018-08-30 基于虚拟物品的互动方法与装置

Publications (1)

Publication Number Publication Date
CN109407825A true CN109407825A (zh) 2019-03-01

Family

ID=65463794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811005228.4A Pending CN109407825A (zh) 2018-08-30 2018-08-30 基于虚拟物品的互动方法与装置

Country Status (1)

Country Link
CN (1) CN109407825A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324253A (zh) * 2020-02-12 2020-06-23 腾讯科技(深圳)有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
CN112473121A (zh) * 2020-11-13 2021-03-12 海信视像科技股份有限公司 一种显示设备及基于肢体识别的躲避球显示方法
CN114327072A (zh) * 2021-12-31 2022-04-12 北京德火科技有限责任公司 真实人物和mr虚拟环境中虚拟物体的动作触发交互方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102596340A (zh) * 2009-05-29 2012-07-18 微软公司 用于将动画或运动应用到角色的系统和方法
CN102902355A (zh) * 2012-08-31 2013-01-30 中国科学院自动化研究所 移动设备的空间交互方法
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市系统服务(中国)有限公司 一种虚拟试衣间的实现方法及实现系统
CN104820498A (zh) * 2015-05-14 2015-08-05 周谆 手部虚拟饰品试戴的人机交互方法和系统
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN105963962A (zh) * 2016-05-06 2016-09-28 深圳市吾悦科技有限公司 虚拟与现实交互的游戏系统、游戏装置、可变形装置及其方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106582005A (zh) * 2016-11-14 2017-04-26 深圳市豆娱科技有限公司 一种虚拟游戏中数据同步交互方法及装置
CN106774820A (zh) * 2016-11-08 2017-05-31 北京暴风魔镜科技有限公司 人体姿态与虚拟场景叠加的方法、装置和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102596340A (zh) * 2009-05-29 2012-07-18 微软公司 用于将动画或运动应用到角色的系统和方法
CN102902355A (zh) * 2012-08-31 2013-01-30 中国科学院自动化研究所 移动设备的空间交互方法
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市系统服务(中国)有限公司 一种虚拟试衣间的实现方法及实现系统
CN104820498A (zh) * 2015-05-14 2015-08-05 周谆 手部虚拟饰品试戴的人机交互方法和系统
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN105963962A (zh) * 2016-05-06 2016-09-28 深圳市吾悦科技有限公司 虚拟与现实交互的游戏系统、游戏装置、可变形装置及其方法
CN106774820A (zh) * 2016-11-08 2017-05-31 北京暴风魔镜科技有限公司 人体姿态与虚拟场景叠加的方法、装置和系统
CN106582005A (zh) * 2016-11-14 2017-04-26 深圳市豆娱科技有限公司 一种虚拟游戏中数据同步交互方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324253A (zh) * 2020-02-12 2020-06-23 腾讯科技(深圳)有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
CN112473121A (zh) * 2020-11-13 2021-03-12 海信视像科技股份有限公司 一种显示设备及基于肢体识别的躲避球显示方法
CN114327072A (zh) * 2021-12-31 2022-04-12 北京德火科技有限责任公司 真实人物和mr虚拟环境中虚拟物体的动作触发交互方法

Similar Documents

Publication Publication Date Title
Zurdo et al. Animating wrinkles by example on non-skinned cloth
US10481689B1 (en) Motion capture glove
CN102270275B (zh) 在虚拟环境中选择对象的方法和多媒体终端
CN105094335B (zh) 场景提取方法、物体定位方法及其系统
CN101779460B (zh) 电子镜装置
Magnenat-Thalmann et al. 3d web-based virtual try on of physically simulated clothes
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
CN109407825A (zh) 基于虚拟物品的互动方法与装置
KR20110117114A (ko) 시각적 타깃 추적
CN108245890B (zh) 控制虚拟场景中物体运动的方法和装置
CN101216949A (zh) 一种基于区域分割和分段学习的三维人脸动画制作的方法
CN105243375B (zh) 一种动作特征提取方法及装置
CN109191593A (zh) 虚拟三维模型的运动控制方法、装置及设备
US10242498B1 (en) Physics based garment simulation systems and methods
KR101710000B1 (ko) 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
CN103854300A (zh) 多客户端联网控制下三维场景协作搬运的实现方法
US11393153B2 (en) Systems and methods performing object occlusion in augmented reality-based assembly instructions
CN109147057A (zh) 一种面向穿戴式触觉设备的虚拟手碰撞检测方法
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
Volino et al. Stop-and-go cloth draping
CN115908651A (zh) 一种三维人体模型与骨架的同步更新方法及电子设备
Sato et al. Using motion capture for real-time augmented reality scenes.
CN109542210B (zh) 基于虚拟引擎的手臂运动模拟还原方法、存储介质
Igarashi Computer graphics for all
CN109597480A (zh) 人机交互方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301