CN116954358A - 基于虚拟对象的交互方法、装置、终端及存储介质 - Google Patents

基于虚拟对象的交互方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN116954358A
CN116954358A CN202211603236.5A CN202211603236A CN116954358A CN 116954358 A CN116954358 A CN 116954358A CN 202211603236 A CN202211603236 A CN 202211603236A CN 116954358 A CN116954358 A CN 116954358A
Authority
CN
China
Prior art keywords
gesture
interaction
virtual object
entity
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211603236.5A
Other languages
English (en)
Inventor
王梦佳
何秋豪
郑学权
丁亮亮
方可为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211603236.5A priority Critical patent/CN116954358A/zh
Publication of CN116954358A publication Critical patent/CN116954358A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种基于虚拟对象的交互方法、装置、终端及存储介质,属于计算机技术领域。该方法包括:显示交互界面,交互界面包括第一区域和第二区域,第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,第二区域显示有至少一个虚拟对象,虚拟对象用于呈现不同姿态;基于至少一个实体对象实时拍摄得到的姿态,确定至少一个实体对象与至少一个虚拟对象之间的交互度,交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度;在交互度大于交互度阈值的情况下,显示至少一个虚拟对象切换姿态。该方法能够使实体对象直接和虚拟对象进行交互,不再需要人工进行角色扮演,能够节约人工成本,还提高了交互效率。

Description

基于虚拟对象的交互方法、装置、终端及存储介质
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种虚拟对象交互方法、装置、终端及存储介质。
背景技术
随着计算机技术的发展,游戏和动漫的种类也越来越多。用户希望与游戏或者动漫中自己喜欢的虚拟对象进行互动。因此,如何实现用户与虚拟对象的互动,是一个需要解决的问题。
目前,通常是由工作人员或者部分用户对游戏或者动漫中的虚拟对象进行Cosplay(角色扮演),从而实现用户与虚拟对象进行互动。但是,采用这种方法,需要人工参与,人工成本较高,交互效率较低。
发明内容
本申请实施例提供了一种基于虚拟对象的交互方法、装置、终端及存储介质,能够使实体对象直接和虚拟对象进行交互。所述技术方案如下:
一方面,提供了一种基于虚拟对象的交互方法,所述方法包括:
显示交互界面,所述交互界面包括第一区域和第二区域,所述第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,所述第二区域显示有至少一个虚拟对象,所述虚拟对象用于呈现不同姿态;
基于所述至少一个实体对象实时拍摄得到的姿态,确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,所述交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度;
在所述交互度大于交互度阈值的情况下,显示所述至少一个虚拟对象切换姿态。
另一方面,提供了一种基于虚拟对象的交互装置,所述装置包括:
第一显示模块,用于显示交互界面,所述交互界面包括第一区域和第二区域,所述第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,所述第二区域显示有至少一个虚拟对象,所述虚拟对象用于呈现不同姿态;
第一确定模块,用于基于所述至少一个实体对象实时拍摄得到的姿态,确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,所述交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度;
第二显示模块,用于在所述交互度大于交互度阈值的情况下,显示所述至少一个虚拟对象切换姿态。
在一些实施例中,所述第一确定模块,用于将所述至少一个实体对象实时拍摄得到的姿态与所述至少一个虚拟对象的姿态之间的相似度,确定为所述交互度。
在一些实施例中,所述实体对象的数量与所述虚拟对象的数量一致;
所述第一确定模块,用于对于任一实体对象,基于所述实体对象与其他实体对象之间的相对位置,确定所述实体对象对应的虚拟对象;确定所述实体对象的姿态和所述实体对象对应的虚拟对象的姿态之间的相似度;基于所述多个实体对象的相似度,确定所述交互度。
在一些实施例中,所述第一确定模块,用于对所述实体对象进行姿态识别,得到多个第一骨骼关键点;获取所述实体对象对应的虚拟对象的多个第二骨骼关键点;将所述多个第一骨骼关键点和所述多个第二骨骼关键点之间的匹配度,确定为所述相似度。
在一些实施例中,所述第一确定模块,用于从所述多个第一骨骼关键点中,确定与第二骨骼关键点之间的匹配度大于匹配度阈值的至少一个有效关键点;基于所述至少一个有效关键点的数量,确定所述实体对象与所述虚拟对象之间的相似度,所述相似度与所述数量正相关。
在一些实施例中,所述第一确定模块,用于基于所述至少一个有效关键点的数量,确定所述实体对象的姿态得分,所述姿态得分与所述至少一个有效关键点的数量正相关;基于所述实体对象获得的不小于得分阈值的姿态得分的数量,确定所述实体对象的连击得分;对所述姿态得分和所述连击得分进行加权求和,得到所述实体对象的交互得分。
在一些实施例中,所述第一区域显示有通过所述拍摄设备实时拍摄得到的单个第一实体对象,所述第二区域显示有多个第一虚拟对象;
所述第一显示模块,还用于在所述第一区域显示姿态轮廓和至少一个第一虚拟对象,所述姿态轮廓用于指示未显示的第一虚拟对象的姿态;
所述第一确定模块,用于基于所述第一实体对象的姿态与所述姿态轮廓之间的相似度和所述第一实体对象与所述至少一个虚拟对象之间的重合度,确定所述交互度。
在一些实施例中,所述第一区域显示有通过所述拍摄设备实时拍摄得到的单个第一实体对象,所述第二区域显示有两个第一虚拟对象;
所述第一显示模块,还用于在所述第一区域显示第二虚拟对象,所述第二虚拟对象为所述两个第一虚拟对象中的任一虚拟对象,所述第二虚拟对象用于呈现第二实体对象的姿态,所述第二实体对象与所述第一实体对象通过不同拍摄设备实时拍摄得到;
所述第一确定模块,用于基于所述第一相似度、第二相似度以及所述第一实体对象与所述第二虚拟对象之间的重合度,确定所述交互度,所述第一相似度为所述第一实体对象的姿态与第三虚拟对象的姿态的相似度,所述第三虚拟对象为不同于所述第二虚拟对象的第一虚拟对象,所述第二相似度为所述第二虚拟对象的姿态与对应的第一虚拟对象的姿态的相似度。
在一些实施例中,在所述第一区域显示有所述第一实体对象和所述第二实体对象,在所述第二区域显示有所述两个第一虚拟对象,所述第二实体对象与所述第一实体对象通过不同拍摄设备实时拍摄得到;
所述第一确定模块,用于基于所述第一相似度、第三相似度以及所述第一实体对象与所述第二实体对象之间的重合度,确定所述交互度,所述第一相似度为所述第一实体对象的姿态与对应的第一虚拟对象的姿态的相似度,所述第三相似度为所述第二实体对象的姿态与对应的第一虚拟对象的姿态的相似度。
在一些实施例中,所述第一显示模块,还用于向所述第二实体对象对应的终端发送交互请求,所述交互请求携带有所述第一实体对象的身份标识和所述第二实体对象的身份标识,所述交互请求用于请求所述第二实体对象和所述第一实体对象进行交互;响应于所述第二实体对象接受所述交互请求,在所述第一区域显示所述第一实体对象和所述第二实体对象,在所述第二区域显示所述两个第一虚拟对象。
在一些实施例中,所述第二显示模块,用于在所述交互度不大于所述交互度阈值的情况下,响应于所述至少一个虚拟对象的姿态的呈现时间结束,显示所述至少一个虚拟对象切换姿态。
在一些实施例中,所述装置还包括:
第三显示模块,用于在满足交互结束条件的情况下,显示交互结束界面,所述交互结束界面显示有交互过程中生成的至少一张交互图像,所述交互图像包括所述至少一个实体对象和所述至少一个虚拟对象。
另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如上述方面所述的基于虚拟对象的交互方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如上述方面所述的基于虚拟对象的交互方法。
另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序由处理器加载并执行,以实现如上述方面所述的基于虚拟对象的交互方法。
本申请实施例提供了一种基于虚拟对象的交互方案,通过将实时拍摄得到的至少一个实体对象和至少一个虚拟对象显示在交互界面的不同区域,使得实体对象可以模仿虚拟对象的姿态,实体对象模仿的越像,交互度越高。在交互度大于交互度阈值的情况下,实体对象成功模仿虚拟对象的姿态,显示至少一个虚拟对象切换姿态,以便实体对象继续模仿虚拟对象的姿态,从而与虚拟对象进行交互。由于实体对象直接和虚拟对象进行交互,使得不需要人工进行角色扮演,减少了人工的参与,能够节约人工成本,还提高了交互效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种数据交互流程图;
图3是本申请实施例提供的一种基于虚拟对象的交互方法的流程图;
图4是本申请实施例提供的另一种基于虚拟对象的交互方法的流程图;
图5是本申请实施例提供的一种编号获取界面的示意图;
图6是本申请实施例提供的一种编号输入界面的示意图;
图7是本申请实施例提供的一种开启游戏界面的示意图;
图8是本申请实施例提供的一种玩法指引界面的示意图;
图9是本申请实施例提供的一种交互界面的示意图;
图10是本申请实施例提供的一种骨骼关键点的示意图;
图11是本申请实施例提供的另一种交互界面的示意图;
图12是本申请实施例提供的一种交互得分的计算函数的示意图;
图13是本申请实施例提供的一种交互结束界面的示意图;
图14是本申请实施例提供的另一种交互结束界面的示意图;
图15是本申请实施例提供的另一种交互结束界面的示意图;
图16是本申请实施例提供的一种通信流程图;
图17是本申请实施例提供的一种基于虚拟对象的交互流程图;
图18是本申请实施例提供的一种姿态识别的流程图;
图19是本申请实施例提供的另一种基于虚拟对象的交互方法的流程图;
图20是本申请实施例提供的一种交互流程图;
图21是本申请实施例提供的另一种数据交互流程图;
图22是本申请实施例提供的一种基于虚拟对象的交互装置的结构示意图;
图23是本申请实施例提供的另一种基于虚拟对象的交互装置的结构示意图;
图24是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请中涉及到的实体对象和实体对象的骨骼关键点是在充分授权的情况下获取的。
图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:终端101和拍摄设备102。
终端101和拍摄设备102能够通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一些实施例中,终端101是具有显示屏的智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备以及VR(Virtual Reality,虚拟现实)、AR(Augmented Reality,增强现实)等虚拟现实设备,但并不局限于此。终端101安装和运行有支持与虚拟对象交互的应用程序。用户通过使用该应用程序能够与虚拟对象进行交互。示意性的,用户通过终端101提供的应用程序模仿虚拟对象的身体姿态。终端101的显示屏用于显示用户与虚拟对象进行交互的过程以及显示交互结束界面。终端101还用于在交互过程中生成至少一张交互图像,使用户能够回顾与虚拟对象的交互过程。
在一些实施例中,终端101不仅具有显示屏,还能够外接显示大屏103。显示大屏103用于同步显示终端101的显示屏显示的内容。显示大屏103还用于在交互结束后显示多个用户的交互分数以及分数排行榜。
在一些实施例中,在终端101不具有显示屏的情况下,终端101能够外接显示屏。终端101外接的显示屏用于显示用户与虚拟对象进行交互的过程以及显示交互结束界面。
在一些实施例中,拍摄设备102是照相机、摄像机或者3D体感摄影机等具有拍摄功能的设备。示意性的,拍摄设备102是Kinect设备,拍摄设备102与终端101连接,用于实时拍摄用户的身体姿态。示意性的,用户与虚拟对象进行交互的过程中,拍摄设备102实时拍摄用户的身体姿态,以便终端101显示用户与虚拟对象进行交互的过程。
在一些实施例中,实施环境还包括控制终端104。控制终端104用于控制第一终端101安装的应用程序,以便用户通过该应用程序与虚拟对象进行交互。控制终端104可以是手柄或者具有显示屏的控制设备,但并不局限于此。示意性的,用户通过控制终端104启动该应用程序之后,拍摄设备102实时拍摄用户的身体姿态,以便用户能够与虚拟对象进行交互。
在一些实施例中,实施环境还包括服务器。服务器是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式系统,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端101服务器用于该应用程序提供后台服务。在一些实施例中,服务器承担主要计算工作,终端101承担次要计算工作;或者,服务器承担次要计算工作,终端101承担主要计算工作;或者,服务器和终端101二者之间采用分布式计算架构进行协同计算。
在一些实施例中,基于虚拟对象的交互方法能应用在云游戏场景中。相应地,在云游戏场景中,终端101为展示端,展示端可以为游戏现场用于展示的设备和显示屏幕;控制终端104为操作端,操作端可以为用户启动交互游戏的手机、平板电脑等设备。在用户与虚拟对象进行交互的过程中,操作端、展示端和云服务器的数据交互流程如图2所示。响应于用户在操作端输入用户ID(Identity Document,身份标识号),操作端获取用户ID,并向云服务器发送开始交互信息,开始交互信息用于指示用户准备与虚拟对象进行交互。云服务器将开始交互信息传递给展示端。展示端接收到开始交互信息后,在交互界面显示用户与虚拟对象进行交互。响应于用户完成交互,展示端显示交互结束界面,并向云服务器发送结束交互信息,结束交互信息用于指示用户与虚拟对象交互完毕。云服务器向操作端传递结束交互信息。操作端接收到结束交互信息后,显示交互结束界面。
本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
图3是本申请实施例提供的一种基于虚拟对象的交互方法的流程图,本申请实施例由终端执行,参见图3,该方法包括:
301、终端显示交互界面,交互界面包括第一区域和第二区域,第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,第二区域显示有至少一个虚拟对象,虚拟对象用于呈现不同姿态。
在本申请实施例中,该终端上安装有应用程序。终端在运行该应用程序时,能够在该应用程序提供的交互界面中显示第一区域和第二区域。其中,第一区域显示的至少一个实体对象是通过拍摄设备在真实世界实时拍摄得到的至少一个用户,第二区域显示的至少一个虚拟对象可以是游戏人物角色、动漫人物角色、仿真人物角色或者机械角色等。终端能够控制该虚拟对象能够呈现不同的姿态,如打斗姿态、站立姿态和倒立姿态等。相应地,实体对象通过模仿虚拟对象的姿态与虚拟对象进行交互。实体对象还能够通过和虚拟对象共同完成一些动作,来实现和虚拟对象的交互。例如,实体对象通过握手、击掌、拥抱和碰拳等动作与虚拟对象进行交互。
302、终端基于至少一个实体对象实时拍摄得到的姿态,确定至少一个实体对象与至少一个虚拟对象之间的交互度,交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度。
在本申请实施例中,终端基于拍摄设备实时拍摄得到的至少一个实体对象,确定至少一个实体对象实时的姿态。终端通过对比至少一个实体对象的实时姿态和至少一个虚拟对象的姿态,确定至少一个实体对象与至少一个虚拟对象之间的交互度。
例如,至少一个实体对象的实时姿态是至少一个实体对象模仿至少一个虚拟对象的姿态得到的。终端对比至少一个实体对象的实时姿态和至少一个虚拟对象的姿态,并根据二者的姿态之间的相似程度确定交互度。至少一个实体对象模仿的越像,二者的姿态之间的相似程度越高,交互度也越高。至少一个实体对象模仿的越不像,二者的姿态之间的相似程度越低,交互度也越低。
303、在交互度大于交互度阈值的情况下,终端显示至少一个虚拟对象切换姿态。
在本申请实施例中,在交互度大于交互度阈值的情况下,表明至少一个实体对象模仿的姿态与至少一个虚拟对象的姿态较为相似,实体对象成功模仿了虚拟对象当前的姿态。或者,表明实体对象成功与虚拟对象的当前姿态完成了交互,且交互效果较好。终端显示至少一个虚拟对象切换姿态,以便实体对象继续模仿切换后的姿态,或者实体对象继续与切换后的姿态进行交互。其中,交互度阈值可以为一个预设的百分比,如70%、80%或者90%,还可以为一个预设的数值,如7、8或者9,本申请实施例对交互度阈值不做限定。
本申请实施例提供了一种基于虚拟对象的交互方法,通过将实时拍摄得到的至少一个实体对象和至少一个虚拟对象显示在交互界面的不同区域,使得实体对象可以模仿虚拟对象的姿态,实体对象模仿的越像,交互度越高。在交互度大于交互度阈值的情况下,实体对象成功模仿虚拟对象的姿态,显示至少一个虚拟对象切换姿态,以便实体对象继续模仿虚拟对象的姿态,从而与虚拟对象进行交互。由于实体对象直接和虚拟对象进行交互,使得不需要人工进行角色扮演,减少了人工的参与,能够节约人工成本,还提高了交互效率。
图4是本申请实施例提供的另一种基于虚拟对象的交互方法的流程图,本申请实施例由终端执行,参见图4,该方法包括:
401、终端显示交互界面,交互界面包括第一区域和第二区域,第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,第二区域显示有至少一个虚拟对象,实体对象的数量与虚拟对象的数量一致。
在本申请实施例中,该终端上安装有应用程序。终端在运行该应用程序时,能够在该应用程序提供的交互界面中显示第一区域和第二区域。其中,第一区域显示的至少一个实体对象是通过拍摄设备在真实世界实时拍摄得到的至少一个用户。第二区域显示的至少一个虚拟对象可以是游戏人物角色、动漫人物角色、仿真人物角色或者机械角色等。终端能够控制该虚拟对象能够呈现不同的姿态,如打斗姿态、站立姿态和倒立姿态等。相应地,实体对象通过模仿虚拟对象的姿态与虚拟对象进行交互。实体对象还能够通过和虚拟对象共同完成一些动作,来实现和虚拟对象的交互。例如,实体对象通过握手、击掌、拥抱和碰拳等动作与虚拟对象进行交互。
在一些实施例中,用户在与虚拟对象进行交互之前,用户可以在如图5所示的编号获取界面获取参与用户ID,用户ID用于指示用户和虚拟对象进行交互的编号。
在一些实施例中,响应于用户在控制终端输入用户ID,控制终端向终端发送启动游戏的指令。其中,控制终端的状态能够分为未启动交互和正在交互中。未启动交互时,在控制终端上显示如图6所示的编号输入界面。在编号输入界面输入用户ID即可开启交互。编号输入界面还显示有当前正在交互的用户ID,以提示用户目前还有多少位用户正在等待进行交互。当没有用户进行交互时,可以点击切换按钮让终端和显示大屏播放视频。其中,显示大屏能够同步展示终端展示的内容。
在一些实施例中,响应于控制终端发送的启动游戏的指令,终端首先显示如图7所示的开启游戏界面。然后终端显示如图8所示的玩法指引界面,玩法指引界面用于提示用户如何与虚拟对象进行交互。例如,玩法指引界面提示用户通过模仿虚拟对象的姿态与虚拟对象交互。其中,左侧为虚拟对象的姿态为玩家创作或者绘制的姿态,右侧为虚拟对象的姿态对应的轮廓。之后终端显示如图9所示的交互界面。用户能够在交互界面进行交互试体验,在交互试体验过程中,用户可以选择较为简单的动作在虚拟场景中与虚拟对象进行互动。
402、终端将至少一个实体对象实时拍摄得到的姿态与至少一个虚拟对象的姿态之间的相似度,确定为交互度,交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度。
在本申请实施例中,在实体对象与虚拟对象进行交互的过程中,拍摄设备能够实时拍摄实体对象的姿态。在进行交互的至少一个实体对象模仿至少一个虚拟对象的姿态的情况下,终端通过对比至少一个实体对象实时拍摄得到的姿态和至少一个虚拟对象的姿态,得到二者的姿态之间的相似度。终端将二者的姿态之间的相似度作为交互度。通过对比姿态的相似度来确定交互度,能够在用户模仿的较相似的情况下,确定较高的交互度,在用户模仿的较不相似的情况下,确定较低的交互度,从而较为准确地确定实体对象的姿态和虚拟对象的姿态之间的交互度。
需要说明的是,终端能够根据交互界面显示的实体对象和虚拟对象的数量,分别采用下述步骤(1)或者(2)确定实体对象与虚拟对象之间的交互度。
(1)在多个实体对象与多个虚拟对象进行交互的情况下,终端能够确定每个实体对象模仿的虚拟对象,以及每个实体对象与对应的虚拟对象之间的相似度。对于任一实体对象,终端基于实体对象与其他实体对象之间的相对位置,通过虚拟对象与虚拟对象之间的位置,来确定实体对象对应的虚拟对象。终端对比该实体对象的姿态和该实体对象对应的虚拟对象的姿态,确定二者的姿态之间的相似度。终端基于多个实体对象的相似度,确定交互度。例如,终端基于相似度大于80%的实体对象的数量,确定交互度。相似度大于80%的实体对象的数量越多,交互度越高。相应地,相似度大于80%的实体对象的数量越少,交互度越低。通过确定每个实体对象对应的虚拟对象,以及基于每个实体对象与对应的虚拟对象之间的相似度确定交互度,能够在多个用户模仿多个虚拟对象的姿态时,较为准确地确定每个用户模仿的相似度,从而较为合理地确定整体的交互度。
(2)在单个实体对象与多个虚拟对象进行的情况下,单个实体对象能够和多个虚拟对象共同完成一些动作,来实现和虚拟对象的交互。相应地,终端在交互界面的第一区域显示有通过拍摄设备实时拍摄得到的单个第一实体对象,第二区域显示有多个第一虚拟对象。终端在第一区域显示姿态轮廓和至少一个第一虚拟对象。姿态轮廓用于指示未显示的第一虚拟对象的姿态。终端基于第一实体对象的姿态与姿态轮廓之间的相似度和第一实体对象与至少一个虚拟对象之间的重合度,确定交互度。其中,相似度用于指示该第一实体对象与姿态轮廓的相似程度。重合度用于指示第一实体对象与多个虚拟对象的交互效果,重合度越高,第一实体对象与多个虚拟对象的交互效果越好;重合度越低,第一实体对象与多个虚拟对象的交互效果越差。通过第一实体对象的姿态与姿态轮廓之间的相似度和第一实体对象与至少一个虚拟对象之间的重合度,能够在第一实体对象与多个虚拟对象进行交互时,确定第一实体对象的交互效果。
在一些实施例中,终端能够根据实体对象和虚拟对象的骨骼关键点的匹配度,确定二者的相似度。终端对实体对象进行姿态识别,得到多个第一骨骼关键点。终端获取该实体对象对应的虚拟对象的多个第二骨骼关键点。其中,终端能够对多个虚拟对象的不同姿态进行预处理,以获取虚拟对象的不同姿态对应的第二骨骼关键点数据。终端比对多个第一骨骼关键点和多个第二骨骼关键点,确定实体对象的姿态和虚拟对象的姿态之间的匹配度,并将匹配度作为二者的相似度。通过对实体对象进行姿态识别得到实体对象的骨骼关键点数据,并对骨骼关键点数据进行比对,能够较为准确地确定实体对象和虚拟对象的姿态之间的相似程度。
在一些实施例中,终端能够通过拍摄设备对实体对象进行姿态识别。拍摄设备可以为Kinect设备,Kinect设备不仅能够实时拍摄实体对象的姿态,还能够通过身体骨骼检测对实体对象进行姿态识别,得到如图10所示的骨骼关键点的示意图。
在一些实施例中,终端能够从多个第一骨骼关键点中确定至少一个有效关键点。终端从多个第一骨骼关键点中,确定与第二骨骼关键点之间的匹配度大于匹配度阈值的至少一个有效关键点。其中,在第一骨骼关键点与第二骨骼关键点之间的匹配度较低的情况下,表明实体对象在该第一骨骼关键点部位的姿态与对应的虚拟对象的姿态不相似,则该第一骨骼关键点不是有效关键点。相应地,在第一骨骼关键点与第二骨骼关键点之间的匹配度大于匹配度阈值的情况下,匹配度较高,表明实体对象在该第一骨骼关键点部位的姿态与对应的虚拟对象的姿态较为相似,则该第一骨骼关键点为有效关键点。其中,匹配度阈值可以为一个预设的百分比,如70%、80%或者90%,还可以为一个预设的数值,如7、8或者9,本申请实施例对匹配度阈值不做限定。终端基于至少一个有效关键点的数量,确定实体对象与虚拟对象之间的相似度,相似度与数量正相关。通过将匹配度大于匹配度阈值的骨骼关键点作为有效关键点,能够基于有效关键点的数量,较为合理的确定实体对象与虚拟对象之间的相似度。
例如,某个姿态需要确定两个胳膊张开的角度以及双腿的角度,则终端基于肩部、肘部、腕部的第一骨骼关键点的坐标计算两个胳膊张开的角度。若两个胳膊张开的角度大于第一角度阈值,则以上多个第一骨骼关键点为一个有效关键点。终端基于髋部、膝部、脚踝的第一骨骼关键点的坐标计算双腿的角度。若双腿的角度大于第二角度阈值,则以上多个第一骨骼关键点是一个有效关键点。有效关键点的数量越多,表明实体对象的姿态与虚拟对象的姿态越相似,实体对象与虚拟对象之间的相似度越高。
在一些实施例中,终端基于有效关键点的数量,将实体对象的姿态评为四个等级,分别为“失败”、“不错”、“超赞”和“完美”。例如,若有效关键点的数量为0,则该实体对象并未成功模仿虚拟对象的姿态,该实体对象的姿态等级为“失败”。若有效关键点的数量为4,则该实体对象完美地模仿虚拟对象的姿态,该实体对象的姿态等级为“完美”。类似地,在有效关键点的数量为2或者3的情况下,实体对象的姿态等级为“不错”或者“超赞”。
在一些实施例中,终端基于有效关键点的数量,确定实体对象的姿态得分,姿态得分与至少一个有效关键点的数量正相关。例如,若有效关键点的数量为4,姿态得分为100;有效关键点的数量为3,姿态得分为80;有效关键点的数量为2,姿态得分为60;有效关键点的数量为0,姿态得分为0。终端基于实体对象获得的不小于得分阈值的姿态得分的数量,确定实体对象的连击得分。其中,得分阈值可以为60,也可以为其他数值,本申请实施例在此不做限定。终端对姿态得分和连击得分进行加权求和,得到实体对象的交互得分。在实体对象与虚拟对象交互的过程中,终端还能够在图11所示的交互界面中显示实体对象的交互得分以及连击得分。
图12为交互得分的计算函数的示意图,实体对象每次模仿虚拟对象的姿态的交互得分为Y=Bx+A。其中,Y为交互得分,A为姿态得分,A的值与有效关键点的数量有关。例如,若有效关键点的数量为4,A为100;有效关键点的数量为3,A为80;有效关键点的数量为2,A为60;有效关键点的数量为0,A为0。Bx为连击得分,B可以为一个固定常数,如B为10;x为实体对象在当前姿态之前连续获得的不小于得分阈值的姿态得分的数量,如x为4时,表明实体对象在当前姿态之前,连续4次获得的姿态得分均不小于得分阈值。
403、在交互度大于交互度阈值的情况下,终端显示至少一个虚拟对象切换姿态。
在本申请实施例中,在交互度大于交互度阈值的情况下,表明至少一个实体对象模仿的姿态与至少一个虚拟对象的姿态较为相似,实体对象成功模仿了虚拟对象当前的姿态。终端显示至少一个虚拟对象切换姿态,以便实体对象继续模仿切换后的姿态。其中,交互度阈值可以为一个预设的百分比,如70%、80%或者90%,还可以为一个预设的数值,如7、8或者9,本申请实施例对交互度阈值不做限定。
在一些实施例中,每个虚拟对象的姿态具有一定的呈现时间。在交互度不大于交互度阈值的情况下,即实体对象并未成功模仿虚拟对象的姿态时,响应于至少一个虚拟对象的姿态的呈现时间结束,终端显示至少一个虚拟对象切换姿态。示意性的,呈现时间为5秒,即在5秒的呈现时间结束时,即使实体对象并未成功模仿虚拟对象的姿态,终端也会显示至少一个虚拟对象切换姿态,以供实体对象继续模仿下一个姿态。在实体对象模仿的姿态难度较高的情况下,如果实体对象较长时间不能模仿成功,则会耗费大量交互的时间。通过为每个虚拟对象的姿态设置呈现时间,能够在实体对象模仿不成功时也能及时虚拟对象的切换姿态,实体对象可以继续模仿切换后的姿态,提高了交互的效率。
404、在满足交互结束条件的情况下,终端显示交互结束界面。
在本申请实施例中,在满足交互结束条件的情况下,终端显示交互结束界面。其中,交互结束条件可以为交互时间结束。例如,交互时间为1分钟,响应于1分钟时间结束,则满足交互结束条件。如图13所示的交互结束界面,交互结束界面的精彩瞬间区域内显示有交互过程中生成的至少一张交互图像。其中,交互图像包括至少一个实体对象和至少一个虚拟对象,能够使用户回顾与虚拟对象的交互过程。交互结束界面还显示有该实体对象所在队伍的总得分和总排名。实体对象所在队伍的总得分为该队伍内的实体对象在交互过程的交互得分的总和。
在一些实施例中,终端采用推直播流的方式控制显示大屏同步显示终端显示的内容。当终端显示交互结束界面时,终端控制显示大屏显示如图14所示的另一种交互结束界面,该交互结束界面显示有多个队伍的交互得分以及交互得分排行榜。
在一些实施例中,用户能够在如图15所示的另一种交互结束界面查看并保存生成的至少一张交互图像,用户还能够在该界面查看多个队伍的交互得分以及交互得分排行榜。
在一些实施例中,终端和控制终端通过如图16所示的通信流程图进行通信。响应于用户在控制终端输入用户ID,控制终端向服务器发送开始交互信息,开始交互信息用于指示用户准备与虚拟对象进行交互。服务器将开始交互信息传递给终端。终端接收到开始交互信息后,在交互界面显示用户与虚拟对象进行交互。响应于用户完成交互,终端向服务器发送结束交互信息,结束交互信息用于指示用户与虚拟对象交互完毕。服务器向控制终端传递结束交互信息。控制终端接收到结束交互信息后,展示交互结束界面。
图17是本申请实施例提供的一种基于虚拟对象的交互流程图,如图17所示,用户需要进行授权才能获取用户的编号。用户获取编号后,在控制终端输入编号。控制终端基于用户编号,向终端发送开始交互信息。终端接收到开始交互信息后,终端显示交互界面。用户能够在交互界面与虚拟对象进行交互。在交互过程中,终端识别用户的多个姿势,以确定用户和虚拟对象的交互度,在交互度大于交互度阈值的情况下,用户成功与虚拟对象进行了互动,则为用户生成交互图像。用户与虚拟对象交互结束后,用户再次授权存储功能,便能保存生成的交互图像。
图18是本申请实施例提供的一种姿态识别的流程图,如图18所示,开始交互时,终端启动Kinect设备进行姿态识别,以识别用户的姿态,得到用户的多个骨骼关键点。终端根据用户的骨骼关键点和虚拟对象的骨骼关键点,确定二者姿态之间的相似度。终端根据相似度确定用户的姿态得分。终端基于用户获得的不小于得分阈值60的姿态得分的数量,确定实体对象的连击得分。终端对姿态得分和连击得分进行加权求和,得到实体对象的交互得分。终端还能够在用户的身体两侧显示不同的姿态得分对应的提示语,以提示用户当前姿态的得分。其中,提示语包括“失败”、“不错”、“超赞”和“完美”。在用户成功模仿的情况下,终端能够为用户生成交互过程中的至少一个交互图像。
以上实施例为至少一个实体对象通过同一个拍摄设备与多个虚拟对象进行交互的实施例。下述为两个实体对象通过不同的拍摄设备远程进行交互的实施例。图19是本申请实施例提供的另一种基于虚拟对象的交互方法的流程图,本申请实施例由第一终端执行为例进行说明,参见图19,该方法包括:
1901、第一终端显示交互界面,交互界面包括第一区域和第二区域,第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,第二区域显示有至少一个虚拟对象,虚拟对象用于呈现不同姿态。
步骤1901与上述步骤401同理,在此不再赘述。
1902、第一终端在第一区域显示至少一个实体对象实时拍摄得到的姿态。
在本申请实施例中,第一区域显示的至少一个实体对象是通过至少一个拍摄设备在真实世界实时拍摄得到的至少一个用户。实体对象能够通过模仿虚拟对象的姿态与虚拟对象进行交互。
在一些实施例中,第一终端在第一区域显示第一实体对象和第二实体对象。第一实体对象和第二实体对象为两个远程的实体对象,即不在同一位置的实体对象,例如第一实体对象在城市A,第二实体对象在城市B。若第一实体对象要和第二实体对象进行交互,则第一实体对象在控制终端输入第一实体对象的ID和第二实体对象的ID。其中,第一实体对象的ID即为第一实体对象的身份标识。第一终端通过服务器向第二终端发送携带两个实体对象的身份标识的交互请求。相应地,第二终端在交互界面显示该交互请求。第二实体对象可以在该交互界面接收或者拒绝该交互请求。响应于第二实体对象接受该交互请求,第二终端连接的拍摄设备实时拍摄第二实体对象的姿态,并通过服务器向第一终端传输第二实体对象的姿态。相应地,第一终端在第一区域显示第一实体对象的姿态和第二实体对象的姿态,在第二区域显示两个第一虚拟对象。第一实体对象和第二实体对象可以通过模仿两个第一虚拟对象的姿态进行交互。
在一些实施例中,终端基于第一实体对象的姿态与对应的第一虚拟对象的姿态的第一相似度、第二实体对象的姿态与对应的第一虚拟对象的姿态的第三相似度以及第一实体对象与第二实体对象之间的重合度,确定交互度。
在一些实施例中,第一终端在第一区域显示第一实体对象和基于第二实体对象生成的虚拟对象。终端在交互界面的第一区域显示有通过拍摄设备实时拍摄得到的单个第一实体对象,第二区域显示有两个第一虚拟对象。终端在第一区域显示第二虚拟对象。第二虚拟对象为两个第一虚拟对象中的任一虚拟对象,第二虚拟对象用于呈现第二实体对象的姿态,即第二虚拟对象是第二实体对象选择了隐藏真实样貌后,基于第二实体对象的姿态生成的虚拟对象。
在一些实施例中,第一终端基于第一相似度、第二相似度以及第一实体对象与第二虚拟对象之间的重合度,确定交互度。第一相似度为第一实体对象的姿态与第三虚拟对象的姿态的相似度,即第一实体对象与其模仿的虚拟对象之间的相似程度。第三虚拟对象为不同于第二虚拟对象的第一虚拟对象。第二相似度为第二虚拟对象的姿态与对应的第一虚拟对象的姿态的相似度,即基于第二实体对象生成的虚拟对象和第二实体对象模仿的虚拟对象之间的相似度。通过这种方式,即使位于不同地点的两个实体对象也能进行交互,并且如果实体对象不想暴露自己的隐私,还能够在互动时将该实体对象替换为虚拟对象,在保护隐私的同时,还提高了交互方式的多样性。
如图20所示的交互流程图,位于不同地点两个的用户也能够一起进行互动。例如,用户A在城市1,用户B在城市2,二者开始进行交互时,在控制终端共同输入用户A和用户B的ID,用户A和用户B就能够显示在第一终端的交互界面进行交互。相应地,第一终端还能够确定用户A和用户B的交互度。进一步的,若用户B选择了隐藏真实样貌,则在拍照过程中用户B的真实样貌会被替换成虚拟对象,该虚拟对象是通过姿态识别用户B的姿态来生成的。最终获取生成的图像为用户A和用户B对应的虚拟对象交互的照片。
1903、在满足姿态切换条件的情况下,第一终端显示至少一个虚拟对象切换姿态。
在本申请实施例中,在满足姿态切换条件的情况下,表明至少一个实体对象模仿的姿态与至少一个虚拟对象的姿态较为相似,实体对象成功模仿了虚拟对象当前的姿态。第一终端显示至少一个虚拟对象切换姿态,以便实体对象继续模仿切换后的姿态。
在一些实施例中,姿态切换条件可以为交互度大于交互度阈值,也可以为至少一个虚拟对象的姿态的呈现时间结束。
在一些实施例中,基于虚拟对象的交互方法能够应用在云游戏场景中。相应地,在云游戏场景中,第一终端为展示端1,第二终端为展示端2,展示端可以为游戏现场用于展示的设备和显示屏幕;控制终端为操作端1,第二实体对象对应的控制终端为操作端2,操作端可以为用户启动交互游戏的手机、平板电脑等设备。在第一实体对象和第二实体对象与虚拟对象进行交互的过程中,操作端1、操作端2、展示端1、展示端2和云云服务器的数据交互流程如图21所示。响应于第一实体对象在操作端1输入第一实体对象的ID和第二实体对象的ID,操作端1获取第一实体对象和第二实体对象的ID,并通过云服务器向操作端2发送携带两个实体对象的ID的交互请求。相应地,展示端2在交互界面显示该交互请求。第二实体对象可以在该交互界面接收或者拒绝该交互请求。响应于第二实体对象接受该交互请求,操作端2向云服务器传输拍摄设备实时拍摄得到的第二实体对象的姿态。云服务器向展示端1传输第二实体对象的姿态。展示端1和展示端2均在交互界面显示第一实体对象和第二实体对象交互的过程。响应于第一实体对象和第二实体对象完成交互,展示端1和展示端2显示交互结束界面,并向云服务器发送结束交互信息。云服务器向操作端1和操作端2传递结束交互信息。操作端1和操作端2接收到结束交互信息后,均显示交互结束界面。
本申请实施例提供了一种基于虚拟对象的交互方法,通过将实时拍摄得到的至少一个实体对象和至少一个虚拟对象显示在交互界面的不同区域,使得实体对象可以模仿虚拟对象的姿态,实体对象模仿的越像,交互度越高。在交互度大于交互度阈值的情况下,实体对象成功模仿虚拟对象的姿态,显示至少一个虚拟对象切换姿态,以便实体对象继续模仿虚拟对象的姿态,从而与虚拟对象进行交互。由于实体对象直接和虚拟对象进行交互,使得不需要人工进行角色扮演,减少了人工的参与,能够节约人工成本,还提高了交互效率。
图22是本申请实施例提供的一种基于虚拟对象的交互装置的结构示意图。参见图22,该装置包括:第一显示模块2201、第一确定模块2202、第二显示模块2203。
第一显示模块2201,用于显示交互界面,交互界面包括第一区域和第二区域,第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,第二区域显示有至少一个虚拟对象,虚拟对象用于呈现不同姿态;
第一确定模块2202,用于基于至少一个实体对象实时拍摄得到的姿态,确定至少一个实体对象与至少一个虚拟对象之间的交互度,交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度;
第二显示模块2203,用于在交互度大于交互度阈值的情况下,显示至少一个虚拟对象切换姿态。
在一些实施例中,第一确定模块2202,用于将至少一个实体对象实时拍摄得到的姿态与至少一个虚拟对象的姿态之间的相似度,确定为交互度。
在一些实施例中,实体对象的数量与虚拟对象的数量一致;
第一确定模块2202,用于对于任一实体对象,基于实体对象与其他实体对象之间的相对位置,确定实体对象对应的虚拟对象;确定实体对象的姿态和实体对象对应的虚拟对象的姿态之间的相似度;基于多个实体对象的相似度,确定交互度。
在一些实施例中,第一确定模块2202,用于对实体对象进行姿态识别,得到多个第一骨骼关键点;获取实体对象对应的虚拟对象的多个第二骨骼关键点;将多个第一骨骼关键点和多个第二骨骼关键点之间的匹配度,确定为相似度。
在一些实施例中,第一确定模块2202,用于从多个第一骨骼关键点中,确定与第二骨骼关键点之间的匹配度大于匹配度阈值的至少一个有效关键点;基于至少一个有效关键点的数量,确定实体对象与虚拟对象之间的相似度,相似度与数量正相关。
在一些实施例中,第一确定模块2202,用于基于至少一个有效关键点的数量,确定实体对象的姿态得分,姿态得分与至少一个有效关键点的数量正相关;基于实体对象获得的不小于得分阈值的姿态得分的数量,确定实体对象的连击得分;对姿态得分和连击得分进行加权求和,得到实体对象的交互得分。
在一些实施例中,第一区域显示有通过拍摄设备实时拍摄得到的单个第一实体对象,第二区域显示有多个第一虚拟对象;
第一显示模块2201,还用于在第一区域显示姿态轮廓和至少一个第一虚拟对象,姿态轮廓用于指示未显示的第一虚拟对象的姿态;
第一确定模块2202,用于基于第一实体对象的姿态与姿态轮廓之间的相似度和第一实体对象与至少一个虚拟对象之间的重合度,确定交互度。
在一些实施例中,第一区域显示有通过拍摄设备实时拍摄得到的单个第一实体对象,第二区域显示有两个第一虚拟对象;
第一显示模块2201,还用于在第一区域显示第二虚拟对象,第二虚拟对象为两个第一虚拟对象中的任一虚拟对象,第二虚拟对象用于呈现第二实体对象的姿态,第二实体对象与第一实体对象通过不同拍摄设备实时拍摄得到;
第一确定模块2202,用于基于第一相似度、第二相似度以及第一实体对象与第二虚拟对象之间的重合度,确定交互度,第一相似度为第一实体对象的姿态与第三虚拟对象的姿态的相似度,第三虚拟对象为不同于第二虚拟对象的第一虚拟对象,第二相似度为第二虚拟对象的姿态与对应的第一虚拟对象的姿态的相似度。
在一些实施例中,在第一区域显示有第一实体对象和第二实体对象,在第二区域显示有两个第一虚拟对象,第二实体对象与第一实体对象通过不同拍摄设备实时拍摄得到;
第一确定模块2202,用于基于第一相似度、第三相似度以及第一实体对象与第二实体对象之间的重合度,确定交互度,第一相似度为第一实体对象的姿态与对应的第一虚拟对象的姿态的相似度,第三相似度为第二实体对象的姿态与对应的第一虚拟对象的姿态的相似度。
在一些实施例中,第一显示模块2201,用于向第二实体对象对应的终端发送交互请求,交互请求携带有第一实体对象的身份标识和第二实体对象的身份标识,交互请求用于请求第二实体对象和第一实体对象进行交互;响应于第二实体对象接受交互请求,在第一区域显示第一实体对象和第二实体对象,在第二区域显示两个第一虚拟对象。
在一些实施例中,第二显示模块2202,用于在交互度不大于交互度阈值的情况下,响应于至少一个虚拟对象的姿态的呈现时间结束,显示至少一个虚拟对象切换姿态。
在一些实施例中,图23是本申请实施例提供的另一种基于虚拟对象的交互装置的结构示意图,如图23所示,装置还包括:
第三显示模块2204,用于在满足交互结束条件的情况下,显示交互结束界面,交互结束界面显示有交互过程中生成的至少一张交互图像,交互图像包括至少一个实体对象和至少一个虚拟对象。
本申请实施例提供了一种基于虚拟对象的交互装置,通过将实时拍摄得到的至少一个实体对象和至少一个虚拟对象显示在交互界面的不同区域,使得实体对象可以模仿虚拟对象的姿态,实体对象模仿的越像,交互度越高。在交互度大于交互度阈值的情况下,实体对象成功模仿虚拟对象的姿态,显示至少一个虚拟对象切换姿态,以便实体对象继续模仿虚拟对象的姿态,从而与虚拟对象进行交互。由于实体对象直接和虚拟对象进行交互,使得不需要人工进行角色扮演,减少了人工的参与,能够节约人工成本,还提高了交互效率。
需要说明的是:上述实施例提供的基于虚拟对象的交互装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于虚拟对象的交互装置和基于虚拟对象的交互方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种终端,该终端包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例提供的基于虚拟对象的交互方法。
图24是本申请实施例提供的一种终端的结构示意图。
终端2400包括有:处理器2401和存储器2402。
处理器2401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器2401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器2401可以集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器2401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器2402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器2402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器2402中的非暂态的计算机可读存储介质用于存储至少一条计算机程序,该至少一条计算机程序用于被处理器2401所具有以实现本申请中方法实施例提供的基于虚拟对象的交互方法。
在一些实施例中,终端2400还可选包括有:外围设备接口2403和至少一个外围设备。处理器2401、存储器2402和外围设备接口2403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2403相连。可选地,外围设备包括:射频电路2404、显示屏2405、摄像头组件2406、音频电路2407和电源2408中的至少一种。
外围设备接口2403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器2401和存储器2402。在一些实施例中,处理器2401、存储器2402和外围设备接口2403被集成在同一芯片或电路板上;在一些其他实施例中,处理器2401、存储器2402和外围设备接口2403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路2404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路2404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2404可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路2404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏2405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2405是触摸显示屏时,显示屏2405还具有采集在显示屏2405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2401进行处理。此时,显示屏2405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏2405可以为一个,设置在终端2400的前面板;在另一些实施例中,显示屏2405可以为至少两个,分别设置在终端2400的不同表面或呈折叠设计;在另一些实施例中,显示屏2405可以是柔性显示屏,设置在终端2400的弯曲表面上或折叠面上。甚至,显示屏2405还可以设置成非矩形的不规则图形,也即异形屏。显示屏2405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件2406用于采集图像或视频。可选地,摄像头组件2406包括前置摄像头和后置摄像头。前置摄像头设置在终端2400的前面板,后置摄像头设置在终端2400的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件2406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路2407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器2401进行处理,或者输入至射频电路2404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端2400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2401或射频电路2404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路2407还可以包括耳机插孔。
电源2408用于为终端2400中的各个组件进行供电。电源2408可以是交流电、直流电、一次性电池或可充电电池。当电源2408包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端2400还包括有一个或多个传感器2409。该一个或多个传感器2409包括但不限于:加速度传感器2410、陀螺仪传感器2411、压力传感器2412、光学传感器2413以及接近传感器2414。
加速度传感器2410可以检测以终端2400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器2410可以用于检测重力加速度在三个坐标轴上的分量。处理器2401可以根据加速度传感器2410采集的重力加速度信号,控制显示屏2405以横向视图或纵向视图进行用户界面的显示。加速度传感器2410还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器2411可以检测终端2400的机体方向及转动角度,陀螺仪传感器2411可以与加速度传感器2410协同采集用户对终端2400的3D动作。处理器2401根据陀螺仪传感器2411采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器2412可以设置在终端2400的侧边框和/或显示屏2405的下层。当压力传感器2412设置在终端2400的侧边框时,可以检测用户对终端2400的握持信号,由处理器2401根据压力传感器2412采集的握持信号进行左右手识别或快捷操作。当压力传感器2412设置在显示屏2405的下层时,由处理器2401根据用户对显示屏2405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器2413用于采集环境光强度。在一个实施例中,处理器2401可以根据光学传感器2413采集的环境光强度,控制显示屏2405的显示亮度。可选地,当环境光强度较高时,调高显示屏2405的显示亮度;当环境光强度较低时,调低显示屏2405的显示亮度。在另一个实施例中,处理器2401还可以根据光学传感器2413采集的环境光强度,动态调整摄像头组件2406的拍摄参数。
接近传感器2414,也称距离传感器,设置在终端2400的前面板。接近传感器2414用于采集用户与终端2400的正面之间的距离。在一个实施例中,当接近传感器2414检测到用户与终端2400的正面之间的距离逐渐变小时,由处理器2401控制显示屏2405从亮屏状态切换为息屏状态;当接近传感器2414检测到用户与终端2400的正面之间的距离逐渐变大时,由处理器2401控制显示屏2405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图24中示出的结构并不构成对终端2400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例提供的基于虚拟对象的交互方法。
本申请实施例还提供了一种计算机程序产品,包括计算机程序,计算机程序由处理器加载并执行,以实现如上述实施例提供的基于虚拟对象的交互方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,上述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (16)

1.一种基于虚拟对象的交互方法,其特征在于,所述方法包括:
显示交互界面,所述交互界面包括第一区域和第二区域,所述第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,所述第二区域显示有至少一个虚拟对象,所述虚拟对象用于呈现不同姿态;
基于所述至少一个实体对象实时拍摄得到的姿态,确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,所述交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度;
在所述交互度大于交互度阈值的情况下,显示所述至少一个虚拟对象切换姿态。
2.根据权利要求1所述的方法,其特征在于,所述基于所述至少一个实体对象实时拍摄得到的姿态,确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,包括:
将所述至少一个实体对象实时拍摄得到的姿态与所述至少一个虚拟对象的姿态之间的相似度,确定为所述交互度。
3.根据权利要求2所述的方法,其特征在于,所述实体对象的数量与所述虚拟对象的数量一致;
所述将所述至少一个实体对象实时拍摄得到的姿态与所述至少一个虚拟对象的姿态之间的相似度,确定为所述交互度,包括:
对于任一实体对象,基于所述实体对象与其他实体对象之间的相对位置,确定所述实体对象对应的虚拟对象;
确定所述实体对象的姿态和所述实体对象对应的虚拟对象的姿态之间的相似度;
基于所述多个实体对象的相似度,确定所述交互度。
4.根据权利要求3所述的方法,其特征在于,所述确定所述实体对象的姿态和所述实体对象对应的虚拟对象的姿态之间的相似度,包括:
对所述实体对象进行姿态识别,得到多个第一骨骼关键点;
获取所述实体对象对应的虚拟对象的多个第二骨骼关键点;
将所述多个第一骨骼关键点和所述多个第二骨骼关键点之间的匹配度,确定为所述相似度。
5.根据权利要求4所述的方法,其特征在于,所述将所述多个第一骨骼关键点和所述多个第二骨骼关键点之间的匹配度,确定为所述相似度,包括:
从所述多个第一骨骼关键点中,确定与第二骨骼关键点之间的匹配度大于匹配度阈值的至少一个有效关键点;
基于所述至少一个有效关键点的数量,确定所述实体对象与所述虚拟对象之间的相似度,所述相似度与所述数量正相关。
6.根据权利要求5所述的方法,其特征在于,所述基于所述至少一个有效关键点的数量,确定所述实体对象与所述虚拟对象之间的相似度之后,所述方法还包括:
基于所述至少一个有效关键点的数量,确定所述实体对象的姿态得分,所述姿态得分与所述至少一个有效关键点的数量正相关;
基于所述实体对象获得的不小于得分阈值的姿态得分的数量,确定所述实体对象的连击得分;
对所述姿态得分和所述连击得分进行加权求和,得到所述实体对象的交互得分。
7.根据权利要求1所述的方法,其特征在于,所述第一区域显示有通过所述拍摄设备实时拍摄得到的单个第一实体对象,所述第二区域显示有多个第一虚拟对象;
所述方法还包括:
在所述第一区域显示姿态轮廓和至少一个第一虚拟对象,所述姿态轮廓用于指示未显示的第一虚拟对象的姿态;
所述确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,包括:
基于所述第一实体对象的姿态与所述姿态轮廓之间的相似度和所述第一实体对象与所述至少一个虚拟对象之间的重合度,确定所述交互度。
8.根据权利要求1所述的方法,其特征在于,所述第一区域显示有通过所述拍摄设备实时拍摄得到的单个第一实体对象,所述第二区域显示有两个第一虚拟对象;
所述方法还包括:
在所述第一区域显示第二虚拟对象,所述第二虚拟对象为所述两个第一虚拟对象中的任一虚拟对象,所述第二虚拟对象用于呈现第二实体对象的姿态,所述第二实体对象与所述第一实体对象通过不同拍摄设备实时拍摄得到;
所述确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,包括:
基于第一相似度、第二相似度以及所述第一实体对象与所述第二虚拟对象之间的重合度,确定所述交互度,所述第一相似度为所述第一实体对象的姿态与第三虚拟对象的姿态的相似度,所述第三虚拟对象为不同于所述第二虚拟对象的第一虚拟对象,所述第二相似度为所述第二虚拟对象的姿态与对应的第一虚拟对象的姿态的相似度。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述第一区域显示有所述第一实体对象和所述第二实体对象,在所述第二区域显示有所述两个第一虚拟对象,所述第二实体对象与所述第一实体对象通过不同拍摄设备实时拍摄得到;
所述确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,包括:
基于所述第一相似度、第三相似度以及所述第一实体对象与所述第二实体对象之间的重合度,确定所述交互度,所述第一相似度为所述第一实体对象的姿态与对应的第一虚拟对象的姿态的相似度,所述第三相似度为所述第二实体对象的姿态与对应的第一虚拟对象的姿态的相似度。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
向所述第二实体对象对应的终端发送交互请求,所述交互请求携带有所述第一实体对象的身份标识和所述第二实体对象的身份标识,所述交互请求用于请求所述第二实体对象和所述第一实体对象进行交互;
响应于所述第二实体对象接受所述交互请求,在所述第一区域显示所述第一实体对象和所述第二实体对象,在所述第二区域显示所述两个第一虚拟对象。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述交互度不大于所述交互度阈值的情况下,响应于所述至少一个虚拟对象的姿态的呈现时间结束,显示所述至少一个虚拟对象切换姿态。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在满足交互结束条件的情况下,显示交互结束界面,所述交互结束界面显示有交互过程中生成的至少一张交互图像,所述交互图像包括所述至少一个实体对象和所述至少一个虚拟对象。
13.一种基于虚拟对象的交互装置,其特征在于,所述装置包括:
第一显示模块,用于显示交互界面,所述交互界面包括第一区域和第二区域,所述第一区域显示有通过拍摄设备实时拍摄得到的至少一个实体对象,所述第二区域显示有至少一个虚拟对象,所述虚拟对象用于呈现不同姿态;
确定模块,用于基于所述至少一个实体对象实时拍摄得到的姿态,确定所述至少一个实体对象与所述至少一个虚拟对象之间的交互度,所述交互度用于表示实体对象实时拍摄得到的姿态与虚拟对象的姿态之间的关联程度;
第二显示模块,用于在所述交互度大于交互度阈值的情况下,显示所述至少一个虚拟对象切换姿态。
14.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如权利要求1至12任一项所述的基于虚拟对象的交互方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如权利要求1至12任一项所述的基于虚拟对象的交互方法。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序由处理器加载并执行,以实现如权利要求1至12任一项所述的基于虚拟对象的交互方法。
CN202211603236.5A 2022-12-13 2022-12-13 基于虚拟对象的交互方法、装置、终端及存储介质 Pending CN116954358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211603236.5A CN116954358A (zh) 2022-12-13 2022-12-13 基于虚拟对象的交互方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211603236.5A CN116954358A (zh) 2022-12-13 2022-12-13 基于虚拟对象的交互方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN116954358A true CN116954358A (zh) 2023-10-27

Family

ID=88445011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211603236.5A Pending CN116954358A (zh) 2022-12-13 2022-12-13 基于虚拟对象的交互方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN116954358A (zh)

Similar Documents

Publication Publication Date Title
CN112911182B (zh) 游戏互动方法、装置、终端及存储介质
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
CN110427110B (zh) 一种直播方法、装置以及直播服务器
CN109815150B (zh) 应用测试方法、装置、电子设备及存储介质
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
CN111050189B (zh) 直播方法、装置、设备和存储介质
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
CN113244616B (zh) 基于虚拟场景的互动方法、装置、设备及可读存储介质
CN110956580B (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN111159449B (zh) 一种图像显示方法及电子设备
CN113274729B (zh) 基于虚拟场景的互动观察方法、装置、设备及介质
CN109771955B (zh) 邀请请求处理方法、装置、终端及存储介质
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN111028566A (zh) 直播教学的方法、装置、终端和存储介质
CN111437600A (zh) 剧情展示方法、装置、设备及存储介质
CN112367533B (zh) 交互业务的处理方法、装置、设备及计算机可读存储介质
CN112023403B (zh) 基于图文信息的对战过程展示方法及装置
CN113457173A (zh) 远程教学方法、装置、计算机设备及存储介质
CN111061369B (zh) 交互方法、装置、设备及存储介质
CN110312144B (zh) 进行直播的方法、装置、终端和存储介质
CN112612387A (zh) 展示信息的方法、装置、设备及存储介质
CN114115544B (zh) 人机交互方法、三维显示设备及存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN112843703B (zh) 信息显示方法、装置、终端及存储介质
CN111367492B (zh) 网页页面展示方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication