CN108234276A - 一种虚拟形象之间互动的方法、终端及系统 - Google Patents

一种虚拟形象之间互动的方法、终端及系统 Download PDF

Info

Publication number
CN108234276A
CN108234276A CN201611161850.5A CN201611161850A CN108234276A CN 108234276 A CN108234276 A CN 108234276A CN 201611161850 A CN201611161850 A CN 201611161850A CN 108234276 A CN108234276 A CN 108234276A
Authority
CN
China
Prior art keywords
terminal
virtual image
user
data
behavioural characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611161850.5A
Other languages
English (en)
Other versions
CN108234276B (zh
Inventor
李斌
陈晓波
陈郁
易薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201611161850.5A priority Critical patent/CN108234276B/zh
Priority to PCT/CN2017/109468 priority patent/WO2018107918A1/zh
Publication of CN108234276A publication Critical patent/CN108234276A/zh
Application granted granted Critical
Publication of CN108234276B publication Critical patent/CN108234276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 

Abstract

本发明实施例公开了一种虚拟形象之间互动的方法、终端及系统,虚拟形象之间互动的方法包括:第一终端获取互动场景;所述第一终端将需要互动的虚拟形象渲染至所述互动场景中显示;所述第一终端获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户;所述第一终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上;所述第一终端通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,以实现虚拟形象之间的互动,本发明实施例能够实现虚拟形象之间的互动。

Description

一种虚拟形象之间互动的方法、终端及系统
技术领域
本发明实施例涉及通信技术领域,具体涉及一种虚拟形象之间互动的方法、终端及系统。
背景技术
目前,绝大部分的互动实现方案,都是基于真实人物的,例如真实人物之间进行语音、文字等聊天互动,缺乏虚拟形象之间互动的实现方案。
发明内容
有鉴于此,本发明实施例提供了一种虚拟形象之间互动的方法、终端及系统,能够实现虚拟形象之间的互动。
本发明实施例提供的虚拟形象之间互动的方法,包括:
第一终端获取互动场景;
所述第一终端将需要互动的虚拟形象渲染至所述互动场景中显示;
所述第一终端获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户;
所述第一终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上;
所述第一终端通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,以实现虚拟形象之间的互动。
本发明实施例提供的终端,包括:
第一获取单元,用于获取互动场景;
渲染单元,用于将需要互动的虚拟形象渲染至所述互动场景中显示;
第二获取单元,用于获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述终端的用户;
处理单元,用于将所述第一用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上;
发送单元,用于通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给其他终端,以使得所述其他终端将所述第一用户的实时聊天数据及行为特征数据作用于所述其他终端显示的虚拟形象上,以实现虚拟形象之间的互动。
本发明实施例提供的虚拟形象之间互动的系统,包括第一终端、服务器及第二终端;
所述第一终端用于,获取互动场景;将需要互动的虚拟形象渲染至所述互动场景中显示;获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户;将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上;以及将所述第一用户的实时聊天数据及行为特征数据发送给所述服务器;
所述服务器用于,将所述第一用户的实时聊天数据及行为特征数据发送给所述第二终端;
所述第二终端用于,将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,以实现虚拟形象之间的互动。
本发明实施例中,第一终端可以获取互动场景,将需要互动的虚拟形象渲染至所述互动场景中显示,然后获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户,然后将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上,最后通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,从而实现了虚拟形象之间实时聊天及实时行为的互动。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例所提供的虚拟形象之间互动的方法的一个场景示意图;
图2是本发明实施例所提供的虚拟形象之间互动的方法的一个流程示意图;
图3是本发明实施例所提供的虚拟形象之间互动的方法的另一流程示意图;
图4是本发明实施例所提供的终端的一个结构示意图;
图5是本发明实施例所提供的终端的另一结构示意图;
图6是本发明实施例所提供的虚拟形象之间互动的系统的一个结构示意图;
图7是本发明实施例所提供的语音互动信令交互示意图;
图8是本发明实施例所提供的行为互动信令交互示意图;
图9a至9c是本发明实施例的虚拟形象之间互动的互动界面示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于现有技术缺乏虚拟形象之间互动的实现方案,因而,本发明实施例提供了一种虚拟形象之间互动的方法、终端及系统,能够实现虚拟形象之间的互动。本发明实施例虚拟形象之间互动的方法一个具体实施场景可如图1所示,包括终端与服务器,终端可以有多个,终端可以包括第一终端、第二终端。初始时,每个终端的用户可以在对应终端上创建虚拟形象,当第一终端的用户(第一用户)创建的虚拟形象(第一虚拟形象)想要与第二终端的用户(第二用户)创建的虚拟形象(第二虚拟形象)进行互动时,第一终端可以通过服务器向第二终端发起互动请求,在服务器为第一终端与第二终端建立通信信道之后,第一终端可以获取互动场景,将需要互动的虚拟形象(第一虚拟形象和第二虚拟形象)渲染至所获取的互动场景中显示,然后获取第一用户的实时聊天数据及行为特征数据,第一终端将第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上,然后通过服务器将第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,以实现虚拟形象之间的实时聊天及实时行为的互动。
以下分别进行详细说明,需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
实施例一
本实施例将从终端的角度描述本发明提供的虚拟形象之间互动的方法,如图2所示,本实施例的方法包括以下步骤:
步骤201、第一终端获取互动场景;
具体实现中,每个终端的用户都可以预先在其终端上建立虚拟形象,具体地,用户可以按照如下方式建立虚拟形象:
首先,使用终端的人脸扫描系统扫描面部,以获取面部特征数据及面部贴图,面部特征数据可以包括嘴巴、鼻子、眼睛、眉毛、脸部、下巴等部位的特征数据;然后将获取的面部特征数据及面部贴图融合至预设的虚拟形象模型的面部;最后可以从终端提供的装扮界面中选择装扮,将所选的装扮融合至预设的虚拟形象模型的对应部位,至此,即实现了虚拟形象的建立。装扮界面中提供的装扮包括但不限于发型、衣服、裤子、鞋子等。
为便于描述,本实施例中,可以将第一终端的用户称为第一用户,将第一用户建立的虚拟形象称为第一虚拟形象,将第二终端的用户称为第二用户,将第二用户建立的虚拟形象称为第二虚拟形象。当第一虚拟形象想要与第二虚拟形象进行互动时,第一终端可以通过服务器向第二终端发起互动请求,在服务器为第一终端及第二终端建立通信信道之后,第一终端可以获取互动场景。
具体地,第一终端可以按照如下方式获取互动场景:
第一种,第一终端可以向服务器发送预设位置信息,以从服务器获取预设位置的街景图像,将所述街景图像作为所述互动场景,预设位置可以是第一虚拟形象的位置,该位置也是第一终端的位置,该位置可以用经纬度值、地理坐标值等表示。
第二种,第一终端预先采用预设元素构建虚拟场景图像并存储,需要互动时,从存储中获取采用预设元素构建的虚拟场景图像,将所述虚拟场景图像作为所述互动场景,预设元素包括但不限于三维构建的街道、建筑、树木、河流等。
第三种:所述第一终端通过摄像头采集实景图像,将所述实景图像作为所述交互场景。
进一步地,第一终端还可以提供场景选择界面,以供第一用户从以上三种场景中选择任意一种交互场景,第一终端可以根据第一用户的选择切换显示不同的场景。
步骤202、所述第一终端将需要互动的虚拟形象渲染至所述互动场景中显示;
具体地,需要互动的虚拟形象包括第一虚拟形象和第二虚拟形象,即第一终端可以将第一虚拟形象和第二虚拟形象融合至第一用户所选的互动场景中显示,从而呈现出虚实结合的效果。
步骤203、所述第一终端获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户;
第一用户的实时聊天数据可以包括第一用户输入的语音数据、视频数据、文字数据等,此处不做具体限定。实时聊天数据可以通过终端的麦克风、数据采集接口等实时采集。
第一用户的行为特征数据可以包括面部表情数据、独立肢体动作数据以及交互肢体动作数据。其中,面部表情数据例如皱眉、张嘴、微笑、皱鼻等表情数据,独立肢体动作数据例如行走、奔跑、挥手、摇头、点头等动作数据,交互肢体动作数据例如拥抱、握手、亲吻等动作数据。
具体地,面部表情数据的获取方式有两种,一是通过实时数据采集获取,例如可以实时扫描以识别出用户的真实人脸,提取真实人脸的表情特征,通过表情特征的匹配算法,计算出当前可能的表情,比如皱眉、张嘴、微笑、皱鼻等,然后获取这些表情对应的表情数据;二是根据用户的选择获取,例如用户可以从预置的表情列表中选择表情,终端获取用户选择的表情对应的表情数据。
具体地,独立肢体动作数据的获取方式也可以有两种,例如行走、奔跑等独立肢体动作数据可以通过实时数据采集获取,例如可以利用系统提供的运动检测功能检测用户是否在行走或奔跑,从而获取对应的动作数据;再例如挥手、摇头、点头等独立肢体动作数据可以根据用户的选择获取,例如用户可以从预置的独立肢体动作列表中选择动作,终端获取用户选择的动作对应的动作数据。
具体地,交互肢体动作数据可以根据用户的选择获取,例如用户可以从预置的交互肢体动作列表中选择动作,终端获取用户选择的动作对应的动作数据。
步骤204、所述第一终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上;
所述第一终端显示的虚拟形象包括第一虚拟形象和第二虚拟形象。
针对实时聊天数据,所述第一终端可以直接将第一用户的实时聊天数据作用于所述第一终端显示的第一虚拟形象上,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行实时聊天的效果。
针对行为特征数据,需要视具体数据类型分别处理,如下:
当所述第一用户的行为特征数据为面部表情数据时,所述第一终端可以将所述面部表情数据作用于所述第一终端显示的所述第一虚拟形象上。即在第一终端侧,将所述面部表情数据作用于第一用户对应的虚拟形象模型的面部对应位置,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行表情互动的效果。
当所述第一用户的行为特征数据为独立肢体动作数据时,所述第一终端可以将所述独立肢体动作数据作用于所述第一终端显示的所述第一虚拟形象上。即在第一终端侧,将所述独立肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行独立肢体动作互动的效果。
当所述第一用户的行为特征数据为交互肢体动作数据时,所述第一终端可以将所述交互肢体动作数据作用于所述第一终端显示的所述第一虚拟形象和所述第二虚拟形象上。即在第一终端侧,将所述交互肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,同时,将该交互肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行交互肢体动作互动的效果。
步骤205、所述第一终端通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,以实现虚拟形象之间的互动。
在第二终端接收到第一终端发起的互动请求之后,第二终端也会获取互动场景,具体的获取方法同第一终端,此处不再赘述,第二终端也会将需要互动的虚拟形象渲染至所述互动场景中显示,所述第二终端显示的虚拟形象包括第一虚拟形象和第二虚拟形象。
针对实时聊天数据,所述第二终端可以直接将第一用户的实时聊天数据作用于所述第二终端显示的第一虚拟形象上,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行实时聊天的交互场景。
针对行为特征数据,需要视具体数据类型分别处理,如下:
当所述第一用户的行为特征数据为面部表情数据时,所述第二终端可以将所述面部表情数据作用于所述第二终端显示的所述第一虚拟形象上。即在第二终端侧,将所述面部表情数据作用于第一用户对应的虚拟形象模型的面部对应位置。
当所述第一用户的行为特征数据为独立肢体动作数据时,所述第二终端可以将所述独立肢体动作数据作用于所述第二终端显示的所述第一虚拟形象上。即在第二终端侧,将所述独立肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置。
当所述第一用户的行为特征数据为交互肢体动作数据时,所述第二终端可以将所述交互肢体动作数据作用于所述第二终端显示的所述第一虚拟形象和所述第二虚拟形象上。即在第二终端侧,将所述交互肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,同时,将该交互肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置。
本实施例中,第一终端可以获取互动场景,将需要互动的虚拟形象渲染至所述互动场景中显示,然后获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户,然后将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上,最后通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,从而实现了虚拟形象之间实时聊天(例如实时语音、文字聊天)及实时行为(例如实时表情、动作)的互动。
实施例二
实施例一所描述的方法,本实施例将举例作进一步详细说明,如图3所示,本实施例的方法包括:
步骤301、第一终端获取互动场景;
具体实现中,每个终端的用户都可以预先在其终端上建立虚拟形象。为便于描述,本实施例中,可以将第一终端的用户称为第一用户,将第一用户建立的虚拟形象称为第一虚拟形象,将第二终端的用户称为第二用户,将第二用户建立的虚拟形象称为第二虚拟形象。当第一虚拟形象想要与第二虚拟形象进行互动时,第一终端可以通过服务器向第二终端发起互动请求,在服务器为第一终端及第二终端建立通信信道之后,第一终端可以获取互动场景。
具体地,第一终端可以按照如下方式获取互动场景:
第一种,第一终端可以向服务器发送预设位置信息,以从服务器获取预设位置的街景图像,将所述街景图像作为所述互动场景,预设位置可以是第一虚拟形象的位置,该位置也是第一终端的位置,该位置可以用经纬度值、地理坐标值等表示。
第二种,第一终端预先采用预设元素构建虚拟场景图像并存储,需要互动时,从存储中获取采用预设元素构建的虚拟场景图像,将所述虚拟场景图像作为所述互动场景,预设元素包括但不限于三维构建的街道、建筑、树木、河流等。
第三种:所述第一终端通过摄像头采集实景图像,将所述实景图像作为所述交互场景。
进一步地,第一终端还可以提供场景选择界面,以供第一用户从以上三种场景中选择任意一种交互场景,第一终端可以根据第一用户的选择切换显示不同的场景。
步骤302、所述第一终端将需要互动的虚拟形象渲染至所述互动场景中显示;
具体地,需要互动的虚拟形象包括第一虚拟形象和第二虚拟形象,即第一终端可以将第一虚拟形象和第二虚拟形象融合至第一用户所选的互动场景中显示,从而呈现出虚实结合的效果。
步骤303、所述第一终端获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户;
第一用户的实时聊天数据可以包括第一用户输入的语音数据、视频数据、文字数据等,此处不做具体限定。实时聊天数据可以通过终端的麦克风、数据采集接口等实时采集。
第一用户的行为特征数据可以包括面部表情数据、独立肢体动作数据以及交互肢体动作数据。其中,面部表情数据例如皱眉、张嘴、微笑、皱鼻等表情数据,独立肢体动作数据例如行走、奔跑、挥手、摇头、点头等动作数据,交互肢体动作数据例如拥抱、握手、亲吻等动作数据。
步骤304、所述第一终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上;
步骤305、所述第一终端通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上;
步骤304、305的具体处理过程,可对应参阅步骤204、205的具体处理过程,此处不再赘述。
步骤306、所述第一终端通过所述服务器接收所述第二终端发送的所述第二用户的实时聊天数据及行为特征数据;
在互动时,第二终端也可以获取第二用户的实时聊天数据及行为特征数据,在获取之后,第二终端可以先将第二用户的实时聊天数据及行为特征数据作用于第二终端显示的虚拟形象上,具体如下:
针对实时聊天数据,所述第二终端可以直接将第二用户的实时聊天数据作用于所述第二终端显示的第二虚拟形象上,以呈现出所述第二虚拟形象正在与所述第一虚拟形象进行实时聊天的交互场景。
针对行为特征数据,需要视具体数据类型分别处理,如下:
当所述第二用户的行为特征数据为面部表情数据时,所述第二终端可以将所述面部表情数据作用于所述第二终端显示的所述第二虚拟形象上。即在第二终端侧,将所述面部表情数据作用于第二用户对应的虚拟形象模型的面部对应位置。
当所述第二用户的行为特征数据为独立肢体动作数据时,所述第二终端可以将所述独立肢体动作数据作用于所述第二终端显示的所述第二虚拟形象上。即在第二终端侧,将所述独立肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置。
当所述第二用户的行为特征数据为交互肢体动作数据时,所述第二终端可以将所述交互肢体动作数据作用于所述第二终端显示的所述第一虚拟形象和所述第二虚拟形象上。即在第二终端侧,将所述交互肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,同时,将该交互肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置。
之后,第二终端通过服务将第二用户的实时聊天数据及行为特征数据发送给第一终端。
步骤307、所述第一终端将所述第二用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上。
具体地,针对实时聊天数据,所述第一终端可以直接将第二用户的实时聊天数据作用于所述第一终端显示的第二虚拟形象上,以呈现出所述第二虚拟形象正在与所述第一虚拟形象进行实时聊天的交互场景。
针对行为特征数据,需要视具体数据类型分别处理,如下:
当所述第二用户的行为特征数据为面部表情数据时,所述第一终端可以将所述面部表情数据作用于所述第一终端显示的所述第二虚拟形象上。即在第一终端侧,将所述面部表情数据作用于第二用户对应的虚拟形象模型的面部对应位置。
当所述第二用户的行为特征数据为独立肢体动作数据时,所述第一终端可以将所述独立肢体动作数据作用于所述第一终端显示的所述第二虚拟形象上。即在第一终端侧,将所述独立肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置。
当所述第二用户的行为特征数据为交互肢体动作数据时,所述第一终端可以将所述交互肢体动作数据作用于所述第一终端显示的所述第一虚拟形象和所述第二虚拟形象上。即在第一终端侧,将所述交互肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,同时,将该交互肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置。
本实施例中,第一终端可以获取互动场景,将需要互动的虚拟形象渲染至所述互动场景中显示,然后获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户,然后将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上,最后通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,从而实现了虚拟形象之间实时聊天(例如实时语音、文字聊天)及实时行为(例如实时表情、动作)的互动。
实施例三
为了更好地实施以上方法,本发明实施例还提供一种终端,如图4所示,本实施例的终端包括:第一获取单元401、渲染单元402、第二获取单元403、处理单元404及发送单元405,如下:
(1)第一获取单元401;
第一获取单元401,用于获取互动场景。
具体实现中,每个终端的用户都可以预先在其终端上建立虚拟形象,具体地,用户可以按照如下方式建立虚拟形象:
首先,使用终端的人脸扫描系统扫描面部,以获取面部特征数据及面部贴图,面部特征数据可以包括嘴巴、鼻子、眼睛、眉毛、脸部、下巴等部位的特征数据;然后将获取的面部特征数据及面部贴图融合至预设的虚拟形象模型的面部;最后可以从终端提供的装扮界面中选择装扮,将所选的装扮融合至预设的虚拟形象模型的对应部位,至此,即实现了虚拟形象的建立。装扮界面中提供的装扮包括但不限于发型、衣服、裤子、鞋子等。
为便于描述,本实施例中,可以将第一终端的用户称为第一用户,将第一用户建立的虚拟形象称为第一虚拟形象,将第二终端的用户称为第二用户,将第二用户建立的虚拟形象称为第二虚拟形象。当第一虚拟形象想要与第二虚拟形象进行互动时,第一终端可以通过服务器向第二终端发起互动请求,在服务器为第一终端及第二终端建立通信信道之后,第一终端可以获取互动场景。
具体地,第一获取单元401可以按照如下方式获取互动场景:
第一种,第一获取单元401可以向服务器发送预设位置信息,以从服务器获取预设位置的街景图像,将所述街景图像作为所述互动场景,预设位置可以是第一虚拟形象的位置,该位置也是第一终端的位置,该位置可以用经纬度值、地理坐标值等表示。
第二种,第一终端预先采用预设元素构建虚拟场景图像并存储,需要互动时,第一获取单元401从存储中获取采用预设元素构建的虚拟场景图像,将所述虚拟场景图像作为所述互动场景,预设元素包括但不限于三维构建的街道、建筑、树木、河流等。
第三种:第一获取单元401通过摄像头采集实景图像,将所述实景图像作为所述交互场景。
进一步地,第一终端还可以提供场景选择界面,以供第一用户从以上三种场景中选择任意一种交互场景,第一终端可以根据第一用户的选择切换显示不同的场景。
(2)渲染单元402;
渲染单元402,用于将需要互动的虚拟形象渲染至所述互动场景中显示。
具体地,需要互动的虚拟形象包括第一虚拟形象和第二虚拟形象,即渲染单元402可以将第一虚拟形象和第二虚拟形象融合至第一用户所选的互动场景中显示,从而呈现出虚实结合的效果。
(3)第二获取单元403;
第二获取单元403,用于获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述终端的用户。
第一用户的实时聊天数据可以包括第一用户输入的语音数据、视频数据、文字数据等,此处不做具体限定。实时聊天数据可以通过终端的麦克风、数据采集接口等实时采集。
第一用户的行为特征数据可以包括面部表情数据、独立肢体动作数据以及交互肢体动作数据。其中,面部表情数据例如皱眉、张嘴、微笑、皱鼻等表情数据,独立肢体动作数据例如行走、奔跑、挥手、摇头、点头等动作数据,交互肢体动作数据例如拥抱、握手、亲吻等动作数据。
具体地,面部表情数据的获取方式有两种,一是通过实时数据采集获取,例如可以实时扫描以识别出用户的真实人脸,提取真实人脸的表情特征,通过表情特征的匹配算法,计算出当前可能的表情,比如皱眉、张嘴、微笑、皱鼻等,然后获取这些表情对应的表情数据;二是根据用户的选择获取,例如用户可以从预置的表情列表中选择表情,终端获取用户选择的表情对应的表情数据。
具体地,独立肢体动作数据的获取方式也可以有两种,例如行走、奔跑等独立肢体动作数据可以通过实时数据采集获取,例如可以利用系统提供的运动检测功能检测用户是否在行走或奔跑,从而获取对应的动作数据;再例如挥手、摇头、点头等独立肢体动作数据可以根据用户的选择获取,例如用户可以从预置的独立肢体动作列表中选择动作,终端获取用户选择的动作对应的动作数据。
具体地,交互肢体动作数据可以根据用户的选择获取,例如用户可以从预置的交互肢体动作列表中选择动作,终端获取用户选择的动作对应的动作数据。
(4)处理单元404;
处理单元404,用于将所述第一用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上。
所述第一终端显示的虚拟形象包括第一虚拟形象和第二虚拟形象。
针对实时聊天数据,处理单元404可以直接将第一用户的实时聊天数据作用于所述第一终端显示的第一虚拟形象上,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行实时聊天的效果。
针对行为特征数据,需要视具体数据类型分别处理,如下:
当所述第一用户的行为特征数据为面部表情数据时,处理单元404可以将所述面部表情数据作用于所述第一终端显示的所述第一虚拟形象上。即在第一终端侧,处理单元404将所述面部表情数据作用于第一用户对应的虚拟形象模型的面部对应位置,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行表情互动的效果。
当所述第一用户的行为特征数据为独立肢体动作数据时,处理单元404可以将所述独立肢体动作数据作用于所述第一终端显示的所述第一虚拟形象上。即在第一终端侧,处理单元404将所述独立肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行独立肢体动作互动的效果。
当所述第一用户的行为特征数据为交互肢体动作数据时,处理单元404可以将所述交互肢体动作数据作用于所述第一终端显示的所述第一虚拟形象和所述第二虚拟形象上。即在第一终端侧,处理单元404将所述交互肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,同时,将该交互肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行交互肢体动作互动的效果。
(5)发送单元405;
发送单元405,用于通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给其他终端,以使得所述其他终端将所述第一用户的实时聊天数据及行为特征数据作用于所述其他终端显示的虚拟形象上,以实现虚拟形象之间的互动。
在第二终端接收到第一终端发起的互动请求之后,第二终端也会获取互动场景,具体的获取方法同第一终端,此处不再赘述,第二终端也会将需要互动的虚拟形象渲染至所述互动场景中显示,所述第二终端显示的虚拟形象包括第一虚拟形象和第二虚拟形象。
针对实时聊天数据,所述第二终端可以直接将第一用户的实时聊天数据作用于所述第二终端显示的第一虚拟形象上,以呈现出所述第一虚拟形象正在与所述第二虚拟形象进行实时聊天的交互场景。
针对行为特征数据,需要视具体数据类型分别处理,如下:
当所述第一用户的行为特征数据为面部表情数据时,所述第二终端可以将所述面部表情数据作用于所述第二终端显示的所述第一虚拟形象上。即在第二终端侧,将所述面部表情数据作用于第一用户对应的虚拟形象模型的面部对应位置。
当所述第一用户的行为特征数据为独立肢体动作数据时,所述第二终端可以将所述独立肢体动作数据作用于所述第二终端显示的所述第一虚拟形象上。即在第二终端侧,将所述独立肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置。
当所述第一用户的行为特征数据为交互肢体动作数据时,所述第二终端可以将所述交互肢体动作数据作用于所述第二终端显示的所述第一虚拟形象和所述第二虚拟形象上。即在第二终端侧,将所述交互肢体动作数据作用于第一用户对应的虚拟形象模型的肢体对应位置,同时,将该交互肢体动作数据作用于第二用户对应的虚拟形象模型的肢体对应位置。
进一步地,终端还可以包括接收单元,所述接收单元用于,通过所述服务器接收所述其他终端发送的所述第二用户的实时聊天数据及行为特征数据,所述处理单元404还用于,将所述第二用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上。
需要说明的是,上述实施例提供的终端在实现虚拟形象之间互动时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的终端与虚拟形象之间互动的方法属于同一构思,其具体实现过程详见方法实施例,此处不再赘述。
本实施例中,本实施例中,终端可以获取互动场景,将需要互动的虚拟形象渲染至所述互动场景中显示,然后获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述终端的用户,然后将所述第一用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上,最后通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给其他终端,以使得所述其他终端将所述第一用户的实时聊天数据及行为特征数据作用于所述其他终端显示的虚拟形象上,从而实现了虚拟形象之间实时聊天(例如实时语音、文字聊天)及实时行为(例如实时表情、动作)的互动。
实施例四
本发明实施例还提供了一种终端,如图5所示,其示出了本发明实施例所涉及的终端的结构示意图,具体来讲:
该终端可以包括射频(RF,Radio Frequency)电路501、包括有一个或一个以上计算机可读存储介质的存储器502、输入单元503、显示单元504、传感器505、音频电路506、无线保真(WiFi,Wireless Fidelity)模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解,图5中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路501可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器508处理;另外,将涉及上行的数据发送给基站。通常,RF电路501包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路501还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器502可用于存储软件程序以及模块,处理器508通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器508和输入单元503对存储器502的访问。
输入单元503可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元503可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接终端。可选的,触敏表面可包括触摸检测终端和触摸控制器两个部分。其中,触摸检测终端检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测终端上接收触摸信息,并将它转换成触点坐标,再送给处理器508,并能接收处理器508发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元503还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元504可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元504可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器508以确定触摸事件的类型,随后处理器508根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路506、扬声器,传声器可提供用户与终端之间的音频接口。音频电路506可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路506接收后转换为音频数据,再将音频数据输出处理器508处理后,经RF电路501以发送给比如另一终端,或者将音频数据输出至存储器502以便进一步处理。音频电路506还可能包括耳塞插孔,以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术,终端通过WiFi模块507可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块507,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器508是终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。可选的,处理器508可包括一个或多个处理核心;优选的,处理器508可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器508中。
终端还包括给各个部件供电的电源509(比如电池),优选的,电源可以通过电源管理系统与处理器508逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源509还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器508会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器508来运行存储在存储器502中的应用程序,从而实现各种功能:
获取互动场景;
将需要互动的虚拟形象渲染至所述互动场景中显示;
获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述终端的用户;
将所述第一用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上;
通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给其他终端,以使得所述其他终端将所述第一用户的实时聊天数据及行为特征数据作用于所述其他终端显示的虚拟形象上,以实现虚拟形象之间的互动。
可选地,处理器508可按如下方式获取互动场景:
从所述服务器获取预设位置的街景图像,将所述街景图像作为所述互动场景。
可选地,处理器508还可按如下方式获取互动场景:
从所述终端的存储中获取采用预设元素构建的虚拟场景图像,将所述虚拟场景图像作为所述互动场景。
可选地,处理器508还可按如下方式获取互动场景:
通过摄像头采集实景图像,将所述实景图像作为所述交互场景。
具体地,所述需要互动的虚拟形象包括第一虚拟形象和第二虚拟形象,所述第一虚拟形象为所述第一用户建立的虚拟形象,所述第二虚拟形象为第二用户建立的虚拟形象,所述第二用户为所述其他终端的用户。
具体地,处理器508可以将所述第一用户的实时聊天数据作用于所述终端显示的第一虚拟形象上,所述其他终端可以将所述第一用户的实时聊天数据作用于所述其他终端显示的第一虚拟形象上。
具体地,当所述行为特征数据为面部表情数据时,处理器508可以将所述面部表情数据作用于所述终端显示的第一虚拟形象上;所述其他终端将所述面部表情数据作用于所述其他终端显示的第一虚拟形象上。
具体地,当所述行为特征数据为独立肢体动作数据时,处理器508可以将所述独立肢体动作数据作用于所述终端显示的第一虚拟形象上;所述其他终端将所述独立肢体动作数据作用于所述其他终端显示的第一虚拟形象上。
具体地,当所述行为特征数据为交互肢体动作数据时,处理器508可以将所述交互肢体动作数据作用于所述终端显示的第一虚拟形象和第二虚拟形象上;所述其他终端将所述交互肢体动作数据作用于所述其他终端显示的第一虚拟形象和第二虚拟形象上。
进一步地,处理器508还用于,
通过所述服务器接收所述其他终端发送的所述第二用户的实时聊天数据及行为特征数据;将所述第二用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上。
由上可知,本实施例的终端可以获取互动场景,将需要互动的虚拟形象渲染至所述互动场景中显示,然后获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述终端的用户,然后将所述第一用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上,最后通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给其他终端,以使得所述其他终端将所述第一用户的实时聊天数据及行为特征数据作用于所述其他终端显示的虚拟形象上,从而实现了虚拟形象之间实时聊天(例如实时语音、文字聊天)及实时行为(例如实时表情、动作)的互动。
实施例五
相应的,本发明实施例还提供了一种虚拟形象之间互动的系统,如图6所示,系统中包括终端与服务器。终端可以包括通话模块、场景管理模块和互动模块,如下:
通话模块,主要用于实现语音通话的通道建立、状态管理、设备管理、音频数据收发等;
场景管理模块,主要用于实现不同互动场景的显示和渲染;
互动模块,主要用于基于互动场景,实现虚拟形象之间的表情、独立动作、交互动作等互动。
服务器可以包括互动管理模块、通知中心模块、语音信令模块、语音数据模块、消息中心模块和状态中心模块。
在一个具体的实施例中,终端可以包括终端A及终端B,终端A的用户可以称为第一用户,终端A的用户建立的虚拟形象可以称为第一虚拟形象,终端B的用户可以称为第二用户,终端B的用户建立的虚拟形象可以称为第二虚拟形象。当第一、二虚拟形象之间要进行互动时,终端与服务器的各个模块之间的信令交互可如图7、图8所示,图7主要示出了虚拟形象之间进行语音互动时的信令交互,图8主要示出了虚拟形象之间进行行为交互时的信令交互,实际中,语音交互和行为交互可以同时进行,先参阅图7,具体如下:
1)长连接建立;
终端A与终端B都会与服务器维持一个传输控制协议(Transmission ControlProtocol,TCP)的长连接,从而保证自己的强在线,状态中心模块会维持每个终端的在线状态。
2)互动请求的发起;
终端A向语音信令模块发起与B的互动请求后,语音信令模块首先会进行B的在线状态检查,确保B在线时,才会认为这是一次有效的呼叫;反之,会返回呼叫失败。
3)互动请求的通知;
语音信令模块通过状态中心模块检查满足发起互动请求要求后,会返回A请求成功,并由通知中心模块通知被呼叫方B。
4-5)数据通道的建立;
终端A和B开始进行基于用户数据报协议(User Datagram Protocol,UDP)的语音数据通道的建立,一旦建立成功就会启动各自的音频设备,开始采集音频数据,将音频数据作用于自身用户建立的虚拟形象之后,发送给语音数据模块。
6)音频数据的收发;
语音数据模块收到A和B的语音数据后,会转发给对方,终端A接收到终端B发送的语音数据之后,会将该语音数据作用于终端A显示的第二虚拟形象上,终端B接收到终端A发送的语音数据之后,会将该语音数据作用于终端B显示的第一虚拟形象上,以呈现出虚拟形象之间进行语音互动的效果。
接下来可参阅图8,具体如下:
1)面部表情的互动;
终端A可以通过表情检测或表情选择,获取第一用户的面部表情数据,将第一用户的面部表情数据作用于终端A显示的第一虚拟形象上,然后通过服务器的互动管理模块、消息和通知中心模块将第一用户的面部表情数据发送给终端B,终端B将第一用户的面部表情数据作用于终端B显示的第一虚拟形象上,以呈现出虚拟形象之间进行表情互动的效果。
2)独立肢体动作互动;
终端B可以通过独立动作检测或独立动作选择,获取第二用户的独立肢体动作数据,将第二用户的独立肢体动作数据作用于终端B显示的第二虚拟形象上,然后通过服务器的互动管理模块、消息和通知中心模块将第二用户的独立肢体动作数据发送给终端A,终端A将第二用户的独立肢体动作数据作用于终端A显示的第二虚拟形象上,以呈现出虚拟形象之间进行独立动作互动的效果。
3)交互肢体动作互动;
终端A可以通过交互动作选择,获取第一用户的交互肢体动作数据,将第一用户的交互肢体动作数据作用于终端A显示的第一、第二虚拟形象上,然后通过服务器的互动管理模块、消息和通知中心模块将第一用户的交互肢体动作数据发送给终端B,终端B将第一用户的交互肢体动作数据作用于终端B显示的第一、第二三虚拟形象上,以呈现出虚拟形象之间进行交互动作互动的效果。
另外,本实施例的终端还可以获取互动场景,具体获取方式如下:
第一种,可以向服务器发送预设位置信息,以从服务器获取预设位置的街景图像,将所述街景图像作为所述互动场景,预设位置可以是第一虚拟形象的位置,该位置也是第一终端的位置,该位置可以用经纬度值、地理坐标值等表示。
第二种,可以预先采用预设元素构建虚拟场景图像并存储,需要互动时,从存储中获取采用预设元素构建的虚拟场景图像,将所述虚拟场景图像作为所述互动场景,预设元素包括但不限于三维构建的街道、建筑、树木、河流等。
第三种:通过摄像头采集实景图像,将所述实景图像作为所述交互场景。
在终端A向终端B发起互动请求之后,两个终端就可以各自获取互动场景,将需要互动的虚拟形象渲染至各自获取的互动场景中显示,各个终端获取的互动场景可以相同,也可以不同,在互动的过程中,各终端可以根据各自用户的选择切换显示不同的交互场景。
图9a至9c就示出了本发明实施例提供的互动界面,其中,图9a的互动界面中,互动场景为实景,图9b与图9c的互动界面中,互动场景均为对应用户选择的街景。需要说明的是,图9a至9c仅为互动界面的一个效果展示图,实际中,并不构成对最终展示效果的限定。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,装置,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (21)

1.一种虚拟形象之间互动的方法,其特征在于,包括:
第一终端获取互动场景;
所述第一终端将需要互动的虚拟形象渲染至所述互动场景中显示;
所述第一终端获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户;
所述第一终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上;
所述第一终端通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给第二终端,以使得所述第二终端将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,以实现虚拟形象之间的互动。
2.根据权利要求1所述的方法,其特征在于,所述第一终端获取互动场景包括:
所述第一终端从所述服务器获取预设位置的街景图像,将所述街景图像作为所述互动场景。
3.根据权利要求1所述的方法,其特征在于,所述第一终端获取互动场景包括:
所述第一终端从存储中获取采用预设元素构建的虚拟场景图像,将所述虚拟场景图像作为所述互动场景。
4.根据权利要求1所述的方法,其特征在于,所述第一终端获取互动场景包括:
所述第一终端通过摄像头采集实景图像,将所述实景图像作为所述交互场景。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述需要互动的虚拟形象包括第一虚拟形象和第二虚拟形象,所述第一虚拟形象为所述第一用户建立的虚拟形象,所述第二虚拟形象为第二用户建立的虚拟形象,所述第二用户为所述第二终端的用户。
6.根据权利要求5所述的方法,其特征在于,所述第一终端将所述第一用户的实时聊天数据作用于所述第一终端显示的虚拟形象上具体为:
所述第一终端将所述第一用户的实时聊天数据作用于所述第一终端显示的第一虚拟形象上;
所述第二终端将所述第一用户的实时聊天数据作用于所述第二终端显示的第一虚拟形象上。
7.根据权利要求5所述的方法,其特征在于,当所述行为特征数据为面部表情数据时,所述第一终端将所述第一用户的行为特征数据作用于所述第一终端显示的虚拟形象上具体为:
所述第一终端将所述面部表情数据作用于所述第一终端显示的第一虚拟形象上;
所述第二终端将所述面部表情数据作用于所述第二终端显示的第一虚拟形象上。
8.根据权利要求5所述的方法,其特征在于,当所述行为特征数据为独立肢体动作数据时,所述第一终端将所述第一用户的行为特征数据作用于所述第一终端显示的虚拟形象上具体为:
所述第一终端将所述独立肢体动作数据作用于所述第一终端显示的第一虚拟形象上;
所述第二终端将所述独立肢体动作数据作用于所述第二终端显示的第一虚拟形象上。
9.根据权利要求5所述的方法,其特征在于,当所述行为特征数据为交互肢体动作数据时,所述第一终端将所述第一用户的行为特征数据作用于所述第一终端显示的虚拟形象上具体为:
所述第一终端将所述交互肢体动作数据作用于所述第一终端显示的第一虚拟形象和第二虚拟形象上;
所述第二终端将所述交互肢体动作数据作用于所述第二终端显示的第一虚拟形象和第二虚拟形象上。
10.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述第一终端通过所述服务器接收所述第二终端发送的所述第二用户的实时聊天数据及行为特征数据;
所述第一终端将所述第二用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上。
11.一种终端,其特征在于,包括:
第一获取单元,用于获取互动场景;
渲染单元,用于将需要互动的虚拟形象渲染至所述互动场景中显示;
第二获取单元,用于获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述终端的用户;
处理单元,用于将所述第一用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上;
发送单元,用于通过服务器将所述第一用户的实时聊天数据及行为特征数据发送给其他终端,以使得所述其他终端将所述第一用户的实时聊天数据及行为特征数据作用于所述其他终端显示的虚拟形象上,以实现虚拟形象之间的互动。
12.根据权利要求11所述的终端,其特征在于,所述第一获取单元具体用于,从所述服务器获取预设位置的街景图像,将所述街景图像作为所述互动场景。
13.根据权利要求11所述的终端,其特征在于,所述第一获取单元具体用于,从所述终端的存储中获取采用预设元素构建的虚拟场景图像,将所述虚拟场景图像作为所述互动场景。
14.根据权利要求11所述的终端,其特征在于,所述第一获取单元具体用于,通过摄像头采集实景图像,将所述实景图像作为所述交互场景。
15.根据权利要求11至14任意一项所述的终端,其特征在于,所述需要互动的虚拟形象包括第一虚拟形象和第二虚拟形象,所述第一虚拟形象为所述第一用户建立的虚拟形象,所述第二虚拟形象为第二用户建立的虚拟形象,所述第二用户为所述其他终端的用户。
16.根据权利要求15所述的终端,其特征在于,所述处理单元将所述第一用户的实时聊天数据作用于所述终端显示的虚拟形象上具体为:
所述处理单元将所述第一用户的实时聊天数据作用于所述终端显示的第一虚拟形象上;
所述其他终端将所述第一用户的实时聊天数据作用于所述其他终端显示的第一虚拟形象上。
17.根据权利要求15所述的终端,其特征在于,当所述行为特征数据为面部表情数据时,所述处理单元将所述第一用户的行为特征数据作用于所述终端显示的虚拟形象上具体为:
所述处理单元将所述面部表情数据作用于所述终端显示的第一虚拟形象上;
所述其他终端将所述面部表情数据作用于所述其他终端显示的第一虚拟形象上。
18.根据权利要求15所述的终端,其特征在于,当所述行为特征数据为独立肢体动作数据时,所述处理单元将所述第一用户的行为特征数据作用于所述终端显示的虚拟形象上具体为:
所述处理单元将所述独立肢体动作数据作用于所述终端显示的第一虚拟形象上;
所述其他终端将所述独立肢体动作数据作用于所述其他终端显示的第一虚拟形象上。
19.根据权利要求15所述的终端,其特征在于,当所述行为特征数据为交互肢体动作数据时,所述处理单元将所述第一用户的行为特征数据作用于所述终端显示的虚拟形象上具体为:
所述处理单元将所述交互肢体动作数据作用于所述终端显示的第一虚拟形象和第二虚拟形象上;
所述其他终端将所述交互肢体动作数据作用于所述其他终端显示的第一虚拟形象和第二虚拟形象上。
20.根据权利要求15所述的终端,其特征在于,所述终端还包括:
接收单元,用于通过所述服务器接收所述其他终端发送的所述第二用户的实时聊天数据及行为特征数据;
所述处理单元还用于,将所述第二用户的实时聊天数据及行为特征数据作用于所述终端显示的虚拟形象上。
21.一种虚拟形象之间互动的系统,其特征在于,包括第一终端、服务器及第二终端;
所述第一终端用于,获取互动场景;将需要互动的虚拟形象渲染至所述互动场景中显示;获取第一用户的实时聊天数据及行为特征数据,所述第一用户为所述第一终端的用户;将所述第一用户的实时聊天数据及行为特征数据作用于所述第一终端显示的虚拟形象上;以及将所述第一用户的实时聊天数据及行为特征数据发送给所述服务器;
所述服务器用于,将所述第一用户的实时聊天数据及行为特征数据发送给所述第二终端;
所述第二终端用于,将所述第一用户的实时聊天数据及行为特征数据作用于所述第二终端显示的虚拟形象上,以实现虚拟形象之间的互动。
CN201611161850.5A 2016-12-15 2016-12-15 一种虚拟形象之间互动的方法、终端及系统 Active CN108234276B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611161850.5A CN108234276B (zh) 2016-12-15 2016-12-15 一种虚拟形象之间互动的方法、终端及系统
PCT/CN2017/109468 WO2018107918A1 (zh) 2016-12-15 2017-11-06 一种虚拟形象之间互动的方法、终端及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611161850.5A CN108234276B (zh) 2016-12-15 2016-12-15 一种虚拟形象之间互动的方法、终端及系统

Publications (2)

Publication Number Publication Date
CN108234276A true CN108234276A (zh) 2018-06-29
CN108234276B CN108234276B (zh) 2020-01-14

Family

ID=62557963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611161850.5A Active CN108234276B (zh) 2016-12-15 2016-12-15 一种虚拟形象之间互动的方法、终端及系统

Country Status (2)

Country Link
CN (1) CN108234276B (zh)
WO (1) WO2018107918A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445573A (zh) * 2018-09-14 2019-03-08 重庆爱奇艺智能科技有限公司 一种用于虚拟化身形象互动的方法与装置
CN109525483A (zh) * 2018-11-14 2019-03-26 惠州Tcl移动通信有限公司 移动终端及其互动动画的生成方法、计算机可读存储介质
CN109550256A (zh) * 2018-11-20 2019-04-02 咪咕互动娱乐有限公司 虚拟角色调整方法、装置和存储介质
CN109885367A (zh) * 2019-01-31 2019-06-14 腾讯科技(深圳)有限公司 互动聊天实现方法、装置、终端和存储介质
CN110102053A (zh) * 2019-05-13 2019-08-09 腾讯科技(深圳)有限公司 虚拟形象显示方法、装置、终端及存储介质
CN110599359A (zh) * 2019-09-05 2019-12-20 深圳追一科技有限公司 社交方法、装置、系统、终端设备及存储介质
CN110609620A (zh) * 2019-09-05 2019-12-24 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置及电子设备
CN110674706A (zh) * 2019-09-05 2020-01-10 深圳追一科技有限公司 社交方法、装置、电子设备及存储介质
CN110889382A (zh) * 2019-11-29 2020-03-17 深圳市商汤科技有限公司 虚拟形象渲染方法及装置、电子设备和存储介质
WO2020056694A1 (zh) * 2018-09-20 2020-03-26 华为技术有限公司 增强现实的通信方法及电子设备
CN111246225A (zh) * 2019-12-25 2020-06-05 北京达佳互联信息技术有限公司 信息交互方法、装置、电子设备及计算机可读存储介质
CN115396390A (zh) * 2021-05-25 2022-11-25 Oppo广东移动通信有限公司 基于视频聊天的互动方法、系统、装置及电子设备
CN116664805A (zh) * 2023-06-06 2023-08-29 深圳市莱创云信息技术有限公司 一种基于增强现实技术的多媒体展示系统及方法
CN117193541A (zh) * 2023-11-08 2023-12-08 安徽淘云科技股份有限公司 虚拟形象交互方法、装置、终端和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490956A (zh) * 2019-08-14 2019-11-22 北京金山安全软件有限公司 动效素材生成方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN103218843A (zh) * 2013-03-15 2013-07-24 苏州跨界软件科技有限公司 虚拟人物通讯系统和方法
US20130258040A1 (en) * 2012-04-02 2013-10-03 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Interactive Avatars for Telecommunication Systems
CN103368816A (zh) * 2012-03-29 2013-10-23 深圳市腾讯计算机系统有限公司 基于虚拟人物形象的即时通讯方法及系统
CN103368929A (zh) * 2012-04-11 2013-10-23 腾讯科技(深圳)有限公司 一种视频聊天方法及系统
CN105554430A (zh) * 2015-12-22 2016-05-04 掌赢信息科技(上海)有限公司 一种视频通话方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN103368816A (zh) * 2012-03-29 2013-10-23 深圳市腾讯计算机系统有限公司 基于虚拟人物形象的即时通讯方法及系统
US20130258040A1 (en) * 2012-04-02 2013-10-03 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Interactive Avatars for Telecommunication Systems
CN103368929A (zh) * 2012-04-11 2013-10-23 腾讯科技(深圳)有限公司 一种视频聊天方法及系统
CN103218843A (zh) * 2013-03-15 2013-07-24 苏州跨界软件科技有限公司 虚拟人物通讯系统和方法
CN105554430A (zh) * 2015-12-22 2016-05-04 掌赢信息科技(上海)有限公司 一种视频通话方法、系统及装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445573A (zh) * 2018-09-14 2019-03-08 重庆爱奇艺智能科技有限公司 一种用于虚拟化身形象互动的方法与装置
US11743954B2 (en) 2018-09-20 2023-08-29 Huawei Technologies Co., Ltd. Augmented reality communication method and electronic device
CN111837381A (zh) * 2018-09-20 2020-10-27 华为技术有限公司 增强现实的通信方法及电子设备
WO2020056694A1 (zh) * 2018-09-20 2020-03-26 华为技术有限公司 增强现实的通信方法及电子设备
CN109525483A (zh) * 2018-11-14 2019-03-26 惠州Tcl移动通信有限公司 移动终端及其互动动画的生成方法、计算机可读存储介质
CN109550256A (zh) * 2018-11-20 2019-04-02 咪咕互动娱乐有限公司 虚拟角色调整方法、装置和存储介质
CN109885367B (zh) * 2019-01-31 2020-08-04 腾讯科技(深圳)有限公司 互动聊天实现方法、装置、终端和存储介质
CN109885367A (zh) * 2019-01-31 2019-06-14 腾讯科技(深圳)有限公司 互动聊天实现方法、装置、终端和存储介质
CN110102053A (zh) * 2019-05-13 2019-08-09 腾讯科技(深圳)有限公司 虚拟形象显示方法、装置、终端及存储介质
CN110102053B (zh) * 2019-05-13 2021-12-21 腾讯科技(深圳)有限公司 虚拟形象显示方法、装置、终端及存储介质
CN110599359B (zh) * 2019-09-05 2022-09-16 深圳追一科技有限公司 社交方法、装置、系统、终端设备及存储介质
CN110674706B (zh) * 2019-09-05 2021-07-23 深圳追一科技有限公司 社交方法、装置、电子设备及存储介质
CN110674706A (zh) * 2019-09-05 2020-01-10 深圳追一科技有限公司 社交方法、装置、电子设备及存储介质
CN110609620A (zh) * 2019-09-05 2019-12-24 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置及电子设备
CN110599359A (zh) * 2019-09-05 2019-12-20 深圳追一科技有限公司 社交方法、装置、系统、终端设备及存储介质
CN110889382A (zh) * 2019-11-29 2020-03-17 深圳市商汤科技有限公司 虚拟形象渲染方法及装置、电子设备和存储介质
CN111246225A (zh) * 2019-12-25 2020-06-05 北京达佳互联信息技术有限公司 信息交互方法、装置、电子设备及计算机可读存储介质
CN115396390A (zh) * 2021-05-25 2022-11-25 Oppo广东移动通信有限公司 基于视频聊天的互动方法、系统、装置及电子设备
CN116664805A (zh) * 2023-06-06 2023-08-29 深圳市莱创云信息技术有限公司 一种基于增强现实技术的多媒体展示系统及方法
CN116664805B (zh) * 2023-06-06 2024-02-06 深圳市莱创云信息技术有限公司 一种基于增强现实技术的多媒体展示系统及方法
CN117193541A (zh) * 2023-11-08 2023-12-08 安徽淘云科技股份有限公司 虚拟形象交互方法、装置、终端和存储介质
CN117193541B (zh) * 2023-11-08 2024-03-15 安徽淘云科技股份有限公司 虚拟形象交互方法、装置、终端和存储介质

Also Published As

Publication number Publication date
CN108234276B (zh) 2020-01-14
WO2018107918A1 (zh) 2018-06-21

Similar Documents

Publication Publication Date Title
CN108234276A (zh) 一种虚拟形象之间互动的方法、终端及系统
US10636221B2 (en) Interaction method between user terminals, terminal, server, system, and storage medium
CN109391792B (zh) 视频通信的方法、装置、终端及计算机可读存储介质
CN108898068B (zh) 一种人脸图像的处理方法和装置以及计算机可读存储介质
CN105208458B (zh) 虚拟画面展示方法和装置
CN109427083A (zh) 三维虚拟形象的显示方法、装置、终端及存储介质
CN107370656B (zh) 即时通信方法和装置
CN109213728A (zh) 基于增强现实的文物展示方法及系统
CN106959761B (zh) 一种终端拍照方法、装置及终端
CN107438200A (zh) 直播间礼物展示的方法和装置
MX2015007253A (es) Metodo de procesamiento de imagenes y aparato y dispositivo de terminal.
CN107483836B (zh) 一种拍摄方法及移动终端
CN108876878B (zh) 头像生成方法及装置
CN109462885A (zh) 一种网络切片注册方法及终端
CN108513088A (zh) 群组视频会话的方法及装置
CN109218648A (zh) 一种显示控制方法及终端设备
CN107231470A (zh) 图像处理方法、移动终端及计算机可读存储介质
CN103886198B (zh) 一种数据处理的方法、终端、服务器及系统
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
CN110166439A (zh) 设备共享方法、终端、路由器及服务器
CN109639569A (zh) 一种社交通信方法及终端
CN108880975B (zh) 信息显示方法、装置及系统
CN108664288A (zh) 一种图像截取方法及移动终端
CN105915997B (zh) 控件显示方法及装置
CN110072295A (zh) 双通道通信方法、装置、第一终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant