CN113014471B - 会话处理方法,装置、终端和存储介质 - Google Patents
会话处理方法,装置、终端和存储介质 Download PDFInfo
- Publication number
- CN113014471B CN113014471B CN202110062544.0A CN202110062544A CN113014471B CN 113014471 B CN113014471 B CN 113014471B CN 202110062544 A CN202110062544 A CN 202110062544A CN 113014471 B CN113014471 B CN 113014471B
- Authority
- CN
- China
- Prior art keywords
- target
- user
- emotional
- emotion
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
Abstract
本发明实施例提供了一种会话处理方法,装置、终端和存储介质,其中方法包括:显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的,可以在保证用户隐私安全的情况下,提升线上社交的灵活生动性。
Description
技术领域
本申请涉及互联网技术领域,具体涉及通信技术领域,尤其涉及一种会话处理方法、一种会话处理装置、一种终端和一种计算机可读存储介质。
背景技术
随着移动互联网的发展,线上社交应运而生;所谓的线上社交是指:由至少两个用户通过网络建立通信会话,并基于该通信会话进行互动或信息交互的社交方式。目前,线上社交主要包括两种:一种是视频社交,即用户通过视频的方式进行信息交互的社交方式;但是由于视频互动存在私密性差的问题,因此视频社交一般在特定环境中使用,例如彼此熟悉的人之间才会使用视频;另一种是文字图文社交,即用户通过文字图片等方式进行信息交互的社交方式;但是由于图文社交偏静态,因此无法进行富媒体形态的交互,从而无法直观地传递用户的情绪和感官互动。基于此,如何更好地实现线上社交成为研究热点。
发明内容
本发明实施例提供了一种会话处理方法,装置、终端和存储介质,可以在保证用户隐私安全的情况下,提升线上社交的灵活生动性。
一方面,本发明实施例提供了一种会话处理方法,所述方法包括:
显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;
当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的。
另一方面,本申请实施例提供了一种会话处理装置,所述装置包括:
显示单元,用于显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;
处理单元,用户当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的。
再一方面,本申请实施例提供了一种终端,所述终端包括输入设备、输出设备,所述计算机设备还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如下步骤:
显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;
当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的。
再一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如下步骤:
显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;
当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的。
在本申请实施例中,终端可显示通信会话的通信界面,并在通信界面中采用目标用户的目标虚拟形象替代目标用户的真实图像,以保证目标用户的用户隐私安全。当在通信过程中检测到目标用户处于目标情绪状态时,可在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,实现灵活地根据用户的目标情绪变化虚拟形象的姿态,使得整个社交过程灵活形象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种会话处理系统的结构示意图;
图1b是本申请实施例提供的一种线上社交方案的流程示意图;
图1c是本申请实施例提供的在即时通信中虚拟形象显示的示意图;
图1d是本申请实施例提供的调整虚拟形象的形象姿态的示意图;
图2是本申请实施例提供的一种会话处理方法的流程示意图;
图3a是本申请实施例提供的一种建立通信连接的流程示意图;
图3b是本申请实施例提供的一种形象选择界面以及显示选中模板虚拟形象的示意图;
图3c是本申请实施例提供的一种编辑第一模板虚拟形象的示意图;
图3d是本申请实施例提供的一种显示第二模板虚拟形象的示意图;
图3e是本申请实施例提供的一种编辑第二模板虚拟形象的示意图;
图3f是本申请实施例提供的一种虚拟形象的形象姿态从第一姿态转为第二姿态的示意图;
图3g是本申请实施例提供的另一种虚拟形象的形象姿态从第一姿态转为第二姿态的示意图;
图4是本申请实施例提供的一种会话处理方法的流程示意图;
图5a是本申请实施例提供的一种样本录制过程的示意图;
图5b是本申请实施例提供的一种情绪特征库;
图5c是本申请实施例提供的一种调整虚拟形象的肢体姿态的流程示意图;
图6是本申请实施例提供的又一种会话处理方法的流程示意图;
图7a是本申请实施例提供的一种基准信息设置过程的示意图;
图7b是本申请实施例提供的一种姿态自定义界面与信息设置界面的切换示意图;
图7c是本申请实施例提供的另一种姿态自定义界面与信息设置界面的切换示意图;
图7d是本申请实施例提供的另一种样本信息的设置示意图;
图8是本申请实施例提供的一种会话处理装置的结构示意图;
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术;在软件层面上,其主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
基于上述人工智能技术中所提及的计算机视觉技术和机器学习等技术,本申请实施例提出了一种线上社交方案以及相应的线上社交系统,以更好地实现线上社交。参见图1a,该线上社交系统可包括至少两个终端101和服务器102。在该线上社交系统中,终端101是指具有通信功能的任意设备,如智能手机、平板电脑、笔记本电脑、台式电脑等等;每个终端101内均可运行有各式各样的客户端(Application,APP),如即时通讯客户端(如微信客户端、QQ客户端)、内容分享客户端(如微博客户端)、直播客户端、会议沟通客户端,等等。任一终端101以及服务器102之间可以通过有线或无线通信方式进行直接或间接地连接,且不同终端101之间可通过服务器102进行信息交互。此处的服务器是指可基于通信服务在至少两个终端101之间建立通信会话的服务设备,其可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等。
需要说明的是,图1a只是示例性地表征线上社交系统的系统架构,并不对该线上社交系统的具体架构进行限定。例如,图1a中的终端的数量为2个;但在其他实施例中,终端的数量可以为3个、5个甚至更多。又如,图1a中的终端和服务器均可位于区块链网络外;但在其他实施例中,也可基于区块链网络来部署该线上社交系统,即可将终端和服务器均部署在区块链网络中,或者将终端部署在区块链网络外,将服务器部署在区块链网络内等等。当将服务器部署在区块链网络内,且服务器是由多个物理服务器构成的服务器集群或者分布式系统时,每个物理服务器均可作为区块链网络中的节点。其中,此处所提及的区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。其本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块。
在具体实现中,该线上社交方案可运用在各种场景中,例如即时通信场景,会议通信场景和直播通信场景,等等。其中,即时通信是指用户之间利用即时通信客户端能够即时发送和接收互联网消息的通信方式;直播通信是指不经过事先录音或录像,用户之间能够实时进行信息的交互的通信方式,例如主播直播或者虚拟演唱会都属于直播通信;会议通信是指处于两个或多个地点的用户,通过通信设备和网络进行会议交谈的通信方式。下面以即时通信场景为例,对该线上社交方案的大致原理进行阐述:
参见图1b所示,可预先确定包括大量情绪特征的特征集合,并收集各种情绪特征对应的大量样本;此处的样本可包括但不限于:样本用户图像、样本用户语音,等等。其中,任一情绪特征以及其对应的各个样本可以是由专业的标注人员通过收集用户图像、用户语音等用户信息后,并对该用户信息标记相应情绪特征得到的;也可以是由欲进行通信会话的任一用户录制用户图像、用户语音等用户信息后,对该用户信息进行情绪特征的自定义处理后得到的,对此不作限制。然后将该特征集合以及各个情绪特征对应的大量样本作为预先构建的机器学习模型的输入,以对预先构建的机器学习模型进行训练,得到情绪识别模型,使得情绪识别模型具有较为准确的输入信息和输出特征之间的映射关系;此处的机器学习模型可包括但不限于:聚类分析模型、深度神经网络模型,等等。
当用户1和用户2欲进行通信会话时,服务器可在用户1所使用的终端1和用户2所使用的终端2之间建立通信连接,以在用户1和用户2之间建立通信会话。在成功建立通信会话后,终端1可在用户1侧的显示界面(或称为通信界面)中显示用户2的虚拟形象,终端2可在用户2侧的显示界面中显示用户1的虚拟形象。可选的,终端1还可在用户1侧的显示界面中显示用户1自身的虚拟形象,终端2还可在用户2侧的显示界面中显示用户2自身的虚拟形象,如图1c所示。其中,此处所提及的虚拟形象是指可用于呈现用户个性化的风采的形象,其可包括以下任一种:2D(平面)或3D(三维)的卡通形象、模拟真人形象等,本申请实施例不做限定。
在用户1和用户2进行通信会话的过程中,可调用终端1中的信息获取模块实时或周期性地获取用户1的用户信息1(或称为表达信息);其中,用户1的用户信息1可包括但不限于用户图像,用户语音,文本消息等。然后,可由特征转化模块(或称为特征转化系统)调用该情绪识别模型根据该用户信息1识别出该用户1的当前情绪特征1,并将用户1的当前情绪特征与表情特征库的表情特征作比较。若命中表情特征库中的表情特征,则通知终端2在用户2的显示界面中根据该用户1的当前表情特征对应的显示参数(或称为姿态参数)控制用户1的虚拟形象输出相应的表情和动作,以实现根据该用户1的当前情绪特征来对用户1的虚拟形象的形象姿态进行调整,使得调整后的形象姿态可直观地反映展示用户1当前所处的情绪状态。例如,用户1的当前情绪特征为闷闷不乐的情绪特征,则可控制用户1的虚拟形象执行与当前情绪特征对应的形象姿态,以反映用户1当前处于闷闷不乐的情绪状态,如图1d所示。
同理,终端2也可获取用户2的用户信息2,并按照上述操作实现在用户1的显示界面中根据用户2的当前表情特征对应的显示参数控制用户2的虚拟形象输出相应的表情和动作,以直观反映展示用户2当前所处的情绪状态。其中,上述所提及的特征转化模块可以部署在终端1、终端2或者服务器中,对此不作限定。
由上述描述可知,本发明实施例可在用户进行通信会话的过程中,保证在不漏出用户的真实面容下,在通信界面中以用户设置的虚拟形象代替显示用户的真实面容,并通过调整虚拟形象的形象姿态来反映展示用户当前所处的情绪状态。这样可以在保证用户隐私安全的情况下,及时形象生动地进行用户的当前的姿态进行传递、表达,拉近人与人在线上社交的距离,让线上社交更具有“真实感”与“可视感”。
基于上述线上社交方案的相关描述,本发明实施例提供的一种会话处理方法的流程示意图。该方法可由上述线上社交系统中的任一终端执行,或者由任一终端中所运行的任一APP(如即时通信APP、直播APP等)执行;为便于阐述,后续均以任一终端执行该方法为例进行说明。请参见图2,本实施例中所描述的会话处理方法,可包括以下步骤S201-S202:
S201、显示通信会话的通信界面。
其中,通信会话中至少包括目标用户,通信界面中至少包括目标用户的目标虚拟形象,且目标虚拟形象的形象姿态为第一姿态;此处所提及的通信会话可包括以下任一种:即时通信会话、直播通信会话、会议通信会话,等等。相应的,当通信会话为即时通信会话时,目标用户可以是该即时通信会话中的主人态用户或者任一客人态用户;所谓的主人态用户是指使用目标终端的用户,客人态用户是指未使用目标终端的用户。当通信会话为直播通信会话时,目标用户可以为直播通信会话中的主播用户,开展线上演唱会的明星用户、或者任一观众用户。当通信会话为会议通信会话时,目标用户可以是会话通信会话中的会议发起者,或者任一会议参与者。目标用户的目标虚拟形象可以是通信会话中的任一用户(即使用任一终端的用户)为目标用户所设置的2D/3D的卡通形象或者模拟真人形象等;此处的任一用户和目标用户可以是同一个用户,也可以是不同的用户,本申请实施例不做限定。并且,目标虚拟形象所对应的第一姿态可以是任一用户在为目标用户设置目标虚拟形象时,所设置的默认姿态;也可以是根据目标用户的历史情绪状态对默认姿态进行调整后的姿态,本申请实施例对此也不作限定。
为便于理解整个通信会话建立的过程,下面以通信会话为包括两个用户的即时通信会话为例进行讲解。如图3a所示,当任一用户(设为用户1)想要和目标用户(设为用户2)建立通信会话时,可触发终端1(即任一终端)输出用户1和用户2之间的传统会话的会话界面,该会话界面中包括虚拟会话组件(如图3a中所示的“虚拟形象对话”)。当该虚拟会话组件被触发时,终端1可通过服务器向用户2使用的终端2发送请求信息,使得终端2在用户界面中显示该请求信息(如图3a中所示的“对方邀请您进行虚拟形象对话”),并同时显示“接受”按钮和“拒绝”按钮。若用户2点击了“接受”按钮,则终端2和终端1之间可以通过服务器成功建立通信会话;此时,终端1可显示通信界面并在通信界面中显示用户2的虚拟形象以及自身的虚拟形象,终端2可显示通信通信界面并在通信界面中显示用户1的虚拟形象以及自身的虚拟形象。应理解的是,在其他实施例中,也可由目标用户发起会话通信请求以建立通信会话;或者当通信会话为包括三个及以上的用户的通信会话时,还可由除任一用户和目标用户以外的其他用户发起会话通信请求以建立通信会话。
应理解的是,为了在通信过程中能够显示目标用户的目标虚拟形象,在建立通信会话之前,任一用户可先为目标用户设置目标虚拟形象。在具体实现中,任一用户还可触发任一终端显示形象选择界面,该形象选择界面中包括一个或多个模板虚拟形象。在该形象选择界面中,任一用户可根据自身喜好输入形象选择操作,以选择自己喜欢的虚拟形象作为目标用户的虚拟形象;相应的,任一终端可根据形象选择操作在形象选择界面中,选中第一模板虚拟形象。其中,形象选择操作可以包括以下任一种:点击或按压第一模板虚拟形象的操作,拖动第一模板虚拟形象的操作,或者输入形象选择手势(如滑动手势、手势“L”)的操作。若该形象选择操作是输入形象选择手势的操作,则可预先设置多个手势和模板虚拟形象的对应关系;当任一用户输入形象选择手势后,即可根据该对应关系选中对应的第一模板虚拟形象。在任一终端选中第一模板虚拟形象后,若检测到针对第一模板虚拟形象的确认操作,则可将第一模板虚拟形象作为目标用户的目标虚拟形象。其中,针对第一模板虚拟形象的确认操作可以是点击确认按钮的操作、输入确认手势的操作等等。
其中,任一终端选中第一模板虚拟形象的方式可包括以下任一种:在目标位置处显示第一模板虚拟形象,该目标位置可根据用户需求或者业务需求设置;或者,将在形象选择界面中第一模板虚拟形象所处的原始显示位置处,对第一模板虚拟形象进行突出显示。此处的突出显示可包括:在第一模板虚拟形象的原始显示位置处显示一个选中标记;或者采用不同的颜色显示第一模板虚拟形象和未被选择的其他模板虚拟形象。例如,如图3b所示,用户可通过301界面进入形象选择,该301界面可以是设置界面;在301界面中包括至少一个情绪状态以及一个形象选择按钮;当目标终端检测到针对该形象选择按钮的点击操作,则显示该形象选择界面,该形象选择界面中包括一个或者多个模板虚拟形象。设任一用户在形象选择界面中选择了第三个模板虚拟形象,则可将该第三个模板虚拟形象显示在该形象选择界面中的中间位置(即目标位置),如图3b中的303显示的效果。或者,可在形象选择界面中第三个模板虚拟形象所处的原始显示位置处,将第三个模板虚拟形象突出显示为黑色,其余模板虚拟形象显示为灰色,如图3b中的302显示的效果。
在得到第一模板虚拟形象后,由于虚拟形象是根据多个维度下的形象元素构成,因此任一用户还可根据自身需求利用系统提供的候选元素对第一模板虚拟形象的各个维度下的初始形象元素进行调整,以得到满足用户个性化设计需求,从而可以实现用户更自由更个性化的定义属于自身需求的虚拟形象。其中,多个维度可包括:五官(眼睛、鼻子、耳朵、嘴巴、眉毛)、服装、体型、肤色等维度;并且,任一维度下的候选元素可包括该任一维度所指示的对象的不同形状的图像。例如,眼睛维度下的候选元素可包括眼睛维度所指示的眼睛的不同形状的图像,如大眼睛图像、丹凤眼图像等;鼻子维度下的候选元素可包括鼻子的不同形状的图像,如平实鼻图像、塌鼻梁图像等;耳朵维度下的候选元素可包括耳朵的不同形状的图像,如招风耳图像、大耳朵图像等;眉毛维度下的候选元素可包括眉毛的不同形状的图像,如柳叶眉图像、剑眉图像、平眉图像等;服装维度下的候选元素可包括服装的不同样式和/或不同种类的图像,如棉服图像、西装图像等;体型维度下的候选元素可包括不同体型的图像,如高挑型的图像、矮胖型的图像等;肤色维度可包括不同肤色的图像,如黄色皮肤的图像、白色皮肤的图像等。
具体的,当任一用户想要对第一模板虚拟形象进行编辑时,可对第一模板虚拟形象进行相应的编辑操作。相应的,若任一终端检测到针对第一模板虚拟形象的编辑操作,则可将第一模板虚拟形象的各个初始形象元素置为可编辑状态。其中,该编辑操作可以是单击或者双击编辑按钮或者点击第一模板虚拟形象的操作,该编辑操作也可以是输入编辑手势的操作。例如,目标终端可在选中的第一模板虚拟形象后面显示一个编辑选项,用户可点击该编辑选项。相应的,目标终端检测到用户针对第一模板虚拟形象的编辑选项的点击操作,将该第一模板虚拟形象的各个初始形象元素置为可编辑状态。再例如,用户可针对该第一模板虚拟形象向右滑动(即向右滑动为编辑手势),即目标终端可检测到用户针对第一模板虚拟形象的向右滑动的操作,将该第一模板虚拟形象的各个初始形象元素置为可编辑状态。
然后,任一终端可输出元素选择窗口,该元素选择窗口中包括各个维度下的一个或多个候选形象元素。当元素选择窗口中的任一维度下的任一候选形象元素被选择时,目标终端将第一模板虚拟形象中处于任一维度下的初始形象元素,替换为任一候选形象元素,以得到第二模板虚拟形象;若检测到针对第二模板虚拟形象的确认操作,则将第二模板虚拟形象作为目标用户的目标虚拟形象。其中,该确认操作可以是单击或者双击编辑按钮或者点击第一模板虚拟形象的操作,或者该确认操作也可以是输入确认手势的操作。
例如,承接图3b所示的例子,任一用户选择了第三个模板虚拟形象作为第一模板虚拟形象,并将第一模板虚拟形象显示在目标位置后;若任一用户针对该第一模板虚拟形象输入了向右滑动的编辑手势,则任一终端可认为检测到了针对第一模板虚拟形象的编辑操作,因此将该第一模板虚拟形象置为可编辑状态,并输出一个元素选择窗口,如图3c所示。在该元素选择窗口包括眼睛维度下的多个不同形状的眼睛图像,发型维度下的多个不同发型的发型图像等等。当任一用户点击眼睛维度下的第一个眼睛图像时,或者当任一用户点击眼睛维度下的第一眼睛图像并拖动到第一模板虚拟形象中的对应维度的初始眼睛元素的显示位置时,任一终端可确定眼睛维度下的第一个眼睛图像被选择,此时第一终端可将第一模拟虚拟形象中的眼睛替换为第一个眼睛图像,得到第二模板虚拟形象,该第二模板虚拟形象如图3c所示。应理解的是,任一用户可基于上述操作对第一模板虚拟形象中的一个或多个元素进行替换,从而得到第二模板虚拟形象。任一终端在更新显示第二模板虚拟形象之后,当检测到针对该第二模板虚拟形象的确认操作时,将该第二模板虚拟形象作为目标用户的目标虚拟形象,并显示目标用户的目标虚拟形象,该目标虚拟形象显示效果如图3d所示。
需要说明的是,图3c-图3d均只是示例性地表明元素选择窗口的显示示意图,并不对此限定。在实际应用中,该元素选择窗口还可在一个新的界面进行显示;或者可在形象选择界面中的左侧或者右侧显示;或者还可当任一终端检测到针对该第一模板虚拟形象中的任一初始元素的编辑操作后,再显示元素选择窗口,此情况下的元素选择窗口中包括的是:与该任一初始元素处于同一维度下的候选元素等。再或者,任一终端也可在显示该形象选择界面时,便在该形象选择界面中同步输出元素选择窗口;也就是说,此情况下的形象选择界面不仅包括一个或多个模板虚拟形象,还包括元素选择窗口中的各维度下的候选形象元素。例如,参见图3e所示:当任一用户选择第三个模板虚拟形象后,可将该第三个模板虚拟形象作为第一模板虚拟形象突出显示,并显示可编辑按钮,当任一终端检测针对可编辑按钮的触发操作后,将第一模板虚拟形象中的初始形象元素置为可编辑状态,当发型维度下的第一个发型元素被选择后,则将选择的发型元素替换第一模板虚拟形象中发型元素,得到第二模板虚拟形象。
需要说明的是,该形象选择界面中的模板虚拟形象与各维度下的形象元素的显示位置可根据实际需求进行设置。
S202、当在通信过程中检测到目标用户处于目标情绪状态时,在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态。
其中,第二姿态是根据目标情绪状态确定的。该目标情绪状态可以高兴、悲伤等情绪状态。例如,如图3f所示,设目标虚拟形象的第一姿态为安静站立;当任一终端在通信过程中检测到目标用户处于悲伤的情绪状态时,任一终端将目标虚拟形象的形象姿态从安静站立变为第二姿态为嚎啕大哭。再例如,如图3g所示,设目标虚拟形象的第一姿态为安静站立;当任一终端在通信过程中检测到目标用户处于高兴的情绪状态时,任一终端将目标虚拟形象的形象姿态从安静站立变为第二姿态为微笑且手舞足蹈。
在具体实现中,任一终端可实时或周期性地获取目标用户的用户信息,并调用情绪识别模型根据用户信息对目标用户进行情绪识别,得到目标情绪特征;若目标情绪特征命中情绪特征库,则可确定目标用户处于目标情绪状态。或者任一终端将目标用户的用户信息与预先设置的与用户信息属于同一类别的基准信息组进行匹配;若匹配成功,则确定目标用户处于目标情绪状态。在确定目标用户处于目标情绪状态后,任一终端可获取目标情绪状态对应的目标姿态参数,并根据该目标姿态参数将目标虚拟形象的形象姿态从第一姿态调整至第二姿态。
在本申请实施例中,任一终端可显示通信会话的通信界面,并在通信界面中采用目标用户的目标虚拟形象替代目标用户的真实图像,以保证目标用户的用户隐私安全。当在通信过程中检测到目标用户处于目标情绪状态时,可在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,实现灵活地根据用户的目标情绪变化调整虚拟形象的姿态,使得整个社交过程灵活形象。
基于上述提供的会话处理系统,本发明实施例提供的一种会话处理方法的流程示意图。该方法可由上述线上社交系统中的任一终端执行,或者由任一终端中所运行的任一APP(如即时通信APP、直播APP等)执行;为便于阐述,后续均以任一终端执行该方法为例进行说明。其中,该任一终端可配置有摄像组件和语音采集组件;该摄像组件可以是集成在任一终端上的摄像头,或者与任一终端相连接的摄像采集设备;语音采集组件可以是集成在任一终端上的麦克风,或者与任一终端相连接的语音采集设备。请参见图4,本实施例中所描述的会话处理方法,可包括以下步骤S401-S406:
S401、显示通信会话的通信界面。
其中,通信会话中至少包括目标用户,通信界面中至少包括目标用户的目标虚拟形象,且目标虚拟形象的形象姿态为第一姿态。其中,该虚拟形象的形象姿态可包括面部表情姿态和动作姿态。需要说明的是,步骤S401的具体实现方式可参见上述实施例中步骤S201的具体实现方式,在此不再赘述。
S402、在通信过程中,获取目标用户的用户信息;此处的用户信息包括以下至少一种:目标用户的用户图像、用户语音、文本消息,等等。
当用户信息包括目标用户的用户图像时:若目标用户是使用该任一终端的用户,则任一终端可直接调用摄像组件对目标用户进行图像采集,得到目标用户的用户图像;若目标用户不是使用该任一终端的用户,则可由目标用户对应的终端对目标用户进行图像采集,并将采集到的用户图像发送给任一终端,使得任一终端可获取到该目标用户的用户图像。
当用户信息包括用户语音时:若目标用户是使用该任一终端的用户,则任一终端可直接调用语音采集组件对目标用户进行语音采集,得到目标用户的用户语音。若目标用户不是使用该任一终端的用户,则可由目标用户对应的终端对目标用户进行语音采集,并将采集到的用户语音发送给任一终端,使得任一终端可获取到该目标用户的用户语音。需要说明的是,在其他实施例中,若目标用户不是使用该任一终端的用户,则用户信息中的用户语音也可以是任一终端对应的任一用户输入的用户语音;在此情况下,可根据任一用户的用户语音触发调整目标用户的目标虚拟形象的形象姿态。
当用户信息包括文本消息时:若目标用户是使用该任一终端的用户,则任一终端可直接在消息输入窗口中获取目标用户输入的文本消息。若目标用户不是使用该任一终端的用户,则任一终端可从目标用户使用的终端处获取目标用户的文本消息。需要说明的是,在其他实施例中,若目标用户不是使用该任一终端的用户,则用户信息中的文本消息也可以是任一终端对应的任一用户输入的文本消息;在此情况下,可根据任一用户的文本消息触发调整目标用户的目标虚拟形象的形象姿态。
S403、调用情绪识别模型根据用户信息对目标用户进行情绪识别,得到目标用户的目标情绪特征。
由于目标情绪特征可以用来区分不同情绪,因此本申请实施例可由任一用户自己输入大量样本以及对应的情绪特征,得到一个情绪识别模型。在具体实现中,任一终端可为任一用户提供样本设置界面,该样本设置界面可包括任一情绪状态的名称、任一虚拟形象、样本设置按钮和录制结束按钮;此处的样本设置按钮可包括以下至少一种:语音录制按钮、视频录制按钮和文本输入按钮。当任一终端检测到针对任一样本设置按钮的触发操作时,可输出样本录制界面,并在该样本录制界面中获取一个自定义样本。任一终端响应于针对获取到的自定义样本的确认操作,将该自定义样本存放在一个样本集合中,并在该样本设置界面中显示该自定义样本和自定义样本的信息标识。当任一终端检测到针对自定义样本录制完成的确认操作,则任一终端可根据该样本集合对初始识别模型进行模型训练,得到该情绪识别模型。
在一种实施方式中,上述所提及的任一样本设置按钮可以是视频录制按钮;例如,参见图5a所示,任一用户想要训练用于识别目标用户的面部图像的情绪识别模型,可在样本设置界面设置情绪状态为搞怪大笑,并点击视频录制按钮。当任一终端检测到针对视频录制按钮的点击操作,则输出该样本录制界面,用户在该样本录制界面录制一个视频样本,并在该样本录制界面中显示针对该视频样本的确认按钮501,当任一用户点击该确认按钮501,则任一终端可将该视频样本保存在一个视频集合中,并在该样本设置界面中显示该视频样本,以及视频样本的信息标识;然后任一用户可点击完成按钮,当任一终端检测到针对该完成按钮(对应上述录制结束按钮)的触发操作,可根据该样本集合对初始识别模型进行模型训练,得到该情绪识别模型,以使得下一次可直接利用情绪识别模型对用户的面部图像进行情绪识别,得到目标情绪特征。
在此实施方式下,通过步骤S402获取到的目标用户的用户信息可包括目标用户的用户图像;相应的,步骤S403的具体实现方式可以是:任一终端可直接对用户图像进行情绪识别,得到目标用户的目标情绪特征。或者,任一终端可先从用户图像中截取出关于目标用户的面部图像,并调用情绪识别特征对面部图像进行情绪识别,得到目标用户的目标情绪特征。具体的,任一终端可调用情绪识别模型对面部图像进行情绪识别,并直接将情绪识别模型识别得到的情绪特征作为目标用户的目标情绪特征。
进一步的,由于通过情绪识别模型对目标用户的用户图像进行情绪识别所得到的情绪特征,可能与实际的情绪特征存在一定的误差,因此为了保证后续根据该目标情绪特征确定出目标用户处于目标情绪状态比较贴合目标用户的真实情绪状态,本申请实施例可采用参考信息进行辅助来确定目标用户的目标情绪特征。在具体实现中,该用户信息还包括以下至少一种参考信息:用户语音和文本消息。任一终端调用情绪识别模型对面部图像进行情绪识别,得到初始情绪特征;并分别根据每个参考信息对目标用户进行情绪识别,得到目标用户的至少一个参考情绪特征。其中,该参考信息为用户语音,任一终端可将用户语音转换成文字,并通过自然语音理解进行情绪识别,得到目标用户的一个参考情绪特征。该参考信息为文本消息,并通过自然语音理解进行情绪识别,得到目标用户的一个参考情绪特征。然后任一终端对至少一个参考情绪特征和初始情绪特征进行特征融合,得到目标用户的目标情绪特征。
其中,任一终端对至少一个参考情绪特征和初始情绪特征进行特征融合,得到目标用户的目标情绪特征可具体包括以下几种实现方式:
(1)当初始情绪特征的数量为多个时,任一终端可采用至少一个参考情绪特征对多个初始情绪特征进行特征命中处理。
在一种实施方式中,若存在K个参考情绪特征命中多个初始情绪特征,其中,K为正整数,且K的取值不大于参考情绪特征的数量;这里可以理解参考情绪特征部分命中该多个初始情绪特征或者全部命中该多个初始情绪特征。则任一终端从K个参考情绪特征中选取一个参考情绪特征作为目标用户的目标情绪特征。在一种具体实现中,任一终端可从K个参考情绪特征中随机选取一个参考情绪特征作为目标用户的目标情绪特征;在另一种具体实现中,由于K个参考情绪特征命中皆对应一个初始情绪特征,因此命中的初始情绪特征对应的置信度可作为相应参考情绪特征的置信度。任一终端可获取K个参考情绪特征的置信度,并从K个参考情绪特征中选择置信度最大的参考情绪特征作为目标情绪特征。
再一种实施方式中,若不存在参考情绪特征命中多个初始情绪特征,则任一终端可获取各个初始情绪特征的置信度,并从多个初始情绪特征中选取置信度最大的初始情绪特征作为目标情绪特征。
(2)任一终端获取特征分值表,其中,特征分值表中包括多个情绪特征和特征分值之间的对应关系;任一终端遍历至少一个参考情绪特征和初始情绪特征,并根据特征分值表确定当前遍历的当前情绪特征的特征分值;然后获取当前情绪特征的权重,并采用权重对当前情绪特征的特征分值进行加权,得到当前情绪特征的加权分值;当至少一个参考情绪特征和初始情绪特征均被遍历,则计算各个参考情绪特征的加权分值和初始情绪特征的加权分值之间的平均值;在特征分值表中查询与平均值对应的情绪特征,将查询到的情绪特征作为目标用户的目标情绪特征。其中,该初始情绪特征的权重是根据用户图像确定的,该参考情绪特征的权重分为两种:(1)若参考情绪特征是根据用户语音对目标用户进行情绪识别得到的,则该参考情绪特征的权重是根据用户语音确定的;(2)若参考情绪特征是根据用文本消息对目标用户进行情绪识别得到的,则该参考特征情绪特征的权重是根据文本消息确定的。在实际应用中,可根据需求对该用户图像、用户语音和文本消息对应的情绪特征设置对应的权重。
(3)获取特征分值表,该特征分值表中包括多个情绪特征和特征分值之间的对应关系,将K个参考情绪特征中每个参考情绪特征的特征分值与每个参考情绪特征命中的初始情绪特征的特征分值进行求和,得到K个初始情绪特征中每个初始情绪特征的总特征分值,并根据K个初始情绪特征的总特征分值以及其余初始情绪特征的特征分值确定出特征分值最大的初始情绪特征,并将特征分值最大的初始情绪特征作为目标情绪特征。
需要说明的是,本申请实施例中的会话处理方法主要是对目标用户的用户图像进行情绪特征识别,得到目标情绪特征;该参考信息(文本消息和用户语音)用来保证得到目标情绪特征的准确度。因此本申请实施例中的用户图像可扩展到用户语音、文本消息。例如,若会话处理方法主要对目标用户的用户语音进行情绪特征识别,得到目标情绪特征;则用户图像和文本消息可作为参考信息来保证目标情绪特征的准确性。
再一种实施方式中,上述所提及的任一样本设置按钮可以是语音录制按钮;在此实施方式下,通过步骤S402获取到的目标用户的用户信息可包括用户语音,情绪识别模型可用于根据目标用户的用户语音进行情绪识别。相应的,步骤S403的具体实现方式可以是:任一终端可调用情绪识别模型直接根据用户语音对目标用户进行情绪识别,得到目标用户的目标情绪特征。或者,步骤S403的具体实现方式还可以是:任一终端调用情绪识别模型先将用户语音转换成目标文本,并采用自然语音理解该目标文本以捕获目标用户的目标情绪特征;具体的,可对目标文本进行文本识别,得到目标关键词,并根据预先设置的关键词和情绪特征之间的映射关系来确定目标关键词所对应的目标情绪特征。其中,该映射关系可以保存在任一终端的本地空间,或者将该映射关系可以保存在区块链网络中,从而防止该映射关系被篡改。
再一种实施方式中,上述所提及的任一样本设置按钮可以是文本输入按钮;,在此实施方式下,通过步骤S402获取到的目标用户的用户信息可包括文本消息,该情绪识别模型可用于根据目标用户的文本消息进行文本识别,得到目标用户的目标情绪特征。
S404、采用目标情绪特征对情绪特征库进行特征命中匹配。
其中,情绪特征库中包括一个或多个情绪特征,以及各情绪特征所指示的情绪状态。在该情绪特征库中可设置每个情绪特征对应的情绪状态,例如,参见图5b所示,用户可设置笑容情绪特征,并设置其对应的情绪状态是笑容表情以及手舞足蹈的动作;设置忧伤情绪特征,并设置其对应的情绪状态是忧伤表情以及低头丧气的动作;设置哭泣情绪特征,并设置其对应的情绪状态是哭泣表情以及嚎啕大哭的动作;设置冷漠特征,并设置其对应的冷漠表情以及静坐无动作等等,最终该各个情绪特征以及各情绪特征对应的情绪状态存储在图5b所示的情绪特征库中。
在具体实现中,任一终端可将该目标情绪特征与情绪特征库中的每个情绪特征进行一一匹配;若目标情绪特征与情绪特征库中的任一情绪特征匹配成功,则说明该目标情绪特征命中情绪特征库中的任一情绪特征,执行步骤S405;若目标情绪特征与情绪特征库中的任一情绪特征匹配失败,则说明该目标情绪特征未命中情绪特征库中的任一情绪特征,任一终端不输出任何一个情绪特征。
S405、若目标情绪特征命中情绪特征库中的任一情绪特征,则确定目标用户处于目标情绪状态,目标情绪状态为任一情绪特征所指示的情绪状态。
由上述可知,情绪特征库中每个情绪特征对应一个情绪状态。若目标情绪特征命中情绪特征库中的任一情绪特征,则任一终端将该任一情绪特征所指示的情绪状态作为目标情绪状态,即任一终端可确定目标用户处于目标情绪状态。
S406、在通信过程中检测到目标用户处于目标情绪状态时,在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,第二姿态是根据目标情绪状态确定的。
在具体实现中,在通信过程中检测到目标用户处于目标情绪状态时,可获取目标情绪状态对应的目标姿态参数,然后根据该目标姿态参数将目标虚拟形象的形象姿态从第一姿态调整至第二姿态。在一种实施方式中,任一终端可将目标姿态参数替换该第一姿态对应的姿态参数,从而实现将目标虚拟形象的形象姿态从第一姿态调整至第二姿态。
在另一种实施方式中,任一终端可根据目标用户的肢体动作参数对目标情绪状态对应的目标姿态参数进行调整,以使得最终得到的第二姿态更加贴合目标用户当前的目标情绪状态。在具体实现中,用户信息可包括用户图像,当任一终端在通信过程中检测到目标用户处于目标情绪状态时,可获取目标情绪状态对应的目标姿态参数,该目标姿态参数包括肢体姿态参数;然后任一终端对目标用户的用户图像进行肢体动作识别,得到参考肢体姿态参数。进一步的,采用参考肢体姿态参数替换目标姿态中的肢体姿态参数,得到第二姿态的姿态参数,并按照第二姿态的姿态参数在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态。
其中,按照第二姿态的姿态参数在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态的具体实现方式可以是:任一终端可根据第二姿态的姿态参数直接替换第一姿态对应的姿态参数,然后任一终端在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态。在具体实现中,若第一姿态对应的姿态参数包括第一面部姿态参数和第一肢体姿态参数,该第二姿态的姿态参数同样包括第二面部姿态参数和第二肢体姿态参数,则任一终端可将第二面部姿态参数直接替换第一姿态的面部姿态参数,将第二肢体姿态参数替换第一肢体姿态参数。例如,在图5c中,在通信过程中,当用户处于高兴的情绪状态下,该目标用户的用户图像包括面部表情姿态为微笑,肢体姿态为两只手都在舞动。任一终端根据目标情绪状态对应的姿态参数对目标虚拟形象的第一姿态进行调整,得到51所对应的虚拟形象的中间姿态,虚拟形象的中间姿态为单手舞动,与用户图像中的肢体姿态不太一致。任一终端可对目标用户的用户图像进行肢体动作识别,得到参考肢体姿态参数,并基于参考肢体姿态参数直接替换目标情绪状态对应的姿态参数中的肢体姿态参数,得到第二姿态的姿态参数,并根据该第二姿态的姿态参数将虚拟形象的第一姿态调整为第二姿态,最终的到该虚拟形象的第二姿态如图5c所示。
在本申请实施例中,任一终端显示通信会话的通信界面,在通信过程中,获取目标用户的用户信息;调用情绪识别模型根据用户信息对目标用户进行情绪识别,得到目标用户的目标情绪特征;采用目标情绪特征对情绪特征库进行特征命中匹配,情绪特征库中包括一个或多个情绪特征,以及各情绪特征所指示的情绪状态;若目标情绪特征命中情绪特征库中的任一情绪特征,则确定目标用户处于目标情绪状态,目标情绪状态为任一情绪特征所指示的情绪状态。通过对用户信息进行情绪识别可以比较准确的确定出目标用户的目标情绪状态;当在通信过程中检测到目标用户处于目标情绪状态时,在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,可以灵活且生动的展示目标用户的情绪状态对应的姿态,提升线上社交的灵活生动性。
基于上述提供的会话处理系统,本发明实施例提供的一种会话处理方法的流程示意图。该方法可由上述线上社交系统中的任一终端执行,或者由任一终端中所运行的任一APP(如即时通信APP、直播APP等)执行;为便于阐述,后续均以任一终端执行该方法为例进行说明。其中,该任一终端可配置有摄像组件和语音采集组件;请参见图6,本实施例中所描述的会话处理方法,可包括以下步骤S601-S606:
S601、显示通信会话的通信界面。
S602、在通信过程中,获取目标用户的用户信息。
其中,步骤S601-S602的具体实现方式可参见上述步骤S401-S402的具体实现方式,在此不再赘述。
S603、获取与目标用户关联的多个基准信息组,一个基准信息组对应一个情绪状态;每个基准信息组中包括一个或多个基准信息,且每个基准信息组中的各个基准信息和用户信息属于同一类型。
其中,每个基准信息组中的各个基准信息和用户信息属于同一类型是指:若该用户信息包括用户图像,则各个基准信息组中的各基准信息是指:预先对目标用户进行图像采集所得到的基准图像;若用户信息包括用户语音,则各个基准信息组中的各基准信息是指:预先进行语音采集得到的基准语音;若用户信息包括文本消息,则各个基准信息组中的各基准信息是指:预先进行文本输入得到的基准文本。在具体实现中,用户可根据需求,针对不同的情绪状态可设置不同的基准信息组,并将不同情绪状态对应的基准信息组保存在任一终端的本地空间,或者将不同情绪状态对应的基准信息组保存于区块链网络中,以防止不同情绪状态对应的基准信息组被篡改。那么相应的,任一终端在获取基准信息组时,可从本地空间中或者从区块链网络中的任一节点中获取与目标用户关联的多个基准信息组。
在一种实施方式中,任一终端可显示任一情绪状态的信息设置界面,该信息设置界面包括信息设置按钮;当检测到针对该信息设置按钮的触发操作,则任一终端输出信息录制窗口,并在信息录制窗口中获取一个基准信息;其中,该信息录制窗口可在信息设置界面中显示或者在一个新的界面中显示。响应于针对获取到的基准信息的确认操作,将获取到的基准信息添加至任一情绪状态对应的基准信息组中,并在信息设置界面中显示获取到的基准信息的信息标识。其中,确认操作可以是点击完成按钮的操作或者输入确认手势的操作。
例如,图7a为搞怪大笑的信息设置界面,当用户点击该信息设置按钮后,任一终端检测到针对该信息设置按钮的触发操作,在新的界面中显示该信息录制窗口。然后用户录制基准信息,当用户录制完基准信息后,可点击该702按钮,该702按钮为可以是一个录制结束按钮。任一终端响应于获取到的基准信息的确认操作,将该录制的基准信息添加到搞怪大笑对应的基准信息组,并在信息设置界面中显示获取到的基准信息的信息标识(即20s视频)。同理,任一终端可按照将基准信息1添加到搞怪大笑对应的基准信息组的实现过程,将基准信息2添加到搞怪大笑对应的基准信息组。可选地,在信息设置界面中显示基准信息1和基准信息2的同时,还可在基准信息1和基准信息2中显示删除键,当用户不满意该基准信息时,可点击该基准信息1和基准信息2对应的删除键,即任一终端检测到针对该基准信息的删除键的确认操作时,可将该基准信息进行删除。需要说明的是,若该信息设置按钮包括视频录制按钮、语音录制按钮、文本消息输入按钮,在针对任一信息设置按钮的触发操作可参见上述样本录制对应的实现过程。
进一步地,任一终端在得到任一情绪状态对应的基准信息组后还可显示姿态自定义界面,该姿态自定义界面中包括任一情绪状态输入区域和姿态设置区域,该姿态设置区域包括多个姿态选项,一个姿态选项对应一个姿态;用户可在任一情绪状态输入区域设置任一情绪状态,在姿态设置区域可设置该任一情绪状态对应的姿态,从而实现用户自己根据需求编辑和组合该情绪状态对应的各种姿态。其中,该姿态选项还可分类为表情姿态选项和动作姿态选项。当任一终端检测到姿态定义界面中的任一姿态选项被选择时,则可将该任一姿态、该基准信息和任一情绪状态进行绑定,以使得后续可获取任一情绪状态对应的任一姿态对应的姿态参数。例如,任一终端在上述得到搞怪大笑的基准信息组对应的基准信息1和基准信息2后,可在信息设置界面中显示姿态选择按钮;当任一终端检测针对该姿态选择按钮的触发操作,显示姿态自定义界面,该姿态自定义界面中包括如图7b所示的姿态选项;当任一终端检测到大笑和手舞足蹈被选中,将该搞怪大笑、基准信息组以及大笑姿态、手舞足蹈姿态进行绑定。在将该情绪状态与情绪状态进行绑定后,后续当用户处于该情绪状态时,目标虚拟形象就会显示该情绪状态对应的姿态。例如设定用户处于高兴的情绪状态时,该虚拟形象显示的姿态应该是大笑且手舞足蹈。当检测到用户处于高兴的情绪状态时,可在另外一方中显示该用户的虚拟形象的姿态为大笑且手舞足蹈。
可选地,在显示任一情绪状态的信息设置界面之前,可先显示姿态自定义界面,在该姿态自定义界面可包括信息配置按钮。然后用户可在姿态自定义界面中先设置任一情绪状态以及任一情绪状态对应的姿态,然后在设置完成任一情绪状态对应的姿态后,点击该信息配置按钮进入信息设置界面。在具体实现中,如图7c所示,任一终端可显示任一情绪状态(如搞怪大笑)对应的姿态自定义界面,当检测到姿态自定义界面中的任一姿态选项(如大笑和手舞足蹈)被选择,且检测到针对该信息配置按钮的触发操作(如点击该信息配置按钮),任一终端显示任一情绪状态(搞怪大笑)的信息设置界面。其中,任一终端对任一情绪状态的信息设置界面进行操作具体流程可参见上述实施例的相关描述,在此不再赘述。
需要说明是,在实际过程中,用户选择模板虚拟形象、设置情绪状态对应的姿态、以及录制基准信息等流程可根据实际进行调整,本申请实施例不做限定。例如,在一种实现方式中,用户可先进入姿态自定义界面中设置情绪状态对应的姿态。然后在姿态自定义界面中设置情绪状态对应的姿态完成后,进入信息设置界面,并录制基准信息;当录制基准信息完成后,并添加到对应的该情绪状态对应的基准信息组后,用户可虚拟形象选择界面,然后设置所需的虚拟形象。又如,在另一种实现方式中,用户可对先进入形象选择界面,并在该形象选择界面中选择所需的模板虚拟形象。然后在确定出目标虚拟形象后,可在进入信息设置界面,然后录制基准信息;当录制基准信息完成后,并添加到对应的该情绪状态对应的基准信息组后,用户进入姿态自定义界面,设置情绪状态对应的姿态。
S604、将用户信息和每个基准信息组中的各个基准信息进行信息匹配。
S605、若存在目标基准信息与目标用户的用户信息相匹配,则确定目标用户处于目标情绪状态,目标情绪状态为目标基准信息所属的目标基准信息组所对应的情绪状态。
由步骤S603可知,该基准信息对应一个情绪状态,因此若存在目标基准信息与目标用户的用户信息匹配,则可确定该目标基准信息所属的目标基准信息组所对应的情绪状态,进而任一终端可确定目标用户处于目标情绪状态。
S606、在通信过程中检测到目标用户处于目标情绪状态时,在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,第二姿态是根据目标情绪状态确定的。
其中,步骤S606的具体实现方式可参见上述实施例图4中的步骤S406的具体实现方式,在此不再赘述。可选的,本申请是实施例还可结合情绪识别模型和设置的基准信息组与情绪状态之间的关系来对目标用户的情绪状态进行识别。具体的,终端可获取目标用户的用户信息,先可调用情绪识别模型对用户信息进行情绪识别,得到目标情绪特征,若目标情绪特征未命中情绪特征库中的任一情绪特征时,则可将用户信息与自定义的各基准信息组中的各基准信息组进行匹配处理,并根据匹配结果确定目标用户所处的情绪状态。
在此方式下,用户可自定义模型样本和基准信息组。例如,终端可显示任一情绪状态的信息设置界面,如图7d所示。该信息设置界面包括信息设置按钮。用户可点击信息设置按钮进行信息录制窗口,在该信息录制窗口中,用户可录制关于语音指令、音量、声调等信息,得到样本信息,例如用户发出笑声时,可根据用户笑声的音调、音量对应大笑的情绪状态;终端在检测到针对该样本信息的确认操作时,将该样本信息显示在信息设置界面,并显示样本信息的信息标识以及显示属性设置组件,该属性设置组件可包括模型样本组件和基准信息组件。当用户点击该模型样本组件时,即终端检测到针对模型样本组件的触发操作时,可将该自定义模型样本保存在模型样本集合中,以用于对模型训练,得到情绪识别模型;当用户点击该基准信息组件时,即终端检测到针对自定义基准信息组组件的触发操作时,可将该录制信息作为基准信息,并添加到对应基准信息组中。可选地,该模型样本组件和基准信息组件可隐藏显示,当终端检测针对该取消隐藏显示的操作时,可显示该模型样本组件和基准信息组件。
在本申请实施例中,任一终端显示通信会话的通信界面,并在通信过程中,获取目标用户的用户信息,获取与目标用户关联的多个基准信息组,并将用户信息和每个基准信息组中的各个基准信息进行信息匹配,若存在目标基准信息与目标用户的用户信息相匹配,则确定目标用户处于目标情绪状态。在通信过程中检测到目标用户处于目标情绪状态时,在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,可以灵活且生动的设置目标用户的情绪状态对应的姿态。
基于上述会话处理方法实施例的描述,本申请实施例还公开了一种会话处理装置,该会话处理装置可以是运行于上述所提及的终端中的一个计算机程序(包括程序代码)。该会话处理装置可以执行图2或图4或图6所示的方法。请参见图8,所述会话处理装置可以运行如下单元:
显示单元801,用于显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;
处理单元802,用户当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的。
再一种实施方式中,所述显示单元801,还用于显示形象选择界面,所述形象选择界面中包括一个或多个模板虚拟形象;
所述处理单元802,还用于根据形象选择操作在所述形象选择界面中,选中第一模板虚拟形象;若检测到针对所述第一模板虚拟形象的确认操作,则将所述第一模板虚拟形象作为所述目标用户的目标虚拟形象。
再一种实施方式中,所述第一模板虚拟形象包括多个维度下的初始形象元素,所述处理单元802,还用于:
若检测到针对所述第一模板虚拟形象的编辑操作,则将所述第一模板虚拟形象的各个初始形象元素置为可编辑状态;
输出元素选择窗口,所述元素选择窗口中包括各个维度下的一个或多个候选形象元素;
当所述元素选择窗口中的任一维度下的任一候选形象元素被选择时,将所述第一模板虚拟形象中处于所述任一维度下的初始形象元素,替换为所述任一候选形象元素,以得到第二模板虚拟形象;
若检测到针对所述第二模板虚拟形象的确认操作,则将所述第二模板虚拟形象作为所述目标用户的目标虚拟形象。
再一种实施方式中,所述处理单元802,还用于:
在通信过程中,获取所述目标用户的用户信息;
调用情绪识别模型根据所述用户信息对所述目标用户进行情绪识别,得到所述目标用户的目标情绪特征;
采用所述目标情绪特征对情绪特征库进行特征命中匹配,所述情绪特征库中包括一个或多个情绪特征,以及各情绪特征所指示的情绪状态;
若所述目标情绪特征命中所述情绪特征库中的任一情绪特征,则确定所述目标用户处于目标情绪状态,所述目标情绪状态为所述任一情绪特征所指示的情绪状态。
再一种实施方式中,所述情绪识别模型是采用自定义样本进行模型训练得到的,所述自定义样本是在为用户提供的样本设置界面中获取到的。
再一种实施方式中,所述用户信息包括用户图像;所述处理单元802,具体用于:
从所述用户图像中截取出关于所述目标用户的面部图像;
调用情绪识别模型对所述面部图像进行情绪识别,得到所述目标用户的目标情绪特征。
再一种实施方式中,所述用户信息还包括以下至少一种参考信息:用户语音和文本消息,所述处理单元802,具体用于:
调用情绪识别模型对所述面部图像进行情绪识别,得到初始情绪特征;
分别根据每个参考信息对所述目标用户进行情绪识别,得到所述目标用户的至少一个参考情绪特征;
对所述至少一个参考情绪特征和所述初始情绪特征进行特征融合,得到所述目标用户的目标情绪特征。
再一种实施方式中,所述初始情绪特征的数量为多个,所述处理单元802,具体用于:
采用所述至少一个参考情绪特征对多个初始情绪特征进行特征命中处理;
若存在K个参考情绪特征命中所述多个初始情绪特征,则从所述K个参考情绪特征中选取一个参考情绪特征作为所述目标用户的目标情绪特征;K为正整数,且K的取值不大于所述参考情绪特征的数量;
若不存在参考情绪特征命中所述多个初始情绪特征,则获取各个初始情绪特征的置信度,并从所述多个初始情绪特征中选取置信度最大的初始情绪特征作为所述目标情绪特征。
再一种实施方式中,所述处理单元802,具体用于:
获取特征分值表,所述特征分值表中包括多个情绪特征和特征分值之间的对应关系;
遍历所述至少一个参考情绪特征和所述初始情绪特征,并根据所述特征分值表确定当前遍历的当前情绪特征的特征分值;
获取所述当前情绪特征的权重,并采用所述权重对所述当前情绪特征的特征分值进行加权,得到所述当前情绪特征的加权分值;
当所述至少一个参考情绪特征和所述初始情绪特征均被遍历,则计算各个参考情绪特征的加权分值和所述初始情绪特征的加权分值之间的平均值;
在所述特征分值表中查询与所述平均值对应的情绪特征,将查询到的情绪特征作为所述目标用户的目标情绪特征。
再一种实施方式中,所述处理单元802,具体用于:
在通信过程中,获取所述目标用户的用户信息;
获取与所述目标用户关联的多个基准信息组,一个基准信息组对应一个情绪状态;每个基准信息组中包括一个或多个基准信息,且所述每个基准信息组中的各个基准信息和所述用户信息属于同一类型;
将所述用户信息和所述每个基准信息组中的各个基准信息进行信息匹配;
若存在目标基准信息与所述目标用户的用户信息相匹配,则确定所述目标用户处于目标情绪状态,所述目标情绪状态为所述目标基准信息所属的目标基准信息组所对应的情绪状态。
再一种实施方式中,所述显示单元801,还用于显示任一情绪状态的信息设置界面,所述信息设置界面包括信息设置按钮;
所述处理单元802,还用于若检测到针对所述信息设置按钮的触发操作,则输出信息录制窗口,并在所述信息录制窗口中获取一个基准信息;响应于针对获取到的基准信息的确认操作,将所述获取到的基准信息添加至所述任一情绪状态对应的基准信息组中;
所述显示单元801,还用于在所述信息设置界面中显示所述获取到的基准信息的信息标识。
再一种实施方式中,若所述用户信息包括用户图像,则基准信息是指:预先对所述目标用户进行图像采集所得到的基准图像;
若所述用户信息包括用户语音,则基准信息是指预先进行语音采集得到的基准语音;
若所述用户信息包括文本消息,则基准信息是指预先进行文本输入得到的基准文本。
再一种实施方式中,所述处理单元802,具体用于:
当在通信过程中检测到所述目标用户处于目标情绪状态时,获取所述目标情绪状态对应的目标姿态参数,所述目标姿态参数包括肢体姿态参数;
对所述目标用户的用户图像进行肢体动作识别,得到参考肢体姿态参数;
采用所述参考肢体姿态参数替换所述目标姿态参数中的肢体姿态参数,得到第二姿态的姿态参数;
按照所述第二姿态的姿态参数在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至所述第二姿态。
根据本申请的一个实施例,图2或图4或图6所示的方法所涉及的各个步骤均可以是由图8所示的会话处理装置中的各个单元执行的。例如,图2所示的步骤S201由图8中所示的显示单元801来执行,步骤S202由图8中所示的处理单元802来执行。又如,图4所示的步骤S401由图8中所示的显示单元801来执行,步骤S402至步骤S406由图8中所示的处理单元801来执行。又如,图6所示的步骤S601由图8中所示的显示单元801来执行,步骤S602至步骤S606由图8中所示的处理单元801来执行。
根据本申请的另一个实施例,图8所示的会话处理装置中的各个单元可以分别或者全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以是由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其他实施例中,基于会话处理装置也可以包括其他单元,在实际应用中,这些功能也可以由其他单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过包括中央处理单元(Central ProcessingUnit,CPU),随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件。例如计算机的通用计算设备上运行能够执行如图2或图4或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8所示的会话处理装置,以及来实现本申请实施例的会话处理方法。所述的计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述终端中,并在其中运行。
在本申请实施例中,终端可显示通信会话的通信界面,并在通信界面中采用目标用户的目标虚拟形象替代目标用户的真实图像,以保证目标用户的用户隐私安全。当在通信过程中检测到目标用户处于目标情绪状态时,可在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,实现灵活地根据用户的目标情绪变化虚拟形象的姿态,使得整个社交过程灵活形象。
基于上述会话处理方法实施例的描述,本申请实施例还公开了一种终端,请参见图9,该终端至少可包括处理器901、输入设备902、输出设备903以及计算机存储介质904。其中,终端内的处理器901、输入设备902、输出设备903以及计算机存储介质904可通过总线或其他方式连接。
所述计算机存储介质904是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质904既可以包括终端的内置存储介质,当然也可以包括终端支持的扩展存储介质。计算机存储介质904提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器901加载并执行的一条或多条指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器;可选的,还可以是至少一个远离前述处理器的计算机存储介质、所述处理器可以称为中央处理单元(Central Processing Unit,CPU),是终端的核心以及控制中心,适于被实现一条或多条指令,具体加载并执行一条或多条指令从而实现相应的方法流程或功能。
在一种实施方式中,可由处理器901加载并执行计算机存储介质中存放的一条或多条第一指令,以实现上述有关会话处理方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第一指令由处理器901加载并执行如下操作:
显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;
当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的。
再一种实施方式中,所述显示通信会话的通信界面之前,所述处理器901,还用于:
显示形象选择界面,所述形象选择界面中包括一个或多个模板虚拟形象;
根据形象选择操作在所述形象选择界面中,选中第一模板虚拟形象;
若检测到针对所述第一模板虚拟形象的确认操作,则将所述第一模板虚拟形象作为所述目标用户的目标虚拟形象。
再一种实施方式中,所述第一模板虚拟形象包括多个维度下的初始形象元素,所述处理器901,还用于:
若检测到针对所述第一模板虚拟形象的编辑操作,则将所述第一模板虚拟形象的各个初始形象元素置为可编辑状态;
输出元素选择窗口,所述元素选择窗口中包括各个维度下的一个或多个候选形象元素;
当所述元素选择窗口中的任一维度下的任一候选形象元素被选择时,将所述第一模板虚拟形象中处于所述任一维度下的初始形象元素,替换为所述任一候选形象元素,以得到第二模板虚拟形象;
若检测到针对所述第二模板虚拟形象的确认操作,则将所述第二模板虚拟形象作为所述目标用户的目标虚拟形象。
再一种实施方式中,所述处理器901,还用于:
在通信过程中,获取所述目标用户的用户信息;
调用情绪识别模型根据所述用户信息对所述目标用户进行情绪识别,得到所述目标用户的目标情绪特征;
采用所述目标情绪特征对情绪特征库进行特征命中匹配,所述情绪特征库中包括一个或多个情绪特征,以及各情绪特征所指示的情绪状态;
若所述目标情绪特征命中所述情绪特征库中的任一情绪特征,则确定所述目标用户处于目标情绪状态,所述目标情绪状态为所述任一情绪特征所指示的情绪状态。
再一种实施方式中,所述情绪识别模型是采用自定义样本进行模型训练得到的,所述自定义样本是在为用户提供的样本设置界面中获取到的。
再一种实施方式中,所述用户信息包括用户图像;所述处理器901,具体用于:
从所述用户图像中截取出关于所述目标用户的面部图像;
调用情绪识别模型对所述面部图像进行情绪识别,得到所述目标用户的目标情绪特征。
再一种实施方式中,所述用户信息还包括以下至少一种参考信息:用户语音和文本消息,所述处理器901,具体用于:
调用情绪识别模型对所述面部图像进行情绪识别,得到初始情绪特征;
分别根据每个参考信息对所述目标用户进行情绪识别,得到所述目标用户的至少一个参考情绪特征;
对所述至少一个参考情绪特征和所述初始情绪特征进行特征融合,得到所述目标用户的目标情绪特征。
再一种实施方式中,所述初始情绪特征的数量为多个,所述处理器901,具体用于:
采用所述至少一个参考情绪特征对多个初始情绪特征进行特征命中处理;
若存在K个参考情绪特征命中所述多个初始情绪特征,则从所述K个参考情绪特征中选取一个参考情绪特征作为所述目标用户的目标情绪特征;K为正整数,且K的取值不大于所述参考情绪特征的数量;
若不存在参考情绪特征命中所述多个初始情绪特征,则获取各个初始情绪特征的置信度,并从所述多个初始情绪特征中选取置信度最大的初始情绪特征作为所述目标情绪特征。
再一种实施方式中,所述处理器901,具体用于:
获取特征分值表,所述特征分值表中包括多个情绪特征和特征分值之间的对应关系;
遍历所述至少一个参考情绪特征和所述初始情绪特征,并根据所述特征分值表确定当前遍历的当前情绪特征的特征分值;
获取所述当前情绪特征的权重,并采用所述权重对所述当前情绪特征的特征分值进行加权,得到所述当前情绪特征的加权分值;
当所述至少一个参考情绪特征和所述初始情绪特征均被遍历,则计算各个参考情绪特征的加权分值和所述初始情绪特征的加权分值之间的平均值;
在所述特征分值表中查询与所述平均值对应的情绪特征,将查询到的情绪特征作为所述目标用户的目标情绪特征。
再一种实施方式中,所述处理器901,还用于:
在通信过程中,获取所述目标用户的用户信息;
获取与所述目标用户关联的多个基准信息组,一个基准信息组对应一个情绪状态;每个基准信息组中包括一个或多个基准信息,且所述每个基准信息组中的各个基准信息和所述用户信息属于同一类型;
将所述用户信息和所述每个基准信息组中的各个基准信息进行信息匹配;
若存在目标基准信息与所述目标用户的用户信息相匹配,则确定所述目标用户处于目标情绪状态,所述目标情绪状态为所述目标基准信息所属的目标基准信息组所对应的情绪状态。
再一种实施方式中,所述处理器901,还用于:
显示任一情绪状态的信息设置界面,所述信息设置界面包括信息设置按钮;
若检测到针对所述信息设置按钮的触发操作,则输出信息录制窗口,并在所述信息录制窗口中获取一个基准信息;
响应于针对获取到的基准信息的确认操作,将所述获取到的基准信息添加至所述任一情绪状态对应的基准信息组中,并在所述信息设置界面中显示所述获取到的基准信息的信息标识。
再一种实施方式中,若所述用户信息包括用户图像,则基准信息是指:预先对所述目标用户进行图像采集所得到的基准图像;
若所述用户信息包括用户语音,则基准信息是指预先进行语音采集得到的基准语音;
若所述用户信息包括文本消息,则基准信息是指预先进行文本输入得到的基准文本。
再一种实施方式中,所述处理器901,具体用于:
当在通信过程中检测到所述目标用户处于目标情绪状态时,获取所述目标情绪状态对应的目标姿态参数,所述目标姿态参数包括肢体姿态参数;
对所述目标用户的用户图像进行肢体动作识别,得到参考肢体姿态参数;
采用所述参考肢体姿态参数替换所述目标姿态参数中的肢体姿态参数,得到第二姿态的姿态参数;
按照所述第二姿态的姿态参数在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至所述第二姿态。
在本申请实施例中,终端可显示通信会话的通信界面,并在通信界面中采用目标用户的目标虚拟形象替代目标用户的真实图像,以保证目标用户的用户隐私安全。当在通信过程中检测到目标用户处于目标情绪状态时,可在通信界面中将目标虚拟形象的形象姿态从第一姿态调整至第二姿态,实现灵活地根据用户的目标情绪变化虚拟形象的姿态,使得整个社交过程灵活形象。
需要说明的是,本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该终端执行上述会话处理方法实施例图2或图4或图6中所执行的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (14)
1.一种会话处理方法,其特征在于,包括:
显示会话界面,所述会话界面中包括:至少一条会话消息,以及虚拟会话组件;
在所述虚拟会话组件被触发后,显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;其中,所述目标虚拟形象是所述通信会话中的任一用户通过形象选择界面为所述目标用户设置的,所述目标虚拟形象用于替代显示所述目标用户的真实图像;所述第一姿态是根据所述目标用户的历史情绪状态对默认姿态进行调整后的姿态,所述默认姿态是所述任一用户为所述目标用户设置目标虚拟形象时所设置的,所述任一用户和所述目标用户是不同的用户;
当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的;
其中,所述目标情绪状态是目标情绪特征在情绪特征库中所命中的情绪特征所指示的情绪状态,所述目标情绪特征是调用情绪识别模型对所述目标用户进行情绪识别得到的,所述情绪识别模型采用自定义样本进行模型训练得到;所述自定义样本包括:所述任一用户通过样本录制界面进行视频录制得到的视频样本。
2.如权利要求1所述的方法,其特征在于,所述显示通信会话的通信界面之前,还包括:
显示形象选择界面,所述形象选择界面中包括一个或多个模板虚拟形象;
根据形象选择操作在所述形象选择界面中,选中第一模板虚拟形象;
若检测到针对所述第一模板虚拟形象的确认操作,则将所述第一模板虚拟形象作为所述目标用户的目标虚拟形象。
3.如权利要求2所述的方法,其特征在于,所述第一模板虚拟形象包括多个维度下的初始形象元素,所述方法还包括:
若检测到针对所述第一模板虚拟形象的编辑操作,则将所述第一模板虚拟形象的各个初始形象元素置为可编辑状态;
输出元素选择窗口,所述元素选择窗口中包括各个维度下的一个或多个候选形象元素;
当所述元素选择窗口中的任一维度下的任一候选形象元素被选择时,将所述第一模板虚拟形象中处于所述任一维度下的初始形象元素,替换为所述任一候选形象元素,以得到第二模板虚拟形象;
若检测到针对所述第二模板虚拟形象的确认操作,则将所述第二模板虚拟形象作为所述目标用户的目标虚拟形象。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
在通信过程中,获取所述目标用户的用户信息;
调用情绪识别模型根据所述用户信息对所述目标用户进行情绪识别,得到所述目标用户的目标情绪特征;
采用所述目标情绪特征对情绪特征库进行特征命中匹配,所述情绪特征库中包括一个或多个情绪特征,以及各情绪特征所指示的情绪状态;
若所述目标情绪特征命中所述情绪特征库中的任一情绪特征,则确定所述目标用户处于目标情绪状态,所述目标情绪状态为所述任一情绪特征所指示的情绪状态。
5.如权利要求4所述的方法,其特征在于,所述用户信息包括用户图像;所述调用情绪识别模型根据所述用户信息对所述目标用户进行情绪识别,得到所述目标用户的目标情绪特征,包括:
从所述用户图像中截取出关于所述目标用户的面部图像;
调用情绪识别模型对所述面部图像进行情绪识别,得到所述目标用户的目标情绪特征。
6.如权利要求5所述的方法,其特征在于,所述用户信息还包括以下至少一种参考信息:用户语音和文本消息,所述调用情绪识别模型对所述面部图像进行情绪识别,得到所述目标用户的目标情绪特征,包括:
调用情绪识别模型对所述面部图像进行情绪识别,得到初始情绪特征;
分别根据每个参考信息对所述目标用户进行情绪识别,得到所述目标用户的至少一个参考情绪特征;
对所述至少一个参考情绪特征和所述初始情绪特征进行特征融合,得到所述目标用户的目标情绪特征。
7.如权利要求6所述的方法,其特征在于,所述初始情绪特征的数量为多个,所述对所述至少一个参考情绪特征和所述初始情绪特征进行特征融合,得到所述目标用户的目标情绪特征,包括:
采用所述至少一个参考情绪特征对多个初始情绪特征进行特征命中处理;
若存在K个参考情绪特征命中所述多个初始情绪特征,则从所述K个参考情绪特征中选取一个参考情绪特征作为所述目标用户的目标情绪特征;K为正整数,且K的取值不大于所述参考情绪特征的数量;
若不存在参考情绪特征命中所述多个初始情绪特征,则获取各个初始情绪特征的置信度,并从所述多个初始情绪特征中选取置信度最大的初始情绪特征作为所述目标情绪特征。
8.如权利要求6所述的方法,其特征在于,所述对所述至少一个参考情绪特征和所述初始情绪特征进行特征融合,得到所述目标用户的目标情绪特征,包括:
获取特征分值表,所述特征分值表中包括多个情绪特征和特征分值之间的对应关系;
遍历所述至少一个参考情绪特征和所述初始情绪特征,并根据所述特征分值表确定当前遍历的当前情绪特征的特征分值;
获取所述当前情绪特征的权重,并采用所述权重对所述当前情绪特征的特征分值进行加权,得到所述当前情绪特征的加权分值;
当所述至少一个参考情绪特征和所述初始情绪特征均被遍历,则计算各个参考情绪特征的加权分值和所述初始情绪特征的加权分值之间的平均值;
在所述特征分值表中查询与所述平均值对应的情绪特征,将查询到的情绪特征作为所述目标用户的目标情绪特征。
9.如权利要求1所述的方法,其特征在于,所述方法还包括:
在通信过程中,获取所述目标用户的用户信息;
获取与所述目标用户关联的多个基准信息组,一个基准信息组对应一个情绪状态;每个基准信息组中包括一个或多个基准信息,且所述每个基准信息组中的各个基准信息和所述用户信息属于同一类型;
将所述用户信息和所述每个基准信息组中的各个基准信息进行信息匹配;
若存在目标基准信息与所述目标用户的用户信息相匹配,则确定所述目标用户处于目标情绪状态,所述目标情绪状态为所述目标基准信息所属的目标基准信息组所对应的情绪状态。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
显示任一情绪状态的信息设置界面,所述信息设置界面包括信息设置按钮;
若检测到针对所述信息设置按钮的触发操作,则输出信息录制窗口,并在所述信息录制窗口中获取一个基准信息;
响应于针对获取到的基准信息的确认操作,将所述获取到的基准信息添加至所述任一情绪状态对应的基准信息组中,并在所述信息设置界面中显示所述获取到的基准信息的信息标识。
11.如权利要求9或10所述的方法,其特征在于,若所述用户信息包括用户图像,则基准信息是指:预先对所述目标用户进行图像采集所得到的基准图像;
若所述用户信息包括用户语音,则基准信息是指预先进行语音采集得到的基准语音;
若所述用户信息包括文本消息,则基准信息是指预先进行文本输入得到的基准文本。
12.如权利要求1所述的方法,其特征在于,所述当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,包括:
当在通信过程中检测到所述目标用户处于目标情绪状态时,获取所述目标情绪状态对应的目标姿态参数,所述目标姿态参数包括肢体姿态参数;
对所述目标用户的用户图像进行肢体动作识别,得到参考肢体姿态参数;
采用所述参考肢体姿态参数替换所述目标姿态参数中的肢体姿态参数,得到第二姿态的姿态参数;
按照所述第二姿态的姿态参数在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至所述第二姿态。
13.一种会话处理装置,其特征在于,包括:
显示单元,用于显示会话界面,所述会话界面中包括:至少一条会话消息,以及虚拟会话组件;
所述显示单元,用于在所述虚拟会话组件被触发后,显示通信会话的通信界面,所述通信会话中至少包括目标用户,所述通信界面中至少包括所述目标用户的目标虚拟形象,且所述目标虚拟形象的形象姿态为第一姿态;其中,所述目标虚拟形象是所述通信会话中的任一用户通过形象选择界面为所述目标用户设置的,所述目标虚拟形象用于替代显示所述目标用户的真实图像;所述第一姿态是根据所述目标用户的历史情绪状态对默认姿态进行调整后的姿态,所述默认姿态是所述任一用户为所述目标用户设置目标虚拟形象时所设置的,所述任一用户和所述目标用户是不同的用户;
处理单元,用户当在通信过程中检测到所述目标用户处于目标情绪状态时,在所述通信界面中将所述目标虚拟形象的形象姿态从所述第一姿态调整至第二姿态,所述第二姿态是根据所述目标情绪状态确定的;
其中,所述目标情绪状态是目标情绪特征在情绪特征库中所命中的情绪特征所指示的情绪状态,所述目标情绪特征是调用情绪识别模型对所述目标用户进行情绪识别得到的,所述情绪识别模型采用自定义样本进行模型训练得到;所述自定义样本包括:所述任一用户通过样本录制界面进行视频录制得到的视频样本。
14.一种终端,其特征在于,包括输入设备、输出设备,所述终端还包括处理器和存储介质,所述处理器用于获取存储介质中存储的一条或多条指令,以执行如权利要求1-12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062544.0A CN113014471B (zh) | 2021-01-18 | 2021-01-18 | 会话处理方法,装置、终端和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062544.0A CN113014471B (zh) | 2021-01-18 | 2021-01-18 | 会话处理方法,装置、终端和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113014471A CN113014471A (zh) | 2021-06-22 |
CN113014471B true CN113014471B (zh) | 2022-08-19 |
Family
ID=76384559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110062544.0A Active CN113014471B (zh) | 2021-01-18 | 2021-01-18 | 会话处理方法,装置、终端和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113014471B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113840158A (zh) * | 2021-10-11 | 2021-12-24 | 深圳追一科技有限公司 | 虚拟形象的生成方法、装置、服务器及存储介质 |
CN116048310A (zh) * | 2021-10-28 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 基于虚拟形象的数据处理方法、装置以及可读存储介质 |
CN116129006A (zh) * | 2021-11-12 | 2023-05-16 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
CN114120943B (zh) * | 2021-11-22 | 2023-07-04 | 腾讯科技(深圳)有限公司 | 虚拟演唱会的处理方法、装置、设备及存储介质 |
CN114615455A (zh) * | 2022-01-24 | 2022-06-10 | 北京师范大学 | 远程会议的处理方法、装置、会议系统和存储介质 |
CN115205949B (zh) * | 2022-09-05 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 图像生成方法以及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013027893A1 (ko) * | 2011-08-22 | 2013-02-28 | Kang Jun-Kyu | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 |
GB201710840D0 (en) * | 2017-07-05 | 2017-08-16 | Jones Maria Francisca | Virtual meeting participant response indication method and system |
WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
CN110418095A (zh) * | 2019-06-28 | 2019-11-05 | 广东虚拟现实科技有限公司 | 虚拟场景的处理方法、装置、电子设备及存储介质 |
CN112364971A (zh) * | 2020-11-06 | 2021-02-12 | 联想(北京)有限公司 | 会话控制方法、装置及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014208782A1 (ko) * | 2013-06-24 | 2014-12-31 | 주식회사 닉신디케이트 | 디지털 라이브 맵 환경에서 아바타 기반의 실시간 커뮤니케이션 방법 및 그 시스템 |
JP7140138B2 (ja) * | 2017-10-27 | 2022-09-21 | ソニーグループ株式会社 | 情報処理装置および情報処理方法、プログラム、並びに情報処理システム |
CN108255304B (zh) * | 2018-01-26 | 2022-10-04 | 腾讯科技(深圳)有限公司 | 基于增强现实的视频数据处理方法、装置和存储介质 |
CN109875579A (zh) * | 2019-02-28 | 2019-06-14 | 京东方科技集团股份有限公司 | 情绪健康管理系统和情绪健康管理方法 |
CN110971930B (zh) * | 2019-12-19 | 2023-03-10 | 广州酷狗计算机科技有限公司 | 虚拟形象直播的方法、装置、终端及存储介质 |
CN111221495A (zh) * | 2020-01-06 | 2020-06-02 | 广东小天才科技有限公司 | 可视化交互方法、装置及终端设备 |
CN111640200B (zh) * | 2020-06-10 | 2024-01-09 | 浙江商汤科技开发有限公司 | 一种ar场景特效生成的方法及装置 |
CN111833418B (zh) * | 2020-07-14 | 2024-03-29 | 北京百度网讯科技有限公司 | 动画交互方法、装置、设备以及存储介质 |
-
2021
- 2021-01-18 CN CN202110062544.0A patent/CN113014471B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013027893A1 (ko) * | 2011-08-22 | 2013-02-28 | Kang Jun-Kyu | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 |
GB201710840D0 (en) * | 2017-07-05 | 2017-08-16 | Jones Maria Francisca | Virtual meeting participant response indication method and system |
WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
CN110418095A (zh) * | 2019-06-28 | 2019-11-05 | 广东虚拟现实科技有限公司 | 虚拟场景的处理方法、装置、电子设备及存储介质 |
CN112364971A (zh) * | 2020-11-06 | 2021-02-12 | 联想(北京)有限公司 | 会话控制方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113014471A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113014471B (zh) | 会话处理方法,装置、终端和存储介质 | |
US11607616B2 (en) | System and method for generating and displaying avatars | |
US10853987B2 (en) | Generating cartoon images from photos | |
KR102073351B1 (ko) | 서버 및 그것의 동작 방법 | |
KR101334066B1 (ko) | 진화하는 사이버 로봇 시스템 및 그 제공 방법 | |
JP6616288B2 (ja) | 通信における情報交換のための方法、ユーザ端末、及びサーバ | |
CN113508369A (zh) | 交流支持系统、交流支持方法、交流支持程序以及图像控制程序 | |
CN111742351A (zh) | 用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法 | |
KR101992424B1 (ko) | 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템 | |
CN111260754B (zh) | 人脸图像编辑方法、装置和存储介质 | |
CN111833418A (zh) | 动画交互方法、装置、设备以及存储介质 | |
CN105824799B (zh) | 一种信息处理方法、设备和终端设备 | |
CN107294837A (zh) | 采用虚拟机器人进行对话交互的方法和系统 | |
CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
EP4158598A1 (en) | Augmented reality content from third-party content | |
CN113766168A (zh) | 一种互动处理方法、装置、终端及介质 | |
KR20210076373A (ko) | 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 | |
KR20220127471A (ko) | 가상현실을 이용한 심리 상담 제공 장치, 방법 및 프로그램 | |
CN112152901A (zh) | 一种虚拟形象控制方法、装置及电子设备 | |
US20230090253A1 (en) | Systems and methods for authoring and managing extended reality (xr) avatars | |
CN114904268A (zh) | 一种虚拟形象的调整方法、装置、电子设备及存储介质 | |
JP6796762B1 (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
CN108958571B (zh) | 三维会话数据展示方法、装置、存储介质和计算机设备 | |
CN112820265B (zh) | 一种语音合成模型训练方法和相关装置 | |
KR20230072199A (ko) | 감정 표현 객체 생성 장치 및 이를 포함하는 감정 표현 객체 생성 시스템 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40047339 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |