CN116977492A - 一种表情包的生成方法、装置、设备及存储介质 - Google Patents
一种表情包的生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116977492A CN116977492A CN202311013023.1A CN202311013023A CN116977492A CN 116977492 A CN116977492 A CN 116977492A CN 202311013023 A CN202311013023 A CN 202311013023A CN 116977492 A CN116977492 A CN 116977492A
- Authority
- CN
- China
- Prior art keywords
- target
- expression
- expression package
- sample
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 450
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims description 141
- 230000009471 action Effects 0.000 claims description 57
- 230000008451 emotion Effects 0.000 claims description 19
- 230000036651 mood Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种表情包的生成方法、装置、设备及存储介质,该生成方法包括:获取用户在聊天界面中输入的目标聊天信息,并根据获取到的目标聊天信息,从预设表情图库中,确定与目标聊天信息相匹配的备选表情包作为待替换表情包;响应针对聊天界面中显示的表情包生成按钮的触发操作,获取用户预先指定的目标虚拟角色,并将待替换表情包中的原有虚拟角色替换为目标虚拟角色,得到目标表情包;在聊天界面中显示目标表情包。这样,本申请可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种表情包的生成方法、装置、设备及存储介质。
背景技术
除常见的社交软件之外,现有的很多其他功能的APP(Application,应用程序)软件(如,游戏类软件或是支付类软件等)中同样为用户提供了即时通讯服务,以使用户能够在APP软件中与其他用户进行实时的聊天对话。
目前,在具体的聊天界面中,当用户想要向聊天对象发送表情包时,用户只能从个人历史收藏过的表情包或是聊天界面下方显示的多个推荐表情包中选择符合自己需求的表情包作为待发送的表情包。由于用户可以选择的表情包数量有限,且用户无法对选择的表情包进行编辑或是自定义操作,因此,现有的表情包提供方式不够灵活,难以满足用户的个性化需求。
发明内容
有鉴于此,本申请的目的在于提供一种表情包的生成方法、装置、设备及存储介质,以在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
第一方面,本申请实施例提供了一种表情包的生成方法,所述生成方法包括:
获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包;
响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包;
在所述聊天界面中显示所述目标表情包。
第二方面,本申请实施例提供了一种表情包的生成装置,所述生成装置包括:
表情查找模块,用于获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包;
表情生成模块,用于响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包;
表情显示模块,用于在所述聊天界面中显示所述目标表情包。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的表情包的生成方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的表情包的生成方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请实施例提供的一种表情包的生成方法、装置、设备及存储介质,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的目标聊天信息,从预设表情图库中,确定与目标聊天信息相匹配的备选表情包作为待替换表情包;响应针对聊天界面中显示的表情包生成按钮的触发操作,获取用户预先指定的目标虚拟角色,并将待替换表情包中的原有虚拟角色替换为目标虚拟角色,得到目标表情包;在聊天界面中显示目标表情包。通过这种方式,本申请在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种表情包的生成方法的流程示意图;
图2示出了本申请实施例提供的一种目标表情包的示意图;
图3示出了本申请实施例提供的一种确定待替换表情包的方法的流程示意图;
图4示出了本申请实施例提供的一种训练得到第一模型的方法的流程示意图;
图5示出了本申请实施例提供的一种生成目标表情包的方法的流程示意图;
图6示出了本申请实施例提供的一种训练得到第二模型的方法的流程示意图;
图7示出了本申请实施例所提供的一种表情包的生成装置的结构示意图;
图8为本申请实施例提供的一种电子设备800的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
目前,在具体的聊天界面中,当用户想要向聊天对象发送表情包时,用户只能从个人历史收藏过的表情包或是聊天界面下方显示的多个推荐表情包中选择符合自己需求的表情包作为待发送的表情包。由于用户可以选择的表情包数量有限,且用户无法对选择的表情包进行编辑或是自定义操作,因此,现有的表情包提供方式不够灵活,难以满足用户的个性化需求。
基于此,本申请实施例提供了一种表情包的生成方法、装置、设备及存储介质,以在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
在本申请其中一种实施例中的一种表情包的生成方法可以运行于终端设备或者是服务器;其中,终端设备可以为本地终端设备。当表情包的生成方法运行于服务器时,该生成方法则可以基于云交互系统来实现与执行,其中,云交互系统包括服务器和客户端设备(也即终端设备)。基于此,对于运行上述表情包的生成方法的电子设备的具体设备类型,本申请实施例不作任何限定。
为便于对本申请实施例进行理解,下面对本申请实施例提供的一种表情包的生成方法、装置、设备及存储介质进行详细介绍。
参照图1所示,图1示出了本申请实施例所提供的一种表情包的生成方法的流程示意图,所述生成方法包括步骤S101-S103;具体的:
S101,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包。
S102,响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包。
S103,在所述聊天界面中显示所述目标表情包。
基于本申请实施例提供的上述表情包的生成方法,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的目标聊天信息,从预设表情图库中,确定与目标聊天信息相匹配的备选表情包作为待替换表情包;响应针对聊天界面中显示的表情包生成按钮的触发操作,获取用户预先指定的目标虚拟角色,并将待替换表情包中的原有虚拟角色替换为目标虚拟角色,得到目标表情包;在聊天界面中显示目标表情包。通过这种方式,本申请在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
下面对本申请实施例提供的上述表情包的生成方法中的各步骤分别进行示例性的说明:
S101,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包。
这里,聊天界面可以是能够为用户提供即使通讯服务的任意类型的APP应用中的聊天界面;例如,聊天界面可以是游戏类APP应用中的聊天界面,聊天界面也可以是社交类APP应用中的聊天界面,对于上述聊天界面所属的具体APP应用类型,本申请实施例不作任何限定。
需要说明的是,无论是何种APP应用提供的聊天界面,用户都可以通过聊天界面向对话方(如,可以是用户的游戏好友、社交好友等)发送聊天信息或是发送表情包。
这里,在步骤S101中,聊天界面中可以显示有信息输入栏,以使用户可以在信息输入栏中输入当前想要发送给对话方的上述目标聊天信息;其中,在获取用户输入的目标聊天信息时,基于用户采用的输入方式不同,能够获取到的目标聊天信息可以是语音类型的语音信息,也可以是文本类型的文字信息,还可以是图片类型的图片信息;对于获取到的目标聊天信息所属的具体信息类型,本申请实施例同样不作任何限定。
需要说明的是,上述预设表情图库中包含多个备选表情包;其中,备选表情包可以是静态的表情图片(即单张图片),也可以是GIF(Graphics Interchange Format,图形交换格式)动图(即由多张连续的视频图像帧组成的动态表情包);对于预设表情图库中包含的备选表情包数量以及备选表情包的具体图像类型,本申请实施例不作任何限定。
S102,响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包。
这里,上述表情包生成按钮是显示在聊天界面中的虚拟按钮(或是虚拟控件);其中,表情包生成按钮可以显示在聊天界面中的任意位置处,表情包生成按钮的具体形状可以是圆形,也可以是星形或是其他不规则的自定义形状,对于表情包生成按钮在聊天界面中的具体显示位置以及具体显示形式,本申请实施例不作任何限定。
需要说明的是,当本申请实施例提供的表情包生成方法应用于不同类型的电子设备中时,用户针对上述表情包生成按钮的触发操作可以对应不同类型的操作;例如,当用户在移动终端(如,手机、平板等)上打开聊天界面时,则上述触发操作可以是针对表情包生成按钮的触摸操作(如,点击操作、长按操作、滑动操作等),也可以是悬浮于聊天界面上的手势控制操作等非触摸操作;当用户在固定终端(如,个人计算机)上打开聊天界面时,则上述触发操作可以是针对表情包生成按钮的鼠标点击操作等;对于上述触发操作所属的具体操作类型,本申请实施例不作任何限定。
需要说明的是,上述目标虚拟角色以及上述原有虚拟角色可以是人物类型的人形游戏角色,也可以是动物或是植物类型的非人形游戏角色;对于用户预先指定的上述目标虚拟角色以及上述原有虚拟角色的具体角色类型,本申请实施例不作任何限定。
具体的,在步骤S102中,在将待替换表情包中的原有虚拟角色替换为目标虚拟角色时,保留待替换表情包中基本的构图要素(如,待替换表情包中的背景素材、原有虚拟角色的表情和动作、原有虚拟角色在背景素材中的显示位置、待替换表情包中原有的文字内容等)不变,只对待替换表情包中的原有虚拟角色本身进行替换,将替换后的表情包作为上述目标表情包。
S103,在所述聊天界面中显示所述目标表情包。
这里,基于上述步骤S101-S102的内容可知,由于目标表情包是将待替换表情包中的原有虚拟角色替换为目标虚拟角色后得到的表情包,因此,目标表情包是既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,相较于直接根据用户输入的聊天信息向用户推荐通用形象的上述待替换表情包,本申请向用户显示生成的上述目标表情包,有效地提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
具体的,以用户预先指定的目标虚拟角色是人形虚拟角色为例,图2示出了本申请实施例提供的一种目标表情包的示意图,如图2所示,用户预先指定的目标虚拟角色201是人形虚拟角色,根据用户输入的目标聊天信息“没人陪我玩”从预设表情图库中确定与目标聊天信息相匹配的待替换表情包202是独自一人蹲在角落里的表情包(即待替换表情包202中表现出的落寞情绪与目标聊天信息中的寂寞情绪相匹配);此时,保留待替换表情包202中的基本沟通要素不变,只将待替换表情包202中的原有虚拟角色(即待替换表情包202中蹲在角落的人形虚拟角色)替换为目标虚拟角色201,即可得到目标表情包203,并在聊天界面中向用户显示目标表情包203。
下面针对上述各步骤在本申请实施例中的具体实施过程,分别进行详细说明:
针对步骤S101的具体实施过程,在第一种可选的实施方式中,在获取到用户输入的目标聊天信息之后,可以直接对目标聊天信息进行语义识别和情绪识别,识别出目标聊天信息所属的语义标签(可以是1个也可以是多个)和情绪标签(可以是1个也可以是多个);此时,由于预设表情图库中每个备选表情包预先携带有各自所属的分类标签(同样可以是1个,也可以是多个),而分类标签同样可以用于表征备选表情包对应的聊天语境(即对应的语义、情绪等),因此,可以将目标聊天信息所属的语义标签和情绪标签与预设表情图库中每个备选表情包所属的分类标签进行匹配,从而确定出匹配程度最高的分类标签对应的备选表情包作为上述待替换表情包。
除此之外,在另一种优选的实施方式中,还可以使用预先训练好的模型来执行步骤S101中确定待替换表情包的子步骤,此时,如图3所示,图3示出了本申请实施例提供的一种确定待替换表情包的方法的流程示意图,其中,在执行上述步骤S101时,所述方法包括步骤S301-S302,具体的:
S301,将所述目标聊天信息输入预先训练好的第一模型中,通过所述第一模型对所述目标聊天信息所属的分类标签进行预测,输出得到针对所述目标聊天信息的第一分类标签预测结果。
这里,第一模型是预先训练好的且能够执行多标签分类任务的模型;其中,多标签分类任务是指模型在对输入数据进行分类预测时,输出的分类预测结果可以同时包括多种分类标签,不同种类的分类标签之间彼此不存在冲突;例如,一部电影可以同时被分类预测为属于动作片和喜剧片等。
需要说明的是,第一模型的模型输入数据可以是不同模态的数据,也即,无论输入第一模型的目标聊天信息属于文字信息还是属于语音信息或是属于图像信息,都不影响第一模型能够对目标聊天信息所属的分类标签进行预测,以输出得到目标聊天信息的第一分类标签预测结果。
具体的,目标聊天信息所属的分类标签包括但不限于:能够表征目标聊天信息中语义的语义标签、能够表征目标聊天信息中语气的语气标签、能够表征目标聊天信息中情绪的情绪标签;基于此,由于第一分类标签预测结果即相当于第一模型预测出的目标聊天信息所属的分类标签,因此,上述第一分类标签预测结果至少包括以下之一:目标聊天信息所属的语义标签、语气标签、情绪标签(即可以只包括其中的一种分类标签,也可以包括其中的多种分类标签);对于第一分类标签预测结果中包括的具体分类标签数量以及具体分类标签类型,本申请实施例不作任何限定。
S302,将所述第一分类标签预测结果与所述预设表情图库中每一备选表情包所属的分类标签进行匹配,确定所属的分类标签与所述第一分类标签预测结果之间的匹配程度最高的备选表情包作为所述待替换表情包。
这里,步骤S302的执行方式与上述第一种可选的实施方式相同,由于预设表情图库中每个备选表情包预先携带有各自所属的分类标签(同样可以是1个,也可以是多个),而分类标签同样可以用于表征备选表情包对应的聊天语境(即对应的语义、情绪等),因此,在输出得到上述第一分类标签预测结果之后,可以直接将第一分类标签预测结果(即第一模型预测出的目标聊天信息所属的分类标签)与预设表情图库中每个备选表情包所属的分类标签进行匹配,从而确定出匹配程度最高的分类标签对应的备选表情包作为上述待替换表情包。
具体的,针对上述步骤S301-S302中的第一模型,如图4所示,图4示出了本申请实施例提供的一种训练得到第一模型的方法的流程示意图,其中,在执行上述步骤S301之前,所述方法包括步骤S401-S403,具体的:
S401,获取多个训练样本以及每一所述训练样本携带的真实分类标签。
这里,上述训练样本可以是属于文本类型的文字信息,也可是属于语音类型的语音信息,还可以是属于图像类型的图像信息;对于训练样本所属的具体信息类型,本申请实施例并不进行任何限定。
这里,与上述步骤S301中的分类标签类型,对于每个真实分类标签而言,真实分类标签至少包括以下之一:训练样本所属的语义标签、语气标签、情绪标签;也即,真实分类标签可以是一个也可以是多个,可以是上述三种类型的标签中的一种,也可以是上述三种类型的标签中的多种;对于上述真实分类标签的具体标签数量以及具体标签种类,本申请实施例不作任何限定。
S402,将每一所述训练样本输入第一原始模型中,通过所述第一原始模型对每一所述训练样本所属的分类标签进行预测,输出得到针对每一所述训练样本的第二分类标签预测结果。
这里,第一原始模型即为第一模型的原始模型,第一原始模型执行步骤S402的方式与上述步骤S301中第一模型对于目标聊天信息所属的分类标签进行预测的方式相同,重复之处在此不再赘述。
具体的,与上述步骤S301中的第一分类标签预测结果相似,上述第二分类标签预测结果即相当于第一原始模型预测出的训练样本所属的分类标签,因此,上述第二分类标签预测结果至少包括以下之一:训练样本所属的语义标签、语气标签、情绪标签(即可以只包括其中的一种分类标签,也可以包括其中的多种分类标签);对于第二分类标签预测结果中包括的具体分类标签数量以及具体分类标签类型,本申请实施例同样不作任何限定。
S403,针对每一所述训练样本,计算该训练样本携带的所述真实分类标签与该训练样本的所述第二分类标签预测结果之间的预测损失,并基于计算得到的所述预测损失调整所述第一原始模型的模型参数,得到包括调整好的模型参数在内的所述第一模型。
具体的,通过计算真实分类标签与第二分类标签预测结果之间的预测损失,可以使用计算出的预测损失来明确第一原始模型执行多标签分类任务的准确度(即对于训练样本所属的分类标签的预测准确程度),从而,根据计算出的预测损失,调整第一原始模型的模型参数,直至第一原始模型达到收敛(即计算出的预测损失达到最小值),此时得到包括调整好的模型参数在内的第一原始模型作为上述第一模型(即结束模型训练过程)。
结合上述步骤S401-S403所述的第一模型的训练方法,由于训练样本也可以包括属于图像类型的图像样本数据,也即,训练好的第一模型也可以对输入的图像样本数据进行分类标签的预测,因此,在一种可选的实施方式中,上述预设表情图库中每一所述备选表情包所属的分类标签还可以是通过训练好的上述第一模型得到的,具体步骤可以按照如下步骤b1执行:
步骤b1、将预设表情图库中的每一备选表情包输入第一模型中,通过第一模型对每一备选表情包所属的分类标签进行预测,输出得到每一备选表情包所属的分类标签。
这里,步骤b1的具体实施方式与上述步骤S301的具体实施方式相同,重复之处在此不再赘述。
需要说明的是,在训练样本中包括属于图像类型的图像样本数据时,预设表情图库中的备选表情包也可以包括训练样本中的图像样本数据,也可以不包括训练样本中的图像样本数据(相当于使用全新的图像数据建立预设表情图库);对此,本申请实施例不作任何限定。
针对步骤S102的具体实施过程,具体的,在获取用户预先指定的目标虚拟角色时,本申请实施例至少提供了以下两种不同的可选方式:
可选方式1、当上述聊天界面属于游戏中的聊天界面时,可以直接获取用户在游戏中的游戏角色或是自定义的虚拟用户形象作为目标虚拟角色。
这里,获取的上述游戏角色可以是用户在游戏中持有的游戏角色,也可以是用户从游戏中的所有游戏角色中指定的目标游戏角色;基于不同游戏中的游戏角色可能存在不同,因此,获取的上述游戏角色可以是人物类型的人形游戏角色,也可以是动物或是植物类型的非人形游戏角色;对于获取的上述游戏角色的具体角色类型,本申请实施例不作任何限定。
这里,获取的上述虚拟用户形象可以是用户自定义的游戏用户头像,也可以是用户在游戏中通过捏脸等功能自定义设计的虚拟用户形象,对于获取的上述虚拟用户形象的具体形象类型,本申请实施例同样不作任何限定。
可选方式2、对于通用的聊天界面,还可以按照如下步骤a1-a2所述的方法获取用户预先指定的目标虚拟角色,具体的:
步骤a1、在聊天界面中显示多个备选虚拟角色。
这里,步骤a1-a2所述的获取方法适用于通用的聊天界面,也即,步骤a1-a2所述的获取方法除了适用于普通的社交类APP应用中的聊天界面之外,同样适用于游戏中的聊天界面。
具体的,在执行步骤S102之前,可以在聊天界面中显示多个备选虚拟角色,以供用户进行选择;其中,可以直接将多个备选虚拟角色显示在聊天界面中,也可以是在聊天界面中显示一个特定虚拟控件,在接收到用户针对该特定虚拟控件的触发操作(即响应针对特定虚拟控件的触发操作)之后,触发在聊天界面中显示上述多个备选虚拟角色;对于备选虚拟角色在聊天界面中的具体显示方式,本申请实施例不作任何限定。
需要说明的是,与上述可选方式1中的游戏角色相似,在可选方式2中,上述备选虚拟角色同样可以是人物类型的人形游戏角色,也可以是动物或是植物类型的非人形游戏角色;对于上述备选虚拟角色的具体角色类型,本申请实施例不作任何限定。
步骤a2、响应针对多个备选虚拟角色的选择操作,确定选择操作指定的备选虚拟角色作为目标虚拟角色。
需要说明的是,当本申请实施例提供的表情包生成方法应用于不同类型的电子设备中时,上述选择操作可以对应不同类型的操作;例如,当用户在移动终端(如,手机、平板等)上打开聊天界面时,则上述选择操作可以是针对某个备选虚拟角色的触摸操作(如,点击操作、长按操作、滑动操作等),也可以是悬浮于某个备选虚拟角色上的手势控制操作等非触摸操作;当用户在固定终端(如,个人计算机)上打开聊天界面时,则上述选择操作可以是针对某个备选虚拟角色的鼠标点击操作等;对于上述选择操作所属的具体操作类型,本申请实施例不作任何限定。
针对步骤S102的具体实施过程,在使用目标虚拟角色替换待替换表情包中的原有虚拟角色时,在一种可选的实施方式中,可以直接通过图像处理的方式,完成上述原有虚拟角色与上述目标虚拟角色之间的替换(如,先对待替换表情包中的原有虚拟角色进行抠图处理,再使用目标虚拟角色填充待替换表情包中的空白角色区域)。
除此之外,在另一种优选的实施方式中,还可以使用预先训练好的模型来完成上述原有虚拟角色与上述目标虚拟角色之间的替换,以使替换后得到的目标表情包更加生动,图像细节处理更加自然;基于此,如图5所示,图5示出了本申请实施例提供的一种生成目标表情包的方法的流程示意图,其中,在执行上述步骤S102时,所述方法包括步骤S501,具体的:
S501,将所述待替换表情包与所述目标虚拟角色输入预先训练好的第二模型中,通过所述第二模型分别提取所述原有虚拟角色的骨骼动作信息以及所述目标虚拟角色的形象特征信息,以使所述第二模型基于提取出的骨骼动作信息和形象特征信息,输出得到所述目标表情包。
这里,第二模型是预先训练好的且能够执行图像特征提取任务和图像生成任务的模型;其中,图像特征提取任务是指模型能够从输入的图像数据中提取符合设定要求的目标特征信息,图像生成任务则是指模型能够根据提取出的目标特征信息,生成符合目标特征信息的图像数据;第二模型可以属于监督学习模型,也可以属于半监督学习模型;对于第二模型的原始模型结构,本申请实施例不作任何限定。
需要说明的是,由于第一模型的模型输入数据也可以是图像数据,也即,第一模型对于输入的图像数据所属的分类标签进行预测与第二模型对于输入的图像数据进行特征信息的提取具有一定的任务相似性(相当于两个模型的模型任务之间存在一定的学习共性),因此,从节约硬件与软件资源的角度,第一模型与第二模型也可以同属于一个完整的多任务模型;此时,多任务模型既可以完成第一模型的多标签分类任务,也可以完成第二模型的图像特征提取任务与图像生成任务;对于第一模型与第二模型之间是否完全独立,本申请实施例不作任何限定。
这里,第二模型在从待替换表情包中提取上述原有虚拟角色的骨骼动作信息时,若待替换表情包属于静态表情包(即单张表情图片),则第二模型只需对待替换表情包中的原有虚拟角色进行一次骨骼动作信息的提取;若待替换表情包属于动态表情包(如GIF动图),则第二模型可以通过相同的提取方式,对待替换表情包的每帧表情图片中的原有虚拟角色依次进行骨骼动作信息的提取,以得到原有虚拟角色在每帧表情图片中对应的具体骨骼动作信息。
具体的,提取的上述骨骼动作信息可以由多个骨骼关键点标签组成,每个骨骼关键点标签用于标记原有虚拟角色的一个骨骼关键点在待替换表情包中的具体位置;以图2所示的待替换表情包202为例,第二模型从待替换表情包202提取出的原有虚拟角色的骨骼动作信息可以是:头部骨骼关键点标签x1、背部骨骼关键点标签x2和x3(其中,背部骨骼关键点标签x2和x3用于界定原有虚拟角色的背部在待替换表情包202中的具体显示长度)、上肢骨骼动作关键点标签x4和下肢骨骼动作关键点标签x5。
需要说明的是,上述示例所示的骨骼关键点标签x1-x5仅用作举例说明,对于第二模型实际能够提取的具体骨骼动作信息,本申请实施例并不进行任何限定。
具体的,第二模型在从目标虚拟角色中提取形象特征信息时,提取出的形象特征信息包括但不限于以下至少之一:角色发型特征信息、角色脸部的五官特征信息、角色身材特征信息、角色服饰特征信息、角色全身的装饰特征信息;对于第二模型能够提取出的上述形象特征信息的具体信息内容,本申请实施例同样不作任何限定。
具体的,针对上述步骤S501中的第二模型,如图6所示,图6示出了本申请实施例提供的一种训练得到第二模型的方法的流程示意图,其中,在执行上述步骤S501之前,所述方法包括步骤S601-S604,具体的:
S601,获取多个样本表情包以及多个样本虚拟角色,并将每一所述样本虚拟角色和所述多个样本表情包作为一组目标训练样本。
这里,每组目标训练样本中包括一个样本虚拟角色以及多个样本表情包,从而,将每组目标训练样本作为模型训练样本,可以训练模型使用每组目标训练样本中的样本虚拟角色(相当于上述目标虚拟角色)替换同组目标训练样本中每一个样本表情包(相当于上述待替换表情包)中的已有虚拟角色(相当于上述原有虚拟角色)。
具体的,每一所述样本表情包携带有骨骼动作标签,每一所述样本虚拟角色携带有多个形象特征标签;其中,所述骨骼动作标签用于表征所述样本表情包中已有虚拟角色的骨骼动作信息;所述多个形象特征标签用于表征所述样本虚拟角色的形象特征信息。
S602,针对每组目标训练样本,将该组目标训练样本输入第二原始模型中,通过所述第二原始模型分别提取该组目标训练样本中每一所述样本表情包中已有虚拟角色的骨骼动作信息以及该组目标训练样本中所述样本虚拟角色的形象特征信息,以使所述第二原始模型基于提取出的骨骼动作信息和形象特征信息,输出得到每一所述样本表情包对应的预测表情包。
这里,第二原始模型即为第二模型的原始模型,第二原始模型提取骨骼动作信息的方式以及提取形象特征信息的方式与上述步骤S501中的提取方式相同,重复之处在此不再赘述。
具体的,上述预测表情包表征所述样本表情包中的已有虚拟角色替换为同组目标训练样本中的样本虚拟角色后的表情包;例如,若同一组目标训练样本中包括样本虚拟角色a和样本表情包p1,则第二原始模型从样本表情包p1中提取已有虚拟角色的骨骼动作信息,从样本虚拟角色a中提取形象特征信息,基于提取的上述骨骼动作信息和上述形象特征信息,第二原始模型即可输出样本表情包p1对应的预测表情包k1;其中,预测表情包k1即为将样本表情包p1中的已有虚拟角色替换为样本虚拟角色a之后得到的表情包。
S603,针对每一所述样本表情包对应的所述预测表情包,通过所述第二原始模型提取该样本表情包对应的预测表情包中虚拟角色的目标骨骼动作信息和目标形象特征信息,并分别计算得到所述目标骨骼动作信息与该样本表情包携带的所述骨骼动作标签之间的第一训练损失,以及所述目标形象特征信息与同组目标训练样本中样本虚拟角色携带的所述形象特征标签之间的第二训练损失。
这里,预测表情包本质上相当于基于样本表情包中提取出的骨骼动作信息与基于样本虚拟角色中提取出的形象特征信息而生成的全新表情包。
基于此,在计算第二原始模型的模型训练损失时,可以通过第二原始模型按照同样的特征提取方式,先从预测表情包中提取出当前预测表情包中虚拟角色的目标骨骼动作信息和目标形象特征信息,然后计算目标骨骼动作信息与样本表情包中已有虚拟角色的真实骨骼动作信息(即上述骨骼动作标签)之间的第一训练损失,以及计算目标形象特征信息与样本虚拟角色的真实形象特征信息(即上述形象特征标签)之间的第二训练损失,以将计算得到的第一训练损失与第二训练损失作为第二原始模型的模型训练损失(相当于此时的第一训练损失和第二训练损失可以用于表征第二原始模型在执行图像特征提取任务和图像生成任务的过程中,相较于真实的特征标签所产生的预测损失)。
S604,基于计算得到的每一所述第一训练损失以及每一所述第二训练损失,调整所述第二原始模型的模型参数,得到包括调整好的模型参数在内的所述第二模型。
具体的,可以使用第一训练损失来明确第二原始模型在执行针对样本表情包中已有虚拟角色的骨骼动作信息的图像特征提取任务和执行最终生成预测表情包的图像生成任务中对于任务执行的准确程度。
具体的,可以使用第二训练损失来明确第二原始模型在执行针对样本虚拟角色的形象特征信息的图像特征提取任务和执行最终生成预测表情包的图像生成任务中对于任务执行的准确程度。
基于此,可以根据计算出的上述第一训练损失和上述第二训练损失,调整第二原始模型的模型参数,直至第二原始模型达到收敛(即计算出的第一训练损失和第二训练损失都达到最小值),此时得到包括调整好的模型参数在内的第二原始模型模型作为上述第二模型(即结束模型训练过程)。
基于本申请实施例提供的上述表情包的生成方法,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的目标聊天信息,从预设表情图库中,确定与目标聊天信息相匹配的备选表情包作为待替换表情包;响应针对聊天界面中显示的表情包生成按钮的触发操作,获取用户预先指定的目标虚拟角色,并将待替换表情包中的原有虚拟角色替换为目标虚拟角色,得到目标表情包;在聊天界面中显示目标表情包。通过这种方式,本申请在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
基于同一发明构思,本申请还提供了与上述表情包的生成方法对应的表情包的生成装置,由于本申请实施例中的表情包的生成装置解决问题的原理与本申请实施例中上述表情包的生成方法相似,因此表情包的生成装置的实施可以参见上述表情包的生成方法的实施,重复之处不再赘述。
参照图7所示,图7示出了本申请实施例所提供的一种表情包的生成装置的结构示意图,所述生成装置包括:
表情查找模块701,用于获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包;
表情生成模块702,用于响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包;
表情显示模块703,用于在所述聊天界面中显示所述目标表情包。
在一种可选的实施方式中,在所述根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包时,表情查找模块701,用于:
将所述目标聊天信息输入预先训练好的第一模型中,通过所述第一模型对所述目标聊天信息所属的分类标签进行预测,输出得到针对所述目标聊天信息的第一分类标签预测结果;其中,所述第一分类标签预测结果至少包括以下之一:所述目标聊天信息所属的语义标签、语气标签、情绪标签;
将所述第一分类标签预测结果与所述预设表情图库中每一备选表情包所属的分类标签进行匹配,确定所属的分类标签与所述第一分类标签预测结果之间的匹配程度最高的备选表情包作为所述待替换表情包。
在一种可选的实施方式中,表情查找模块701,用于通过以下方法训练所述第一模型:
获取多个训练样本以及每一所述训练样本携带的真实分类标签;其中,所述真实分类标签至少包括以下之一:所述训练样本所属的语义标签、语气标签、情绪标签;
将每一所述训练样本输入第一原始模型中,通过所述第一原始模型对每一所述训练样本所属的分类标签进行预测,输出得到针对每一所述训练样本的第二分类标签预测结果;
针对每一所述训练样本,计算该训练样本携带的所述真实分类标签与该训练样本的所述第二分类标签预测结果之间的预测损失,并基于计算得到的所述预测损失调整所述第一原始模型的模型参数,得到包括调整好的模型参数在内的所述第一模型。
在一种可选的实施方式中,所述训练样本包括属于图像类型的图像样本数据;表情查找模块701,用于通过以下方法预先确定所述预设表情图库中每一所述备选表情包所属的分类标签:
将所述预设表情图库中的每一所述备选表情包输入所述第一模型中,通过所述第一模型对每一所述备选表情包所属的分类标签进行预测,输出得到每一所述备选表情包所属的分类标签。
在一种可选的实施方式中,在所述将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包时,表情生成模块702,用于:
将所述待替换表情包与所述目标虚拟角色输入预先训练好的第二模型中,通过所述第二模型分别提取所述原有虚拟角色的骨骼动作信息以及所述目标虚拟角色的形象特征信息,以使所述第二模型基于提取出的骨骼动作信息和形象特征信息,输出得到所述目标表情包。
在一种可选的实施方式中,表情生成模块702,用于通过以下方法训练得到所述第二模型:
获取多个样本表情包以及多个样本虚拟角色,并将每一所述样本虚拟角色和所述多个样本表情包作为一组目标训练样本;其中,每一所述样本表情包携带有骨骼动作标签,每一所述样本虚拟角色携带有多个形象特征标签;所述骨骼动作标签用于表征所述样本表情包中已有虚拟角色的骨骼动作信息;所述多个形象特征标签用于表征所述样本虚拟角色的形象特征信息;
针对每组目标训练样本,将该组目标训练样本输入第二原始模型中,通过所述第二原始模型分别提取该组目标训练样本中每一所述样本表情包中已有虚拟角色的骨骼动作信息以及该组目标训练样本中所述样本虚拟角色的形象特征信息,以使所述第二原始模型基于提取出的骨骼动作信息和形象特征信息,输出得到每一所述样本表情包对应的预测表情包;其中,所述预测表情包表征所述样本表情包中的已有虚拟角色替换为同组目标训练样本中的样本虚拟角色后的表情包;
针对每一所述样本表情包对应的所述预测表情包,通过所述第二原始模型提取该样本表情包对应的预测表情包中虚拟角色的目标骨骼动作信息和目标形象特征信息,并分别计算得到所述目标骨骼动作信息与该样本表情包携带的所述骨骼动作标签之间的第一训练损失,以及所述目标形象特征信息与同组目标训练样本中样本虚拟角色携带的所述形象特征标签之间的第二训练损失;
基于计算得到的每一所述第一训练损失以及每一所述第二训练损失,调整所述第二原始模型的模型参数,得到包括调整好的模型参数在内的所述第二模型。
在一种可选的实施方式中,在所述获取所述用户预先指定的目标虚拟角色时,表情生成模块702,用于:
当所述聊天界面属于游戏中的聊天界面时,获取所述用户在所述游戏中的游戏角色或是自定义的虚拟用户形象作为所述目标虚拟角色。
在一种可选的实施方式中,在所述获取所述用户预先指定的目标虚拟角色时,表情生成模块702,还用于:
在所述聊天界面中显示多个备选虚拟角色;
响应针对所述多个备选虚拟角色的选择操作,确定所述选择操作指定的备选虚拟角色作为所述目标虚拟角色。
基于本申请实施例提供的上述表情包的生成装置,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的目标聊天信息,从预设表情图库中,确定与目标聊天信息相匹配的备选表情包作为待替换表情包;响应针对聊天界面中显示的表情包生成按钮的触发操作,获取用户预先指定的目标虚拟角色,并将待替换表情包中的原有虚拟角色替换为目标虚拟角色,得到目标表情包;在聊天界面中显示目标表情包。通过这种方式,本申请在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
基于同一发明构思,本申请还提供了与上述表情包的生成方法对应的电子设备,由于本申请实施例中的电子设备解决问题的原理与本申请实施例中上述表情包的生成方法相似,因此电子设备的实施可以参见上述表情包的生成方法的实施,重复之处不再赘述。
图8为本申请实施例提供的一种电子设备800的结构示意图,包括:处理器801、存储器802和总线803,存储器802存储有处理器801可执行的机器可读指令,当电子设备运行如实施例中的一种表情包的生成方法时,处理器801与存储器802之间通过总线803通信,处理器801执行所述机器可读指令,其中,处理器801执行所述机器可读指令时实现以下步骤,具体的:
获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包;
响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包;
在所述聊天界面中显示所述目标表情包。
在一种可选的实施方式中,在所述根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包时,处理器801用于:
将所述目标聊天信息输入预先训练好的第一模型中,通过所述第一模型对所述目标聊天信息所属的分类标签进行预测,输出得到针对所述目标聊天信息的第一分类标签预测结果;其中,所述第一分类标签预测结果至少包括以下之一:所述目标聊天信息所属的语义标签、语气标签、情绪标签;
将所述第一分类标签预测结果与所述预设表情图库中每一备选表情包所属的分类标签进行匹配,确定所属的分类标签与所述第一分类标签预测结果之间的匹配程度最高的备选表情包作为所述待替换表情包。
在一种可选的实施方式中,处理器801用于通过以下方法训练所述第一模型:
获取多个训练样本以及每一所述训练样本携带的真实分类标签;其中,所述真实分类标签至少包括以下之一:所述训练样本所属的语义标签、语气标签、情绪标签;
将每一所述训练样本输入第一原始模型中,通过所述第一原始模型对每一所述训练样本所属的分类标签进行预测,输出得到针对每一所述训练样本的第二分类标签预测结果;
针对每一所述训练样本,计算该训练样本携带的所述真实分类标签与该训练样本的所述第二分类标签预测结果之间的预测损失,并基于计算得到的所述预测损失调整所述第一原始模型的模型参数,得到包括调整好的模型参数在内的所述第一模型。
在一种可选的实施方式中,所述训练样本包括属于图像类型的图像样本数据;处理器801用于通过以下方法预先确定所述预设表情图库中每一所述备选表情包所属的分类标签:
将所述预设表情图库中的每一所述备选表情包输入所述第一模型中,通过所述第一模型对每一所述备选表情包所属的分类标签进行预测,输出得到每一所述备选表情包所属的分类标签。
在一种可选的实施方式中,在所述将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包时,处理器801用于:
将所述待替换表情包与所述目标虚拟角色输入预先训练好的第二模型中,通过所述第二模型分别提取所述原有虚拟角色的骨骼动作信息以及所述目标虚拟角色的形象特征信息,以使所述第二模型基于提取出的骨骼动作信息和形象特征信息,输出得到所述目标表情包。
在一种可选的实施方式中,处理器801用于通过以下方法训练得到所述第二模型:
获取多个样本表情包以及多个样本虚拟角色,并将每一所述样本虚拟角色和所述多个样本表情包作为一组目标训练样本;其中,每一所述样本表情包携带有骨骼动作标签,每一所述样本虚拟角色携带有多个形象特征标签;所述骨骼动作标签用于表征所述样本表情包中已有虚拟角色的骨骼动作信息;所述多个形象特征标签用于表征所述样本虚拟角色的形象特征信息;
针对每组目标训练样本,将该组目标训练样本输入第二原始模型中,通过所述第二原始模型分别提取该组目标训练样本中每一所述样本表情包中已有虚拟角色的骨骼动作信息以及该组目标训练样本中所述样本虚拟角色的形象特征信息,以使所述第二原始模型基于提取出的骨骼动作信息和形象特征信息,输出得到每一所述样本表情包对应的预测表情包;其中,所述预测表情包表征所述样本表情包中的已有虚拟角色替换为同组目标训练样本中的样本虚拟角色后的表情包;
针对每一所述样本表情包对应的所述预测表情包,通过所述第二原始模型提取该样本表情包对应的预测表情包中虚拟角色的目标骨骼动作信息和目标形象特征信息,并分别计算得到所述目标骨骼动作信息与该样本表情包携带的所述骨骼动作标签之间的第一训练损失,以及所述目标形象特征信息与同组目标训练样本中样本虚拟角色携带的所述形象特征标签之间的第二训练损失;
基于计算得到的每一所述第一训练损失以及每一所述第二训练损失,调整所述第二原始模型的模型参数,得到包括调整好的模型参数在内的所述第二模型。
在一种可选的实施方式中,在所述获取所述用户预先指定的目标虚拟角色时,处理器801用于:
当所述聊天界面属于游戏中的聊天界面时,获取所述用户在所述游戏中的游戏角色或是自定义的虚拟用户形象作为所述目标虚拟角色。
在一种可选的实施方式中,在所述获取所述用户预先指定的目标虚拟角色时,处理器801还用于:
在所述聊天界面中显示多个备选虚拟角色;
响应针对所述多个备选虚拟角色的选择操作,确定所述选择操作指定的备选虚拟角色作为所述目标虚拟角色。
通过本申请实施例提供的上述电子设备,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的目标聊天信息,从预设表情图库中,确定与目标聊天信息相匹配的备选表情包作为待替换表情包;响应针对聊天界面中显示的表情包生成按钮的触发操作,获取用户预先指定的目标虚拟角色,并将待替换表情包中的原有虚拟角色替换为目标虚拟角色,得到目标表情包;在聊天界面中显示目标表情包。通过这种方式,本申请在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
基于同一发明构思,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行,所述处理器执行以下步骤:
获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包;
响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包;
在所述聊天界面中显示所述目标表情包。
在一种可选的实施方式中,在所述根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包时,所述处理器用于:
将所述目标聊天信息输入预先训练好的第一模型中,通过所述第一模型对所述目标聊天信息所属的分类标签进行预测,输出得到针对所述目标聊天信息的第一分类标签预测结果;其中,所述第一分类标签预测结果至少包括以下之一:所述目标聊天信息所属的语义标签、语气标签、情绪标签;
将所述第一分类标签预测结果与所述预设表情图库中每一备选表情包所属的分类标签进行匹配,确定所属的分类标签与所述第一分类标签预测结果之间的匹配程度最高的备选表情包作为所述待替换表情包。
在一种可选的实施方式中,所述处理器用于通过以下方法训练所述第一模型:
获取多个训练样本以及每一所述训练样本携带的真实分类标签;其中,所述真实分类标签至少包括以下之一:所述训练样本所属的语义标签、语气标签、情绪标签;
将每一所述训练样本输入第一原始模型中,通过所述第一原始模型对每一所述训练样本所属的分类标签进行预测,输出得到针对每一所述训练样本的第二分类标签预测结果;
针对每一所述训练样本,计算该训练样本携带的所述真实分类标签与该训练样本的所述第二分类标签预测结果之间的预测损失,并基于计算得到的所述预测损失调整所述第一原始模型的模型参数,得到包括调整好的模型参数在内的所述第一模型。
在一种可选的实施方式中,所述训练样本包括属于图像类型的图像样本数据;所述处理器用于通过以下方法预先确定所述预设表情图库中每一所述备选表情包所属的分类标签:
将所述预设表情图库中的每一所述备选表情包输入所述第一模型中,通过所述第一模型对每一所述备选表情包所属的分类标签进行预测,输出得到每一所述备选表情包所属的分类标签。
在一种可选的实施方式中,在所述将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包时,所述处理器用于:
将所述待替换表情包与所述目标虚拟角色输入预先训练好的第二模型中,通过所述第二模型分别提取所述原有虚拟角色的骨骼动作信息以及所述目标虚拟角色的形象特征信息,以使所述第二模型基于提取出的骨骼动作信息和形象特征信息,输出得到所述目标表情包。
在一种可选的实施方式中,所述处理器用于通过以下方法训练得到所述第二模型:
获取多个样本表情包以及多个样本虚拟角色,并将每一所述样本虚拟角色和所述多个样本表情包作为一组目标训练样本;其中,每一所述样本表情包携带有骨骼动作标签,每一所述样本虚拟角色携带有多个形象特征标签;所述骨骼动作标签用于表征所述样本表情包中已有虚拟角色的骨骼动作信息;所述多个形象特征标签用于表征所述样本虚拟角色的形象特征信息;
针对每组目标训练样本,将该组目标训练样本输入第二原始模型中,通过所述第二原始模型分别提取该组目标训练样本中每一所述样本表情包中已有虚拟角色的骨骼动作信息以及该组目标训练样本中所述样本虚拟角色的形象特征信息,以使所述第二原始模型基于提取出的骨骼动作信息和形象特征信息,输出得到每一所述样本表情包对应的预测表情包;其中,所述预测表情包表征所述样本表情包中的已有虚拟角色替换为同组目标训练样本中的样本虚拟角色后的表情包;
针对每一所述样本表情包对应的所述预测表情包,通过所述第二原始模型提取该样本表情包对应的预测表情包中虚拟角色的目标骨骼动作信息和目标形象特征信息,并分别计算得到所述目标骨骼动作信息与该样本表情包携带的所述骨骼动作标签之间的第一训练损失,以及所述目标形象特征信息与同组目标训练样本中样本虚拟角色携带的所述形象特征标签之间的第二训练损失;
基于计算得到的每一所述第一训练损失以及每一所述第二训练损失,调整所述第二原始模型的模型参数,得到包括调整好的模型参数在内的所述第二模型。
在一种可选的实施方式中,在所述获取所述用户预先指定的目标虚拟角色时,所述处理器用于:
当所述聊天界面属于游戏中的聊天界面时,获取所述用户在所述游戏中的游戏角色或是自定义的虚拟用户形象作为所述目标虚拟角色。
在一种可选的实施方式中,在所述获取所述用户预先指定的目标虚拟角色时,所述处理器还用于:
在所述聊天界面中显示多个备选虚拟角色;
响应针对所述多个备选虚拟角色的选择操作,确定所述选择操作指定的备选虚拟角色作为所述目标虚拟角色。
通过本申请实施例提供的上述计算机可读存储介质,获取用户在聊天界面中输入的目标聊天信息,并根据获取到的目标聊天信息,从预设表情图库中,确定与目标聊天信息相匹配的备选表情包作为待替换表情包;响应针对聊天界面中显示的表情包生成按钮的触发操作,获取用户预先指定的目标虚拟角色,并将待替换表情包中的原有虚拟角色替换为目标虚拟角色,得到目标表情包;在聊天界面中显示目标表情包。通过这种方式,本申请在聊天对话场景中,可以根据用户指定的目标虚拟角色以及输入的聊天信息,为用户生成既匹配于输入的聊天信息又包含指定的目标虚拟角色的定制化表情包,提高了表情包提供方式的灵活性且极大地满足了用户的个性化需求。
在本申请实施例中,该计算机可读存储介质被处理器运行时还可以执行其它机器可读指令,以执行如实施例中其它所述的表情包的生成方法,关于具体执行的表情包的生成方法步骤和原理参见方法侧实施例的说明,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种表情包的生成方法,其特征在于,所述生成方法包括:
获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包;
响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包;
在所述聊天界面中显示所述目标表情包。
2.根据权利要求1所述的生成方法,其特征在于,所述根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包,包括:
将所述目标聊天信息输入预先训练好的第一模型中,通过所述第一模型对所述目标聊天信息所属的分类标签进行预测,输出得到针对所述目标聊天信息的第一分类标签预测结果;其中,所述第一分类标签预测结果至少包括以下之一:所述目标聊天信息所属的语义标签、语气标签、情绪标签;
将所述第一分类标签预测结果与所述预设表情图库中每一备选表情包所属的分类标签进行匹配,确定所属的分类标签与所述第一分类标签预测结果之间的匹配程度最高的备选表情包作为所述待替换表情包。
3.根据权利要求2所述的生成方法,其特征在于,其中,通过以下方法训练所述第一模型:
获取多个训练样本以及每一所述训练样本携带的真实分类标签;其中,所述真实分类标签至少包括以下之一:所述训练样本所属的语义标签、语气标签、情绪标签;
将每一所述训练样本输入第一原始模型中,通过所述第一原始模型对每一所述训练样本所属的分类标签进行预测,输出得到针对每一所述训练样本的第二分类标签预测结果;
针对每一所述训练样本,计算该训练样本携带的所述真实分类标签与该训练样本的所述第二分类标签预测结果之间的预测损失,并基于计算得到的所述预测损失调整所述第一原始模型的模型参数,得到包括调整好的模型参数在内的所述第一模型。
4.根据权利要求3所述的生成方法,其特征在于,所述训练样本包括属于图像类型的图像样本数据;通过以下方法预先确定所述预设表情图库中每一所述备选表情包所属的分类标签:
将所述预设表情图库中的每一所述备选表情包输入所述第一模型中,通过所述第一模型对每一所述备选表情包所属的分类标签进行预测,输出得到每一所述备选表情包所属的分类标签。
5.根据权利要求1所述的生成方法,其特征在于,所述将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包,包括:
将所述待替换表情包与所述目标虚拟角色输入预先训练好的第二模型中,通过所述第二模型分别提取所述原有虚拟角色的骨骼动作信息以及所述目标虚拟角色的形象特征信息,以使所述第二模型基于提取出的骨骼动作信息和形象特征信息,输出得到所述目标表情包。
6.根据权利要求3所述的生成方法,其特征在于,通过以下方法训练得到所述第二模型:
获取多个样本表情包以及多个样本虚拟角色,并将每一所述样本虚拟角色和所述多个样本表情包作为一组目标训练样本;其中,每一所述样本表情包携带有骨骼动作标签,每一所述样本虚拟角色携带有多个形象特征标签;所述骨骼动作标签用于表征所述样本表情包中已有虚拟角色的骨骼动作信息;所述多个形象特征标签用于表征所述样本虚拟角色的形象特征信息;
针对每组目标训练样本,将该组目标训练样本输入第二原始模型中,通过所述第二原始模型分别提取该组目标训练样本中每一所述样本表情包中已有虚拟角色的骨骼动作信息以及该组目标训练样本中所述样本虚拟角色的形象特征信息,以使所述第二原始模型基于提取出的骨骼动作信息和形象特征信息,输出得到每一所述样本表情包对应的预测表情包;其中,所述预测表情包表征所述样本表情包中的已有虚拟角色替换为同组目标训练样本中的样本虚拟角色后的表情包;
针对每一所述样本表情包对应的所述预测表情包,通过所述第二原始模型提取该样本表情包对应的预测表情包中虚拟角色的目标骨骼动作信息和目标形象特征信息,并分别计算得到所述目标骨骼动作信息与该样本表情包携带的所述骨骼动作标签之间的第一训练损失,以及所述目标形象特征信息与同组目标训练样本中样本虚拟角色携带的所述形象特征标签之间的第二训练损失;
基于计算得到的每一所述第一训练损失以及每一所述第二训练损失,调整所述第二原始模型的模型参数,得到包括调整好的模型参数在内的所述第二模型。
7.根据权利要求1所述的生成方法,其特征在于,所述获取所述用户预先指定的目标虚拟角色,包括:
当所述聊天界面属于游戏中的聊天界面时,获取所述用户在所述游戏中的游戏角色或是自定义的虚拟用户形象作为所述目标虚拟角色。
8.根据权利要求1所述的生成方法,其特征在于,所述获取所述用户预先指定的目标虚拟角色,还包括:
在所述聊天界面中显示多个备选虚拟角色;
响应针对所述多个备选虚拟角色的选择操作,确定所述选择操作指定的备选虚拟角色作为所述目标虚拟角色。
9.一种表情包的生成装置,其特征在于,所述生成装置包括:
表情查找模块,用于获取用户在聊天界面中输入的目标聊天信息,并根据获取到的所述目标聊天信息,从预设表情图库中,确定与所述目标聊天信息相匹配的备选表情包作为待替换表情包;
表情生成模块,用于响应针对所述聊天界面中显示的表情包生成按钮的触发操作,获取所述用户预先指定的目标虚拟角色,并将所述待替换表情包中的原有虚拟角色替换为所述目标虚拟角色,得到目标表情包;
表情显示模块,用于在所述聊天界面中显示所述目标表情包。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的表情包的生成方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任一所述的表情包的生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311013023.1A CN116977492A (zh) | 2023-08-11 | 2023-08-11 | 一种表情包的生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311013023.1A CN116977492A (zh) | 2023-08-11 | 2023-08-11 | 一种表情包的生成方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116977492A true CN116977492A (zh) | 2023-10-31 |
Family
ID=88481347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311013023.1A Pending CN116977492A (zh) | 2023-08-11 | 2023-08-11 | 一种表情包的生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977492A (zh) |
-
2023
- 2023-08-11 CN CN202311013023.1A patent/CN116977492A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111667811B (zh) | 语音合成方法、装置、设备和介质 | |
CN110807388B (zh) | 交互方法、装置、终端设备及存储介质 | |
CN105607756B (zh) | 信息推荐方法和装置 | |
CN110647636A (zh) | 交互方法、装置、终端设备及存储介质 | |
CN108293079A (zh) | 针对电话的跨设备伙伴应用 | |
CN111953763A (zh) | 一种业务数据推送方法、装置及存储介质 | |
CN109983430A (zh) | 确定包括在电子通信中的图形元素 | |
CN109086860B (zh) | 一种基于虚拟人的交互方法及系统 | |
CN111597006A (zh) | 应用分屏方法、装置、存储介质及电子设备 | |
CN110826441B (zh) | 交互方法、装置、终端设备及存储介质 | |
CN107977928B (zh) | 表情生成方法、装置、终端及存储介质 | |
CN106796583A (zh) | 用于识别和建议表情符号的系统和方法 | |
JPWO2007138911A1 (ja) | キャラクタ服飾決定装置、キャラクタ服飾決定方法、およびキャラクタ服飾決定プログラム | |
CN110691028B (zh) | 一种消息处理方法、装置、终端和存储介质 | |
CN113591489B (zh) | 语音交互方法、装置及相关设备 | |
CN112152901A (zh) | 一种虚拟形象控制方法、装置及电子设备 | |
CN113703585A (zh) | 交互方法、装置、电子设备及存储介质 | |
CN109683760A (zh) | 最近内容的显示方法、装置、终端及存储介质 | |
CN111506718A (zh) | 会话消息确定方法、装置、计算机设备和存储介质 | |
CN111787042A (zh) | 用于推送信息的方法和装置 | |
CN116977492A (zh) | 一种表情包的生成方法、装置、设备及存储介质 | |
CN115378890A (zh) | 信息输入方法、装置、存储介质及计算机设备 | |
CN111726285B (zh) | 即时通信方法及装置 | |
CN111062207B (zh) | 表情图像处理方法、装置、计算机存储介质及电子设备 | |
CN114531406A (zh) | 界面展示方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |