CN108520548A - 表情迁移方法 - Google Patents

表情迁移方法 Download PDF

Info

Publication number
CN108520548A
CN108520548A CN201810250171.8A CN201810250171A CN108520548A CN 108520548 A CN108520548 A CN 108520548A CN 201810250171 A CN201810250171 A CN 201810250171A CN 108520548 A CN108520548 A CN 108520548A
Authority
CN
China
Prior art keywords
expression
scapegoat
user
active user
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810250171.8A
Other languages
English (en)
Inventor
闫明佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810250171.8A priority Critical patent/CN108520548A/zh
Publication of CN108520548A publication Critical patent/CN108520548A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于移动终端的表情迁移方法，包括：步骤S200，获取当前用户的面部表情，识别面部表情的表情特征；步骤S300，如果所述面部表情的表情特征与静态表情特征不同，那么将面部表情迁移到替身模型集合F＝{Fx1,Fx2,...,Fxm}中的所有替身模型中，形成替身表情人脸；步骤S400，根据替身表情人脸生成用户的候选动画表情，并将候选动画表情呈现在候选表情区域中；步骤S500，如果当前用户选择的是候选动画表情Fxi，那么将其作为动画表情传输给与当前用户进行信息互动的对方用户，并显示在交互区域中。

Description

表情迁移方法
技术领域
本发明涉及一种信息处理方法，尤其涉及一种表情迁移方法。
背景技术
发送终端可以通过短信或者微信相接收终端传输文字信息，但是文字信息中无法表现出发送终端用户的语气和/或心情，使得接收终端用户在看到相同的文字时，很多时候不能够清楚理解发送终端用户的真实意图。由此，短信或者微信还支持表情符号，其单独使用或者与文字信息配合使用，能够更为准确的传输发送终端用户的意图。
现有技术中，表情符号具有实现方式。例如，EMOJI系列表情符号；一些专利或论文中介绍了识别用户的表情所传达的情绪信息，并在表情符号库中检索并选择与情绪信息相似的表情符号。但是，由于表情符号的数量是相对固定的，无法满足用户的个性化要求。而且也存在类似文字信息的问题，例如当用户发送“笑脸符号”时，并不意味着用户的真实意图是“开心”，有可能只是无聊的时候发个“笑脸”。FACEU等系统中允许对用户的真实表情进行拍摄，并根据拍摄的表情直接生成或者在拍摄的表情中附加动画信息，从而生成个性化的表情符号。但是，由于表情符号是由用户创作获得，因此对用户的拍摄技术和精力都存在较高要求，如果用户不认真拍摄，那么生成的表情符号可能看上去非常不美观，如果用户认真拍摄，那么无法满足实时性的要求。因此，折中的方式是用户预先拍摄个性化表情，并且在信息互动的时候使用这些预先拍摄的表情。但是，由于表情是非实时的，依然会存在无法接受终端用户无法了解发送终端用户真实意图的情况。
另一些专利或论文(例如ZL201310047850.2，图3-5的感受更直观)中介绍的技术中，能够实时的捕获用户的表情，并将用户表情迁移到虚拟人替身(Avatar)的面部，这位解决上述问题提供了契机。
发明内容
为了解决上述问题，本发明提供了一种基于移动终端的表情迁移方法，移动终端包括向当前用户呈现候选动画表情的候选表情区域，以及显示与对方用户进行信息互动的交互区域；移动终端存储有当前用户人脸的静态表情特征、n个虚拟人替身模型以及替身适应度向量A＝{A1,A2,...,An}，其中，Ai为第i个替身模型与当前用户的适应度，C1i和C2i、C1j和C2j分别为第i、j个模型在T1和T2时间内被用户选择的次数，G1i为第i个替身模型在T1时间内作为适应度最高的模型被当前用户放弃选择的次数，B1i为在T2时间内，接收到对方用户基于第i个替身模型生成的动画表情的负向反馈的次数，w1-w4为预设系数。
表情迁移方法包括：步骤S200，获取当前用户的面部表情，识别面部表情的表情特征；步骤S300，如果面部表情的表情特征与静态表情特征不同，那么将面部表情迁移到替身模型集合F＝{Fx1,Fx2,...,Fxm}中的所有替身模型中，形成替身表情人脸；其中xm＜n，且Ax1＝Ax2＝,...,＝Axm＝max(A)，max(A)为向量A中的最大值；步骤S400，根据替身表情人脸生成用户的候选动画表情，并将候选动画表情呈现在候选表情区域中；步骤S500，如果当前用户选择的是候选动画表情Fxi，那么将其作为动画表情传输给与当前用户进行信息互动的对方用户，并显示在交互区域中。
附图说明
图1是本发明的移动终端显示界面的示意图；
图2是本发明的示例性的虚拟人替身模型的示意图；
图3是本发明的表情迁移方法的流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本发明提供了一种基于移动终端的表情迁移方法。如图1所示，移动终端包括前置摄像装置10和显示区域，前置摄像装置10用于捕获包含人脸的图像或视频信息，显示区域优选实现为触摸屏。进一步的，显示区域包括候选表情/文字信息输入复用区域、交互区域、符号与控制按钮区域20。复用区域中，允许用户通过软键盘或手写输入等方式输入文字信息，以及允许用户在启动动画表情输入时向用户呈现候选动画表情和/或虚拟人替身模型。交互区域用于呈现使用终端的当前用户与对方用户进行通信的互动信息。符号与控制按钮区域20用于显示信息输入时的多个常用符号、特殊符号和控制按钮，优选的包括表情开关22。进一步的，当表情开关22处于“开”状态时，移动终端通过摄像装置10实时捕获用户的面部表情，表情开关22处于“开”状态时，移动终端不捕获用户的面部表情。
进一步的，移动终端存储有当前用户人脸以及人脸的静态表情特征，静态表情特征为用户的面部没有表情或者有不易被察觉的表情时的人脸特征。静态表情特征用于控制复用区域中候选表情区域和文字信息输入区域的切换，即在表情开关22处于“开”状态时，如果摄像装置10捕获的面部表情的特征与静态表情特征一致，则认为当前用户没有出现明显表情，将复用区域切换为文字信息输入区域；如果不一致，则认为当前用户出现了明显的表情变换(例如悲伤、高兴、恐惧、厌恶、愤怒和惊奇等表情)，则切换为候选表情区域。
进一步的，移动终端还存储有n个虚拟人替身(Avatar)模型。如图2左所示，虚拟人替身模型可以为类似于CN103093490B中所示的拟人化动物模型；如图2右所示，虚拟人替身模型也可以为类似于WO2016161553A中所示的卡通人物模型。本领域技术人员知晓，图2所示的替身模型仅是示例性的，本发明并不意图限制虚拟人替身的种类，例如，替身也可以是卡通动物、神话人物、拟人化的玩具等物品等。根据本发明的一个方面，虚拟人替身模型可以预先安装在移动终端中，例如品牌为华为、小米或OPPO的移动终端中，或者预先安装在信息互动的应用软件中，例如品牌为微信的APP中。这样，通过提供了n个虚拟人替身，移动终端的用户可以个性化的选择虚拟人替身作为表情迁移的对象，例如用户甲根据喜好选择图2左的替身，用户乙根据喜好选择图2右的替身。
进一步的，移动终端还存储有前述替身模型的替身适应度向量A＝{A1,A2,...,An}，
其中，上标T表示向量的转置，w1-w4为预设的正值权重系数。Ai为第i个替身模型与当前用户的适应度，C1i和C2i、C1j和C2j分别为第i、j个模型在T1和T2时间内被用户选择的次数，G1i为第i个替身模型在T1时间内作为适应度最高的模型被当前用户放弃选择的次数，B1i为在T2时间内，接收到对方用户基于第i个替身模型生成的动画表情的负向反馈的次数。
负向反馈体现在对方用户接收到当前用户的动画表情后一定时间AT(例如3-10分钟内)内回传的信息中。例如，当前用户发送动画表情后，对方用户在几秒内回复了“？”，即对方用户没有理解动画表情的含义。AT的取值也不能过大，此时对方用户很可能又重新开始了新的话题，一定范围内的调查基础上，选择AT在3-10分钟之间较为合适。优选的，本发明的移动终端中存储有负向反馈配置文件，其中记录有负向反馈的关键词和符号，当对方用户回复的信息与配置文件中记录的关键词和/或符号匹配时，认为该回复的信息为负向反馈。
本发明中，T1的取值小于T2，优选的，例如一定范围内的调查基础上，T1＝3天，T2＝14天较为合适。
进一步的，w3＞w1＞w2＞w4，例如，w4＝1，w2＝2，w1＝3，w3＝5。即本发明中，Ai的取值主要考虑两个正向因素和两个负向因素。正向因素包括近期(T1时间)内第i个替身的使用次数C1i和远期(T2时间)内第i个替身的使用次数C2i，使用次数越多，说明当前用户越喜好该替身，而且近期的权重要高于远期。负向因素包括近期(T1时间)内当前用户放弃选择的次数G1i和远期(T2时间)内负向反馈的次数B1i。放弃选择说明当前用户对第i个替身从喜好转向为不喜好，负向反馈说明虽然用户喜好但是对方用户不能更好的清楚理解含义，因此两者出现的次数越多，说明当前用户越不应当使用该替身。
本发明中通过适应度Ai的变化，能够自动的、动态的向用户推荐满足用户喜好(以及喜好变化)的替身模型来完成表情迁移。
如图3所示，本发明的表情迁移方法包括：
步骤S100，当检测到表情开关22处于打开状态时，执行步骤S200-S500。优选的，表情开关22的检测采用轮询方式，即移动终端的处理器每隔一段时钟周期，检测表情开关22是否处于“开”状态。
步骤S200，获取当前用户的面部表情，识别面部表情的表情特征。如果前置摄像装置10每个一定时间(例如0.1-0.3秒)拍摄的视频或图像中没有出现人脸，或者虽然出现人脸但是和移动终端中存储的用户人脸不一致，或者识别出的面部表情特征与移动终端中存储的静态表情特征一致或基本一致，那么不执行后续步骤。本领域技术人员知晓，可以采用任何现有技术判断视频或图像中判断是否存在人脸，判断人脸与存储的用户人脸是否一致，以及人脸的表情特征是否与静态表情特征一致。本发明并不意图对以上判断方法进行限定，任何现有技术中的上述方法均可以视为落入本发明的保护范围。另外，前置摄像装置10拍摄的视频或图像，可选的不保存到移动终端的存储介质中形成照片或视频。
通过步骤S100和步骤S200，可以在较多的情况下避免移动终端进行大运算、高耗电的后续步骤。
步骤S300，如果所述面部表情的表情特征与静态表情特征不同，那么将面部表情迁移到替身模型集合F＝{Fx1,Fx2,...,Fxm}中的所有替身模型中，形成替身表情人脸；其中xm＜n，且Ax1＝Ax2＝,...,＝Axm＝max(A)，max(A)为向量A中的最大值，即适应度的最大值。
本领域技术人员知晓，可以采用任何现有技术将面部表情迁移到特定的某个替身模型上，例如ZL201310047850.2中采用的技术，或者相芯科技公司采用的技术(具体技术效果可以参见http://www.faceunity.com/avatar-go.html，2018年3月23日访问)。发明并不意图对以上的表情迁移方式进行限定，任何现有技术中的上述方法均可以视为落入本发明的保护范围。
步骤S400，根据替身表情人脸(例如图像或视频)生成用户的候选动画表情，将复合区域切换到候选表情区域，并将候选动画表情呈现在候选表情区域中。该步骤中，如果xm＝1，那么在候选表情区域中呈现1个候选动画表情；如果xm>1，那么在候选表情区域成呈现多个候选动画表情。进一步的，除了候选动画表情外，在候选表情区域中还根据适应度的大小，向当前用户呈现多个没有进行表情迁移的原始替身模型(或者其缩略图)集合F'＝{Fy1,Fy2,...,Fyk}，其中yk＜n，且Ay1≥Ay2≥,...,≥Aym，以供用户选择。本发明中，F'可以为全部的原始替身模型，但优选为原始替身模型的一部分。而且，在候选表情区域中无法全部显示候选动画表情和原始替身模型时，可以采用如微信中分页的方式进行显示。
本发明中，优选的，将替身表情人脸生成用户的候选动画表情具体包括：获得候选动画表情的分辨率，该分辨率一般低于替身表情人脸的分辨率；然后，根据候选动画表情的分辨率，将替身表情人脸的图像或视频进行下采样，形成候选动画表情。从而使得候选动画表情占用的空间较小，适于信息互动。
步骤S500，如果当前用户选择的是候选动画表情(例如根据替身模型Fxi生成的候选动画表情)，那么将其作为动画表情传输给与当前用户进行信息互动的对方用户，并显示在交互区域中。同时，将Fxi对应的C1i的值加1；如果xm＞1，那么将F中除Fxi之外的所有替身模型的G1i减1。
如果当前用户选择的是原始替身模型集合F'中原始替身模型，那么，所述步骤S500进一步包括：
步骤S510，获得选择的原始替身模型Fyi，并将当前用户的面部表情迁移到Fyi，生成候选动画表情；
步骤S520，将候选动画表情传输给当前用户进行信息互动的对方用户；
步骤S530，将Fyi的值C1i加1，将F中所有替身模型的G1i减1。
通过以上实施方式，本发明能够实时、自动、低功耗的获取用户的表情，并将表情个性化的迁移到虚拟人替身模型上，使得对方用户能够通过实时的表情理解当前用户的真实意图，克服了现有技术的缺陷。
以上所述，仅是本发明的较佳实施方式，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种基于移动终端的表情迁移方法，其特征在于，所述移动终端包括向当前用户呈现候选动画表情的候选表情区域，以及显示与对方用户进行信息互动的交互区域；所述移动终端存储有当前用户人脸的静态表情特征、n个虚拟人替身模型以及替身适应度向量A＝{A1,A2,...,An}，其中，Ai为第i个替身模型与当前用户的适应度，C1i和C2i、C1j和C2j分别为第i、j个模型在T1和T2时间内被用户选择的次数，G1i为第i个替身模型在T1时间内作为适应度最高的模型被当前用户放弃选择的次数，B1i为在T2时间内，接收到对方用户基于第i个替身模型生成的动画表情的负向反馈(例如对方回复表示不理解含义的“？”)的次数，w1-w4为预设系数；
所述表情迁移方法包括：
步骤S200，获取当前用户的面部表情，识别面部表情的表情特征；
步骤S300，如果所述面部表情的表情特征与静态表情特征不同，那么将面部表情迁移到替身模型集合F＝{Fx1,Fx2,...,Fxm}中的所有替身模型中，形成替身表情人脸；其中xm＜n，且Ax1＝Ax2＝,...,＝Axm＝max(A)，max(A)为向量A中的最大值；
步骤S400，根据替身表情人脸生成用户的候选动画表情，并将候选动画表情呈现在候选表情区域中；
步骤S500，如果当前用户选择的是候选动画表情Fxi，那么将其作为动画表情传输给与当前用户进行信息互动的对方用户，并显示在交互区域中。
2.根据权利要求1所述的表情迁移方法，其特征在于，w3＞w1＞w2＞w4。
3.根据权利要求2所述的表情迁移方法，其特征在于，步骤S400中，还在候选表情区域中还根据适应度的大小，向当前用户呈现多个没有进行表情迁移的原始替身模型集合F'＝{Fy1,Fy2,...,Fyk}，其中yk＜n，且Ay1≥Ay2≥,...,≥Aym。
4.根据权利要求3所述的表情迁移方法，其特征在于，所述步骤S500进一步包括：
所述步骤S500进一步包括：
步骤S510，获得选择的原始替身模型Fyi，并将当前用户的面部表情迁移到Fyi，生成候选动画表情；
步骤S520，将候选动画表情传输给当前用户进行信息互动的对方用户；
步骤S530，将Fyi的值C1i加1，将F中所有替身模型的G1i减1。
5.根据权利要求4所述的表情迁移方法，其特征在于，所述步骤S500中还包括：将Fxi对应的C1i的值加1；如果xm＞1，将F中除Fxi之外的所有替身模型的G1i减1。
6.根据权利要求1所述的表情迁移方法，其特征在于，T1为3天，T2为14天。
7.根据权利要求1所述的表情迁移方法，其特征在于，所述移动终端还向当前用户呈现表情开关，所述表情迁移方法还包括：
步骤S100，当检测到表情开关处于打开状态时，执行步骤S200-S500。
CN201810250171.8A 2018-03-26 2018-03-26 表情迁移方法 Pending CN108520548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810250171.8A CN108520548A (zh) 2018-03-26 2018-03-26 表情迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810250171.8A CN108520548A (zh) 2018-03-26 2018-03-26 表情迁移方法

Publications (1)

Publication Number Publication Date
CN108520548A true CN108520548A (zh) 2018-09-11

Family

ID=63434322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810250171.8A Pending CN108520548A (zh) 2018-03-26 2018-03-26 表情迁移方法

Country Status (1)

Country Link
CN (1) CN108520548A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840019A (zh) * 2019-02-22 2019-06-04 网易（杭州）网络有限公司 虚拟人物的控制方法、装置及存储介质
CN110517337A (zh) * 2019-08-29 2019-11-29 成都数字天空科技有限公司 动画角色表情生成方法、动画制作方法及电子设备
CN114415844A (zh) * 2021-12-17 2022-04-29 广西壮族自治区公众信息产业有限公司 一种动态键盘自动生成表情的输入方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840019A (zh) * 2019-02-22 2019-06-04 网易（杭州）网络有限公司 虚拟人物的控制方法、装置及存储介质
CN110517337A (zh) * 2019-08-29 2019-11-29 成都数字天空科技有限公司 动画角色表情生成方法、动画制作方法及电子设备
CN110517337B (zh) * 2019-08-29 2023-07-25 成都数字天空科技有限公司 动画角色表情生成方法、动画制作方法及电子设备
CN114415844A (zh) * 2021-12-17 2022-04-29 广西壮族自治区公众信息产业有限公司 一种动态键盘自动生成表情的输入方法

Similar Documents

Publication Publication Date Title
CN106227439B (zh) 用于捕获增强型数字图像和与之交互的设备和方法
CN106415431B (zh) 用于发送指令的方法、计算机可读介质和电子设备
CN108701013A (zh) 多任务环境中的智能数字助理
CN109463004A (zh) 数字助理服务的远场延伸
CN107430489A (zh) 共享用户可配置的图形构造
CN110109592A (zh) 头像创建和编辑
CN107977928B (zh) 表情生成方法、装置、终端及存储介质
WO2022037111A1 (zh) 图像处理方法及装置、互动式展示装置和电子设备
CN110286756A (zh) 视频处理方法、装置、系统、终端设备及存储介质
CN109219796A (zh) 实时视频上的数字触摸
CN110612533A (zh) 用于根据表情对图像进行识别、排序和呈现的方法
CN107294838A (zh) 社交应用的动画生成方法、装置、系统以及终端
CN109683714A (zh) 多媒体资源管理方法、装置及存储介质
CN111538456A (zh) 基于虚拟形象的人机交互方法、装置、终端以及存储介质
CN109660728B (zh) 一种拍照方法及装置
CN112749956B (zh) 信息处理方法、装置及设备
CN106228451A (zh) 一种漫画聊天系统
CN108885768A (zh) 信息处理系统、信息处理设备、信息处理方法以及记录介质
CN108520548A (zh) 表情迁移方法
CN110278140B (zh) 通讯方法及装置
CN109324688A (zh) 基于虚拟人行为标准的交互方法及系统
Liechti et al. A digital photography framework enabling affective awareness in home communication
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
CN106612229B (zh) 对用户生成内容进行反馈以及展示反馈信息的方法和装置
CN118227017A (zh) 扩展现实信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination