CN113221821A - 业务数据的推送方法、装置和服务器 - Google Patents

业务数据的推送方法、装置和服务器 Download PDF

Info

Publication number
CN113221821A
CN113221821A CN202110591469.7A CN202110591469A CN113221821A CN 113221821 A CN113221821 A CN 113221821A CN 202110591469 A CN202110591469 A CN 202110591469A CN 113221821 A CN113221821 A CN 113221821A
Authority
CN
China
Prior art keywords
data
target
client
preset
emotion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110591469.7A
Other languages
English (en)
Inventor
梁劭聪
刘强
曾光
黄岳斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110591469.7A priority Critical patent/CN113221821A/zh
Publication of CN113221821A publication Critical patent/CN113221821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本说明书提供了业务数据的推送方法、装置和服务器。可以先获取目标客户的人脸数据、语音数据和肢体动作数据这三种基于不同维度来反映目标客户的情绪变化的状态数据；再调用预先训练好的预设的人脸处理模型、预设的语音处理模型和预设的肢体动作处理模型分别处理上述三种状态数据，以得到针对该目标客户的基于人脸的第一类情绪识别结果、基于语音的第二类情绪识别结果和基于动作的第三类情绪识别结果；进一步，调用预设的情绪意愿预测模型综合上述多种不同类型的情绪识别结果，确定出该目标客户的目标意愿预测结果；进而，可以根据目标意愿预测结果，来有针对性地对该目标客户进行目标业务数据的有效推送，从而可以获得较好的推送效果。

Description

业务数据的推送方法、装置和服务器
技术领域
本说明书属于人工智能技术领域，尤其涉及业务数据的推送方法、装置和服务器。
背景技术
在许多业务处理场景(例如，银行理财服务的推荐场景)中，业务办理人员往往需要依赖个人经验，通过观察、分析客户的面部表情来主观判断该客户的情绪意愿，再对该客户推荐、营销相关的业务数据(例如，银行的某项理财服务等)。
但是，由于上述过程较为依赖业务办理人员的个人经验和主观判断，导致在确定客户的情绪意愿时很容易出现偏差，进而影响后续的业务数据的推送效果。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本说明书提供了一种业务数据的推送方法、装置和服务器，以准确地确定出目标客户当前的情绪意愿，并根据目标客户的情绪意愿，有针对性地对该目标客户进行业务数据的精准推送，获得较好的推送效果。
本说明书实施例提供了一种业务数据的推送方法，包括：
获取目标客户的人脸数据、语音数据和肢体动作数据；
调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
根据目标意愿预测结果，向目标客户推送目标业务数据。
在一些实施例中，所述方法还包括：
获取目标客户的基本信息数据；
相应的，调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果、第三类情绪识别结果和所述基本信息数据，得到目标意愿预测结果。
在一些实施例中，所述基本信息数据包括以下至少之一：年龄、性别、国籍。
在一些实施例中，在获取目标客户的人脸数据、语音数据和肢体动作数据之后，所述方法还包括：
根据预设的检测规则，对目标客户的人脸数据、语音数据和肢体动作数据进行无效数据检测；
在确定目标客户的人脸数据、语音数据和肢体动作数据中存在至少一个属于无效数据的情况下，剔除所述目标客户的人脸数据、语音数据和肢体动作数据；并生成重新获取数据的提示信息。
在一些实施例中，所述目标意愿预测结果包括：第一级情绪意愿标签和第二级情绪意愿标签；其中，所述第一级情绪意愿标签用于表征目标客户的主体情绪意愿，所述第二级情绪意愿标签用于表征目标客户在主体情绪意愿下的细节情绪意愿。
在一些实施例中，在所述第一级情绪意愿标签包括正向标签的情况下，所述第二级情绪意愿标签包括以下至少之一：感谢、喜爱、感兴趣、愉快；
在所述第一级情绪意愿标签包括负向标签的情况下，所述第二级情绪意愿标签包括以下至少之一：不感兴趣、厌恶、悲伤、愤怒。
在一些实施例中，根据目标意愿预测结果，向目标客户推送目标业务数据，包括：
组合第一级意愿标签和第二级情绪意愿标签，得到目标组合标签；
检索策略库，确定出与所述目标组合标签相匹配的预设的推送策略作为所述目标推送策略；
根据目标推送策略，向目标客户推送目标业务数据。
在一些实施例中，根据所述目标推送策略，向目标客户推送目标业务数据，包括：
根据所述目标推送策略，确定是否向目标客户推送目标业务数据；
在确定向目标客户推送目标业务数据的情况下，生成表征建议推送的第一指示信息和关于目标业务数据的第一类目标推广文本；
将所述第一指示信息、第一类目标推广文本、目标意愿预测结果发送至客服终端。
在一些实施例中，根据所述目标推送策略，确定是否向目标客户推送目标业务数据之后，所述方法还包括：
在确定不向目标客户推送目标业务数据的情况下，生成表征不建议推送的第二指示信息和第二类目标推广文本；
将所述第二指示信息、第二类目标推广文本发送至客服终端。
在一些实施例中，所述方法还包括：
获取样本客户的样本数据组，其中，所述样本数据组包含有的样本客户的人脸数据、样本客户的语音数据和样本客户的肢体动作数据；
根据预设的标注规则，分别对样本客户、样本客户的人脸数据、样本客户的语音数据和样本客户的肢体动作数据进行相应的标注，得到样本客户标注后的样本数据组；
利用所述样本客户标注后的样本数据组进行模型训练，以建立预设的人脸处理模型、预设的语音处理模型、预设的肢体动作处理模型，以及预设的情绪意愿预测模型。
本书明书实施例还提供了一种数据处理方法，包括：
获取目标客户的人脸数据、语音数据和肢体动作数据；
调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
根据目标意愿预测结果，确定目标客户针对目标业务数据的情绪意愿。
本书明书实施例还提供了一种业务数据的推送装置，包括：
获取模块，用于获取目标客户的人脸数据、语音数据和肢体动作数据；
第一处理模块，用于调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
第二处理模块，用于调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
推送模块，用于根据目标意愿预测结果，向目标客户推送目标业务数据。
本书明书实施例还提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现以下内容：获取目标客户的人脸数据、语音数据和肢体动作数据；调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；根据目标意愿预测结果，向目标客户推送目标业务数据。
本书明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现获取目标客户的人脸数据、语音数据和肢体动作数据；调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；根据目标意愿预测结果，向目标客户推送目标业务数据。
本说明书提供的业务数据的推送方法、装置和服务器，可以先获取目标客户的人脸数据、语音数据和肢体动作数据这三种基于不同维度来反映目标客户的情绪变化的状态数据；再调用预先训练好的预设的人脸处理模型、预设的语音处理模型和预设的肢体动作处理模型分别处理上述三种状态数据，以得到针对该目标客户的基于人脸表情的第一类情绪识别结果、基于语气音调等的第二类情绪识别结果和基于肢体语言的第三类情绪识别结果；进一步，调用预设的情绪意愿预测模型综合上述多种不同类型的情绪识别结果，确定出该目标客户的目标意愿预测结果；进而可以根据目标意愿预测结果，采用相匹配的策略来对该目标客户进行目标业务数据的精准推送，从而可以较为准确地确定出目标客户的当前情绪意愿，并根据该目标客户的情绪意愿有针对性地对该目标客户进行业务数据的推送，获得较好的推送效果。
附图说明
为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是应用本说明书实施例提供的业务数据的推送方法的系统的结构组成的一个实施例的示意图；
图2是本说明书的一个实施例提供的业务数据的推送方法的流程示意图；
图3是本说明书的一个实施例提供的数据处理方法的流程示意图；
图4是本说明书的一个实施例提供的服务器的结构组成示意图；
图5是本说明书的一个实施例提供的业务数据的推送装置的结构组成示意图；
图6是在一个场景示例中，应用本说明书实施例提供的业务数据的推送方法的一种实施例的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
本说明书实施例提供了一种业务数据的推送方法，所述业务数据的推送方法具体可以应用于包含有服务器、客户终端和客服终端的系统中。其中，参阅图1所示，服务器与客户终端、客服终端分别通过有有线或无线的方式相连，以进行具体的数据交互。
在本实施例中，所述服务器具体可以包括一种应用于网络平台一侧，能够实现数据传输、数据处理等功能的后台服务器。具体的，所述服务器例如可以为一个具有数据运算、存储功能以及网络交互功能的电子设备。或者，所述服务器也可以为运行于该电子设备中，为数据处理、存储和网络交互提供支持的软件程序。在本实施例中，并不具体限定所述服务器所包含的服务器数量。所述服务器具体可以为一个服务器，也可以为几个服务器，或者，由若干服务器形成的服务器集群。
在本实施例中，所述客户终端具体可以包括一种布设于客户一侧，能够实现针对客户的人脸数据、语音数据和肢体动作数据等多种状态数据的采集、数据传输等功能的前端电子设备。具体的，所述客户终端例如可以为内置或外连有摄像头、收音器(例如，麦克风)等设备的台式电脑、平板电脑、笔记本电脑、智能手机、自助服务机等。或者，所述客户终端也可以为能够运行于上述电子设备中的软件应用。例如，可以是在智能手机上运行的某APP等。
在本实施例中，所述客服终端具体可以包括一种布设于业务办理人员一侧，能够实现数据传输、数据展示等功能的前端电子设备。具体的，所以客服终端例如可以为设置有显示屏的台式电脑、平板电脑、笔记本电脑等。或者，所述客服终端也可以为能够运行于上述电子设备中的软件应用。例如，可以是在台式电脑上运行的某EXE程序等。
在本实施例中，当前客户正在业务办理大厅使用自助服务机(一种客户终端)自助办理A业务。业务办理员负责引导客户使用自助服务机完成所A业务的自助办理，同时还负责向客户推荐新推出的B业务。
具体实施时，当业务办理员引导客户使用自助服务机办理A业务的过程中，自助服务机可以每隔预设的时间段(例如，10秒等)采集该时间段内客户的音频作为该客户的语音数据，采集该时间段内包含有客户全身的时频作为该客户的肢体动作数据，采集该时间段最后一个时间点处客户的人脸照片作为该客户的人脸数据。
同时，自助服务机还可以通过采集客户在办理A业务时填写的数据，来搜集该客户的诸如性别、年龄、国籍、民族等基本信息数据。
自助服务机可以将所采集到的上述客户的人脸数据、语音数据、肢体动作数据，以及基本信息数据通过WIFI网发送至服务器。
服务器接收并获取该时间段客户的人脸数据、语音数据、肢体动作数据，以及基本信息数据。
接着，服务器可以调用预先训练好的预设的人脸处理模型单独处理该时间段客户的人脸数据，得到基于客户的人脸表情等所确定出的第一类情绪识别结果；调用预先训练好的预设的语音处理模型单独处理该时间段客户的语音数据，得到基于客户的语气音调等所确定出的第二类情绪识别结果；同时，还调用预先训练好的预设的肢体动作处理模型单独处理该时间段客户的肢体动作数据，得到基于客户的肢体语言等所确定出的第三类情绪识别结果。
进一步，服务器可以将上述客户的第一类情绪识别结果、第二类情绪识别结果、第三类情绪识别结果，连同客户的基本信息组合，作为模型输入，输入值预先训练好的预设的情绪意愿预测模型中。并运行该预设的情绪预测模型，通过处理该客户的第一类情绪识别结果、第二类情绪识别结果、第三类情绪识别结果和基本信息，得到对应的目标意愿预测结果。
然后，服务器可以根据目标意愿预测结果，获取并组合第一级意愿标签和第二级情绪意愿标签，得到能够较为精细、全面地反映出该客户对于待推荐的B业务的情绪意愿的目标组合标签。再通过检索存储有多个预设的推送策略的策略库，找到与目标组合标签相匹配的预设的推送策略作为目标推送策略。
进而，服务器可以根据目标推送策略，先确定是否可以向该客户推荐B业务。在确定可以向该客户推荐B业务的情况下，生成表征建议推荐的第一指示信息，以及关于目标业务数据的第一类目标推广文本。
进一步，服务器可以将上述第一指示信息、第一类目标推广文本、目标意愿预测结果通过手机网络发送至业务办理员所使用的手机(一种客服终端)上。
具体的，例如，服务器可以先根据目标意愿预测结果，得到的第一级意愿标签为正向，第二级情绪意愿标签为感兴趣，并通过组合得到对应的目标组合标签为：正向-感兴趣。
接着，服务器可以通过检索策略库找到与目标组合标签“正向-感兴趣”匹配的预设的目标推送策略；并根据该目标推送策略，确定出可以向该客户推荐B业务，并生成用于表征建议推荐的第一指示信息。同时，服务器还可以根据目标推送策略，结合B业务的具体内容，以及相匹配的营销话术，生成关于B业务的第一类目标推广文本，例如，“您好，有款新推出的B业务非常适合您，我给您介绍下吧”。
然后，服务器可以将上述第一指示信息、第一类目标推广文本，以及目标意愿预测结果，例如，目标组合标签“正向-感兴趣”一同发送至业务办理员的手机。
手机可以通过显示屏向业务办理员展示上述第一提示信息、第一类目标推广文本，以及目标意愿预测结果。业务办理员可以根据手机显示屏上所展示的目标意愿预测结果，确定该客户当前的情绪意愿较为适合进行B业务的推荐；同时，业务办理员根据手机显示屏上所展示的第一提示信息，可以确定当前可以向该客户推荐B业务。
进而，业务办理员在客户办理完A业务之后，可以采用手机显示屏所展示的第一类目标推广文本来与该客户进行针对性的交互，以向该客户推荐办理B业务。
通过上述实施例，可以综合、全面地利用客户多个不同维度的状态数据，以及该客户的基本信息数据，较为准确地确定出当前客户的情绪意愿；再根据该客户的情绪意愿，选择并利用相匹配的目标推送策略，有针对性地对该客户进行相应的业务推荐，从而可以获得相对较好的推荐效果，提高客户对所推荐业务的接受度。
参阅图2所示，本说明书实施例提供了一种业务数据的推送方法。其中，该方法具体应用于服务器一侧。具体实施时，该方法可以包括以下内容：
S201：获取目标客户的人脸数据、语音数据和肢体动作数据；
S202：调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
S203：调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
S204：根据目标意愿预测结果，向目标客户推送目标业务数据。
通过上述实施例，可以获取并利用目标客户多个不同维度的状态数据，结合预先训练好的预设人脸处理模型、预设的语音处理模型、预设的肢体动作处理模型，以及预设的情绪意愿预测模型，来较为准确地确定出目标客户的目标意愿预测结果；进而可以根据目标意愿预测结果，有针对性地向该目标客户进行目标业务数据的精准推送，从而可以获得较好的推送结果，提高对目标客户推送目标业务数据的推送成功率。
在一些实施例中，上述目标客户具体可以是待推送(或者推荐)目标业务数据的客户对象。例如，上述目标客户可以是来银行办理其他业务的客户，也可以是来超市采购商品的顾客，还可以是来保险公司办理保险业务的客户等等。
在一些实施例中，上述目标业务数据具体可以是待推送给目标客户的业务产品，或者业务服务。具体的，上述目标业务数据可以是一种新推出的理财产品，也可以是一种保险服务，还可以是一种会员服务等等。
在一些实施例中，上述目标客户的人脸数据具体可以是包含有目标客户的人脸的照片，或截图。上述目标客户的语音数据具体可以是录制有目标客户语音的一段音频数据。上述目标客户的肢体动作数据具体可以是录制有目标客户的手、脚等肢体部位动作的一段视频数据。当然，上述所列举的人脸数据、语音数据和肢体动作数据只是一种示意性说明。具体实施时，根据具体的应用场景和处理需求，还可以获取并使用其他形式的数据作为目标客户的人脸数据、语音数据和肢体动作数据。对此，本说明书不作限定。
在一些实施例中，具体实施时，可以与目标客户进行交互，并再交互的过程中通过录制当前时间段内包含有目标客户的手、脚等肢体动作的一段视频数据，作为对应当前时间段的目标客户的肢体动作数据；通过录制当前时间段内包含有目标客户的语音的一段音频数据，作为对应当前时间段的目标客户的语音数据；通过拍摄当前时间段内某一个时间点目标客户的人脸照片，作为对应当前时间段的目标客户的人脸数据。
在一些实施例中，上述预设的人脸处理模型具体可以理解为一种预先单独利用样本客户的人脸数据训练好的能够根据输入模型的人脸数据，输出对应的基于人脸表情的第一类情绪识别结果的数据处理模型。
具体的，上述预设的人脸处理模型具体运行时，可以先通过处理输入模型的目标客户的人脸数据，提取出目标客户的关键人脸特征(包括：眼部特征、口部特征、面颊特征等)；再单独基于上述关键人脸特征所反映出的人脸表情，预测出目标客户的情绪意愿，并输出对应的基于人脸表情的第一类情绪识别结果，作为模型输出。
在一些实施例中，上述预设的语音处理模型具体可以理解为一种预先单独利用样本客户的语音数据训练好的能够根据输入模型的语音数据，输出对应的基于语气音调等的第二类情绪识别结果的数据处理模型。
具体的，上述预设的语音处理模型具体运行时，可以先通过处理输入模型的目标客户的语音数据，提取出目标客户的关键语音特征(包括：语速特征、语调特征、音质特征、音量特征等)；再单独基于上述关键语音特征所反映出的语气音调等，预测出目标客户的情绪意愿，并输出对应的基于语气音调等的第二类情绪识别结果，作为模型输出。
在一些实施例中，上述预设的肢体动作处理模型具体可以理解为一种预先单独利用样本客户的肢体动作数据训练好的能够根据输入模型的肢体动作数据，输出对应的基于肢体语言的第三类情绪识别结果的数据处理模型。
具体的，上述预设的肢体动作处理模型具体运行时，可以先通过处理输入模型的目标客户的肢体动作数据，提取出目标客户的关键肢体动作特征(包括：动作幅度特征、动作速度特征、动作类型特征、动作频率特征等)；再单独基于上述关键肢体动作特征所反映出的肢体语言，预测出目标客户的情绪意愿，并输出对应的基于肢体语言的第三类情绪识别结果，作为模型输出。
在一些实施例中，具体实施时，可以将目标客户的人脸数据作为模型输入，输入预设的人脸处理模型；并通过运行该预设的人脸处理模型处理该目标客户的人脸数据，输出对应的第一类情绪识别结果。可以将目标客户的语音数据作为模型输入，输入预设的语音处理模型；并通过运行该预设的语音处理模型处理该目标客户的语音数据，输出对应的第二类情绪识别结果。可以将目标客户的肢体动作数据作为模型输入，输入预设的肢体动作处理模型；并通过运行该预设的肢体动作处理模型处理该目标客户的肢体动作数据，输出对应的第三类情绪识别结果。
在一些实施例中，上述预设的情绪语言预测模型具体可以理解为一种预先训练好的能够综合输入模型的基于多种不同状态数据(包括：语音数据、人脸数据和肢体动作数据)所得到的多个不同类型的情绪识别结果，输出对应的最终的目标意愿预测结果的数据处理模型。
在一些实施例中，具体实施时，可以将第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果组合成一个整体，作为模型输入，输入值预设的情绪意愿识别模型中，并运行该预设的情绪意愿识别模型。具体运行时，该模型可以同时综合上述三种基于不同类型状态数据得到的情绪识别结果，通过与样本客户进行匹配，以确定出该目标客户针对待推送的目标业务数据的情感意愿标签，作为最终的目标意愿预测结果。
在一些实施例中，所述目标意愿预测结果具体可以包括：第一级情绪意愿标签和第二级情绪意愿标签；其中，所述第一级情绪意愿标签用于表征目标客户的主体情绪意愿，所述第二级情绪意愿标签用于表征目标客户在主体情绪意愿下的细节情绪意愿。其中，上述第二级情绪意愿表也可以理解为隶属于第一级情绪意愿标签的子标签。
通过上述实施例，通过使用同时包含有第一级情绪意愿标签和第二级情绪意愿标签的目标意愿预测结果，可以从宏观主体和微观细节两个维度来全面、精准地刻画出目标客户的情绪意愿，以便后续可以同时基于上述两种情绪意愿标签，相对更加精准、有针对性地进行目标业务数据的推送。
在一些实施例中，在一些精度要求相对较低的情况下，上述目标意愿预测结果也可以是只包含有第一级情绪意愿标签，或只包含有第二级情绪意愿标签。
在一些实施例中，在所述第一级情绪意愿标签包括正向标签(optimistic，表征正向情绪)的情况下，所述第二级情绪意愿标签包括以下至少之一：感谢、喜爱、感兴趣、愉快；在所述第一级情绪意愿标签包括负向标签(pessimistic，表征负向情绪)的情况下，所述第二级情绪意愿标签包括以下至少之一：不感兴趣、厌恶、悲伤、愤怒。
当然，上述所列举的第一级情绪意愿标签、第二级情绪意愿标签只是一种示意性说明。具体实施时，根据具体的应用场景和处理需求，还可以包括其他类型的第一级情绪意愿标签、其他类型的第二级情绪意愿标签。例如，上述第一级情绪意愿标签还可以包括中性标签(neutral，表征中性情绪)；相应的，上述第二级情绪意愿表情可以包括平静等。
通过上述实施例，可以利上述多样化的第一级情绪意愿标签和第二级情绪意愿标签，来精细地刻画出客户多样且丰富的情绪意愿。
在一些实施例中，上述根据目标意愿预测结果，向目标客户推送目标业务数据，具体实施时，可以包括以下内容：
S1：组合第一级意愿标签和第二级情绪意愿标签，得到目标组合标签；
S2：检索策略库，确定出与所述目标组合标签相匹配的预设的推送策略作为所述目标推送策略；
S3：根据目标推送策略，向目标客户推送目标业务数据。
通过上述实施例，可以先根据目标意愿预测结果，确定出相匹配的目标推送策略；进而可以根据目标推送策略准确且有针对性地向目标客户进行目标业务数据的推送，从而可以得到较好的推送效果。
在一些实施例中，具体实施前，可以通过对历史推送记录的学习，配置多个预设的推送策略。其中，每一个预设的推送策略与一种组合标签对应，且每一个预设的推送策略可以携带有所对应的组合标签。此外，每一个预设的推送策略具体可以包含有针对所对应的组合标签的所描述的情绪意愿下，向客户推送业务数据的推送成功率、推送建议，以及相关的话术技巧、推送规则等。
在一些实施例中，上述根据所述目标推送策略，向目标客户推送目标业务数据，具体实施时，可以包括以下内容：
S1：根据所述目标推送策略，确定是否向目标客户推送目标业务数据；
S2：在确定向目标客户推送目标业务数据的情况下，生成表征建议推送的第一指示信息和关于目标业务数据的第一类目标推广文本；
S3：将所述第一指示信息、第一类目标推广文本、目标意愿预测结果发送至客服终端。
通过上述实施例，在根据目标推送策略，确定可以向目标客户推送目标业务数据的情况下，可以生成并向客服终端及时反馈相应的第一指示信息、目标意愿预测结果、第一类目标推广文本。这样客服人员(例如，业务办理人员)或客服机器人可以及时地响应客服终端所接收到的第一指示信息，并利用第一类目标推广文本和目标意愿预测结果，对目标客户进行有针对性且较有效的目标业务数据的推广，从而可以获得较好的推广效果。
在一些实施例中，在根据所述目标推送策略，确定是否向目标客户推送目标业务数据之后，所述方法具体实施时，还可以包括以下内容：
S1：在确定不向目标客户推送目标业务数据的情况下，生成表征不建议推送的第二指示信息和第二类目标推广文本；
S2：将所述第二指示信息、第二类目标推广文本发送至客服终端。
通过上述实施例，在根据目标推送策略，确定不适合向该目标客户推送目标业务数据的情况下，还可以生成并向客服终端及时反馈相应的第二指示信息和第二类目标推广文本。这样客服人员或客服机器人可以及时地响应客服终端所接收到的第二指示信息，不在当前情绪意愿情况下直接向该目标客户进行目标业务数据的推送，避免引起目标客户的反感；同时，还可以利用第二类目标推广文本与该目标客户进行相关交互，以引导、改变目标客户的情绪意愿，以便后续可以有机会再向该目标客户进行目标业务数据的推送。
在一些实施例中，所述方法具体实施时，还可以包括以下内容：每间隔预设的时间段获取该预设的时间段的目标客户的人脸数据、语音数据和肢体动作数据；再组合调用预设的人脸处理模型、预设的语音处理模型、预设的肢体动作处理模型，以及预设的情绪意愿预测模型，按照上述方式，处理该预设的时间段的目标客户的人脸数据、语音数据和肢体动作数据，以确定出该预设的时间段目标客户的目标意愿预测结果。这样可以每隔预设的时间段，根据上述目标客户的目标意愿预测结果，确定出该预设的时间段目标客户的情绪意愿，从而实现对目标客户的情绪意愿变化的实时追踪。进一步，可以根据目标客户的情绪意愿变化情况，积极地对目标客户进行相应的引导，以改变目标客户的情绪意愿；同时，还可以及时地在发现目标客户的情绪意愿适合推送目标业务数据的情况下，抓住时机，向目标客户进行目标业务数据的推送。从而可以在获得较好的推送效果的同时，为客户提供较好的客服体验。
在一些实施例中，所述方法具体实施时，还可以包括以下内容：获取目标客户的基本信息数据；相应的，调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果、第三类情绪识别结果和所述基本信息数据，得到目标意愿预测结果。
通过上述实施例，可以对基本信息类型不同的客户进行区分，从而可以调用预设的情绪意愿预测模型同时综合利用第一类情绪识别结果、第二类情绪识别结果、第三类情绪识别结果以及基本信息数据，得到准确度更高、误差更小的目标意愿预测结果。
在一些实施例中，上述目标客户的基本信息数据具体可以理解为一种区别于人脸数据、语音数据和肢体动作数据的，用于反映目标客户的身份背景状况的数据。
在一些实施例中，考虑到对于不同身份背景的客户，在通过人脸表情、语气音调、肢体语言等表达情绪意愿时往往会存在较大差异。例如，女性在通过人脸表情来表达正向的愉快情绪时，口部特征的幅度往往会远小于男性。又例如，青年人在通过肢体语言来表达负向的愤怒情绪时，肢体动作的频率往往会远高于老年人。再例如，不同民族的人受不同文化习俗的影响，在通过语气音调表达相同情绪时，可能是完全不同的等等。
因此，通过上述方式引入并利用目标客户的基本信息数据，可以对目标客户进行更加精细的区分，进而可以更加精准地确定出目标客户的情绪意愿。
在一些实施例中，所述基本信息数据具体可以包括以下至少之一：年龄、性别、国籍等等。当然，上述所列举的基本信息数据只是一种示意性说明。具体实施时，根据具体的应用场景和处理需求，还可以包含有其他类型的基本信息数据。例如，目标客户的民族、职业、学历等等。
通过上述实施例，可以利用较为丰富、多样的基本信息数据对目标客户进行较为精细地区分，进而可以针对不同身份背景的目标客户，综合利用第一类情绪识别结果、第二类情绪识别结果、第三类情绪识别结果，更加准确地确定出该目标客户的目标意愿预测结果。
在一些实施例中，在获取目标客户的人脸数据、语音数据和肢体动作数据之后，所述方法具体实施时，还可以包括以下内容：
S1：根据预设的检测规则，对目标客户的人脸数据、语音数据和肢体动作数据进行无效数据检测；
S2：在确定目标客户的人脸数据、语音数据和肢体动作数据中存在至少一个属于无效数据的情况下，剔除所述目标客户的人脸数据、语音数据和肢体动作数据；并生成重新获取数据的提示信息。
其中，上述无效数据具体可以理解为存在某些缺陷，且该缺陷会较大程度影响后续模型的情绪识别的数据。
具体的，例如，在所获取的人脸数据中如果检测到存在戴墨镜的缺陷，则可以将该人脸数据确定为一种无效数据。又例如，在所获取的语音数据中如果检测到存在环境噪声过大(例如，环境噪声的分贝值大于预设的分贝值)的缺陷时，则可以将该语音数据确定为一种无效数据等等。
通过上述实施例，可以及时地识别出无效数据，并对该无效数据进行剔除，重新获取数据，从而可以避免后续继续处理这类无效数据，导致数据处理资源和处理时间的浪费。
在一些实施例中，具体实施前，所述方法具体还可以包括以下内容：
S1：获取样本客户的样本数据组，其中，所述样本数据组包含有的样本客户的人脸数据、样本客户的语音数据和样本客户的肢体动作数据；
S2：根据预设的标注规则，分别对样本客户、样本客户的人脸数据、样本客户的语音数据和样本客户的肢体动作数据进行相应的标注，得到样本客户标注后的样本数据组；
S3：利用所述样本客户标注后的样本数据组进行模型训练，以建立预设的人脸处理模型、预设的语音处理模型、预设的肢体动作处理模型，以及预设的情绪意愿预测模型。
通过上述实施例，可以预先利用样本客户的样本数据组，训练得到效果较好、精度较高的预设的人脸处理模型、预设的语音处理模型、预设的肢体动作处理模型，以及预设的情绪意愿预测模型。
在一些实施例中，具体进行模型训练时，可以单独利用样本客户标注后的样本数据组中的标注后的人脸数据训练第一初始模型，得到对应的预设的人脸处理模型。可以单独利用样本客户标注后的样本数据组中的标注后的语音数据训练第二初始模型，得到对应的预设的语音处理模型。可以单独利用样本客户标注后的样本数据组中的标注后的肢体动作数据训练第三初始模型，得到对应的预设的肢体动作处理模型。
进一步，可以综合利用样本客户标注后的样本数据组，结合之前三个模型的输出结果进行组合，来训练第四初始模型，得到对应的预设的情绪意愿预测模型。
在一些实施例中，考虑到人脸数据中的不同部位表情特征、语音数据中的不同语音特征，以及肢体动作数据中的不同动作特征在表征不同情绪时所起到的作用时存在差别的。因此，在具体训练预设的人脸处理模型、预设的语音处理模型和预设的肢体动作处理模型的过程中，可以对模型所提取出的不同特征与不同情绪识别结果之间的匹配关系，有针对性地配置合适的权重值，以便能够更加快速地收敛得到符合要求的预设的人脸处理模型、预设的语音处理模型和预设的肢体动作处理模型。
在一些实施例中，具体的，例如，人脸中的眼部对表达忧伤较为重要，口部对表达快乐和厌恶较为重要，而前额对表达惊奇较为重要。此外，眼部、口部和前额对表达愤怒情绪也比较重要。进一步，还发现：口部肌肉对表达喜悦、怨恨等情绪比眼部肌肉更重要，而眼部肌肉对表达忧愁、惊骇等情绪则比口部肌肉更重要。例如，当人们表达真正的微笑时，面颊会上升，堆起眼周围的肌肉；当人们假笑时，仅是嘴唇的肌肉活动，下颚下垂。因此，在训练预设的人脸处理模型的过程中，可以引入上述关系来调整模型中的权重参数，从而可以更加快速地训练得到符合要求的预设的人脸处理模型。
由上可见，基于本说明书实施例提供的业务数据的推送方法，可以先获取目标客户的人脸数据、语音数据和肢体动作数据这三种基于不同维度来反映目标客户的情绪变化的状态数据；再调用预先训练好的预设的人脸处理模型、预设的语音处理模型和预设的肢体动作处理模型分别处理上述三种状态数据，以得到针对该目标客户的基于人脸的第一类情绪识别结果、基于语音的第二类情绪识别结果和基于动作的第三类情绪识别结果；进一步，调用预设的情绪意愿预测模型综合上述多种不同类型的情绪识别结果，确定出该目标客户的目标意愿预测结果；进而，可以根据目标意愿预测结果，采用相匹配的策略对该目标客户进行目标业务数据的推送，从而可以较为准确地确定出当前目标客户的情绪意愿，并根据该目标客户的情绪意愿更有针对性地对该目标客户进行业务数据的推送，获得较好的推送效果。
参阅图3所示，本说明书实施例还提供了一种数据处理方法，具体实施时，可以包括以下内容：
S301：获取目标客户的人脸数据、语音数据和肢体动作数据；
S302：调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
S303：调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
S304：根据目标意愿预测结果，确定目标客户针对目标业务数据的情绪意愿。
通过上述实施例，可以获取并利用目标客户多个不同维度的状态数据，来较为准确地确定出目标客户的目标意愿预测结果；进而可以根据目标意愿预测结果，精准地确定出该目标客户当前真实的情绪意愿。
本说明书实施例还提供一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：获取目标客户的人脸数据、语音数据和肢体动作数据；调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；根据目标意愿预测结果，向目标客户推送目标业务数据。
为了能够更加准确地完成上述指令，参阅图4所示，本说明书实施例还提供了另一种具体的服务器，其中，所述服务器包括网络通信端口401、处理器402以及存储器403，上述结构通过内部线缆相连，以便各个结构可以进行具体的数据交互。
其中，所述网络通信端口401，具体可以用于获取目标客户的人脸数据、语音数据和肢体动作数据。
所述处理器402，具体可以用于调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；根据目标意愿预测结果，向目标客户推送目标业务数据。
所述存储器403，具体可以用于存储相应的指令程序。
在本实施例中，所述网络通信端口401可以是与不同的通信协议进行绑定，从而可以发送或接收不同数据的虚拟端口。例如，所述网络通信端口可以是负责进行web数据通信的端口，也可以是负责进行FTP数据通信的端口，还可以是负责进行邮件数据通信的端口。此外，所述网络通信端口还可以是实体的通信接口或者通信芯片。例如，其可以为无线移动网络通信芯片，如GSM、CDMA等；其还可以为Wifi芯片；其还可以为蓝牙芯片。
在本实施例中，所述处理器402可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
在本实施例中，所述存储器403可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
本说明书实施例还提供了一种基于上述业务数据的推送方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取目标客户的人脸数据、语音数据和肢体动作数据；调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；根据目标意愿预测结果，向目标客户推送目标业务数据。
在本实施例中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施例中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
参阅图5所示，在软件层面上，本说明书实施例还提供了一种业务数据的推送装置，该装置具体可以包括以下的结构模块：
获取模块501，具体可以用于获取目标客户的人脸数据、语音数据和肢体动作数据；
第一处理模块502，具体可以用于调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
第二处理模块503，具体可以用于调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
推送模块504，具体可以用于根据目标意愿预测结果，向目标客户推送目标业务数据。
需要说明的是，上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
由上可见，基于本说明书实施例提供的业务数据的推送装置，可以调用预先训练好的预设的人脸处理模型、预设的语音处理模型和预设的肢体动作处理模型分别处理上述三种状态数据，以得到针对该目标客户的基于人脸的第一类情绪识别结果、基于语音的第二类情绪识别结果和基于动作的第三类情绪识别结果；进一步，调用预设的情绪意愿预测模型综合上述多种不同类型的情绪识别结果，确定出该目标客户的目标意愿预测结果；进而，可以根据目标意愿预测结果，采用相匹配的策略对该目标客户进行目标业务数据的推送，从而可以较为准确地确定出当前目标客户的情绪意愿，并根据该目标客户的情绪意愿更有针对性地对该目标客户进行业务数据的推送，获得较好的推送效果。
在一个具体的场景示例中，可以应用本说明书实施例提供的业务数据的推送方法来进行情绪状况判定，并把判定结果提供给银行柜员，以使得银行柜员可以根据判定结果及时调整对客户营销方法。具体实施过程可以参阅以下内容。
在本场景示例中，考虑到人类的情绪和认知状态可以以多种状态形式表现出来，包括语气和脸部表情。例如，面部肌肉可以产生数百种面部情感表达，言语可包含有多个不同的维度：从音调和共鸣，到旋律和语音质量。因此，表达、识别状态和情绪可以是非常微妙的，如眼睛抽搐或说话时的停顿模式都能反映出某种情绪。情绪随着时间推移展开，算法需要测量瞬间变化，以准确描述情绪状态。脸部表情的变化，可以有不同的含义，这取决于多种数据指标。为了准确识别人类的情绪，需要采集大量的数据样本(例如，样本客户的样本数据组)，并建立数据模型(例如，预设的人脸处理模型、预设的语音处理模型、预设的肢体动作处理模型和预设的情绪意愿预测模型等)，并通过智能匹配技术把采集到的实时数据与数据模型进行匹配处理，得出情绪识别判定结果，并把判定结果应用到具体的使用场景中。
在本场景示例中，基于上述思路构建了一套基于大数据分析以及生物识别技术的系统，该系统的构建过程整体可以分为三个部分：数据准备、数据分析、数据应用。以下对各部分进行说明：
1、数据准备
步骤一、数据采集。将涉及情绪分析的数据分为3类：人脸表情数据(例如，人脸数据)、肢体动作数据(例如，肢体动作数据)、语音数据。按类别可确定数据范围，并按照不同的人类基本信息条件(例如，基本信息数据)，包括：人种、年龄、性别、毛发情况等，进行相关数据的采集。
人脸表情数据
步骤二、数据选择。将采集到的3类数据，进行数据筛选，保留可使用的有效数据，剔除无效数据。
对于人脸表情数据，在判断人脸表情数据的有效性时，可以依据能否准确判定出当前面部表情为基准。具体有效性判定可以参阅表1所示。
表1
数据 有效性
戴眼镜 有效
戴墨镜 无效
戴帽子 有效
戴口罩 无效
对于肢体动作数据，在判断肢体动作数据的有效性时，可以依据能否准确判定出当前动作为基准。具体有效性判定可以参阅表2所示。
表2
数据 有效性
举起手 有效
戴上墨镜 有效
眨眼 无效
对于语音数据，在判断语音数据的有效性时，可以依据能否准确辨别出当前人声为基准。具体有效性判定可以参阅表3所示。
表3
数据 有效性
清晰的对话声 有效
夹杂大量环境噪声 无效
步骤三、数据预处理。将数据选择后的有效数据保存到大数据库中，并建立一套数据匹配机制。上述3类数据均建立自己独立的数据样本模型(例如，预设的人脸处理模型、预设的语音处理模型和预设的肢体动作处理模型)，供数据分析使用。同时，基于采集数据的多样性、差异性，使用3类数据的各种有效数据进行组合搭配，可以再建立多种基于不同数据条件的数据组合样本模型(例如，预设的情绪意愿预测模型)，并保存在大数据库中供数据分析使用。
人脸表情数据采集和模型分析判定处理过程可以参阅表4所示的例子。
表4
年龄 性别 眼部表情 口部表情 面颊表情 情绪分析结果
20 女 微笑 微笑 微笑 愉快
65 男 愤怒 愤怒 正常 愤怒
肢体动作数据采集和模型分析判定处理过程可以参阅表5所示的例子。
表5
年龄 性别 动作速度 动作幅度 动作频率 动作类型 情绪分析结果
20 女 正常 正常 低 普通 正常
65 男 快 大 高 带攻击性 愤怒
语音数据采集和模型分析判定处理过程可以参阅表6所示的例子。
表6
年龄 性别 语速 语调 音量 音质 语种 情绪分析结果
20 女 略快 愉快 正常 平稳 汉语 愉快
65 男 慢 低沉 稍大 稍微激动 汉语 不耐烦
数据组合样本模型分析判定处理过程可以参阅表7所示的例子。
表7
Figure BDA0003089442790000191
2、数据分析
在本场景示例中，使用人脸表情采集数据分析、肢体动作采集数据分析、语音采集数据分析进行情绪识别，分别把采集到的实时数据与数据库模型中的数据样本进行匹配，得出情绪识别判定结果。然后通过情绪识别引擎汇总三者的分析结果再进行综合判断，最终得出情绪识别判定结果。
情绪识别判定结果包括：情绪一级分类标签(第一级情绪意愿标签)：pessimistic(负向情绪)、neutral(中性情绪)、optimistic(正向情绪)等；情绪二级分类标签(第二级情绪意愿标签)：模型正向(thankful感谢、like喜爱、happy愉快)，模型中性(normal正常)，模型负向(uninterrupted不感兴趣、complaining抱怨、angry愤怒、disgusting厌恶、fearful恐惧、sad悲伤)等。
基于上述设计，系统具体可以包括以下多个模块：人脸表情采集模块、肢体动作采集模块、语音采集模块、情绪识别引擎判定模块。
在银行网点柜面，客户办理业务时，人脸表情采集模块可以对客户人脸表情进行捕捉，使用大数据库中的数据样本进行情绪识别分析判定，把判定后的结果发送至情绪识别引擎判定模块。
在银行网点柜面，客户办理业务时，肢体动作采集模块对客户肢体动作进行捕捉，使用大数据库中的数据样本进行情绪识别分析判定，把判定后的结果发送至情绪识别引擎判定模块。
在银行网点柜面，客户办理业务时，语音采集模块对客户语音进行捕捉，使用大数据库中的数据样本进行情绪识别分析判定，把判定后的结果发送至情绪识别引擎判定模块。
情绪识别引擎判定模块可以同时接收到人脸表情情绪识别判定结果、肢体动作情绪识别判定结果、语音情绪识别判定结果，汇总后在情绪识别引擎判定出最终的情绪状况分析结果，把情绪状况分析结果发送至应用端。
3、数据应用
在本场景示例中，可以在银行网点柜面窗口新增一台终端设备，用于实时采集客户生物特征信息，传输信息到后台数据库进行大数据分析，接收分析结果进行展示。
具体可以参阅图6所示，该设备正面(面向客户一侧)包括：摄像头、麦克风等结构。设备背面(面向柜员一侧)包括显示屏幕等结构。
设备中具体可以集成有上述人脸表情采集模块、肢体动作采集模块、语音采集模块，通过网络与数据库连接。从而可以使用“数据分析”部分中情绪识别引擎通过判定所得到的评分结果，在显示屏幕中提示客户当前情绪状态(例如，目标意愿预测结果)、给出参考回复话术(例如，相应的目标推广文本)以及营销力度建议(例如，相应的指示信息)。
具体的，当分析结果偏正向时，柜员可采取更积极的营销话术。当分析结果偏中性时，柜员维持当前营销话术。当分析结果偏负向时，柜员可以调整营销话术或停止营销。当客户的情绪发生改变时，实时在屏幕中闪烁提示最新结果。具体可以参阅表8所示的实例。
表8
客户情绪状态 营销力度建议 回复话术建议
愉快 积极营销 您好，请问这款理财产品您需要购买吗？
正常 营销其他产品 您好，或者您可以看看另外这款理财产品？
不感兴趣 中止营销 您好，以后有兴趣可以再找我了解。
通过上述场景示例，验证了本说明书所提供的业务数据的推送方法利用情绪识别技术对客户办理业务的意愿性进行评估，确实可以较好地维护客户关系、提高业务的推广成功率、提高银行网点人力资源利用率，同时，也有助于降低银行网点柜员的工作量、降低银行网点客户等候时间、降低客户流失。
虽然本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (14)

1.一种业务数据的推送方法，其特征在于，包括：
获取目标客户的人脸数据、语音数据和肢体动作数据；
调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
根据目标意愿预测结果，向目标客户推送目标业务数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取目标客户的基本信息数据；
相应的，调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果、第三类情绪识别结果和所述基本信息数据，得到目标意愿预测结果。
3.根据权利要求2所述的方法，其特征在于，所述基本信息数据包括以下至少之一：年龄、性别、国籍。
4.根据权利要求1所述的方法，其特征在于，在获取目标客户的人脸数据、语音数据和肢体动作数据之后，所述方法还包括：
根据预设的检测规则，对目标客户的人脸数据、语音数据和肢体动作数据进行无效数据检测；
在确定目标客户的人脸数据、语音数据和肢体动作数据中存在至少一个属于无效数据的情况下，剔除所述目标客户的人脸数据、语音数据和肢体动作数据；并生成重新获取数据的提示信息。
5.根据权利要求1所述的方法，其特征在于，所述目标意愿预测结果包括：第一级情绪意愿标签和第二级情绪意愿标签；其中，所述第一级情绪意愿标签用于表征目标客户的主体情绪意愿，所述第二级情绪意愿标签用于表征目标客户在主体情绪意愿下的细节情绪意愿。
6.根据权利要求5所述的方法，其特征在于，在所述第一级情绪意愿标签包括正向标签的情况下，所述第二级情绪意愿标签包括以下至少之一：感谢、喜爱、感兴趣、愉快；
在所述第一级情绪意愿标签包括负向标签的情况下，所述第二级情绪意愿标签包括以下至少之一：不感兴趣、厌恶、悲伤、愤怒。
7.根据权利要求5所述的方法，其特征在于，根据目标意愿预测结果，向目标客户推送目标业务数据，包括：
组合第一级意愿标签和第二级情绪意愿标签，得到目标组合标签；
检索策略库，确定出与所述目标组合标签相匹配的预设的推送策略作为所述目标推送策略；
根据目标推送策略，向目标客户推送目标业务数据。
8.根据权利要求1所述的方法，其特征在于，根据所述目标推送策略，向目标客户推送目标业务数据，包括：
根据所述目标推送策略，确定是否向目标客户推送目标业务数据；
在确定向目标客户推送目标业务数据的情况下，生成表征建议推送的第一指示信息和关于目标业务数据的第一类目标推广文本；
将所述第一指示信息、第一类目标推广文本、目标意愿预测结果发送至客服终端。
9.根据权利要求8所述的方法，其特征在于，在根据所述目标推送策略，确定是否向目标客户推送目标业务数据之后，所述方法还包括：
在确定不向目标客户推送目标业务数据的情况下，生成表征不建议推送的第二指示信息和第二类目标推广文本；
将所述第二指示信息、第二类目标推广文本发送至客服终端。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取样本客户的样本数据组，其中，所述样本数据组包含有的样本客户的人脸数据、样本客户的语音数据和样本客户的肢体动作数据；
根据预设的标注规则，分别对样本客户、样本客户的人脸数据、样本客户的语音数据和样本客户的肢体动作数据进行相应的标注，得到样本客户标注后的样本数据组；
利用所述样本客户标注后的样本数据组进行模型训练，以建立预设的人脸处理模型、预设的语音处理模型、预设的肢体动作处理模型，以及预设的情绪意愿预测模型。
11.一种数据处理方法，其特征在于，包括：
获取目标客户的人脸数据、语音数据和肢体动作数据；
调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
根据目标意愿预测结果，确定目标客户针对目标业务数据的情绪意愿。
12.一种业务数据的推送装置，其特征在于，包括：
获取模块，用于获取目标客户的人脸数据、语音数据和肢体动作数据；
第一处理模块，用于调用预设的人脸处理模型处理所述人脸数据，得到第一类情绪识别结果；调用预设的语音处理模型处理所述语音数据，得到第二类情绪识别结果；调用预设的肢体动作处理模型处理所述肢体动作数据，得到第三类情绪识别结果；
第二处理模块，用于调用预设的情绪意愿预测模型处理所述第一类情绪识别结果、第二类情绪识别结果和第三类情绪识别结果，得到目标意愿预测结果；
推送模块，用于根据目标意愿预测结果，向目标客户推送目标业务数据。
13.一种服务器，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至10中任一项所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至10中任一项所述方法的步骤。
CN202110591469.7A 2021-05-28 2021-05-28 业务数据的推送方法、装置和服务器 Pending CN113221821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110591469.7A CN113221821A (zh) 2021-05-28 2021-05-28 业务数据的推送方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110591469.7A CN113221821A (zh) 2021-05-28 2021-05-28 业务数据的推送方法、装置和服务器

Publications (1)

Publication Number Publication Date
CN113221821A true CN113221821A (zh) 2021-08-06

Family

ID=77099153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110591469.7A Pending CN113221821A (zh) 2021-05-28 2021-05-28 业务数据的推送方法、装置和服务器

Country Status (1)

Country Link
CN (1) CN113221821A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171265A (zh) * 2022-08-01 2022-10-11 中国工商银行股份有限公司 银行排队信息的生成方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171265A (zh) * 2022-08-01 2022-10-11 中国工商银行股份有限公司 银行排队信息的生成方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107680019B (zh) 一种考试方案的实现方法、装置、设备及存储介质
JP2021517287A (ja) マイクロ表現を用いて信ぴょう性を決定するコンピュータ化されたシステムおよび方法
CN109933782B (zh) 用户情绪预测方法和装置
CN110874716A (zh) 面试测评方法、装置、电子设备及存储介质
WO2021068783A1 (zh) 一种情绪识别方法、装置和设备
CN110298245B (zh) 兴趣收集方法、装置、计算机设备及存储介质
EP4036823A1 (en) Customization platform and method for service quality evaluation product
WO2018060993A1 (en) Method and system for personality-weighted emotion analysis
CN113360622B (zh) 用户对话信息的处理方法、装置及计算机设备
KR102100214B1 (ko) 음성 인식 기반의 세일즈 대화 분석 방법 및 장치
CN109919006A (zh) 表情检测方法、装置、电子设备及存储介质
CN113312468B (zh) 基于对话模式的话术推荐方法、装置、设备及介质
CN109785123A (zh) 一种业务办理协助方法、装置及终端设备
CN113656558A (zh) 基于机器学习对关联规则进行评估的方法及装置
CN111383138B (zh) 餐饮数据处理方法、装置、计算机设备和存储介质
CN109118243B (zh) 一种产品分享、有用评价识别、推送方法和服务器
WO2016203652A1 (ja) データ分析に係るシステム、制御方法、制御プログラム、および、その記録媒体
WO2019242453A1 (zh) 信息处理方法及装置、存储介质、电子装置
CN115170049A (zh) 可信度评分方法、装置、电子设备、存储介质和程序产品
CN113221821A (zh) 业务数据的推送方法、装置和服务器
CN114491255A (zh) 推荐方法、系统、电子设备和介质
CN110032685A (zh) 馈送优化
CN116883888A (zh) 基于多模态特征融合的银行柜面服务问题溯源系统及方法
CN111787042A (zh) 用于推送信息的方法和装置
CN113283979A (zh) 一种贷款申请人的贷款信用评估方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination