CN112580538A - 客服人员调度方法、装置、设备及存储介质 - Google Patents

客服人员调度方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112580538A
CN112580538A CN202011544421.2A CN202011544421A CN112580538A CN 112580538 A CN112580538 A CN 112580538A CN 202011544421 A CN202011544421 A CN 202011544421A CN 112580538 A CN112580538 A CN 112580538A
Authority
CN
China
Prior art keywords
facial
customer service
business
preset
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011544421.2A
Other languages
English (en)
Other versions
CN112580538B (zh
Inventor
张志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202011544421.2A priority Critical patent/CN112580538B/zh
Publication of CN112580538A publication Critical patent/CN112580538A/zh
Application granted granted Critical
Publication of CN112580538B publication Critical patent/CN112580538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)

Abstract

本发明涉及人工智能领域，公开了一种客服人员调度方法、装置、设备及存储介质。该方法包括：根据各营业网点内的监控视频，统计客户数量，从监控视频中提取各客户的脸部图像，并分别输入预置身份识别模型和预置表情识别模型中，识别各客户的身份信息和脸部表情信息；根据身份信息，分别统计各营业网点的客户价值总和，并结合脸部图像的统计数量，计算各营业网点需要调配的客服人数；最后根据脸部表情，调整各营业网点需要调配的客服人数，并向周边可调配的营业网点发出客服人员调配请求。本发明还涉及区块链技术，所述脸部图像存储于区块链中。本发明实现了客服人员的动态调动，提高了客服人工利用率，降低了企业人工成本。

Description

客服人员调度方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种客服人员调度方法、装置、设备及存储介质。
背景技术
在以往，通常根据网点开设周边情况，如客户年龄层次、文化程度、客户价值等，依据人工经验进行评估网点的人力配置。但是每个网点周边情况复杂，即便多数属性一致也难以准确的评估人力成本，且难以计算每个网点的忙闲时间段，动态调配行员。
参照网点周边其他行网点人力设置，但是由于各行业务情况，客户服务流程等存在差异，也很难使用参照类比方式评估出人力调配规则。
综上所述，如何在不同网点间，不同时间段配置不同数量、能力层次的行员，如何避免客户在长时间的等待中产生不满情绪，如何动态调配行员，提升行员人力利用率是需要解决的问题。
发明内容
本发明的主要目的在于解决动态调配行员，提升行员人力利用率的技术问题。
本发明第一方面提供了一种客服人员调度方法，包括：
每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息，以及将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
根据所述身份信息，分别统计当前各营业网点内的客户价值总和，并基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数；
基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
可选的，在本发明第一方面的第一种实现方式中，所述将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息包括：
将所述各客户的脸部图像输入预置MTCNN模型进行处理，输出所述各脸部图像对应的人脸图像的脸部特征；
将所述各人脸图像的脸部特征输入预置FaceNet模型进行Embedding编码，得到所述各客户对应的第一人脸特征向量；
分别计算待比对客户的第一人脸特征向量与预置客户的第二人脸特征向量之间的欧氏距离；
根据所述欧式距离，判断待比对客户与预置客户是否为同一人，并根据判断的结果确定所述各客户的身份信息。
可选的，在本发明第一方面的第二种实现方式中，所述MTCNN模型包括PNet子网络、RNet子网络、ONet网络，所述将所述各客户的脸部图像输入预置MTCNN模型进行处理，输出所述各脸部图像对应的人脸图像的脸部特征包括：
对所述各客户的脸部图像进行不同比例缩放，得到多个不同尺度的脸部图像；
将所述各不同尺度的脸部图像输入所述PNet子网络进行人脸区域识别，得到所述各脸部图像中人脸区域的候选边界框；
将所述各候选边界框输入所述RNet子网络进行边界框去重处理，得到仅包含人脸区域的合格边界框；
将所述各合格边界框输入所述ONet网络进行边界框坐标识别，得到所述各脸部图像对应的人脸图像的脸部特征。
可选的，在本发明第一方面的第三种实现方式中，在所述每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像之前，还包括：
获取多张脸部图像样本，并依次存入预置消息队列中并进行图像格式转换，顺序输出预置图像格式的多个训练样本；
分别对所述各训练样本中的脸部表情区域进行标注，得到对应的标注文件，并将所述训练样本和所述标注文件输入预置预训练模型中；
通过所述预训练模型识别所述训练样本中各客户脸部特征对应的特征信息，并将所述特征信息转化为标记图向量；
获取不同人脸表情对应的脸部特征语义向量，并分别计算所述标记图向量与所述脸部特征语义向量之间的相关系数，基于所述相关系数，对所述各训练样本进行分类，得到所述各训练样本对应的脸部表情预测结果；
基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型。
可选的，在本发明第一方面的第四种实现方式中，所述基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型包括：
基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值；
若所述损失值低于预置损失阈值，则通过反向传播调整所述预训练模型的各个权重参数，并对所述预训练模型进行微调，输出新的脸部表情预测结果；
跳转执行所述基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值的步骤，直到所述损失值低于预置损失阈值，确定所述预训练模型收敛，得到所述表情识别模型。
可选的，在本发明第一方面的第五种实现方式中，所述基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数包括：
根据所述客户价值总和、所述客户数量，预测各营业网点的需调配客服人数；
根据各营业网点的现有客服人数和需要调配的所述需调配客服人数，计算各营业网点对应的周边营业网点的可调配客服人数；
根据所述可调配客服人数，采用预置调配策略，计算各营业网点实际需要调配的最终客服人数。
本发明第二方面提供了一种客服人员调度装置，包括：
视频处理模块，用于每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
识别模块，用于将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息，以及将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
计算模块，用于根据所述身份信息，分别统计当前各营业网点内的客户价值总和，并基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数；
调整模块，用于基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
调配模块，用于根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
可选的，在本发明第二方面的第一种实现方式中，所述识别模块包括：
身份识别单元，用于将所述各客户的脸部图像输入预置MTCNN模型进行处理，输出所述各脸部图像对应的人脸图像的脸部特征；将所述各人脸图像的脸部特征输入预置FaceNet模型进行Embedding编码，得到所述各客户对应的第一人脸特征向量；分别计算待比对客户的第一人脸特征向量与预置客户的第二人脸特征向量之间的欧氏距离；根据所述欧式距离，判断待比对客户与预置客户是否为同一人，并根据判断的结果确定所述各客户的身份信息；
表情识别单元，用于将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息。
可选的，在本发明第二方面的第二种实现方式中，所述MTCNN模型包括PNet子网络、RNet子网络、ONet网络，所述脸部特征提取单元还用于：
对所述各客户的脸部图像进行不同比例缩放，得到多个不同尺度的脸部图像；
将所述各不同尺度的脸部图像输入所述PNet子网络进行人脸区域识别，得到所述各脸部图像中人脸区域的候选边界框；
将所述各候选边界框输入所述RNet子网络进行边界框去重处理，得到仅包含人脸区域的合格边界框；
将所述各合格边界框输入所述ONet网络进行边界框坐标识别，得到所述各脸部图像对应的人脸图像的脸部特征。
可选的，在本发明第二方面的第三种实现方式中，所述客服人员调度装置还包括：
预处理模块，用于获取多张脸部图像样本，并依次存入预置消息队列中并进行图像格式转换，顺序输出预置图像格式的多个训练样本；
标注模块，用于分别对所述各训练样本中的脸部表情区域进行标注，得到对应的标注文件，并将所述训练样本和所述标注文件输入预置预训练模型中；
转化模块，用于通过所述预训练模型识别所述训练样本中各客户脸部特征对应的特征信息，并将所述特征信息转化为标记图向量；
分类模块，用于获取不同人脸表情对应的脸部特征语义向量，并分别计算所述标记图向量与所述脸部特征语义向量之间的相关系数，基于所述相关系数，对所述各训练样本进行分类，得到所述各训练样本对应的脸部表情预测结果；
训练模块，用于基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型。
可选的，在本发明第一方面的第四种实现方式中，所述训练模块包括：
第一计算单元，用于基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值；
微调单元，用于若所述损失值低于预置损失阈值，则通过反向传播调整所述预训练模型的各个权重参数，并对所述预训练模型进行微调，输出新的脸部表情预测结果；
循环单元，用于跳转执行所述基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值的步骤，直到所述损失值低于预置损失阈值，确定所述预训练模型收敛，得到所述表情识别模型。
可选的，在本发明第二方面的第五种实现方式中，所述计算模块包括：
预测单元，用于根根据所述客户价值总和、所述客户数量，预测各营业网点的需调配客服人数；
第二计算单元，用于根据各营业网点的现有客服人数和需要调配的所述需调配客服人数，计算各营业网点对应的周边营业网点的可调配客服人数；
第三计算单元，用于根据所述可调配客服人数，采用预置调配策略，计算各营业网点实际需要调配的最终客服人数。
本发明第三方面提供了一种客服人员调度设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述客服人员调度设备执行上述的客服人员调度方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的客服人员调度方法。
本发明提供的技术方案中，采用人脸识别技术方法，基于银行高价值、高潜潜力客户数据集，通过实时监控网点客户流量及情绪状况，调配行员在不同支行网点间进行动态流动服务，提高行员人工利用率，降低银行人工成本，提升客户服务满意度。
附图说明
图1为本发明实施例中客服人员调度方法的一个实施例示意图；
图2为本发明实施例中客服人员调度方法的另一个实施例示意图；
图3为本发明实施例中客服人员调度装置的一个实施例示意图；
图4为本发明实施例中客服人员调度装置的另一个实施例示意图；
图5为本发明实施例中客服人员调度设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种客服人员调度方法、装置、设备及存储介质，每隔预设周期，抓拍各营业网点等待区域内客户的脸部图像，并分别输入预置身份识别模型和预置表情识别模型中，识别各客户的身份信息和脸部表情信息；根据身份信息，分别统计各营业网点的客户价值总和，并结合脸部图像的统计数量，计算各营业网点需要调配的客服人数；最后根据脸部表情，调整各营业网点需要调配的客服人数，并向周边可调配的营业网点发出客服人员调配请求。本发明还涉及区块链技术，所述脸部图像存储于区块链中。本发明实现了客服人员的动态调动，提高了客服人工利用率，降低了企业人工成本，提升了客户服务满意度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中客服人员调度方法的第一个实施例包括：
101、每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
可以理解的是，本发明的执行主体可以为客服人员调度装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。需要强调的是，为进一步保证上述脸部图像的私密和安全性，上述脸部图像还可以存储于一区块链的节点中。
本实施例中，营业网点指具有连锁模式的各类服务网点，例如银行营业网点、各类服务连锁店等。为保证营业网点的安全，通常都会在各营业网点内部署多个不同朝向角度、不同高度的摄像头，并录制营业网点内的监控视频。本实施例具体根据不同监控周期内对应的监控视频来统计各营业网点中等待区域内的客户数量以及获得营业网点内各客户的脸部图像。其中，预设周期可以为1分钟-10分钟之间，根据业务繁忙或者闲暇的时间段而定，例如，繁忙时间段每隔2分钟统计一次客户数量，闲暇时间段则每隔5分钟统计一次客户数量。
102、将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息，以及将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
本实施例中，在抓拍到客户的脸部图像后，统计各营业网点抓拍到的脸部图像的数量，即为客户的数量，以确定当前各营业网点的客户等待人数；通过营业系统中存储的客户脸部图像数据库，采用预置身份识别模型识别各客户的身份信息，比如身份识别结果包括：客户和非客户两类，如果是客户，则进一步获取当前客户的录入信息，并根据客户的录入信息确定客户的价值得分。
103、根据所述身份信息，分别统计当前各营业网点内的客户价值总和，并基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数；
本实施中，本实施例中，如果进入网点的客户已经在网点留存过证件照信息，则在识别该客户身份的同时，还能够同时识别到客户的个人信息，然后再根据个人信息即可评估客户的价值层级，最后再结合营业网点对于客户的价值层级判断，从而实时评估出整个网点的客户群体价值层级，评估出所需要调配的客服人员的能力层次。再通过客户数量和各营业网点的客户价值总值，动态调配各网点的服务行员。
104、基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
本实施例中，基于各营业网点的脸部表情，可确定各营业网点中客服等候的着急程度，比如时间比较充裕的客户，表情倾向于平静，性格比较暴躁的客户，表情更倾向于愤怒、不耐烦等，通过脸部表情确定负面情绪的客户人数，并与当前营业网点的客服人员数量作匹配，确定当前各营业网点的调配需求等级，根据调配需求等级，可调整各营业网点需要调配的客服人数的比例，比如调配需求等级可以包括特急(10％)、加急(5％)、普通(-5％)、缓和(-10％)四个等级，并将调整后的客服人数取整。
105、根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
本实施例中，在计算出各营业网点实际需要调配的客服人数后，即可向可调配的营业网点发出调配请求，可调配的营业网点收到调配请求后，通知相关客服人员前往对应营业网点进行支援，既解决了客服人员短缺的问题，同时调配相应能力层次的特殊客服人员能够更好的服务高价值客户，从而提升各营业网点人力的利用率以及提高客户服务质量。
本发明实施例中，采用人脸识别技术方法，基于银行高价值、高潜潜力客户数据集，通过实时监控网点客户流量及情绪状况，调配行员在不同支行网点间进行动态流动服务，提高行员人工利用率，降低银行人工成本，提升客户服务满意度。
请参阅图2，本发明实施例中客服人员调度方法的第四个实施例包括：
201、每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
202、将所述各客户的脸部图像输入预置MTCNN模型进行处理，输出所述各脸部图像对应的人脸图像的脸部特征；
本实施例中，预置MTCNN模型提取人脸图像中的脸部特征具体包括以下步骤：
(1)对所述各客户的脸部图像进行不同比例缩放，得到多个不同尺度的脸部图像；
(2)将所述各不同尺度的脸部图像输入所述PNet子网络进行人脸区域识别，得到所述各脸部图像中人脸区域的候选边界框；
(3)将所述各候选边界框输入所述RNet子网络进行边界框去重处理，得到仅包含人脸区域的合格边界框；
(4)将所述各合格边界框输入所述ONet网络进行边界框坐标识别，得到所述各脸部图像对应的人脸图像的脸部特征；
本实施例中，MTCNN是多任务级联CNN的人脸检测深度学习模型，该模型中综合考虑了人脸边框回归和面部关键点检测。
本实施例中，MTCNN算法包含三个子网络：Proposal Network(P-Net)、RefineNetwork(R-Net)、Output Network(O-Net)，这三个网络对人脸的处理依次从粗到细。在使用这三个子网络之前，需要使用图像金字塔将原始图像缩放到不同的尺度，然后将不同尺度的图像送入这三个子网络中进行训练，目的是为了可以检测到不同大小的人脸，从而实现多尺度目标检测。
203、将所述各人脸图像的脸部特征输入预置FaceNet模型进行Embedding编码，得到所述各客户对应的第一人脸特征向量；
204、分别计算待比对客户的第一人脸特征向量与预置客户的第二人脸特征向量之间的欧氏距离；
205、根据所述欧式距离，判断待比对客户与预置客户是否为同一人，并根据判断的结果确定所述各客户的身份信息；
本实施例中，FaceNet模型主要用于验证人脸是否为同一个人，通过人脸识别这个人是谁。FaceNet的主要思想是把人脸图像映射到一个多维空间，通过空间距离表示人脸的相似度。同个人脸图像的空间距离比较小，不同人脸图像的空间距离比较大。这样通过人脸图像的空间映射就可以实现人脸识别，FaceNet中采用基于深度神经网络的图像映射方法和基于triplets(三联子)的loss函数训练神经网络，网络直接输出为128维度的向量空间。
206、将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
本实施例中，预置表情识别模型的训练过程具体包括以下步骤：
(1)获取多张脸部图像样本，并依次存入预置消息队列中并进行图像格式转换，顺序输出预置图像格式的多个训练样本；
(2)分别对所述各训练样本中的脸部表情区域进行标注，得到对应的标注文件，并将所述训练样本和所述标注文件输入预置预训练模型中；
(3)通过所述预训练模型识别所述训练样本中各客户脸部特征对应的特征信息，并将所述特征信息转化为标记图向量；
(4)获取不同人脸表情对应的脸部特征语义向量，并分别计算所述标记图向量与所述脸部特征语义向量之间的相关系数，基于所述相关系数，对所述各训练样本进行分类，得到所述各训练样本对应的脸部表情预测结果；
(5)基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型。
本实施例中，对于拍摄的原始脸部图像，以CSV(Comma-Separated Values，逗号分隔值)的格式进行存储，此处首先需要将脸部图像的存储格式转化为单通道灰度图片的预置模型输入格式的数据，比如采用TensorFlow(流光)法进行检测时，可转化为TF-Record(TensorFlow-Record，流光记录)格式。其中，为防止载入速度慢，耗时长，构建一个队列进行转化并直接输入预置预训练模型中。
然后，由于在等待区域中可能存在局部脸部拍摄到的情况，故采用局部法进行模型训练，包括Gabor小波法和LBP(Local Binary Patterns，局部二值模式)算子法。比如，以Gabor小波等多种特征提取算法为手段，结合新的分类器对训练样本进行学习。首先预先标定多个(可以为34个)人脸特征点，然后将人脸特征点的Gabor小波系数表示成标记图向量，最后计算标记图向量和数据库中预先定义的表情语义向量之间的相关系数，比如KCCA(Kernel Canonical Correlation Analysis，核典型相关分析)，以此实现对表情的分类，得到各训练样本对应的脸部表情。并采用平方损失函数、绝对值损失函数或HUber损失函数等对预训练模型进行迭代。
具体的，所述预训练模型的迭代过程具体包括以下步骤：
(1)基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值；
(2)若所述损失值低于预置损失阈值，则通过反向传播调整所述预训练模型的各个权重参数，并对所述预训练模型进行微调，输出新的脸部表情预测结果；
(3)跳转执行所述基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值的步骤，直到所述损失值低于预置损失阈值，确定所述预训练模型收敛，得到所述表情识别模型。
预训练模型能输出携带有原始类标签的多个不同的三维张量。另一方面，对于每一张脸部图像样本，其类标签是确定的，而每张脸部图像样本都对应有一张与其相似的人脸测试图像，由于两张图像之间存在极高的相似性，因此，人脸测试图像的类标签理论上应当与脸部图像样本的类标签相同，但在测试之前，该人脸测试图像的类标签并未预先确定。通过利用预训练模型对与脸部图像样本一一对应的每张人脸测试图像进行处理，能够输出携带有新产生的类标签的三维张量。
得到每张人脸测试图像的类标签后，即得到了每张脸部图像样本的表情类别，此时，生成关于每张人脸测试图像表情类别判定结果的混淆矩阵。根据该混淆矩阵，计算预训练模型的损失函数，能够评价预训练模型的训练效果。
当损失值未达到最小值时，或者说当人脸表情类别识别准确率未达到预设的目标值时，将预训练模型的参数不断进行调整，从而使得输出的每张人脸测试图像的三维张量与输出的每张人脸测试图像所对应的脸部图像样本的三维张量的类标签相同的概率最大。在训练过程中，具体可利用交叉熵损失函数以及反向传播算法学习CNN模型的参数，从而能够不断调整以及更新CNN网络模型中的各个权重参数，并再次对人脸测试图像进行测试，得到最新的一次训练效果，直到损失值达到最小值时停止。
207、根据所述身份信息，分别统计当前各营业网点内的客户价值总和；
208、根据所述客户价值总和、所述客户数量，预测各营业网点的需调配客服人数；
209、根据各营业网点的现有客服人数和需要调配的所述需调配客服人数，计算各营业网点对应的周边营业网点的可调配客服人数；
210、根据所述可调配客服人数，采用预置调配策略，计算各营业网点实际需要调配的最终客服人数；
本实施例中，各营业网点会预先评估出各客户的潜力价值，因此可以直接通过银行存量数据获得各客户的潜力价值，当前营业网点内所有客户的潜力价值之和即为当前营业网点的客户价值总和。本实施例使用人脸识别技术，可以实时识别出进入和离开网点的客户数量，进而评估出网点停留的客户人数，根据停留的客户人数评估出需要调配的客服人员数量。
本实施例中，客服人数的调配具体与客户价值总和以及网点的客户人数有关。通常情况下，客户价值总和越高，则越需要更高能力层次的客服人员，网点停留的客户人数多，则需要的客服人数也越多。
在一实施例中，采用以下公式预测各营业网点需要调配的客服人数：
S＝F1(A，B)＝A*N+∑B*K
其中，S表示营业网点需要调配的客服人数，F1表示所需调配客服人数的预测函数，A表示营业网点内停留的客户人数，B表示营业网点内停留客户的客户价值，N、K为系数且取常数值。
本实施例中，营业网点所需调配的客服人员通常由周边营业网点支援，因此，还需要根据各营业网点对应的周边营业网点可调配的客服人数，进一步确定各营业网点实际可调配的客服人数。
在一实施例中，采用以下公式计算周边营业网点可调配的客服人数：
D＝F2(L，C，S)＝∑C-∑S
中，D表示周边营业网点可调配的客服人数，F2表示周边营业网点可调配客服人数的计算函数，L表示营业网点与周边营业网点之间的最大距离，C表示各营业网点的现有客服人数，S表示周边各营业网点需要调配的客服人数。
本实施例具体采用预置的客服人员调配策略，计算各营业网点实际需要调配的客服人数，该调配策略具体与周边网点可调配人数、网点距离、网点停留人数、网点客户价值总和有关。
在一实施例中，采用以下公式计算各营业网点实际需要调配的客服人数：
Figure BDA0002855342970000131
其中，Y表示各营业网点实际需要调配的客服人数，F3表示各营业网点实际需要调配的客服人数的计算函数，A表示营业网点内停留的客户人数，B表示营业网点内停留客户的客户价值，D表示周边营业网点可调配的客服人数，M、N、K为系数且取常数值。系数M、N、K可以采用多元线性回归分析方法计算得到。需要进一步说明的是，如果计算得到的Y值为负数，则Y值一律为0，也即不需要调配客服人员。
211、基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
212、根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
本实施例中，详细介绍了预置身份识别模型对客户身份的识别过程，尤其是提取脸部图像中的脸部特征，精准判别不同客户身份，准确计算各客户需调配的客服人员数量；然后具体说明了预置表情识别模型的训练过程，以用于识别各客户的人脸表情，从情绪上预测当前各营业厅的调配等级，以调整客服人员的调配数量，使得客服人员调配更合理。
上面对本发明实施例中客服人员调度方法进行了描述，下面对本发明实施例中客服人员调度装置进行描述，请参阅图3，本发明实施例中客服人员调度装置一个实施例包括：
视频处理模块301，用于每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
识别模块302，用于将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息，以及将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
计算模块303，用于根据所述身份信息，分别统计当前各营业网点内的客户价值总和，并基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数；
调整模块304，用于基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
调配模块305，用于根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
本发明实施例中，采用人脸识别技术方法，基于银行高价值、高潜潜力客户数据集，通过实时监控网点客户流量及情绪状况，调配行员在不同支行网点间进行动态流动服务，提高行员人工利用率，降低银行人工成本，提升客户服务满意度。
请参阅图4，本发明实施例中客服人员调度装置的另一个实施例包括：
视频处理模块301，用于每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
识别模块302，用于将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息，以及将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
计算模块303，用于根据所述身份信息，分别统计当前各营业网点内的客户价值总和，并基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数；
调整模块304，用于基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
调配模块305，用于根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
具体的，所述识别模块302包括：
身份识别单元3021，用于将所述各客户的脸部图像输入预置MTCNN模型进行处理，输出所述各脸部图像对应的人脸图像的脸部特征；将所述各人脸图像的脸部特征输入预置FaceNet模型进行Embedding编码，得到所述各客户对应的第一人脸特征向量；分别计算待比对客户的第一人脸特征向量与预置客户的第二人脸特征向量之间的欧氏距离；根据所述欧式距离，判断待比对客户与预置客户是否为同一人，并根据判断的结果确定所述各客户的身份信息；
表情识别单元3022，用于将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息。
具体的，所述MTCNN模型包括PNet子网络、RNet子网络、ONet网络，所述脸部特征提取单元还用于：
对所述各客户的脸部图像进行不同比例缩放，得到多个不同尺度的脸部图像；
将所述各不同尺度的脸部图像输入所述PNet子网络进行人脸区域识别，得到所述各脸部图像中人脸区域的候选边界框；
将所述各候选边界框输入所述RNet子网络进行边界框去重处理，得到仅包含人脸区域的合格边界框；
将所述各合格边界框输入所述ONet网络进行边界框坐标识别，得到所述各脸部图像对应的人脸图像的脸部特征。
具体的，所述客服人员调度装置还包括：
预处理模块306，用于获取多张脸部图像样本，并依次存入预置消息队列中并进行图像格式转换，顺序输出预置图像格式的多个训练样本；
标注模块307，用于分别对所述各训练样本中的脸部表情区域进行标注，得到对应的标注文件，并将所述训练样本和所述标注文件输入预置预训练模型中；
转化模块308，用于通过所述预训练模型识别所述训练样本中各客户脸部特征对应的特征信息，并将所述特征信息转化为标记图向量；
分类模块309，用于获取不同人脸表情对应的脸部特征语义向量，并分别计算所述标记图向量与所述脸部特征语义向量之间的相关系数，基于所述相关系数，对所述各训练样本进行分类，得到所述各训练样本对应的脸部表情预测结果；
训练模块310，用于基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型。
具体的，所述训练模块包括：
第一计算单元3101，用于基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值；
微调单元3102，用于若所述损失值低于预置损失阈值，则通过反向传播调整所述预训练模型的各个权重参数，并对所述预训练模型进行微调，输出新的脸部表情预测结果；
循环单元3103，用于跳转执行所述基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值的步骤，直到所述损失值低于预置损失阈值，确定所述预训练模型收敛，得到所述表情识别模型。
具体的，所述计算模块303包括：
预测单元3031，用于根据所述客户价值总和、所述客户数量，预测各营业网点的需调配客服人数；
第二计算单元3032，用于根据各营业网点的现有客服人数和需要调配的所述需调配客服人数，计算各营业网点对应的周边营业网点的可调配客服人数；
第三计算单元3033，用于根据所述可调配客服人数，采用预置调配策略，计算各营业网点实际需要调配的最终客服人数。
本发明实施例中，本实施例中，详细介绍了预置身份识别模型对客户身份的识别过程，尤其是提取脸部图像中的脸部特征，精准判别不同客户身份，准确计算各客户需调配的客服人员数量；然后具体说明了预置表情识别模型的训练过程，以用于识别各客户的人脸表情，从情绪上预测当前各营业厅的调配等级，以调整客服人员的调配数量，使得客服人员调配更合理。
上面图3和图4从模块化功能实体的角度对本发明实施例中的客服人员调度装置进行详细描述，下面从硬件处理的角度对本发明实施例中客服人员调度设备进行详细描述。
图5是本发明实施例提供的一种客服人员调度设备的结构示意图，该客服人员调度设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对客服人员调度设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在客服人员调度设备500上执行存储介质530中的一系列指令操作。
客服人员调度设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的客服人员调度设备结构并不构成对客服人员调度设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种客服人员调度设备，所述客服人员调度设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述客服人员调度方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述客服人员调度方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种客服人员调度方法，其特征在于，所述客服人员调度方法包括：
每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息，以及将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
根据所述身份信息，分别统计当前各营业网点内的客户价值总和，并基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数；
基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
2.根据权利要求1所述的客服人员调度方法，其特征在于，所述将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息包括：
将所述各客户的脸部图像输入预置MTCNN模型进行处理，输出所述各脸部图像对应的人脸图像的脸部特征；
将所述各人脸图像的脸部特征输入预置FaceNet模型进行Embedding编码，得到所述各客户对应的第一人脸特征向量；
分别计算待比对客户的第一人脸特征向量与预置客户的第二人脸特征向量之间的欧氏距离；
根据所述欧式距离，判断待比对客户与预置客户是否为同一人，并根据判断的结果确定所述各客户的身份信息。
3.根据权利要求2所述的客服人员调度方法，其特征在于，所述MTCNN模型包括PNet子网络、RNet子网络、ONet网络，所述将所述各客户的脸部图像输入预置MTCNN模型进行处理，输出所述各脸部图像对应的人脸图像的脸部特征包括：
对所述各客户的脸部图像进行不同比例缩放，得到多个不同尺度的脸部图像；
将所述各不同尺度的脸部图像输入所述PNet子网络进行人脸区域识别，得到所述各脸部图像中人脸区域的候选边界框；
将所述各候选边界框输入所述RNet子网络进行边界框去重处理，得到仅包含人脸区域的合格边界框；
将所述各合格边界框输入所述ONet网络进行边界框坐标识别，得到所述各脸部图像对应的人脸图像的脸部特征。
4.根据权利要求1所述的客服人员调度方法，其特征在于，在所述每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像之前，还包括：
获取多张脸部图像样本，并依次存入预置消息队列中并进行图像格式转换，顺序输出预置图像格式的多个训练样本；
分别对所述各训练样本中的脸部表情区域进行标注，得到对应的标注文件，并将所述训练样本和所述标注文件输入预置预训练模型中；
通过所述预训练模型识别所述训练样本中各客户脸部特征对应的特征信息，并将所述特征信息转化为标记图向量；
获取不同人脸表情对应的脸部特征语义向量，并分别计算所述标记图向量与所述脸部特征语义向量之间的相关系数，基于所述相关系数，对所述各训练样本进行分类，得到所述各训练样本对应的脸部表情预测结果；
基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型。
5.根据权利要求4所述的客服人员调度方法，其特征在于，所述基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型包括：
基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值；
若所述损失值低于预置损失阈值，则通过反向传播调整所述预训练模型的各个权重参数，并对所述预训练模型进行微调，输出新的脸部表情预测结果；
跳转执行所述基于所述脸部表情预测结果和所述标注文件，生成所述预训练模型的混淆矩阵，并基于所述混淆矩阵计算所述预训练模型的损失值的步骤，直到所述损失值低于预置损失阈值，确定所述预训练模型收敛，得到所述表情识别模型。
6.根据权利要求1-5中任一项所述的客服人员调度方法，其特征在于，所述基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数包括：
根据所述客户价值总和、所述客户数量，预测各营业网点的需调配客服人数；
根据各营业网点的现有客服人数和需要调配的所述需调配客服人数，计算各营业网点对应的周边营业网点的可调配客服人数；
根据所述可调配客服人数，采用预置调配策略，计算各营业网点实际需要调配的最终客服人数。
7.一种客服人员调度装置，其特征在于，所述客服人员调度装置包括：
视频处理模块，用于每隔预设周期，根据各营业网点内的监控视频，统计所述各营业网点中等待区域内的客户数量，并从所述监控视频中提取各客户的脸部图像；
识别模块，用于将所述各脸部图像输入预置身份识别模型中进行身份识别，得到所述各客户的身份信息，以及将所述各脸部图像输入预置表情识别模型中进行表情识别，得到所述各客户的脸部表情信息；
计算模块，用于根据所述身份信息，分别统计当前各营业网点内的客户价值总和，并基于所述客户价值总和、所述客户数量，计算所述各营业网点需要调配的客服人数；
调整模块，用于基于所述脸部表情信息，计算所述各营业网点的客服调配需求等级，并基于所述客服调配需求等级，调整所述各营业网点需要调配的客服人数；
调配模块，用于根据调整后各营业网点需要调配的客服人数，向周边可调配的营业网点发出客服人员调配请求。
8.根据权利要求7所述的客服人员调度装置，其特征在于，所述客服人员调度装置还包括：
预处理模块，用于获取多张脸部图像样本，并依次存入预置消息队列中并进行图像格式转换，顺序输出预置图像格式的多个训练样本；
标注模块，用于分别对所述各训练样本中的脸部表情区域进行标注，得到对应的标注文件，并将所述训练样本和所述标注文件输入预置预训练模型中；
转化模块，用于通过所述预训练模型识别所述训练样本中各客户脸部特征对应的特征信息，并将所述特征信息转化为标记图向量；
分类模块，用于获取不同人脸表情对应的脸部特征语义向量，并分别计算所述标记图向量与所述脸部特征语义向量之间的相关系数，基于所述相关系数，对所述各训练样本进行分类，得到所述各训练样本对应的脸部表情预测结果；
训练模块，用于基于所述脸部表情预测结果和所述标注文件，计算所述预训练模型的损失值，并基于所述损失值对所述预训练模型进行调整，直到所述预训练模型收敛，得到所述表情识别模型。
9.一种客服人员调度设备，其特征在于，所述客服人员调度设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述客服人员调度设备执行如权利要求1-6中任一项所述的客服人员调度方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的客服人员调度方法。
CN202011544421.2A 2020-12-23 2020-12-23 客服人员调度方法、装置、设备及存储介质 Active CN112580538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011544421.2A CN112580538B (zh) 2020-12-23 2020-12-23 客服人员调度方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011544421.2A CN112580538B (zh) 2020-12-23 2020-12-23 客服人员调度方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112580538A true CN112580538A (zh) 2021-03-30
CN112580538B CN112580538B (zh) 2024-03-26

Family

ID=75139244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011544421.2A Active CN112580538B (zh) 2020-12-23 2020-12-23 客服人员调度方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112580538B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409776A (zh) * 2021-06-30 2021-09-17 南京领行科技股份有限公司 一种语音识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764932A (zh) * 2018-04-09 2018-11-06 国网山东省电力公司 基于人脸识别的电力营业厅智能分级调度方法和系统
CN108830439A (zh) * 2018-04-09 2018-11-16 国网山东省电力公司 基于人脸识别的电力营业厅智能服务监测方法和系统
WO2019127273A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质
CN110363046A (zh) * 2018-02-08 2019-10-22 西南石油大学 基于人脸识别的客流分析系统及部署方法
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019127273A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质
CN110363046A (zh) * 2018-02-08 2019-10-22 西南石油大学 基于人脸识别的客流分析系统及部署方法
CN108764932A (zh) * 2018-04-09 2018-11-06 国网山东省电力公司 基于人脸识别的电力营业厅智能分级调度方法和系统
CN108830439A (zh) * 2018-04-09 2018-11-16 国网山东省电力公司 基于人脸识别的电力营业厅智能服务监测方法和系统
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409776A (zh) * 2021-06-30 2021-09-17 南京领行科技股份有限公司 一种语音识别方法、装置、电子设备及存储介质
CN113409776B (zh) * 2021-06-30 2024-06-07 南京领行科技股份有限公司 一种语音识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112580538B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
Ma et al. dipIQ: Blind image quality assessment by learning-to-rank discriminable image pairs
Pena et al. Bias in multimodal AI: Testbed for fair automatic recruitment
AU2013213886B2 (en) Notification and privacy management of online photos and videos
CN110462607B (zh) 从梯度增强机识别原因代码
Mady et al. Face recognition and detection using Random forest and combination of LBP and HOG features
US20130236081A1 (en) Image classification apparatus and recording medium having program recorded therein
CN104866831B (zh) 特征加权的人脸识别算法
CN108491773A (zh) 一种识别方法及系统
CN115658282A (zh) 服务器算力管理分配方法、系统、网络设备和存储介质
CN113076437B (zh) 一种基于标签重分配的小样本图像分类方法及系统
CN113052150B (zh) 活体检测方法、装置、电子设备和计算机可读存储介质
CN112348321A (zh) 风险用户的识别方法、装置及电子设备
CN113986660A (zh) 系统调整策略的匹配方法、装置、设备及存储介质
CN111368911A (zh) 一种图像分类方法、装置和计算机可读存储介质
Guermazi et al. Facial micro-expression recognition based on accordion spatio-temporal representation and random forests
CN112580538B (zh) 客服人员调度方法、装置、设备及存储介质
Lavanya et al. LBPH-Based Face Recognition System for Attendance Management
CN117171512A (zh) 恶意占座行为检测方法及装置、存储介质及电子设备
Sopov et al. Design efficient technologies for context image analysis in dialog HCI using self-configuring novelty search genetic algorithm
Gowda Age estimation by LS-SVM regression on facial images
CN113723093B (zh) 人员管理策略推荐方法、装置、计算机设备及存储介质
CN114973107A (zh) 基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法
Chen Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning
CN114298460A (zh) 素材工单分派处理方法、装置、设备及存储介质
CN114612246A (zh) 对象集合识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant