CN111079557A - 基于人脸识别的电力营业厅客服终端自动分配方法及系统 - Google Patents

基于人脸识别的电力营业厅客服终端自动分配方法及系统 Download PDF

Info

Publication number
CN111079557A
CN111079557A CN201911168506.2A CN201911168506A CN111079557A CN 111079557 A CN111079557 A CN 111079557A CN 201911168506 A CN201911168506 A CN 201911168506A CN 111079557 A CN111079557 A CN 111079557A
Authority
CN
China
Prior art keywords
face
face recognition
task
business hall
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911168506.2A
Other languages
English (en)
Other versions
CN111079557B (zh
Inventor
史玉良
郑永清
王新军
张坤
管永明
张晖
王永良
张伟超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dareway Software Co ltd
Original Assignee
Dareway Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dareway Software Co ltd filed Critical Dareway Software Co ltd
Priority to CN201911168506.2A priority Critical patent/CN111079557B/zh
Publication of CN111079557A publication Critical patent/CN111079557A/zh
Application granted granted Critical
Publication of CN111079557B publication Critical patent/CN111079557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Educational Administration (AREA)
  • Water Supply & Treatment (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本公开公开了基于人脸识别的电力营业厅客服终端自动分配方法及系统，获取每个电力营业厅的摄像头采集的营业厅内每个人的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间；将采集的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间，上传给云服务器，由云服务器进行存储，存储过程中将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致；将每个数据库中存储的人脸图像按照采集时间先后顺序进行特征提取，并基于对应营业厅预先上传的客户人脸数据库进行人脸识别；根据客户的类别，将客户对应的客户档案发送给对应的客服终端。

Description

基于人脸识别的电力营业厅客服终端自动分配方法及系统
技术领域
本公开涉及网络技术领域，特别是涉及一种自动分配客服终端进行电力客户服务的方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
近年来，随着我国经济的快速发展，民众对用电的需求达到了前所未有的高度，特别是对于用电的服务需求，民众越来越重视自身消费时的体验与感受，传统被动等待的服务方式已经无法满足民众需求，民众希望享受更加快捷、高效的服务。
电力营业厅作为供电企业的门面，服务客户的第一线，其服务水平高低直接影响着客户感知及企业服务形象。但当前传统的电力营业厅普遍存在着客户排队等待时间过长、身份验证繁琐、识别不及时的问题，甚至会出现因推荐服务不精准引起不要的争执或者投诉，这都对营业厅的客户体验以及公司的品牌形象带来较大的负面影响。此外，随着市场经济改革的影响，电力企业的垄断性优势逐渐削弱，电力企业正面临着严峻挑战。以往电力企业为提升电力营业厅服务质量，多采用优化电力营业厅的环境、提升工作人员的素质、设置客户反馈渠道等措施，这些措施虽然能在一定程度上提升营业厅的服务水平与精神面貌，但仍存在客户感知差，营业厅忙闲不均等问题，无法满足提升客户体验的业务需求。在客户自我需求水平逐渐提升的当下，服务质量才是企业的生存关键，因此，亟需采取有效方法，实现电网与用电客户之间的交互响应，为客户提供一个方便、快捷、科学、高效、人性化的互动平台，实现快捷、高效的超值服务。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
当前传统营业厅服务中客户等待时间长、身份验证繁琐、差异服务困难、客户身份识别不及时、推荐服务不精准。
发明内容
为了解决现有技术的不足，本公开提供了基于人脸识别的电力营业厅客服终端自动分配方法及系统；借助日益成熟的人脸识别技术实现电力营业厅业务的精确营销，满足营销服务管理中提升客户体验的业务需求。
第一方面，本公开提供了基于人脸识别的电力营业厅客服终端自动分配方法；
基于人脸识别的电力营业厅客服终端自动分配方法，包括：
图像采集步骤：获取每个电力营业厅的摄像头采集的营业厅内每个人的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间；
图像存储步骤：将采集的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间，上传给云服务器，由云服务器进行存储，存储过程中将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致；
人脸识别步骤：将每个数据库中存储的人脸图像按照采集时间先后顺序进行特征提取，并基于对应营业厅预先上传的客户人脸数据库进行人脸识别；
客服终端自动分配步骤：如果人脸识别结果是VIP客户，则将当前VIP客户对应的客户档案从客户档案数据库中提取出来，并将当前VIP客户对应的客户档案发送给对应的VIP客服终端；
如果人脸识别结果是普通客户，则将当前普通客户对应的客户档案从客户档案数据库中提取出来，并将当前普通客户对应的客户档案发送给对应的普通客服终端。
第二方面，本公开还提供了基于人脸识别的电力营业厅客服终端自动分配系统；
基于人脸识别的电力营业厅客服终端自动分配系统，包括：
图像采集模块：获取每个电力营业厅的摄像头采集的营业厅内每个人的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间；
图像存储模块：将采集的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间，上传给云服务器，由云服务器进行存储，存储过程中将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致；
人脸识别模块：将每个数据库中存储的人脸图像按照采集时间先后顺序进行特征提取，并基于对应营业厅预先上传的客户人脸数据库进行人脸识别；
客服终端自动分配模块：如果人脸识别结果是VIP客户，则将当前VIP客户对应的客户档案从客户档案数据库中提取出来，并将当前VIP客户对应的客户档案发送给对应的VIP客服终端；
如果人脸识别结果是普通客户，则将当前普通客户对应的客户档案从客户档案数据库中提取出来，并将当前普通客户对应的客户档案发送给对应的普通客服终端。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
1.依托营业厅现有的视频监控系统，借助日益成熟的人脸识别技术，建立全方位的智能化用电营业平台，其中对人脸特征库中样貌相似客户增多影响人脸识别精度的问题，提出了分区存储策略(将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致)，对在人脸识别过程中资源利用率以及识别效率不高的问题，采用智能调度机制的方法进行优化，并对系统出现重复提醒的问题，提出了一种降低系统重复提醒频率的设置方法，为客户提供差异化、精准化服务，提升客户服务体验，从而适应当今社会快速发展的需要。
2.针对人脸特征库中样貌相似客户增多影响人脸识别精度的问题，本发明提出分区存储策略，将采集到的客户人脸信息以营业厅为单位进行存储和处理，客户到营业厅办理业务时仅对当前所在营业厅的人脸信息库进行扫描比对，这样降低了因多人相貌相似度高而造成识别精准度低的情况出现。
3.针对在人脸识别过程中资源利用率以及识别效率不高的问题，本发明提出采用智能调度机制的方法进行优化。该方法是将一项大任务拆分为若干小任务，将小任务分派给多人同时完成的模式来进行系统架构设计，这一实现方法降低了系统对CPU和内存的要求，提升了资源利用率以及识别效率。
4.针对系统出现重复提醒的问题，本发明提出了一种降低系统重复提醒频率的设置方法。该方法在图像采集服务端按营业厅为客户创建临时记录表，并设置客户临厅记录的提醒时间区间，在客户进入营业厅过程中，判断三次识别比对结果是否达到规定的阈值，这一实现方法降低了系统重复提醒的情况，提高了系统识别的效率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图；
图2为第一个实施例的一种降低系统重复提醒频率的设置方法的流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于人脸识别的电力营业厅客服终端自动分配方法；
如图1所示，基于人脸识别的电力营业厅客服终端自动分配方法，包括：
S1：图像采集步骤：获取每个电力营业厅的摄像头采集的营业厅内每个人的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间；
S2：图像存储步骤：将采集的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间，上传给云服务器，由云服务器进行存储，存储过程中将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致；
S3：人脸识别步骤：将每个数据库中存储的人脸图像按照采集时间先后顺序进行特征提取，并基于对应营业厅预先上传的客户人脸数据库进行人脸识别；
S4：客服终端自动分配步骤：如果人脸识别结果是VIP客户，则将当前VIP客户对应的客户档案从客户档案数据库中提取出来，并将当前VIP客户对应的客户档案发送给对应的VIP客服终端；
如果人脸识别结果是普通客户，则将当前普通客户对应的客户档案从客户档案数据库中提取出来，并将当前普通客户对应的客户档案发送给对应的普通客服终端。
作为一个或多个实施例，所述S1之后，S2之前，还包括：
S10：图像预处理步骤：对采集的人脸图像进行人脸检测和人脸姿态评估，对于没有采集到人脸的图像、模糊的图像或者非人脸中正面照的图像进行删除。
应理解的，S10的有益效果是，可以降低无效操作。
作为一个或多个实施例，所述S10之后，S2之前，还包括：
S11：图像缓存步骤：将预处理得到的图像放入缓冲数据库中进行缓存。
应理解的，S11的有益效果是，可以避免采集的图像过多而加大对数据库的存储压力。
作为一个或多个实施例，所述S2中的数据库为关系型数据库，采用分布式文件存储，分布式文件存储存储采集的待识别客户头像。分布文件存储充当待识别人脸图像缓存的作用，一方面避免将大量的采集的客户头像传送到后台服务器，减少服务器端的工作负荷，降低后台服务器的负载压力，提高人脸识别的速度，另一方面使人脸识别不再受限于网络环境，即使在脱机断网的情况下仍旧可以正常识别人脸。
作为一个或多个实施例，所述S3，还包括：
对图片队列进行监控，防止未处理图片积压影响人脸识别的时效性，对符合特征提取要求的图片进行特征提取。
作为一个或多个实施例，所述S3，基于对应营业厅预先上传的客户人脸数据库进行人脸识别的步骤的有益效果是：
采集到的客户人脸信息以营业厅为单位进行存储和处理，一方面，小范围人员数据存储预处理，提高人脸识别的准确性，降低数据传输时耗和带宽消耗，提高识别时效性；另一方面，从行为习惯的角度，更适应于当前营业厅服务环境，进而以分布式存储与处理策略，降低集中建设的设备投入成本。
将采集到的客户人脸信息以营业厅为单位进行存储，然后以营业厅为单位建立人脸信息库分区；当有客户进入营业厅时，仅对当前客户所在营业厅的人脸信息库进行扫描比对，实现智慧化分析与处理，提高人脸识别查询的速度和精度。
作为一个或多个实施例，所述S3，还包括：利用智能调度机制调度对应的人脸识别设备进行人脸识别：
S301：将数据仓库中已注册的人脸特征以营业厅为单位加载到内存中，并将每个营业厅的特征值数量再进行分组，划分成若干个存储单元，形成分组集合ES，ES为某营业厅中已注册的自然人特征值的分组集合，ES＝{E1,E2,E3,.....,Em}，其中，Ei(1≤i≤m)代表第i组数据，m是营业厅中已注册的自然人特征值的分组个数，即在数据仓库中允许存储的最大分组个数；
例如：某个营业厅中有1000个特征值，内存空间为1G，营业厅来人识别是1:1000，为最大化利用内存，提高识别效率，按100个特征值为单位分组，就变成1:100，10次并发操作。这里10个100特征值数就是分组集合。
S302：任务调度从数据仓库中检测分组集合ES数量，并以分组集合的个数为依据，分配所需人脸识别设备数目；WM为人脸识别设备集合，NWM为参与识别任务的人脸识别设备个数，WM＝{W1,W2,...,WNWM}，其中，Wk代表第k个人脸识别设备，WMF为当前人脸识别设备的空闲个数，WMS为人脸识别设备状态，WMS＝0人脸识别设备处于空闲状态，WMS＝1人脸识别设备处于忙碌状态，n为每个任务拆分的识别次数；依据人脸识别设备数目确定任务拆分的识别次数n；
S303：当有客户进入营业厅时，任务调度从任务队列中取出本次任务，并根据任务配置信息，将本次任务分配给人脸识别设备；
S304：人脸识别设备自动与任务调度建立链接，将自身任务信息上报给任务调度，任务调度根据人脸识别设备的空闲情况从ES中取数据进行任务识别；
S305：各个人脸识别设备分别执行各自分配到的识别任务，任一人脸识别设备完成识别任务后反馈给任务调度，任务调度接受人脸识别设备工作任务完成情况并判定任务的整体完成情况；
若任务识别次数达到n次，表示ES中所有组的数据都被检索，本次任务执行结束，将触发任务id所对应任务的一次主动调度，输出识别结果；
若未达到n次，说明ES中的数据仍有未被检索的，则任务调度获取人脸识别设备的任务信息后，根据人脸识别设备间的前后关系，选取空闲状态的人脸识别设备分配识别任务，一直到完成ES中所有组的数据检索。
S302中参与识别任务的人脸识别设备数目的确定步骤包括：
记人脸识别设备Wk的释放时间为rek，人脸识别设备Wk开始接收任务的时间为sk，任务调度把任务分配到人脸识别设备上所需的传输时间为dk，则任务调度分配任务Tk(idk,prk)给人脸识别设备Wk的时间为dk*Tk(idk,prk)。
S3021：如果相邻两个人脸识别设备
Figure BDA0002288092820000091
和
Figure BDA0002288092820000092
满足：
Figure BDA0002288092820000093
则表明工人脸识别设备
Figure BDA0002288092820000094
释放时间
Figure BDA0002288092820000095
要早于为
Figure BDA0002288092820000096
人脸识别设备分配识别任务的时刻，即
Figure BDA0002288092820000097
由忙碌状态转为空闲状态，发生在给人脸识别设备
Figure BDA0002288092820000098
分配识别任务的过程中。
这时的人脸识别设备Wk的开始时间满足
Figure BDA0002288092820000099
式(1)中，k＝2,3,...,NWM。
这种情况下，表明存在工作状态为空闲的人脸识别设备，则从任务调度中获取人脸识别设备的任务信息，计算所述各人脸识别设备总任务数与所述各人脸识别设备执行任务数最大值的比值。
正在执行的任务数、已完成的任务数和排队的任务数的总和为总任务数FTN：
FTN＝QTN+CTN+PTN (2)
计算所述各人脸识别设备总任务数与所述各人脸识别设备执行任务数最大值的比值value：
Figure BDA0002288092820000101
对比值进行排序，选取比值小于1的人脸识别设备(表明人脸识别设备总任务数小于人脸识别设备执行任务数最大值)，由任务调度对空闲检测成功的人脸识别设备分配数据进行识别。
假设任务调度根据检测到的人脸识别设备的空闲数量有WMF，任务调度会从ES中依次取WMF组数据，并分别分配WMF个人脸识别设备进行识别，并更新人脸识别设备状态为WMS＝1；
S3022：如果相邻两个人脸识别设备
Figure BDA0002288092820000102
和
Figure BDA0002288092820000103
满足：
Figure BDA0002288092820000104
则表明人脸识别设备
Figure BDA0002288092820000105
释放时间晚于任务调度为
Figure BDA0002288092820000106
人脸识别设备分配识别任务的时刻，即任务调度为
Figure BDA0002288092820000107
人脸识别设备分配识别任务后，存在等待时间，直到
Figure BDA0002288092820000108
空闲才能为其分配任务，这时的
Figure BDA0002288092820000109
人脸识别设备的开始时间和释放时间是相同的，
Figure BDA00022880928200001010
在这种情况下，表明人脸识别设备处于忙碌状态，则从任务调度中获取人脸识别设备的任务信息，计算所述各人脸识别设备的正在执行的任务数和排队的任务数之和与所述各人脸识别设备执行任务数最大值的比值，有：
Figure BDA00022880928200001011
并对比值进行排序，选取比值最小的人脸识别设备作为最先执行识别任务的人脸识别设备。
作为一个或多个实施例，如图2所示，所述S4的步骤，还包括：降低系统重复提醒频率的设置步骤，步骤如下：
S401：为每个营业厅的客户创建临厅记录表；
S402：设置客户临厅记录的提醒时间区间；
S403：在客户进入营业厅过程中，记录客户的临厅记录；
S404：判断临厅记录表中是否存在该客户的信息，若已存在，已注册客户信息，则不再进行提醒，若不存在，将捕获的客户头像与人脸库进行比对，记录第一次比对结果；
S405：根据S404中的比对结果构建以营业厅为单位客户临时身份队列，记录客户的临时身份；
S406：再次捕获到客户图像时，与人脸库进行比对，记录第二次比对结果；
S407：将S406捕获的客户图像，再与S405中营业厅临时队列中的客户图像进行匹配，记录第三次比对结果；
S408：判断三次比对结果是否达到设定阈值，若未达到，则认定为陌生人，提示系统提醒；若达到，则在S402设置的提醒时间区间内不进行系统提醒。
进一步的，S402中，设置客户临厅记录的提醒时间区间，是为防止客户下一次进入营业厅不再提醒，若超过规定的时间限制，则会从临厅记录中删除，也就是说同一客户在设置的时间区间内仅提醒一次。
人脸是存在相似性的，随着人脸特征库的增大，同时样貌相似客户的概率逐步增加，人脸识别查询的速度和精度会急剧下降。为提升人脸识别查询的精度，本申请提出了分区存储策略。
所述分区存储策略具体实现方法为：首先，将采集到的客户人脸信息以营业厅为单位进行存储，然后以营业厅为单位建立人脸信息库分区；当有客户进入营业厅时，仅对当前客户所在营业厅的人脸信息库进行扫描比对，实现智慧化分析与处理，提高人脸识别查询的速度和精度。
在营业厅中会出现陌生人因无身份标签或已注册客户长时间逗留在视频监控范围内，造成重复提醒的问题，为减少系统重复提醒的情况，提高系统识别的效率，本申请提出了一种降低系统重复提醒频率的设置方法。
实验结果与分析
(1)实验结果：
为了检验系统在实际环境中的性能及应用效果，在某市进行了系统部署及试运行。
人脸图像数据来源于某市社保。构建人脸数据库时，从某市社保提供的人脸头像照片筛选中20余万张，其中同一个人包含两张及以上图片的有5万余人，共计10万余张图片；剩余的10万余张图片全部为不重复的单人图片。
本申请对20余万张人脸图像进行训练，提取特征值并分类存储。测试时，从包含两张及以上图片的5万人中各抽取一张图片以及无重复的10万人中随机取5万组成共计10万余人的已注册库，剩余的组成待测试的10万测试库。
其中使用人脸库总数为99894，参与识别总人数为96788，其中，参与识别的已注册人数：46612，参与识别的未注册人数：50176。
为了验证本申请提出的建设方案的有效性，选用识别准确率、运行效率以及资源消耗作为技术评价指标。识别准确率、运行效率和资源消耗分别如表1、表2和表3。
表1不同方法的识别准确率
Figure BDA0002288092820000131
表2不同方法的运行效率
Figure BDA0002288092820000132
表3不同方法的资源消耗
Figure BDA0002288092820000133
(2)结果分析：
从表1测试结果可知，在10W的人脸库数据量下，采用本文建设方案的识别准确率最高，采用分区存储策略的识别准确率次之，其次是采用重复提醒频率设置方法，而采用了智能调度机制的测试结果与未采用本文提出的建设方案相差不大；这表明，本文提出的分区存储策略构建以小范围内分区进行人脸数据存储和处理，在提高人脸识别的准确性是有效的，采用重复提醒频率设置的方法在减少系统重复提醒情况的同时提高了系统识别效率，从而提高了识别准确率。采用本文建设方案的测试结果说明了，融合的建设方案能更加有效地提高人脸识别精准度。
从表2测试结果可知，在特征值提取所需时间方面，采用本文建设方案所需时间最少，采用分区存储策略次之，其次是智能调度机制，而采用了重复提醒频率设置的方法的测试结果与未采用本文提出的建设方案相差不大；在识别过程(单次)方面，采用本文建设方案所需时间最少，采用智能调度机制所需时间次之，其次是分区存储策略，而采用了重复提醒频率设置的测试结果与未采用本文提出的建设方案系统相差不大；这表明，本文提出的智能调度机制把任务分派给多个人脸识别设备同时完成，可以大大提高了单次识别速度，而分区存储策略以营业厅为单位进行存储和处理，降低了数据传输时耗和带宽消耗，提高了识别时效性，大大节省了特征提取时间所需时间，在提高系统运行效率是有效的。采用本文建设方案的测试结果说明了，融合的建设方案能更加有效地保障系统运行效率。
从表3测试结果可知，在内存消耗方面，采用本文建设方案的内存消耗最少，采用分区存储策略次之，其次是智能调度机制和重复提醒频率设置方法，未采用本文提出的建设方案最高；在Cpu占用方面，采用本文建设方案的Cpu占用最少，分区存储策略次之，其次是智能调度机制和重复提醒频率设置的方法，未采用本文提出的建设方案相最高；这表明，分区存储策略以营业厅为单位建立的人脸信息库分区，可以减少不必要的系统开销，降低Cpu占用率，提出的智能调度机制采用将任务拆分分派给多个人脸识别设备同时完成的模式来进行系统架构设计，同样减少了系统开销，提升了资源利用率，而采用重复提醒频率设置的方法可以减少内存空间重复占用率，提高内存利用率。采用本文建设方案的测试结果说明了，融合的建设方案能有效降低内存消耗和Cpu占用过高的问题。
实施例二，本实施例还提供了基于人脸识别的电力营业厅客服终端自动分配系统；
基于人脸识别的电力营业厅客服终端自动分配系统，包括：
图像采集模块：获取每个电力营业厅的摄像头采集的营业厅内每个人的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间；
图像存储模块：将采集的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间，上传给云服务器，由云服务器进行存储，存储过程中将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致；
人脸识别模块：将每个数据库中存储的人脸图像按照采集时间先后顺序进行特征提取，并基于对应营业厅预先上传的客户人脸数据库进行人脸识别；
客服终端自动分配模块：如果人脸识别结果是VIP客户，则将当前VIP客户对应的客户档案从客户档案数据库中提取出来，并将当前VIP客户对应的客户档案发送给对应的VIP客服终端；
如果人脸识别结果是普通客户，则将当前普通客户对应的客户档案从客户档案数据库中提取出来，并将当前普通客户对应的客户档案发送给对应的普通客服终端。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于人脸识别的电力营业厅客服终端自动分配方法，其特征是，包括：
图像采集步骤：获取每个电力营业厅的摄像头采集的营业厅内每个人的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间；
图像存储步骤：将采集的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间，上传给云服务器，由云服务器进行存储，存储过程中将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致；
人脸识别步骤：将每个数据库中存储的人脸图像按照采集时间先后顺序进行特征提取，并基于对应营业厅预先上传的客户人脸数据库进行人脸识别；
客服终端自动分配步骤：如果人脸识别结果是VIP客户，则将当前VIP客户对应的客户档案从客户档案数据库中提取出来，并将当前VIP客户对应的客户档案发送给对应的VIP客服终端；
如果人脸识别结果是普通客户，则将当前普通客户对应的客户档案从客户档案数据库中提取出来，并将当前普通客户对应的客户档案发送给对应的普通客服终端。
2.如权利要求1所述的方法，其特征是，所述图像采集步骤之后，图像存储步骤之前，还包括：
图像预处理步骤：对采集的人脸图像进行人脸检测和人脸姿态评估，对于没有采集到人脸的图像、模糊的图像或者非人脸中正面照的图像进行删除。
3.如权利要求1所述的方法，其特征是，所述图像预处理步骤之后，图像存储步骤之前，还包括：
S11：图像缓存步骤：将预处理得到的图像放入缓冲数据库中进行缓存。
4.如权利要求1所述的方法，其特征是，人脸识别步骤，还包括：
对图片队列进行监控，防止未处理图片积压影响人脸识别的时效性，对符合特征提取要求的图片进行特征提取；
将采集到的客户人脸信息以营业厅为单位进行存储，然后以营业厅为单位建立人脸信息库分区；当有客户进入营业厅时，仅对当前客户所在营业厅的人脸信息库进行扫描比对。
5.如权利要求1所述的方法，其特征是，所述人脸识别步骤，还包括：利用智能调度机制调度对应的人脸识别设备进行人脸识别：
S301：将数据仓库中已注册的人脸特征以营业厅为单位加载到内存中，并将每个营业厅的特征值数量再进行分组，划分成若干个存储单元，形成分组集合ES，ES为某营业厅中已注册的自然人特征值的分组集合，ES＝{E1,E2,E3,.....,Em}，其中，Ei代表第i组数据，1≤i≤m，m是营业厅中已注册的自然人特征值的分组个数，即在数据仓库中允许存储的最大分组个数；
S302：任务调度从数据仓库中检测分组集合ES数量，并以分组集合的个数为依据，分配所需人脸识别设备数目；WM为人脸识别设备集合，NWM为参与识别任务的人脸识别设备个数，WM＝{W1,W2,...,WNWM}，其中，Wk代表第k个人脸识别设备，WMF为当前人脸识别设备的空闲个数，WMS为人脸识别设备状态，WMS＝0人脸识别设备处于空闲状态，WMS＝1人脸识别设备处于忙碌状态，n为每个任务拆分的识别次数；依据人脸识别设备数目确定任务拆分的识别次数n；
S303：当有客户进入营业厅时，任务调度从任务队列中取出本次任务，并根据任务配置信息，将本次任务分配给人脸识别设备；
S304：人脸识别设备自动与任务调度建立链接，将自身任务信息上报给任务调度，任务调度根据人脸识别设备的空闲情况从ES中取数据进行任务识别；
S305：各个人脸识别设备分别执行各自分配到的识别任务，任一人脸识别设备完成识别任务后反馈给任务调度，任务调度接受人脸识别设备工作任务完成情况并判定任务的整体完成情况；
若任务识别次数达到n次，表示ES中所有组的数据都被检索，本次任务执行结束，将触发任务id所对应任务的一次主动调度，输出识别结果；
若未达到n次，说明ES中的数据仍有未被检索的，则任务调度获取人脸识别设备的任务信息后，根据人脸识别设备间的前后关系，选取空闲状态的人脸识别设备分配识别任务，一直到完成ES中所有组的数据检索。
6.如权利要求5所述的方法，其特征是，S302中参与识别任务的人脸识别设备数目的确定步骤包括：
记人脸识别设备Wk的释放时间为rek，人脸识别设备Wk开始接收任务的时间为sk，任务调度把任务分配到人脸识别设备上所需的传输时间为dk，则任务调度分配任务Tk(idk,prk)给人脸识别设备Wk的时间为dk*Tk(idk,prk)；
S3021：如果相邻两个人脸识别设备
Figure FDA0002288092810000031
和
Figure FDA0002288092810000032
满足：
Figure FDA0002288092810000033
则表明工人脸识别设备
Figure FDA0002288092810000034
释放时间
Figure FDA0002288092810000035
要早于为
Figure FDA0002288092810000036
人脸识别设备分配识别任务的时刻，即
Figure FDA0002288092810000037
由忙碌状态转为空闲状态，发生在给人脸识别设备
Figure FDA0002288092810000038
分配识别任务的过程中；
这时的人脸识别设备Wk的开始时间满足：
Figure FDA0002288092810000039
其中，k＝2,3,...,NWM；
这种情况下，表明存在工作状态为空闲的人脸识别设备，则从任务调度中获取人脸识别设备的任务信息，计算所述各人脸识别设备总任务数与所述各人脸识别设备执行任务数最大值的比值；
正在执行的任务数、已完成的任务数和排队的任务数的总和为总任务数FTN：
FTN＝QTN+CTN+PTN (2)
计算所述各人脸识别设备总任务数与所述各人脸识别设备执行任务数最大值的比值value：
Figure FDA0002288092810000041
对比值进行排序，选取比值小于1的人脸识别设备，由任务调度对空闲检测成功的人脸识别设备分配数据进行识别；
假设任务调度根据检测到的人脸识别设备的空闲数量有WMF，任务调度会从ES中依次取WMF组数据，并分别分配WMF个人脸识别设备进行识别，并更新人脸识别设备状态为WMS＝1；
S3022：如果相邻两个人脸识别设备
Figure FDA0002288092810000042
和
Figure FDA0002288092810000043
满足：
Figure FDA0002288092810000044
则表明人脸识别设备
Figure FDA0002288092810000045
释放时间晚于任务调度为
Figure FDA0002288092810000046
人脸识别设备分配识别任务的时刻，即任务调度为
Figure FDA0002288092810000047
人脸识别设备分配识别任务后，存在等待时间，直到
Figure FDA0002288092810000048
空闲才能为其分配任务，这时的
Figure FDA0002288092810000049
人脸识别设备的开始时间和释放时间是相同的，
Figure FDA00022880928100000410
在这种情况下，表明人脸识别设备处于忙碌状态，则从任务调度中获取人脸识别设备的任务信息，计算所述各人脸识别设备的正在执行的任务数和排队的任务数之和与所述各人脸识别设备执行任务数最大值的比值，有：
Figure FDA0002288092810000051
并对比值进行排序，选取比值最小的人脸识别设备作为最先执行识别任务的人脸识别设备。
7.如权利要求1所述的方法，其特征是，所述客服终端自动分配步骤，还包括：降低系统重复提醒频率的设置步骤，步骤如下：
S401：为每个营业厅的客户创建临厅记录表；
S402：设置客户临厅记录的提醒时间区间；
S403：在客户进入营业厅过程中，记录客户的临厅记录；
S404：判断临厅记录表中是否存在该客户的信息，若已存在，已注册客户信息，则不再进行提醒，若不存在，将捕获的客户头像与人脸库进行比对，记录第一次比对结果；
S405：根据S404中的比对结果构建以营业厅为单位客户临时身份队列，记录客户的临时身份；
S406：再次捕获到客户图像时，与人脸库进行比对，记录第二次比对结果；
S407：将S406捕获的客户图像，再与S405中营业厅临时队列中的客户图像进行匹配，记录第三次比对结果；
S408：判断三次比对结果是否达到设定阈值，若未达到，则认定为陌生人，提示系统提醒；若达到，则在S402设置的提醒时间区间内不进行系统提醒。
8.基于人脸识别的电力营业厅客服终端自动分配系统，其特征是，包括：
图像采集模块：获取每个电力营业厅的摄像头采集的营业厅内每个人的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间；
图像存储模块：将采集的人脸图像、人脸图像对应的电力营业厅编号和人脸图像采集时间，上传给云服务器，由云服务器进行存储，存储过程中将每个营业厅编号的人脸图像存储到对应的编号的数据库中，电力营业厅编号与数据库编号一致；
人脸识别模块：将每个数据库中存储的人脸图像按照采集时间先后顺序进行特征提取，并基于对应营业厅预先上传的客户人脸数据库进行人脸识别；
客服终端自动分配模块：如果人脸识别结果是VIP客户，则将当前VIP客户对应的客户档案从客户档案数据库中提取出来，并将当前VIP客户对应的客户档案发送给对应的VIP客服终端；
如果人脸识别结果是普通客户，则将当前普通客户对应的客户档案从客户档案数据库中提取出来，并将当前普通客户对应的客户档案发送给对应的普通客服终端。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
CN201911168506.2A 2019-11-25 2019-11-25 基于人脸识别的电力营业厅客服终端自动分配方法及系统 Active CN111079557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168506.2A CN111079557B (zh) 2019-11-25 2019-11-25 基于人脸识别的电力营业厅客服终端自动分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168506.2A CN111079557B (zh) 2019-11-25 2019-11-25 基于人脸识别的电力营业厅客服终端自动分配方法及系统

Publications (2)

Publication Number Publication Date
CN111079557A true CN111079557A (zh) 2020-04-28
CN111079557B CN111079557B (zh) 2023-08-25

Family

ID=70311643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168506.2A Active CN111079557B (zh) 2019-11-25 2019-11-25 基于人脸识别的电力营业厅客服终端自动分配方法及系统

Country Status (1)

Country Link
CN (1) CN111079557B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738742A (zh) * 2020-05-07 2020-10-02 广东电网有限责任公司 一种电力客服用画像数据处理系统
CN111860145A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于边缘计算和最大似然估计的人脸识别系统优化方法
CN111950364A (zh) * 2020-07-07 2020-11-17 北京思特奇信息技术股份有限公司 千万级底库的分库人脸识别系统和方法
CN112148907A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 图像数据库的更新方法、装置、电子设备和介质
CN112365281A (zh) * 2020-10-28 2021-02-12 国网冀北电力有限公司计量中心 电力客户服务需求分析方法及装置
CN112669480A (zh) * 2020-12-08 2021-04-16 安徽鸿程光电有限公司 数据处理方法、装置、终端设备及存储介质
CN112738066A (zh) * 2020-12-25 2021-04-30 合肥诚记信息科技有限公司 一种营业厅业务智能分配系统及方法
CN114419717A (zh) * 2022-01-27 2022-04-29 睿云联(厦门)网络通讯技术有限公司 一种终端设备的人脸检测、识别加速方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079160A (zh) * 2007-07-02 2007-11-28 郑志豪 一种基于身份认证的排队方法
CN102265612A (zh) * 2008-12-15 2011-11-30 坦德伯格电信公司 用于加速人脸检测的方法
CN108682074A (zh) * 2018-04-11 2018-10-19 华南理工大学 一种加油站信息提示方法及系统
CN108764932A (zh) * 2018-04-09 2018-11-06 国网山东省电力公司 基于人脸识别的电力营业厅智能分级调度方法和系统
CN109377251A (zh) * 2018-08-27 2019-02-22 广东履安实业有限公司 一种识别客户属性的方法及系统
CN109684940A (zh) * 2018-12-06 2019-04-26 武汉腾云慧城科技有限公司 一种基于三层分布式动态调度的人脸识别方法及系统
CN109753877A (zh) * 2018-12-04 2019-05-14 深圳华颐智能系统有限公司 一种校园宿舍动态人脸识别系统
US20200218755A1 (en) * 2017-09-15 2020-07-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for Image-Processing and Mobile Terminal

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079160A (zh) * 2007-07-02 2007-11-28 郑志豪 一种基于身份认证的排队方法
CN102265612A (zh) * 2008-12-15 2011-11-30 坦德伯格电信公司 用于加速人脸检测的方法
US20200218755A1 (en) * 2017-09-15 2020-07-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for Image-Processing and Mobile Terminal
CN108764932A (zh) * 2018-04-09 2018-11-06 国网山东省电力公司 基于人脸识别的电力营业厅智能分级调度方法和系统
CN108682074A (zh) * 2018-04-11 2018-10-19 华南理工大学 一种加油站信息提示方法及系统
CN109377251A (zh) * 2018-08-27 2019-02-22 广东履安实业有限公司 一种识别客户属性的方法及系统
CN109753877A (zh) * 2018-12-04 2019-05-14 深圳华颐智能系统有限公司 一种校园宿舍动态人脸识别系统
CN109684940A (zh) * 2018-12-06 2019-04-26 武汉腾云慧城科技有限公司 一种基于三层分布式动态调度的人脸识别方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738742A (zh) * 2020-05-07 2020-10-02 广东电网有限责任公司 一种电力客服用画像数据处理系统
CN111860145A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于边缘计算和最大似然估计的人脸识别系统优化方法
CN111950364A (zh) * 2020-07-07 2020-11-17 北京思特奇信息技术股份有限公司 千万级底库的分库人脸识别系统和方法
CN111950364B (zh) * 2020-07-07 2024-03-22 北京思特奇信息技术股份有限公司 千万级底库的分库人脸识别系统和方法
CN112148907A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 图像数据库的更新方法、装置、电子设备和介质
CN112365281A (zh) * 2020-10-28 2021-02-12 国网冀北电力有限公司计量中心 电力客户服务需求分析方法及装置
CN112365281B (zh) * 2020-10-28 2024-05-14 国网冀北电力有限公司计量中心 电力客户服务需求分析方法及装置
CN112669480A (zh) * 2020-12-08 2021-04-16 安徽鸿程光电有限公司 数据处理方法、装置、终端设备及存储介质
CN112738066A (zh) * 2020-12-25 2021-04-30 合肥诚记信息科技有限公司 一种营业厅业务智能分配系统及方法
CN114419717A (zh) * 2022-01-27 2022-04-29 睿云联(厦门)网络通讯技术有限公司 一种终端设备的人脸检测、识别加速方法及系统

Also Published As

Publication number Publication date
CN111079557B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111079557B (zh) 基于人脸识别的电力营业厅客服终端自动分配方法及系统
CN208834377U (zh) 一种具有人脸识别功能的自助排队机及系统
CN110119673A (zh) 无感人脸考勤方法、装置、设备及存储介质
CN108830439A (zh) 基于人脸识别的电力营业厅智能服务监测方法和系统
CN104506946B (zh) 一种基于图像识别的电视节目识别方法和系统
CN101546449A (zh) 一种基于客户身份的动态排队方法和排队管理系统及应用
CN111382177A (zh) 一种业务数据任务处理方法、装置及系统
CN109190588A (zh) 一种人口分类的方法及装置
CN106296020A (zh) 一种基于定损员空闲时间的任务分配方法
CN109658040A (zh) 会议管理的方法、装置、设备及计算机存储介质
CN113139667B (zh) 基于人工智能的酒店房间推荐方法、装置、设备及存储介质
CN111192459A (zh) 一种视频监控布控方法和布控装置
CN112008736A (zh) 迎宾机器人调配方法、装置、存储介质和电子装置
CN109636090A (zh) 工位分配方法、装置、设备及存储介质
CN110097200A (zh) 会议室预定方法、装置、设备及存储介质
CN111581087B (zh) 应用程序测试方法和装置
CN111047726A (zh) 一种基于人脸识别的简易考勤方法及系统
CN117193992A (zh) 模型训练方法、任务调度方法、装置以及计算机存储介质
CN111539281A (zh) 分布式人脸识别方法及系统
CN110610164A (zh) 人脸图像处理方法、系统、服务器及可读存储介质
CN110750350A (zh) 一种大资源调度方法、系统、装置及可读存储介质
CN115146965A (zh) 值班人员规划方法、装置、存储介质和设备
CN111242413B (zh) 应用于应急指挥调度的智能匹配系统及方法
CN113177883A (zh) 一种基于数据队列的排列传输系统
CN113569808A (zh) 机房人脸识别动态管理方法、存储介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant