CN107862423A - 系统评估方法、智能评估系统及计算机可读存储介质 - Google Patents

系统评估方法、智能评估系统及计算机可读存储介质 Download PDF

Info

Publication number
CN107862423A
CN107862423A CN201710504414.1A CN201710504414A CN107862423A CN 107862423 A CN107862423 A CN 107862423A CN 201710504414 A CN201710504414 A CN 201710504414A CN 107862423 A CN107862423 A CN 107862423A
Authority
CN
China
Prior art keywords
customer service
probability
client
intelligent customer
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710504414.1A
Other languages
English (en)
Other versions
CN107862423B (zh
Inventor
方宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lu Jin (shanghai) Science And Technology Services Co Ltd
Original Assignee
Lu Jin (shanghai) Science And Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lu Jin (shanghai) Science And Technology Services Co Ltd filed Critical Lu Jin (shanghai) Science And Technology Services Co Ltd
Priority to CN201710504414.1A priority Critical patent/CN107862423B/zh
Publication of CN107862423A publication Critical patent/CN107862423A/zh
Application granted granted Critical
Publication of CN107862423B publication Critical patent/CN107862423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种系统评估方法、智能评估系统及计算机可读存储介质，该系统评估方法包括：获取智能客服系统与客户沟通所产生的对话记录；统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。本发明改变了人工评估智能客服系统的评估方式，采用自动化系统评估机制，从智能客服系统的整体出发，实现对智能客服系统客观全面的系统化评估，避免人工评估的主观性和曲线局限性，以获得智能客服系统服务水平真实有效的评估结果，从而提高到评估效果的准确率，反馈出智能客服系统真实的服务水平，从而提高评估效率。

Description

系统评估方法、智能评估系统及计算机可读存储介质
技术领域
本发明涉及系统评估技术领域，尤其涉及一种系统评估方法、智能评估系统及计算机可读存储介质。
背景技术
目前智能客服系统依靠其智能化数据分析，在一定程度上缓解了人工客服的压力，而评估智能客服系统的服务水平，有利于我们提高该系统的智能化水平，进而提高智能客服系统的工作效率。
但是，评估智能客服系统一般采用人工评估的方式，而人工评估通常会掺杂个人主观性和局限性，并且，人工评估的方式没有标准化的评估标准，无法系统客观化地从智能客服系统的整体出发，做到全面客观的正确评估，从而影响到评估效果的正确性，无法反馈出智能客服系统真实的服务水平，导致评估效率低下。
发明内容
本发明的主要目的在于提供一种系统评估方法、智能评估系统及计算机可读存储介质，旨在解决因人工评估智能客服系统中的不客观不全面因素导致排评估效率低下的技术问题。
为实现上述目的，本发明实施例提供一种系统评估方法，所述系统评估方法包括：
获取智能客服系统与客户沟通所产生的对话记录；
统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；
根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。
优选地，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：
获取每个客户在多轮对话中所有的咨询问题；
分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；
当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。
优选地，所述统计分析所有客户的对话轮数的步骤包括：
统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；
判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；
当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。
优选地，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。
优选地，所述统计分析客户转接人工客服的概率的步骤包括：
统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率；
当检测到转接概率小于第二预设阈值时，判定智能客服系统的服务质量为优质。
优选地，所述根据统计数据综合评估智能客服系统的服务水平，以获取评估结果的步骤包括：
根据统计数据获取的服务效率、服务效果和服务质量，建立数据评估模型；
根据数据评估模型，综合评估智能客服系统的服务水平，以获取评估结果。
优选地，所述系统评估方法还包括：
根据预设的关键词数据库，获取对话记录中每个客户所咨询问题的关键字；
获取关键字所关联的服务项目；
统计智能客服系统基于关键字答复的关联服务项目的关联概率；
当关联概率大于等于第三预设阈值时，判定智能客服系统的服务正确率高。
优选地，所述系统评估方法还包括：
当检测到所述关键字映射到关联产品时，统计对话记录中基于关键字推荐关联产品的推荐概率；
当推荐概率大于等于第四预设阈值时，判定智能客服系统的产品推荐关联度强。
本发明还提供一种智能评估系统，所述智能评估系统包括：存储器、处理器，通信总线以及存储在所述存储器上的系统评估程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述系统评估程序，以实现以下步骤：
获取智能客服系统与客户沟通所产生的对话记录；
统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；
根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。
优选地，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：
获取每个客户在多轮对话中所有的咨询问题；
分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；
当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。
优选地，所述统计分析所有客户的对话轮数的步骤包括：
统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；
判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；
当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。
优选地，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。
优选地，所述统计分析客户转接人工客服的概率的步骤包括：
统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率；
当检测到转接概率小于第二预设阈值时，判定智能客服系统的服务质量为优质。
优选地，所述根据统计数据综合评估智能客服系统的服务水平，以获取评估结果的步骤包括：
根据统计数据获取的服务效率、服务效果和服务质量，建立数据评估模型；
根据数据评估模型，综合评估智能客服系统的服务水平，以获取评估结果。
优选地，所述系统评估方法还包括：
根据预设的关键词数据库，获取对话记录中每个客户所咨询问题的关键字；
获取关键字所关联的服务项目；
统计智能客服系统基于关键字答复的关联服务项目的关联概率；
当关联概率大于等于第三预设阈值时，判定智能客服系统的服务正确率高。
优选地，所述系统评估方法还包括：
当检测到所述关键字映射到关联产品时，统计对话记录中基于关键字推荐关联产品的推荐概率；
当推荐概率大于等于第四预设阈值时，判定智能客服系统的产品推荐关联度强。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：
获取智能客服系统与客户沟通所产生的对话记录；
统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；
根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。
本发明首先获取智能客服系统与客户沟通所产生的对话记录；然后统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；最后根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。本发明改变了人工评估智能客服系统的评估方式，采用自动化系统评估机制，从智能客服系统的整体出发，实现对智能客服系统客观全面的系统化评估，避免人工评估的主观性和曲线局限性，以获得智能客服系统服务水平真实有效的评估结果，从而提高到评估效果的准确率，反馈出智能客服系统真实的服务水平，从而提高评估效率。
附图说明
图1为本发明系统评估方法第一实施例的流程示意图；
图2为本发明系统评估方法第二实施例的流程示意图；
图3为本发明系统评估方法第三实施例的流程示意图；
图4为本发明系统评估方法第五实施例的流程示意图；
图5为本发明系统评估方法第六实施例的流程示意图；
图6为本发明系统评估方法第七实施例的流程示意图；
图7为本发明系统评估方法第八实施例的流程示意图；
图8为本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种系统评估方法，在系统评估方法第一实施例中，参照图1，所述系统评估方法包括：
步骤S10，获取智能客服系统与客户沟通所产生的对话记录；
智能客服系统中存储着系统与每个客户在沟通过程中产生的所有对话记录，而对话记录的内容作为智能客服系统与客户交互沟通的凭证，是评估智能客服系统服务水平的重要依据。其中，智能客服系统对话记录的获取包括两种，一种是智能客服系统与每个客户的单独记录，一种是智能客服系统与所有客户的统计记录。单独记录能够反映单一客户在对话细节中的数据细节，而统计记录能够反映智能客服系统对所有客户的整体服务水平。智能客服系统与客户沟通时产生的对话记录，可以作为智能评估系统评估智能客服系统的参考依据。
步骤S20，统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；
在客户咨询智能客服系统相关的问题时，智能客服系统会对客户所咨询问题进行针对性答复，并记录下客户在智能客服系统中的任何操作。在本发明中，智能评估系统主要针对智能客服系统的对话记录中的三个评估因子进行评估。
首先是每个客户在对话记录中所咨询的问题的语义等同概率。所述语义等同概率指的是智能评估系统计算所有咨询问题中语义相同的咨询问题的占比。由于是针对单个客户而言，即针对单个客户所咨询的问题，因此智能评估系统从单个客户的对话记录中每一轮对话中的特性进行解析。也就是说，智能评估系统提取了客户在单个客户在一次对话记录中的多轮对话，对单个客户的多个咨询问题进行语义分析。其中，一次对话记录指的是客户单词接入智能客服系统的开始到客户离开智能客服系统这段时间内所产生的对话记录，一轮对话指的是从客户提出一个咨询问题，到智能客服系统答复该咨询问题的过程，无论是否解决客户所要咨询的问题。假设多个咨询问题的语义相同度越高，则证明客户在咨询的过程中，需要重复多次相同或相同的问题才有可能获得所需要的答复，反映了智能客服系统无法快速准确答复客户的咨询问题，从语义等同概率的角度切入，通过量化数据侧面评估智能客服系统的服务效率。
其次每个客户的对话轮数，也是一个重要的评估标准。智能客服系统与客户的每一轮对话都可以看做是智能客服系统与客户之间的一次交流。在一次完整的对话记录中，智能客服系统能否在一轮对话中就解决客户所咨询的问题，很大程度反映了智能客服系统的服务水准是否达标。也就是说，智能客服系统能否在单位时间内快速解决客户所咨询的问题，可以通过对话轮数的多少作为参考。假设智能客服系统能够在1至8轮的对话咨询中就解决客户所要咨询的问题，则证明该智能客服系统对客户所咨询的答复精准，能在最短时间内解决客户的咨询需求，也证明智能客服系统的服务水平较高；而如果智能客服系统需要在8轮以上的对话咨询后才能解决客户所要咨询的问题，除却客户所咨询问题的语义不清的因素之外，8轮以上的对话咨询证明该智能客服系统无法短时间内解决客户的咨询需求，有可能是智能客服系统对客户的咨询需求的实质分析不准确，也可能是智能客服系统基于咨询需求所提供的解决方案不佳等等。对话轮数越少，表示智能客服系统越能精准地解决客户所咨询的问题。因此，智能评估系统可以从对话轮数的角度，以量化数据侧面评估智能客服系统的服务效果。
最后是客户转接人工客服的概率。一般地，客户在接入客服时，首先接入的必定是智能客服系统，只有在智能客服系统无法解决客户咨询的问题时，客户才会转接人工客服。因此客户从智能客服系统到人工客服的转化概率，能反推出智能客服系统所能给予客户的咨询解决能力。客户转接人工客服的概率越低，则证明智能客服系统解决客户所咨询问题的能力越强。智能评估系统可以从客户转接人工客服的角度，以量化数据侧面评估智能客服系统的服务质量。
步骤S30，根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。
智能评估系统提取统计对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率三个评估因子的具体数据，根据这些具体数据的，通过分析评估，获取到对应的评估结果。例如，对三个评估因子的具体数据进行等级区分，如将语义等同概率的统计数据设为A级，将对话轮数的统计数据设为C级，将转接人工客服概率的统计数据设置C级，根据预设的综合评估标准，进行综合逻辑评判，如平均值等级计算，方差值等级计算等等，从而获得评估结果；或者对三个评估因子的具体数据进行分数区分，以百分制的形式设置各评估因子的分数，同样可以通过预设的综合评估标准进行综合逻辑评判，从而获得评估结果。
需要说明的是，综合评估标准可以是智能评估系统预设的标准，也可以根据评估侧重点的改变而作出人工相应调整。
本发明首先获取智能客服系统与客户沟通所产生的对话记录；然后统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；最后根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。本发明改变了人工评估智能客服系统的评估方式，采用自动化系统评估机制，从智能客服系统的整体出发，实现对智能客服系统客观全面的系统化评估，避免人工评估的主观性和曲线局限性，以获得智能客服系统服务水平真实有效的评估结果，从而提高到评估效果的准确率，反馈出智能客服系统真实的服务水平，从而提高评估效率。
进一步地，在本发明系统评估方法第一实施例的基础上，提出系统评估方法第二实施例，参照图2，所述第二实施例与第一实施例之间的区别在于，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：
步骤S21，获取每个客户在多轮对话中所有的咨询问题；
步骤S22，分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；
步骤S23，当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。
对语义等同概率的分析，主要是分析客户在一次对话记录的多轮对话中上下文所咨询的问题。本实施例是一个统计流程，先获取每个客户在一次对话记录多轮对话中所有的咨询问题。智能评估系统对所有的咨询问题一一进行分析识别，以获取到每一个咨询问题各自的语义信息。客户在不同时间内所咨询的问题可能语义信息一致，也可能不一致，而语义信息对应着相应的咨询需求，智能客服系统会对咨询需求进行相应答复。分析出所有咨询问题的语义之后，统计所有咨询问题的语义相似的概率，即统计客户所提出的咨询问题属于同一个问题的概率，从而计算所有咨询问题的语义等同概率。也就是说，将所有咨询问题的语义进行比对，语义相似度越高，则语义等同概率越高。
具体地，计算语义等同概率的方式一般分为以下两种：
1、根据分类体系计算词语语义距离的方法
该方法又称基于树的语义相似度研究方法，基于树的语义相似度计算的算法大体上分为两种：一是基于距离的语义相似性测度；二是基于信息内容的语义相似性测度。一般是利用一部语义词典(如Wordnet，Hownet)，语义词典都是将所有的词组织在一棵或几棵树状的层次结构中。在一棵树状图中，任何两个结点之间有且只有一条路径。这条路径的长度就可以作为这两个词语概念间语义距离的一种度量；而且随着概念所处结点越深，其所包含的语义信息越丰富，越能准确地决定概念的性质，对语义相似度起着决定作用。
2、利用大规模的语料库进行统计
基于语料库的词语相似度研究大都采用了上下文语境的统计描述方法，即认同这样一个论断：词语的上下文可以为词语定义提供足够信息。词语向量空间模型是目前基于统计的词语相似度计算策略使用比较广泛的一种模型。该模型事先选择一组特征词，然后计算这一组特征词与每一个词的相关性(一般在实际的大规模语料中以该词在上下文中出现的频率来度量)，对于每一个词都可以得到一个相关性的特征词向量，然后利用这些向量之间的相似度作为这两个词的相似度。
当然，以上所述计算语义等同概率的两种方式仅为举例说明，本发明的计算语义等同概率的算法不仅仅局限于以上两种方式，凡是涉及计算语义等同概率的算法均在本发明的专利保护范围之内。
本实施例设置了第一预设阈值，在语义等同概率小于第一预设阈值，即证明客户提出的咨询问题不是反复提问，即证明了智能客服系统能够快速准确解决客户的咨询需求，反映了智能客服系统的服务效率为高效。
具体地，假设智能客服系统能够及时解决或答复客户所咨询的问题，那么客户在咨询的问题得到解决之后，将会退出智能客服系统，或者提问与上一轮所咨询问题不一致的新问题。如果智能客服系统在上一轮咨询对话中未能解决客户的问题，那么客户可能将在新一轮的对话过程中重新提问。这种重复提问的咨询问题是基于客户无法从智能客服系统的答复中获得有效解决才继续提问的。因此，这种语义相同的咨询问题发生得越少，越证明智能客服系统能够及时解决这类咨询问题，客户能够得知或获取到想要的回答或帮助。
进一步地，在本发明系统评估方法第二实施例的基础上，提出系统评估方法第三实施例，参照图3，所述第三实施例与第二实施例之间的区别在于，所述统计分析所有客户的对话轮数的步骤包括：
步骤S24，统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；
步骤S25，判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；
步骤S26，当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。
本实施例中，可以通过对话轮数直观地反映智能客服系统的服务效果，也可以通过与人工客服的服务效果进行比对，从另一个角度来诠释智能客服系统的服务效果。通常地，人工客服是由客服人员与客户进行沟通的渠道，而客服人员更能够精准地理解客户的咨询需求，因此，若智能客服系统与客户进行沟通的服务效果能够近似或等同于人工客服的服务效果，则证明智能客服系统的服务效果良好。
通过统计每个客户与智能客服系统的对话记录中的对话轮数，并将每个客户的对话轮数统计生成第一概率分布图，该第一概率分布图可以是对话轮数的直方图或标准方差图，也可以其他体现出对话轮数的统计特性的图表，在此不作限定。同样，智能评估系统还需获取到每个客户与人工客服沟通时对话记录中的对话轮数的第二概率分布图。
需要说明的是：1、第二概率分布图与第一概率分布图的图表类别是一致的；2、第二概率分布图由每个客户与人工客服沟通时对话记录中的对话轮数而来，但每个客户与人工客服沟通的过程必须是直接沟通，而不是从智能客服系统跳转过来的。
将第一概率分布图和第二概率分布图进行匹配比较，匹配比较是基于第一概率分布图和第二概率分布图从整体比较上的差异程度，即二者在数据分布上的差异。而恒定差异程度的大小则采用一个预设的差异范围，例如第一概率分布图的所有对话轮数与第二概率分布图的所有对话轮数相比，其差值均不超过3轮，即第一概率分布图和第二概率分布图的对话轮数相差3轮之内，则在差异范围内。假设第一概率分布图和第二概率分布图的图表类型为平均对话轮数，若第一概率分布图的平均对话轮数为7轮，而第二概率分布图的平均对话轮数为5轮，则二者相差2轮，恰好在预设的3轮的预设差异范围之内，证明智能客服系统的服务效果和人工客服的服务效果相似，处于可相互替代的范围之内。
进一步地，在本发明系统评估方法第三实施例的基础上，提出系统评估方法第四实施例，参照图8，所述第四实施例与第三实施例之间的区别在于，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。
第一概率分布图和第二概率分布图的图表类型需要一致，才能方便进行比对匹配。假设第一概率分布图的图表类型为直方图，而第二概率分布图的图表类型为折线图，那么智能评估系统需要将二者转化为同样的直方图或折现图，才能方便进行比较，从而进行差异范围的判断。
进一步地，在本发明系统评估方法第四实施例的基础上，提出系统评估方法第五实施例，参照图4，所述第五实施例与第四实施例之间的区别在于，所述统计分析客户转接人工客服的概率的步骤包括：
步骤S27，统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率；
步骤S28，当检测到转接概率小于第二预设阈值时，判定智能客服系统的服务质量为优质。
客户在智能客服系统中无法解决咨询需求时，会转接人工客服寻求新的问题解决渠道。智能评估系统会调取统计对话记录中所有由智能客服系统转接到人工客服系统的转接记录，并计算出对应的转接概率。智能评估系统设置了一个第二预设阈值，该第二预设阈值作为智能客服系统允许转接人工客服系统的最高门限，一旦超过这个数值，则智能客服系统独立解决客户咨询问题的能力还有所不足。若转接概率小于第二预设阈值，则证明由智能客服系统转接到人工客服系统的概率在可接受范围之内，智能客服系统独立解决客户咨询问题的能力是优秀的。
进一步地，在本发明系统评估方法第五实施例的基础上，提出系统评估方法第六实施例，参照图5，所述第六实施例与第五实施例之间的区别在于，所述根据统计数据综合评估智能客服系统的服务水平，以获取评估结果的步骤包括：
步骤S31，根据统计数据获取的服务效率、服务效果和服务质量，建立数据评估模型；
步骤S32，根据数据评估模型，综合评估智能客服系统的服务水平，以获取评估结果。
智能评估系统评估智能客服系统的服务水平，需从三个方面进行综合评估。智能客服系统的服务水平由服务效率、服务效果和服务质量组成故对智能客服系统的整体评价需要涉及这三个方面。而服务效率、服务效果和服务质量的具体程度分别由语义等同概率，对话轮数以及转接人工概率三个评估因子统计而来，因此对服务水平的评估是对三个评估因子间隔体现的具体评估。
本实施例将三个评估因子的统计数据进行建模，即建立起三种统计数据相结合的数据评估模型。通过数据评估模型，智能评估系统能够综合三种统计数据，利用三种统计数据进行互相参照，如服务效率，服务效果与服务质量之间的逻辑代数关系，彼此之间是如何影响对方等，共同评估智能客服系统的服务水平。并最终获得评估结果。例如智能评估系统分别对服务效率、服务效果和服务质量三种统计数据进行评分，而后综合三种评分根据侧重点不同，获得评估结果。
进一步地，在本发明系统评估方法第六实施例的基础上，提出系统评估方法第七实施例，参照图6，所述第七实施例与第六实施例之间的区别在于，所述系统评估方法还包括：
步骤S40，根据预设的关键词数据库，获取对话记录中每个客户所咨询问题的关键字；
步骤S50，获取关键字所关联的服务项目；
步骤S60，统计智能客服系统基于关键字答复的关联服务项目的关联概率；
步骤S70，当关联概率大于等于第三预设阈值时，判定智能客服系统的服务正确率高。
本实施例引入新的评估因子，即在客户与智能客服系统进行沟通时，智能客服系统在进行答复时，基于所咨询问题中关键字所关联的服务项目的出现概率。换句话说，智能评估系统通过预设的关键词数据库，获取到智能客服系统与客户沟通时所提的咨询问题中存在的关键字，然后获取到关键字所涉及并关联到的服务项目，包括功能服务、应用接口等等。由于智能客服系统可能会获取到关键字，也有可能没获取到关键字，因此智能客服系统对咨询问题中的咨询需求可能无法正常提供。智能评估系统统计客户的咨询问题中存在关键字的记录，并统计智能客服系统在咨询问题的答复中出现关键字关联的服务项目的关联概率。设定一个第三预设阈值，在关联概率大于第三预设阈值时，直接判定智能客服系统的服务正确率高。第三预设阈值作为门限参考值，代表了智能客服系统回复咨询问题的服务正确率的最低门限值。
具体地，假设客户提问了10个咨询问题，其中5个咨询问题中各自具有关键字，而智能客服系统针对10个咨询问题的答复中，仅对具有关键字的5个咨询问题中的2个咨询问题进行关键字关联服务项目的答复。这样关联概率即为40％，若第三预设阈值为70％，即证明智能客服系统的服务正确率不足，因为没有对关键字对应的服务项目进行答复。例如，第三预设阈值为60％客户提问的10个咨询问题中，其中5个咨询问题中有关键字“活期”“定存”、“期货”、“黄金”、“资产配置”，智能客服系统对该5个咨询问题中的关键字中的“活期”、“定存”和“黄金”进行了关于最低投资金额、收益率、投资时间的关联服务项目说明。而“期货”、“资产配置”两个关键字没有具体的答复说明，那么此时关联概率应为60％，等于第三预设阈值，那么智能评估系统将判定智能客服系统的服务正确率高。
进一步地，在本发明系统评估方法第七实施例的基础上，提出系统评估方法第八实施例，参照图7，所述第八实施例与第七实施例之间的区别在于，所述系统评估方法还包括：
步骤S80，当检测到所述关键字映射到关联产品时，统计对话记录中基于关键字推荐关联产品的推荐概率；
步骤S90，当推荐概率大于等于第四预设阈值时，判定智能客服系统的产品推荐关联度强。
若咨询问题中的关键字涉及到具体的关联产品时，统计对话记录中有关联产品推荐的推荐概率。如5个咨询问题中，其中4个咨询问题有各自的关键字，分别是“余额宝”、“招财宝”、“现金宝”和“灵活宝”，分别对应着一种具体的关联产品，假设智能客服系统仅对其中两种关联产品进行推荐，如智能客服系统推送了“余额宝”和“招财宝”的产品信息。那么此时智能客服系统的推荐概率应为50％。若第四预设阈值为45％，那么智能评估系统判定智能客服系统的产品推荐关联度强。
参照图8，图8是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等终端设备。
如图8所示，该智能评估系统可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，该智能评估系统还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图8中示出的智能评估系统结构并不构成对智能评估系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及系统评估程序。操作系统是管理和控制智能评估系统硬件和软件资源的程序，支持系统评估程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与智能评估系统中其它硬件和软件之间通信。
在图8所示的智能评估系统中，处理器1001用于执行存储器1005中存储的系统评估程序，实现以下步骤：
获取智能客服系统与客户沟通所产生的对话记录；
统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；
根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。
进一步地，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：
获取每个客户在多轮对话中所有的咨询问题；
分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；
当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。
进一步地，所述统计分析所有客户的对话轮数的步骤包括：
统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；
判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；
当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。
进一步地，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。
进一步地，所述统计分析客户转接人工客服的概率的步骤包括：
统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率；
当检测到转接概率小于第二预设阈值时，判定智能客服系统的服务质量为优质。
进一步地，所述根据统计数据综合评估智能客服系统的服务水平，以获取评估结果的步骤包括：
根据统计数据获取的服务效率、服务效果和服务质量，建立数据评估模型；
根据数据评估模型，综合评估智能客服系统的服务水平，以获取评估结果。
进一步地，所述系统评估方法还包括：
根据预设的关键词数据库，获取对话记录中每个客户所咨询问题的关键字；
获取关键字所关联的服务项目；
统计智能客服系统基于关键字答复的关联服务项目的关联概率；
当关联概率大于等于第三预设阈值时，判定智能客服系统的服务正确率高。
进一步地，所述系统评估方法还包括：
当检测到所述关键字映射到关联产品时，统计对话记录中基于关键字推荐关联产品的推荐概率；
当推荐概率大于等于第四预设阈值时，判定智能客服系统的产品推荐关联度强。
本发明智能评估系统的具体实施方式与上述系统评估方法各实施例基本相同，在此不再赘述。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于：
获取智能客服系统与客户沟通所产生的对话记录；
统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；
根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。
本发明计算机可读存储介质具体实施方式与上述系统评估方法和智能评估系统各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种系统评估方法，其特征在于，所述系统评估方法包括：
获取智能客服系统与客户沟通所产生的对话记录；
统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；
根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。
2.如权利要求1所述的系统评估方法，其特征在于，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：
获取每个客户在多轮对话中所有的咨询问题；
分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；
当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。
3.如权利要求2所述的系统评估方法，其特征在于，所述统计分析所有客户的对话轮数的步骤包括：
统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；
判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；
当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。
4.如权利要求3所述的系统评估方法，其特征在于，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。
5.如权利要求4所述的系统评估方法，其特征在于，所述统计分析客户转接人工客服的概率的步骤包括：
统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率；
当检测到转接概率小于第二预设阈值时，判定智能客服系统的服务质量为优质。
6.如权利要求5所述的系统评估方法，其特征在于，所述根据统计数据综合评估智能客服系统的服务水平，以获取评估结果的步骤包括：
根据统计数据获取的服务效率、服务效果和服务质量，建立数据评估模型；
根据数据评估模型，综合评估智能客服系统的服务水平，以获取评估结果。
7.如权利要求6所述的系统评估方法，其特征在于，所述系统评估方法还包括：
根据预设的关键词数据库，获取对话记录中每个客户所咨询问题的关键字；
获取关键字所关联的服务项目；
统计智能客服系统基于关键字答复的关联服务项目的关联概率；
当关联概率大于等于第三预设阈值时，判定智能客服系统的服务正确率高。
8.如权利要求7所述的系统评估方法，其特征在于，所述系统评估方法还包括：
当检测到所述关键字映射到关联产品时，统计对话记录中基于关键字推荐关联产品的推荐概率；
当推荐概率大于等于第四预设阈值时，判定智能客服系统的产品推荐关联度强。
9.一种智能评估系统，其特征在于，所述智能评估系统包括：存储器、处理器，通信总线以及存储在所述存储器上的系统评估程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述基于互联网的系统评估程序，以实现如权利要求1至8中任一项所述的系统评估方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有系统评估程序，所述系统评估程序被处理器执行时实现如权利要求1至8中任一项所述的系统评估方法的步骤。
CN201710504414.1A 2017-06-28 2017-06-28 系统评估方法、智能评估系统及计算机可读存储介质 Active CN107862423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710504414.1A CN107862423B (zh) 2017-06-28 2017-06-28 系统评估方法、智能评估系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710504414.1A CN107862423B (zh) 2017-06-28 2017-06-28 系统评估方法、智能评估系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107862423A true CN107862423A (zh) 2018-03-30
CN107862423B CN107862423B (zh) 2021-07-06

Family

ID=61699104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710504414.1A Active CN107862423B (zh) 2017-06-28 2017-06-28 系统评估方法、智能评估系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107862423B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897723A (zh) * 2018-06-29 2018-11-27 北京百度网讯科技有限公司 场景对话文本识别方法、装置以及终端
CN109492954A (zh) * 2019-01-04 2019-03-19 王睿琪 评估方法、装置、服务器、存储介质及系统
CN110533343A (zh) * 2019-09-04 2019-12-03 腾讯科技（深圳）有限公司 智能客服系统的数据处理方法、装置及电子设备
CN111311286A (zh) * 2020-02-27 2020-06-19 腾讯科技（深圳）有限公司 一种智能客服数据处理方法、装置及计算设备、存储介质
CN111695745A (zh) * 2019-03-11 2020-09-22 北京京东尚科信息技术有限公司 一种在线服务提供者服务质量评估方法和装置
CN113128794A (zh) * 2019-12-27 2021-07-16 北京国双科技有限公司 一种量化评估方法及装置
CN113780610A (zh) * 2020-12-02 2021-12-10 北京沃东天骏信息技术有限公司 一种客服画像构建方法和装置
CN116596549A (zh) * 2023-07-14 2023-08-15 山东交控科技有限公司 一种用于轨道交通客服机器人的问答响应管理方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025535A1 (en) * 2005-07-11 2007-02-01 Sbc Knowledge Ventures Lp Measuring and improving customer satisfaction at automated customer service centers
US20130204650A1 (en) * 2012-02-02 2013-08-08 HCL America Inc. System and method for compliance management
US20140201125A1 (en) * 2013-01-16 2014-07-17 Shahram Moeinifar Conversation management systems
CN104301554A (zh) * 2013-07-18 2015-01-21 中兴通讯股份有限公司 一种对客服人员的服务质量进行质检的装置及方法
CN105404618A (zh) * 2014-09-16 2016-03-16 阿里巴巴集团控股有限公司 一种对话文本数据处理方法和装置
CN105592234A (zh) * 2014-10-21 2016-05-18 阿里巴巴集团控股有限公司 通信数据处理方法及装置
CN105760508A (zh) * 2016-02-23 2016-07-13 北京搜狗科技发展有限公司 一种信息推送方法、装置及电子设备
US20160352657A1 (en) * 2015-05-31 2016-12-01 Microsoft Technology Licensing, Llc Metric for automatic assessment of conversational responses
CN106227779A (zh) * 2016-07-18 2016-12-14 深圳追科技有限公司 一种客服系统的人机交互方法
CN106897884A (zh) * 2017-01-24 2017-06-27 武汉奇米网络科技有限公司 快速引导访客咨询的方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025535A1 (en) * 2005-07-11 2007-02-01 Sbc Knowledge Ventures Lp Measuring and improving customer satisfaction at automated customer service centers
US20130204650A1 (en) * 2012-02-02 2013-08-08 HCL America Inc. System and method for compliance management
US20140201125A1 (en) * 2013-01-16 2014-07-17 Shahram Moeinifar Conversation management systems
CN104301554A (zh) * 2013-07-18 2015-01-21 中兴通讯股份有限公司 一种对客服人员的服务质量进行质检的装置及方法
CN105404618A (zh) * 2014-09-16 2016-03-16 阿里巴巴集团控股有限公司 一种对话文本数据处理方法和装置
CN105592234A (zh) * 2014-10-21 2016-05-18 阿里巴巴集团控股有限公司 通信数据处理方法及装置
US20160352657A1 (en) * 2015-05-31 2016-12-01 Microsoft Technology Licensing, Llc Metric for automatic assessment of conversational responses
CN105760508A (zh) * 2016-02-23 2016-07-13 北京搜狗科技发展有限公司 一种信息推送方法、装置及电子设备
CN106227779A (zh) * 2016-07-18 2016-12-14 深圳追科技有限公司 一种客服系统的人机交互方法
CN106897884A (zh) * 2017-01-24 2017-06-27 武汉奇米网络科技有限公司 快速引导访客咨询的方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897723A (zh) * 2018-06-29 2018-11-27 北京百度网讯科技有限公司 场景对话文本识别方法、装置以及终端
CN108897723B (zh) * 2018-06-29 2022-08-02 北京百度网讯科技有限公司 场景对话文本识别方法、装置以及终端
CN109492954A (zh) * 2019-01-04 2019-03-19 王睿琪 评估方法、装置、服务器、存储介质及系统
CN111695745A (zh) * 2019-03-11 2020-09-22 北京京东尚科信息技术有限公司 一种在线服务提供者服务质量评估方法和装置
CN110533343A (zh) * 2019-09-04 2019-12-03 腾讯科技（深圳）有限公司 智能客服系统的数据处理方法、装置及电子设备
CN110533343B (zh) * 2019-09-04 2023-12-15 腾讯科技（深圳）有限公司 智能客服系统的数据处理方法、装置及电子设备
CN113128794A (zh) * 2019-12-27 2021-07-16 北京国双科技有限公司 一种量化评估方法及装置
CN111311286A (zh) * 2020-02-27 2020-06-19 腾讯科技（深圳）有限公司 一种智能客服数据处理方法、装置及计算设备、存储介质
CN111311286B (zh) * 2020-02-27 2023-04-07 腾讯科技（深圳）有限公司 一种智能客服数据处理方法、装置及计算设备、存储介质
CN113780610A (zh) * 2020-12-02 2021-12-10 北京沃东天骏信息技术有限公司 一种客服画像构建方法和装置
CN116596549A (zh) * 2023-07-14 2023-08-15 山东交控科技有限公司 一种用于轨道交通客服机器人的问答响应管理方法及系统
CN116596549B (zh) * 2023-07-14 2023-10-20 山东交控科技有限公司 一种用于轨道交通客服机器人的问答响应管理方法及系统

Also Published As

Publication number Publication date
CN107862423B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN107862423A (zh) 系统评估方法、智能评估系统及计算机可读存储介质
CN112700325A (zh) 一种基于Stacking集成学习的网贷回头客预测的方法
CN110349000A (zh) 基于用户分群的提额策略确定方法、装置和电子设备
KR100776187B1 (ko) 기술평가방법
Feng et al. [Retracted] Design and Simulation of Human Resource Allocation Model Based on Double‐Cycle Neural Network
WO2020024456A1 (zh) 一种量化交易预测方法、装置及设备
CN110162359A (zh) 新手引导信息的推送方法、装置及系统
CN111882420A (zh) 响应率的生成方法、营销方法、模型训练方法及装置
CN114612251A (zh) 风险评估方法、装置、设备及存储介质
Shao et al. How does facial recognition as an urban safety technology affect firm performance? The moderating role of the home country’s government subsidies
CN112116103A (zh) 基于联邦学习的个人资质评估方法、装置及系统及存储介质
CN114154672A (zh) 一种用于客户流失预测的数据挖掘方法
Hasyim The determinant of takaful acceptance: Theory of reasoned action approach
CN108647714A (zh) 负面标签权重的获取方法、终端设备及介质
CN107273472A (zh) 一种资源受限约束下的活动推荐方法及系统
CN109978300B (zh) 客户风险承受力量化方法及系统、资产配置方法及系统
Zhai et al. Big data analysis of accounting forecasting based on machine learning
CN112150179A (zh) 一种信息推送方法和装置
CN112967062B (zh) 基于谨慎度的用户身份识别方法
CN114626940A (zh) 数据分析方法、装置及电子设备
Fang et al. Data mining technology and its Application In CRM of Commercial Banks
TWI634498B (zh) 企業營運問題分析系統及其方法
Zhu [Retracted] Big Data’s Analysis and Prediction Method of Art Education Based on the BP Neural Network
Nugraha et al. Customer Segmentation and Preference Modeling of Indonesian Mobile Telecommunication Industry: A Data Mining Approach
Makris Associating firm characteristics with dynamic exporting activity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 2000 15/F, 1333 Lujiazui Ring Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai

Applicant after: Weikun (Shanghai) Technology Service Co., Ltd

Address before: 200000 Lujiazui ring No. 1333, Pudong New Area free trade test area, Shanghai, 15

Applicant before: Lujinsu (Shanghai) Technology Service Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant