CN111221953B - 一种在线售前客服效果评价方法 - Google Patents
一种在线售前客服效果评价方法 Download PDFInfo
- Publication number
- CN111221953B CN111221953B CN202010016769.8A CN202010016769A CN111221953B CN 111221953 B CN111221953 B CN 111221953B CN 202010016769 A CN202010016769 A CN 202010016769A CN 111221953 B CN111221953 B CN 111221953B
- Authority
- CN
- China
- Prior art keywords
- user
- customer service
- data
- records
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 64
- 238000011156 evaluation Methods 0.000 title claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 29
- 235000014510 cooky Nutrition 0.000 claims description 21
- 230000003993 interaction Effects 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 238000005065 mining Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000000556 factor analysis Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000004043 responsiveness Effects 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种在线售前客服效果评价方法，其特征在于，包括步骤1收集原始数据；步骤2对原始数据进行预处理；步骤3在集成后的基础数据集上构建用于分析的特征指标；步骤4构建客服效果模型，计算客服效果；步骤5基于客服效果模型参数，对客服效果进行评价。本发明将服务质量量表结合客服记录数据进行售前客服效果评价，有利于优化现有客服效果评价体系，考虑并规避了用户使用客服行为存在的自我选择问题，通过计算用户使用客服的可能性，并把计算结果带入客服效果模型中进行考量，在全用户的层面挖掘在线售前客服满意程度的评价指标，本发明对使用在线客服的企业在客服效果最大化实现上提供了科学性的决策支持。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及一种在线售前客服效果评价方法。
背景技术
企业常需要对在线客服效果进行评价，以进行服务质量优化。以往，企业的客服中心会设立客服质检岗位，通过问卷调查或回访等方式抽样检测消费者的满意度与问题解决情况来评价客服效果。但是随着信息技术应用的日益增多，企业客服的用户接触面越来越多，从电话逐渐拓展到网络即时通讯工具，接触的形式从语音拓展到文字乃至视频，原有的客服质检方式已难以监控形式多样、数量日益增长的客服活动质量。
当前，伴随信息和通信技术的发展，在线客户服务更具便捷性和智能性，实时在线客户服务系统(如阿里旺旺、京东咚咚、苏宁云信等图标式或嵌入页面式聊天工具)已成为客户关系管理的重要营销工具，数据库成果也帮助企业积累了客服在互动过程中的大量数据，从中提取的客服特征可以满足以往问卷量表对于服务质量的测度条件。目前数据挖掘领域已有研究(申请专利号：CN201811411593.5，CN201711088424.8)使用情感分析等方法训练客服聊天文本，以对客服效果进行评价。然而，尚无使用客服记录数据结合服务质量量表评价客服效果的研究。客服一般分为售前客服与售后客服。相较于主要解决纠纷投诉问题的售后客服而言，主要帮助用户解决好相关异议疑惑的售前客服中的情感较为稀缺，在使用中较难通过情感分类评价客服效果。因此，将服务质量量表结合企业数据进行售前客服效果评价，有利于优化现有客服效果评价体系。
此外，售前客服是帮助消费者获取商品信息、促成电子商务交易的重要因素，其满意度研究群体不应局限于使用客服的人群。现有研究者们仅把使用过客服的观测值选入样本进行客服效果评价，而通过对消费者信息搜寻方面研究的观察发现，只有具有咨询意愿的特定消费者才会进行使用客服系统，即消费者对于客服系统的使用行为存在着自选择问题(样本有意识选择或自行选择导致的样本选择偏差问题)。如果只对进行在线客服咨询的消费者进行分析研究，样本之间会存在一定的缺失值，这会导致研究的结果不够精确，产生选择性偏误。
发明内容
本发明旨在解决以上现有技术的问题，提出了一种在线售前客服效果评价方法。该方法可以找出影响用户评价售前客服效果的因素，为商家优化客户服务并提高客服咨询的购买转化率提供有力的决策支持。本发明的技术方案如下：
一种在线售前客服效果评价方法，其特征在于，包括如下步骤：
步骤1.基于电子商务网站企业数据库收集原始数据，所述原始数据包括平台用户的注册信息数据、用户访问行为日志数据、购买记录数据与客服记录数据；
步骤2.对原始数据进行预处理，所述预处理包括清理、用户识别与会话切分，从而获得基础数据集；
步骤3.在集成后的基础数据集上构建用于分析的特征指标，所述特征指标的类目包括用户基本属性特征、访问行为特征、购买行为特征与客服特征；
步骤4.使用客服记录数据中的用户满意度作为客服效果评价指标，构建客服效果模型，估计模型参数，计算客服效果；
步骤5.基于客服效果模型参数，对客服效果进行评价。
所述步骤1中，具体包括：
所述用户的注册信息数据包括用户性别、年龄、地区、积分数和审核备注字段；所述用户访问行为日志数据记录并存储在网络日志数据库，包括点击的时间、用户点击时的网络IP地址、用户的来源网页和用户的访问请求网页，对于有客服使用记录的用户，提取用户自注册起到首次咨询客服的用户访问日志数据，对于没有客服使用记录的用户，提取用户自注册起至今的用户访问日志数据。所述购买记录数据包括购买时间、商品ID、商品价格、优惠价格、商品类别；从客服记录数据中提取预设的一段时间内完整的客服记录，所述客服记录包括消息ID、会话ID、消息时间、客服消息记录、发送人ID、接收人ID、消息流向，所述客服消息记录以LOB型数据存储，在处理时转换为varchar型数据。
所述步骤2中，对原始数据进行预处理具体包括：
步骤2-1.数据清洗，具体为：
步骤2-1-1.在用户的注册信息数据中，通过用户出生日期计算用户年龄，通过用户注册时间计算其注册时长，在用户注册信息数据中通过审核备注字段剔除测试人员与未录入指定注册信息的人员的数据，所述指定注册信息包括用户出生日期与电话号码；
步骤2-1-2.删除无关的字段和无关的数据记录；所述无关的字段是指在用户访问行为日志数据中除用户IP、cookies、用户代理、访问日期、访问时间、访问来源地址和访问请求地址以外的其他字段；所述无关的数据记录包括网站内部测试账号产生的数据记录、用户注册信息数据中非用户记录的数据以及用户访问行为日志数据中的爬虫数据、图片视频请求数据和异常访问数据，通过用户访问IP判断其所在区域；
步骤2-1-3.在购买记录数据中的用户购买记录中，只保留有效购买订单的用户，删除客服记录数据中的客服广告数据、异常订单记录与企业批量购买的大宗订单记录；
步骤2-1-4.在客服记录数据中，对客服数据进行主题挖掘，具体为：根据会话主题将客服分为售前客服记录数据与售后客服记录数据两类，删除售后客服记录数据，仅提取售前客服记录数据：首先对文档进行会话切分、分词处理并去除停用词与特殊词汇，将短文本的对话信息转化为符合模型要求的词向量表现形式，然后进行特征选择，所述特征选择包括名词短语提取、高频词提取、外部数据集引入与信息熵过滤，特征选择后代入主题挖掘模型提取每段客服对话的主题，删除客服文本中涉及售后服务部分主题的对话记录，所述售后服务部分主题的对话记录包括主题为“理赔”、“赔付”、“发票”、“退保”、“退款”、“保单号”的记录；
步骤2-1-5.对所收集的数据进行无量纲化处理，得到标准化参数数据；
步骤2-2.用户识别，具体为：
步骤2-2-1.将数据清洗后的用户原始数据整理成以用户唯一标示身份为维度；企业数据库中，用户注册信息数据与购买记录数据以用户ID为单位存储；用户访问行为日志数据以cookie、IP地址为单位存储；对于用户访问行为日志数据,提取用户的用户ID、用户姓名、用户访问时间、用户访问模块URL后，通过网络日志数据中的cookies字段来区分不同的用户，若cookie为空值，则用IP地址区分用户；
步骤2-2-2.通过用户ID和cookie或IP地址之间的对应关系将上述数据整合，统一按用户ID存储，在此过程中过滤重复用户，即使用同一IP地址的用户，结合用户代理字段值区分用户，完成用户识别，生成用户的基本数据宽表，将数据集通过计算集成为衡量用户价值的变量，所述衡量用户价值的变量包括用户在整体网站的访问频率、单一网页的访问频率和各类商品的消费频率；
步骤2-3.会话切分具体为：使用日志数据中的时间戳对用户点击流进行会话切分，将同一Cookie离开半小时内再进入的访问记录算作同一个会话。
所述步骤3中，根据步骤2中预处理完成的数据构建特征指标，特征分为影响用户使用在线售前客服的特征集zi与影响用户客服满意度的特征集xi，所述影响用户使用在线售前客服的特征集zi由用户基本属性特征、访问行为特征与购买行为特征进行因子分析后构成，其中，基本属性指用户的人口统计信息；需求紧迫性指用户从需求产生到必须获得产品的时间距离；需求不确定性指用户对自身需求内容的确定程度；搜寻态度指用户对外部信息搜寻的态度；既有知识指用户对其选购产品品类知识的了解程度；网站经验指用户对电商平台的了解程度；产品卷入指用户对需求商品的重视程度；
所述影响用户客服满意度的特征集xi包括将服务质量量表与客服聊天记录结合后提取的客服效果影响特征，以及用户基本属性特征与访问行为特征，其中，基本属性指用户的人口统计信息；既有知识指用户对其选购产品品类知识的了解程度；咨询详细度指用户在互动过程中感受到的内容详细程度；娱乐性指互动过程中的娱乐程度；交互性指在互动过程中，用户与客服沟通的交互程度；响应性指在互动过程中，客服回复用户的及时程度；个性化指在互动过程中根据用户的特定需求提供个性化、差异化的产品。
所述步骤4的具体步骤为：
步骤4-1.分别检验步骤3中所述变量集合zi中变量之间的多重共线性与变量集合xi中变量之间的多重共线性，具体为，通过相关系数矩阵进行解释变量的多重共线性程度的判别，即做各解释变量的相关系数矩阵，删除相关系数大于0.8的变量；
步骤4-2.进行客服效果估计，分为两阶段建模：
在第一阶段使用步骤3中的影响用户使用在线售前客服的特征集zi建立客服点击概率模型
USE_CSi＝αzi+ei，ei～N(0,σe 2)
上式中，USE_CSi是用户对客服的使用变量：若用户使用客服工具则USE_CSi＝1，若用户不使用客服工具则USE_CSi＝0；α为待估计系数向量；ei是误差项；用Probit估计用户使用客服的概率P(USE_CSi＝1|zi)＝Φ(z′iα)，即：
P(USE_CSi＝1|zi)＝P(USE_CS* i>0)＝P(ei<αzi)＝Fe(αzi)
上式中，Fe(·)是ei的累计分布函数，根据上式得到估计值
使用逆米尔斯函数调节咨询与未咨询过在线售前客服的用户之间的差异，逆米尔斯比率(IMR)计算如下：
其中，和/>分别表示以zi为变量的标准正态分布的密度函数和标准正态分布的累积分布函数，zi为第一阶段模型中的解释变量；
在第二阶段使用步骤3中影响用户客服满意度的特征集xi与第一阶段中计算逆米尔斯函数估计值λi建立客服效果模型：
Satisfyi＝βixi+βλλi+μi,μi～N(0,σμ 2)
其中被解释变量Satisfyi为客服满意度，测量方式为用户使用客服后进行的满意度打分，Satisfyi＝-2为非常不满意，Satisfyi＝2为非常满意；Satisfyi只有当USE_CSi＝1时才可以被观测到，λi是第一阶段所得的逆米尔斯比率，μi是误差项；使用OLS回归后得到估计值和λi的系数估计值βλ,估计值/>表示各特征对用户最终客服满意度的影响程度,系数估计值βλ表示客服对用户最终购买行为的影响程度。
基于步骤4中的模型参数对客服效果进行评价，若参数为正，则表示特征对客服满意度有正向影响，参数越大，正向影响程度越高；若参数为负，则表示特征对客服满意度有负向影响，参数越小，负向影响程度越高。
所述步骤2-1-4中，具体为：使用LDA模型进行客服记录数据的主题挖掘，根据会话ID字段对文档进行会话切分，对会话内容进行结巴分词，分词的结果由会话ID和词向量组成，对停用词和特殊词汇进行过滤，对词向量出现的词汇进行词性标注，提取了名词短语作为特征词，对特征词进行加权处理，具体为将特征词出现的频次乘以2，再进行信息熵过滤操作，将词频高于10、信息熵值低于0.3的词汇作为特征词，根据会话的特征词向量建立特征矩阵，代入LDA模型。
本发明所达到的有益效果:本发明以用户满意度作为在线售前客服效果的评价指标，结合服务质量量表与客服记录数据构建在线客服效果模型，深入挖掘客户服务质量的影响因素、影响程度与影响机理，为企业提升服务质量提供有利的理论指导，为企业管理人员对售前客服的的指导与规范提供参考依据。此外，本发明考虑到了因用户未使用客服而无法观察的样本，针对用户主观选择使用在线客服的特性进行了使用客服概率估计，并在此基础上构建客服效果模型。优化了现有模型中数据受限造成的结果偏误，对如何利用企业自身数据进行客服分析提供了样例，可以协助企业针对不同用户制定科学有效的提升在线服务质量的建设策略，以便于更好地评估在线售前客服服务效果，进而提升电子商务店铺订单成交率。
附图说明
图1为本发明的示例性实施例的方法流程图；
图2为本发明的示例性实施例中的数据预处理的流程图；
图3为本发明的示例性实施例中的客服文本主题挖掘的流程示意图。
具体实施方式
与现有技术相比，本发明注重对电子商务中的文本数据的利用，构建了多维度的、且全面的客服效果评估数据模型，真正实现了从用户的角度出发，提升企业对于使用客服的用户的认知，为企业进行定制化服务提供理论参考，进而做出更有效的营销决策。
下面结合附图和示例性实施例对本发明作进一步的说明：
图1描述了如何结合服务质量量表与客服记录数据评价在线售前客服效果的整个流程，具体实现如下：
步骤101：从企业数据库中对网站用户原始数据进行收集，包括用户的注册信息、访问行为日志数据、购买记录数据和客服记录数据。用户的注册信息包括但不限于用户性别、年龄、地区、积分数。用户访问行为日志数据从网络访问日志数据中获取。企业会通过一定的规则，如按照点击的时间、用户点击时的网络IP地址、用户的来源网页、用户的访问请求网页，对用户的访问点击行为进行记录并存储在网络日志数据库中。这类数据由于是通过企业直接记录而非研究者通过爬虫软件进行采集，因此具有原始性和完整性，能客观的反映用户的行为。购买记录数据包括但不限于购买时间、商品ID、商品价格、优惠价格、商品类别。客服记录数据包括消息ID、会话ID、消息时间、客服消息记录、发送人ID、接收人ID、消息流向，其中由于客服消息记录内容过长，以LOB(大型对象)型数据存储，在处理时转换为varchar型数据。
对于在有客服使用记录的用户，提取用户自注册起到首次咨询客服的用户访问日志，对于没有客服使用记录的用户，提取用户自注册起至今的用户访问日志数据。数据整理成以用户唯一标示身份为维度，即业务数据如用户基本属性与交易数据以用户ID为单位存储，用户访问日志类数据以cookie、IP地址为单位存储。
步骤102：进行数据预处理工作，包括数据清洗、用户识别与会话识别。在数据清洗阶段，对无关字段和数据的清除如图2的201所示，删除无关的字段和无关的数据记录；其中字段指的是数据表中的数据列名，在用户的注册信息数据中，通过用户出生日期计算用户年龄，通过用户注册时间计算其注册时长；在用户访问行为日志数据中保留用户IP、cookies、用户代理、访问日期、访问时间、访问来源地址、访问请求地址，其他无关字段全部删除；在客服记录数据中，对客服数据进行主题挖掘，根据会话主题将客服分为售前客服记录数据与售后客服记录数据两类，删除售后客服记录数据，仅提取售前客服记录数据。无关的数据记录包括保险网站内部测试账号产生的数据记录、用户注册信息数据中非用户记录的数据、用户访问行为日志数据中爬虫、图片视频请求以及异常访问数据，用户购买记录中异常订单记录与企业批量购买的大宗订单记录，客服记录数据中的客服广告数据，在处理时将其删除。
其中，客服记录数据的主题挖掘过程见图3。由于在线客服的对话内容记录着用户与客服的信息交互情况，这类文本不仅文本内容简短，同时还具有口语化以及商业性等特征。而LDA模型可以用于识别大规模文档集或语料库中潜藏的主题信息，在挖掘交互式短文本的潜在主题方面表现优异，因此我们选择LDA模型进行客服记录数据的主题挖掘。首先根据会话ID字段对文档进行会话切分，对会话内容进行结巴分词，分词的结果由会话ID和词向量组成。实验根据词向量的内容进行了停用词和特殊词汇过滤，降低数据的噪声。之后对词向量出现的词汇进行词性标注，并提取了名词短语作为实验的特征词。由于示例数据为保险客服对话，我们增加了保险词汇的权重值，将保险词汇出现的频次乘以2，完成保险词汇的加权处理。此外，针对不同会话对应的特征矩阵，我们还进行了信息熵过滤操作。实验针对矩阵的信息熵处理结果，得出不同特征词的信息熵值。根据上述结果，我们将词频高于10、信息熵值低于0.3的词汇作为实验的特征词，并根据不同会话的特征词向量建立特征矩阵，代入LDA模型，得到不同客服会话的词向量对应的主题。提取主题后，删除客服文本中涉及售后服务部分主题的对话记录，包括但不限于主题为“理赔”、“赔付”、“发票”、“退保”、“退款”、“保单号”的记录。
用户识别的过程具体见图2的202。在进行用户识别时，考虑到在现有的互联网环境中用户对于隐私的重视使得一些用户的cookies值无法获取，本发明将结合cookie和IP地址来识别用户，步骤为：
1、将数据整理成以用户唯一标示身份为维度，一般业务数据如用户基本属性数据、交易数据以用户ID为单位存储，用户访问日志类数据以cookie、IP地址为单位存储。对于用户访问日志,提取用户的有用信息(包含用户ID、用户姓名、用户访问时间、用户访问模块URL)后，通过网络日志数据中的cookies字段来区分不同的用户，若cookie为空值，则用IP地址区分用户；
2、通过用户ID和cookie、IP地址之间的对应关系将上述数据整合，统一按用户ID存储，在此过程中过滤重复用户，即使用同一IP的用户，结合用户代理字段值区分用户，完成用户识别。然后生成用户的基本数据宽表，通过计算进一步将原来“粗”的数据集集成为衡量用户价值的变量，包括但不限于整体网站与单一网页的访问频率、访问页面种类、各类商品消费频率、消费种类；
随后进行会话切分，参照图2的203，使用日志数据中的时间戳(页面打开和关闭时间)对用户点击流进行会话切分，将同一Cookie离开半小时内再进入的，算作同一个会话。
步骤103：根据步骤102中预处理完成的数据，构建模型的指标与其测量变量。由于售前客服主要是为用户提供咨询服务，帮助用户解决好相关异议疑惑，而用户对售前客服的使用决策与他们的购买需求紧迫程度、需求产品的精确程度、寻求咨询的态度、对产品相关知识的了解程度、网站使用经验以及对产品的重视程度高度相关，上述信息又与用户往期的网页浏览与购买行为相关。因此本发明构建了影响用户使用在线售前客服的特征集 由用户基本属性特征、访问行为特征与购买行为特征进行因子分析后构成，其中用户基本属性特征从用户基本属性数据中提取、访问行为特征从用户访问日志数据中提取、购买行为特征从购买记录数据中提取。在客服效果模型的指标构建中，本发明将现有在线客户服务质量量表与客服记录数据相结合，构建影响用户客服满意度的特征集/> 由用户基本属性特征、访问行为特征与客服特征构成，客服特征在在线客服记录数据中进行提取。各个指标的含义与测量特征如下表所示：
上表中，客服整体交互程度为客服总消息数与用户总消息数中较小值与较大值的比值；客服机器人交互程度为客服机器人总消息数与用户总消息数中较小值与较大值的比值。
步骤104：使用客服记录数据中的用户满意度作为客服效果评价指标，计算客服效果，具体步骤为：
首先检验步骤103所述结构化数据表格中各变量之间的多重共线性，多重共线性是指回归模型中的解释变量之间存在着精确的或是高度相关的关系的情况，若严重的多重共线性在模型解释变量之间存在，那么将会导致模型的估计出现失真或是难以估计准确的问题，一般判别解释变量多重共线性严重程度主要有相关系数矩阵、容忍度、方差膨胀因子、特征根等方法，本例中我们通过相关系数矩阵进行解释变量的多重共线性程度的判别，即做各解释变量的相关系数矩阵，若相关系数大于0.9则变量存在共线性，大于0.8则变量可能存在共线性，删除具有强共线性的变量。
然后进行客服效果估计：
a)使用103中的基本属性特征、访问行为特征与购买行为特征的集合zi建立第一阶段客服点击概率模型
USE_CSi＝αzi+ei,ei～N(0,σe 2)
上式中，USE_CSi是用户对客服的使用变量：若用户使用客服工具则USE_CSi＝1，若用户不使用客服工具则USE_CSi＝0。为影响用户使用在线售前客服的特征集，α为待估计系数向量；ei是误差项，代表无法观测的影响因素。则用户选择使用客服的概率可用下式表示：
P(USE_CSi＝1|zi)＝P(USE_CS* i>0)＝P(ei<αzi)＝Fe(αzi)
上式中，Fe(·)是ei的累计分布函数，根据上式可以得到估计值
b)使用逆米尔斯函数调节咨询与未咨询过在线售前客服的用户之间的差异，逆米尔斯比率(IMR)计算如下：
其中，和/>分别表示以zi为变量的标准正态分布的密度函数和标准正态分布的累积分布函数。zi为第一阶段模型中的解释变量。
c)使用客服记录数据中的用户满意度作为客服效果评价指标，构建第二阶段客服效果模型：
Satisfyi＝βixi+βλλi+μi,μi～N(0,σμ 2)
上式中，第二阶段回归模型的被解释变量Satisfyi为客服满意度，测量方式为用户使用客服后进行的满意度打分，Satisfyi＝-2为非常不满意，Satisfyi＝2为非常满意。Satisfyi只有当USE_CSi＝1时才可以被观测到。是第二阶段的解释变量，λi是第一阶段所得的逆米尔斯比率，μi是误差项。
不同于最小二乘法，Heckman两阶段在加入逆米尔斯比率λi后，样本的选择误差就可以被避免，当λ回归系数显著βλ不为0时，就说明Heckman两阶段法是合理的，也意味着用户对于客服工具的选择性是明显的。xi的系数表示各特征对用户最终满意度的影响程度，通过系数可以分析客服人员行为特征对客服满意度的影响机理。
步骤105：基于客服效果模型参数对客服效果进行评价。步骤104中得到的客服效果估计结果如下表所示：
可以看出，样本的逆米尔斯比率系数显著，说明本例中的客服满意度测量样本存在选择性偏差。
用户的既有知识与其客服满意度打分呈正相关关系，且在10％水平显著。用户具有的既有知识越高，他们对客服满意度评价越高。当用户选择使用在线售前客服咨询时，由于自身知识储备较为丰富，信息承载能力较强，更易于理解客服人员的建议，使沟通体验更为流畅。
在客服咨询详细度上，客服会话次数与用户的客服满意度在1％水平上呈正相关关系。当用户使用客服咨询次数越多时，其获得的客户服务越全面，客服体验性与满意度越高。客服人员平均发言字数与用户的客服满意度呈正相关关系，且在10％水平显著。客服人员发言字数越多，对于产品信息的解释越详细，用户的满意度越高。本结果建议客服人员在进行客服工作时应进行详细描述，以便于用户对产品有详尽了解，提升用户满意度。
在客服娱乐性方面，单会话平均表情数与客服效果呈正相关关系，说明当用户在与客服人员交流过程中，丰富的表情使用会使用户感受到心情愉悦，对客服的满意度升高。
客服交互程度方面，交互程度对客服满意度有正向影响。用户在进行售前客服咨询时，与客服人员的交互程度越高，用户的客服满意度越高。客服机器人交互程度影响系数为负且不显著，说明在线客服机器人在交互性上仍不如人工客服更具有用户体验。
客服响应时间与用户的客服满意度呈负相关关系。客服人员对用户的回复越慢，用户的客服满意度越低，因此建议客服人员在进行服务工作时应尽快回复用户咨询，以提升用户使用感受，提高客服满意度。
本发明主要用于提供一种在线售前客服效果评价方法。本发明以用户满意度作为在线售前客服效果的评价指标，结合服务质量量表与客服记录数据构建在线客服效果模型，深入挖掘客户服务质量的影响因素、影响程度与影响机理，为企业提升服务质量提供有利的理论指导，为企业管理人员对售前客服的的指导与规范提供参考依据。此外，本发明考虑到了因用户未使用客服而无法观察的样本，针对用户主观选择使用在线客服的特性进行了使用客服概率估计，并在此基础上构建客服效果模型。优化了现有模型中数据受限造成的结果偏误，对如何利用企业自身数据进行客服分析提供了样例，可以协助企业针对不同用户制定科学有效的提升在线服务质量的建设策略，以便于更好地评估在线售前客服服务效果，进而提升电子商务店铺订单成交率。
以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。
Claims (3)
1.一种在线售前客服效果评价方法，其特征在于，包括如下步骤：
步骤1.基于电子商务网站企业数据库收集原始数据，所述原始数据包括平台用户的注册信息数据、用户访问行为日志数据、购买记录数据与客服记录数据；
步骤2.对原始数据进行预处理，所述预处理包括清理、用户识别与会话切分，从而获得基础数据集；
步骤3.在集成后的基础数据集上构建用于分析的特征指标，所述特征指标的类目包括用户基本属性特征、访问行为特征、购买行为特征与客服特征；
步骤4.使用客服记录数据中的用户满意度作为客服效果评价指标，构建客服效果模型，用于估计模型参数并计算客服效果；
步骤5.基于客服效果模型参数，对客服效果进行评价；
所述步骤1中，具体包括：
所述用户的注册信息数据包括用户性别、年龄、地区、积分数和审核备注字段；所述用户访问行为日志数据记录并存储在网络日志数据库，包括点击的时间、用户点击时的网络IP地址、用户的来源网页和用户的访问请求网页，对于有客服使用记录的用户，提取用户自注册起到首次咨询客服的用户访问日志数据，对于没有客服使用记录的用户，提取用户自注册起至今的用户访问日志数据；所述购买记录数据包括购买时间、商品ID、商品价格、优惠价格、商品类别；从客服记录数据中提取预设的一段时间内完整的客服记录，所述客服记录包括消息ID、会话ID、消息时间、客服消息记录、发送人ID、接收人ID、消息流向，所述客服消息记录以LOB型数据存储，在处理时转换为varchar型数据；
步骤2-1.数据清洗，具体为：
步骤2-1-1.在用户的注册信息数据中，通过用户出生日期计算用户年龄，通过用户注册时间计算其注册时长，在用户注册信息数据中通过审核备注字段剔除测试人员与未录入指定注册信息的人员的数据，所述指定注册信息包括用户出生日期与电话号码；
步骤2-1-2.删除无关的字段和无关的数据记录；所述无关的字段是指在用户访问行为日志数据中除用户IP、cookies、用户代理、访问日期、访问时间、访问来源地址和访问请求地址以外的其他字段；所述无关的数据记录包括网站内部测试账号产生的数据记录、用户注册信息数据中非用户记录的数据以及用户访问行为日志数据中的爬虫数据、图片视频请求数据和异常访问数据，通过用户访问IP判断其所在区域；
步骤2-1-3.在购买记录数据中的用户购买记录中，只保留有效购买订单的用户，删除客服记录数据中的客服广告数据、异常订单记录与企业批量购买的大宗订单记录；
步骤2-1-4.在客服记录数据中，对客服数据进行主题挖掘，具体为：根据会话主题将客服分为售前客服记录数据与售后客服记录数据两类，删除售后客服记录数据，仅提取售前客服记录数据：首先对文档进行会话切分、分词处理并去除停用词与特殊词汇，将短文本的对话信息转化为符合模型要求的词向量表现形式，然后进行特征选择，所述特征选择包括名词短语提取、高频词提取、外部数据集引入与信息熵过滤，特征选择后代入主题挖掘模型提取每段客服对话的主题，删除客服文本中涉及售后服务部分主题的对话记录，所述售后服务部分主题的对话记录包括主题为“理赔”、“赔付”、“发票”、“退保”、“退款”、“保单号”的记录；
步骤2-1-5.对所收集的数据进行无量纲化处理，得到标准化参数数据；
步骤2-2.用户识别，具体为：
步骤2-2-1.将数据清洗后的用户原始数据整理成以用户唯一标识身份为维度；企业数据库中，用户注册信息数据与购买记录数据以用户ID为单位存储；用户访问行为日志数据以cookie、IP地址为单位存储；对于用户访问行为日志数据,提取用户的用户ID、用户姓名、用户访问时间、用户访问模块URL后，通过网络日志数据中的cookies字段来区分不同的用户，若cookie为空值，则用IP地址区分用户；
步骤2-2-2.通过用户ID和cookie或IP地址之间的对应关系将上述数据整合，统一按用户ID存储，在此过程中过滤重复用户，即使用同一IP地址的用户，结合用户代理字段值区分用户，完成用户识别，生成用户的基本数据宽表，将数据集通过计算集成为衡量用户价值的变量，所述衡量用户价值的变量包括用户在整体网站的访问频率、单一网页的访问频率和各类商品的消费频率；
步骤2-3.会话切分具体为：使用日志数据中的时间戳对用户点击流进行会话切分，将同一Cookie离开半小时内再进入的访问记录算作同一个会话；
所述步骤3中，根据步骤2中预处理完成的数据构建特征指标，特征指标分为影响用户使用在线售前客服的特征集zi与影响用户客服满意度的特征集xi，所述影响用户使用在线售前客服的特征集zi由用户基本属性特征、访问行为特征与购买行为特征进行因子分析后构成，其中，基本属性指用户的人口统计信息；需求紧迫性指用户从需求产生到必须获得产品的时间距离；需求不确定性指用户对自身需求内容的确定程度；搜寻态度指用户对外部信息搜寻的态度；既有知识指用户对其选购产品品类知识的了解程度；网站经验指用户对电商平台的了解程度；产品卷入指用户对需求商品的重视程度；
所述影响用户客服满意度的特征集xi包括将服务质量量表与客服聊天记录结合后提取的客服效果影响特征，以及用户基本属性特征与访问行为特征， 其中，咨询详细度指用户在互动过程中感受到的内容详细程度；娱乐性指互动过程中的娱乐程度；交互性指在互动过程中，用户与客服沟通的交互程度；响应性指在互动过程中，客服回复用户的及时程度；个性化指在互动过程中根据用户的特定需求提供个性化、差异化的产品；
所述步骤4的具体步骤为：
步骤4-1.分别检验步骤3中所述影响用户使用在线售前客服的特征集zi中变量之间的多重共线性与影响用户客服满意度的特征集xi中变量之间的多重共线性，具体为，通过相关系数矩阵进行解释变量的多重共线性程度的判别，即做各解释变量的相关系数矩阵，删除相关系数大于0.8的变量；
步骤4-2.进行客服效果估计，分为两阶段建模：
在第一阶段使用步骤3中的影响用户使用在线售前客服的特征集zi建立客服点击概率模型
USE_CSi＝αzi+ei，ei～N(0,σe 2)
上式中，USE_CSi是用户对客服的使用变量：若用户使用客服工具则USE_CSi＝1，若用户不使用客服工具则USE_CSi＝0；α为待估计系数向量；ei是误差项；用Probit估计用户使用客服的概率P(USE_CSi＝1|zi)＝Φ(z′iα)，即：
P(USE_CSi＝1|zi)＝P(USE_CSi>0)＝P(ei<αzi)＝Fe(αzi)
上式中，Fe(·)是ei的累计分布函数，根据上式得到估计值
使用逆米尔斯函数调节咨询与未咨询过在线售前客服的用户之间的差异，逆米尔斯比率(IMR)计算如下：
其中，和/>分别表示以zi为变量的标准正态分布的密度函数和标准正态分布的累积分布函数，zi为第一阶段模型中的解释变量；
在第二阶段使用步骤3中影响用户客服满意度的特征集xi与第一阶段中计算逆米尔斯函数估计值λi建立客服效果模型：
Satisfyi＝βixi+βλλi+μi,μi～N(0,σμ 2)
其中被解释变量Satisfyi为客服满意度，测量方式为用户使用客服后进行的满意度打分，Satisfyi＝-2为非常不满意，Satisfyi＝2为非常满意；Satisfyi只有当USE_CSi＝1时才可以被观测到，λi是第一阶段所得的逆米尔斯比率，μi是误差项；使用OLS回归后得到估计值βi和λi的系数估计值βλ,估计值βi表示各特征对用户最终客服满意度的影响程度,系数估计值βλ表示客服对用户最终购买行为的影响程度。
2.根据权利要求1所述的一种在线售前客服效果评价方法，其特征在于，基于步骤4中的模型参数对客服效果进行评价，若参数为正，则表示特征对客服满意度有正向影响，参数越大，正向影响程度越高；若参数为负，则表示特征对客服满意度有负向影响，参数越小，负向影响程度越高。
3.根据权利要求2所述的一种在线售前客服效果评价方法，其特征在于，所述步骤2-1-4中，具体为：使用LDA模型进行客服记录数据的主题挖掘，根据会话ID字段对文档进行会话切分，对会话内容进行结巴分词，分词的结果由会话ID和词向量组成，对停用词和特殊词汇进行过滤，对词向量出现的词汇进行词性标注，提取名词短语作为特征词，对特征词进行加权处理，具体为将特征词出现的频次乘以2，再进行信息熵过滤操作，将词频高于10、信息熵值低于0.3的词汇作为特征词，根据会话的特征词向量建立特征矩阵，代入LDA模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016769.8A CN111221953B (zh) | 2020-01-08 | 2020-01-08 | 一种在线售前客服效果评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016769.8A CN111221953B (zh) | 2020-01-08 | 2020-01-08 | 一种在线售前客服效果评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111221953A CN111221953A (zh) | 2020-06-02 |
| CN111221953B true CN111221953B (zh) | 2024-03-08 |
Family
ID=70832205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010016769.8A Active CN111221953B (zh) | 2020-01-08 | 2020-01-08 | 一种在线售前客服效果评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111221953B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112397061B (zh) * | 2020-11-04 | 2023-10-27 | 中国平安人寿保险股份有限公司 | 线上互动方法、装置、设备和存储介质 |
| CN113780610B (zh) * | 2020-12-02 | 2024-08-20 | 北京沃东天骏信息技术有限公司 | 一种客服画像构建方法和装置 |
| CN112819489A (zh) * | 2021-03-26 | 2021-05-18 | 无锡市乐智优电子商务有限公司 | 一种新型电子商务售后服务系统 |
| CN114742477B (zh) * | 2022-06-09 | 2022-08-12 | 未来地图(深圳)智能科技有限公司 | 企业订单数据处理方法、装置、设备及存储介质 |
| CN118521221A (zh) * | 2024-07-17 | 2024-08-20 | 支付宝(杭州)信息技术有限公司 | 服务对话质检方法、系统及话术质量预估方法、系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012165924A2 (ko) * | 2011-06-03 | 2012-12-06 | Jung Jin-Woo | 인터넷 검색의 키워드 광고를 이용하는 유효 키워드 선정 시스템 및 그 유효 키워드 선정 방법 |
| CN105654250A (zh) * | 2016-02-01 | 2016-06-08 | 百度在线网络技术（北京）有限公司 | 一种满意度自动测评的方法和装置 |
| WO2016101777A1 (zh) * | 2014-12-26 | 2016-06-30 | 中国银联股份有限公司 | 用户兴趣数据分析和收集系统及其方法 |
| CN106847305A (zh) * | 2015-12-04 | 2017-06-13 | 中国移动通信集团公司 | 一种处理客服电话的录音数据的方法及装置 |
| CN107665444A (zh) * | 2017-05-19 | 2018-02-06 | 新站保险代理股份有限公司 | 一种基于用户在线行为的网络广告即时效应评价方法及系统 |
| CN110458587A (zh) * | 2019-08-23 | 2019-11-15 | 焦点科技股份有限公司 | 一种分析保险电商平台客服工作的方法及系统 |
-
2020
- 2020-01-08 CN CN202010016769.8A patent/CN111221953B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012165924A2 (ko) * | 2011-06-03 | 2012-12-06 | Jung Jin-Woo | 인터넷 검색의 키워드 광고를 이용하는 유효 키워드 선정 시스템 및 그 유효 키워드 선정 방법 |
| WO2016101777A1 (zh) * | 2014-12-26 | 2016-06-30 | 中国银联股份有限公司 | 用户兴趣数据分析和收集系统及其方法 |
| CN106847305A (zh) * | 2015-12-04 | 2017-06-13 | 中国移动通信集团公司 | 一种处理客服电话的录音数据的方法及装置 |
| CN105654250A (zh) * | 2016-02-01 | 2016-06-08 | 百度在线网络技术（北京）有限公司 | 一种满意度自动测评的方法和装置 |
| CN107665444A (zh) * | 2017-05-19 | 2018-02-06 | 新站保险代理股份有限公司 | 一种基于用户在线行为的网络广告即时效应评价方法及系统 |
| CN110458587A (zh) * | 2019-08-23 | 2019-11-15 | 焦点科技股份有限公司 | 一种分析保险电商平台客服工作的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111221953A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111221953B (zh) | 一种在线售前客服效果评价方法 | |
| Ha et al. | The effect of trust on consumers’ online purchase intention: An integration of TAM and TPB | |
| Arts et al. | Generalizations on consumer innovation adoption: A meta-analysis on drivers of intention and behavior | |
| Mauro C. Hernandez et al. | Adoption of internet banking: proposition and implementation of an integrated methodology approach | |
| Liang et al. | An empirical study on consumer acceptance of products in electronic markets: a transaction cost model | |
| Wang et al. | An instrument for measuring customer satisfaction toward web sites that market digital products and services. | |
| Hong et al. | Just DM me (politely): Direct messaging, politeness, and hiring outcomes in online labor markets | |
| Petnji Yaya et al. | The expert experience in adopting the ES-QUAL scale | |
| Sternberg et al. | Analysing customer engagement of Turkish airlines using big social data | |
| Sulova | A system for E-commerce website evaluation | |
| Tan et al. | Factors that affect user satisfaction of using E-commerce chatbot: A study on generation Z | |
| JP2002297875A (ja) | 顧客関係管理方法、システム及びプログラム | |
| Bong et al. | Analysis of consumer behavior in online shopping on social media | |
| Naufal et al. | The Influence Of E-Service Quality Dimensions On E-Customer Satisfaction And Its Impact On E-Customer Loyalty Tiket. Com | |
| KR101977236B1 (ko) | 아웃소싱 서비스 거래에서 발생되는 분쟁을 해결하기 위한 부분결제취소 서비스 제공 방법 | |
| KR20010111913A (ko) | 전자상거래에서 데이터베이스 마케팅을 위한 복합적필터링장치 및 방법 | |
| Sperková et al. | How to measure quality of service using unstructured data analysis: A general method design | |
| Nakayama et al. | WOM or eWOM or something else: how does the web affect our dependence on shopping information sources? | |
| Akoijam et al. | To buy or not to buy: factors influencing online purchase intention across clothing and apparel, consumer electronics and personal care products | |
| Watkins et al. | Website quality and corporate financial performance | |
| KR101021204B1 (ko) | 인터넷을 이용한 의견 검색 및 광고 서비스 방법 | |
| Shanmugam et al. | MEASURING CONTINUANCE PARTICIPATION IN ONLINE COMMUNITIES. | |
| Fitzgerald et al. | The use of semantic network analysis to manage customer complaints | |
| Suryanto et al. | Exploration of User Experience Approach in Using the Digital Commerce Platform on Millennial User in Indonesia | |
| Ghani et al. | An exploratory inquiry on the decision process of Ponzi scheme investor’s: A qualitative case study approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |