CN113360622B - 用户对话信息的处理方法、装置及计算机设备 - Google Patents

用户对话信息的处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN113360622B
CN113360622B CN202110694054.2A CN202110694054A CN113360622B CN 113360622 B CN113360622 B CN 113360622B CN 202110694054 A CN202110694054 A CN 202110694054A CN 113360622 B CN113360622 B CN 113360622B
Authority
CN
China
Prior art keywords
target
information
dialogue information
conversion
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110694054.2A
Other languages
English (en)
Other versions
CN113360622A (zh
Inventor
唐淑雨
陈林
何赛南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202110694054.2A priority Critical patent/CN113360622B/zh
Publication of CN113360622A publication Critical patent/CN113360622A/zh
Application granted granted Critical
Publication of CN113360622B publication Critical patent/CN113360622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种用户对话信息的处理方法、装置及计算机设备,涉及信息处理技术领域,可以解决用户意愿转化度判定效率低且准确性不高的技术问题。其中方法包括:利用与预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;在目标用户的当前对话信息中提取第一目标特征,并将第一目标特征输入转化概率预测模型中,获取当前对话信息关于第二目标特征的分值预测结果,第一目标特征包括目标核心对话信息、目标线上行为信息、目标基础用户信息中的至少两种,第二目标特征至少包括目标转化结果信息;基于分值预测结果确定目标转化概率;确定与目标转化概率匹配的目标执行策略,并基于目标执行策略执行针对当前对话信息的处理操作。

Description

用户对话信息的处理方法、装置及计算机设备
技术领域
本申请涉及信息处理技术领域,尤其涉及到一种用户对话信息的处理方法、装置及计算机设备。
背景技术
随着AI技术发展,AI机器人正被应用到越来越多场景,通常由机器人通过语音电话或文本消息的方式进行用户服务。为了提升最终转化率,很多场景下在AI机器人与用户之间接触过后,人工会进一步介入与用户取得联系,由人工对用户做一些促进最终成功转化的动作。
在现有技术中,通常会预先定义好机器人与用户的对话流程中的某些关键节点,在机器人与用户的对话流程触及这些关键节点后,系统将关键节点信息随同人机对话记录、核心意图等信息输出给人工,人工再结合用户其它的一些基本信息基于历史经验来判断用户转化意愿度。但是通过上述方法对转化意愿度的判断不够直观高效,需要人为耗费一定时间成本去分析判断,而且判断过程有较大的人为主观因素,准确性不高。
发明内容
有鉴于此,本申请提供了一种用户对话信息的处理方法、装置及计算机设备,可用于解决在判定用户意愿转化度时,存在较大的人为主观因素,效率低且准确性不高的技术问题。
根据本申请的一个方面,提供了一种用户对话信息的处理方法,该方法包括:
利用与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;
在目标用户的当前对话信息中提取第一目标特征,并将所述第一目标特征输入所述转化概率预测模型中,获取所述当前对话信息关于第二目标特征的分值预测结果,所述第一目标特征包括目标核心对话信息、目标线上行为信息、目标基础用户信息中的至少两种,所述第二目标特征至少包括目标转化结果信息;
基于所述分值预测结果确定目标转化概率;
确定与所述目标转化概率匹配的目标执行策略,并基于所述目标执行策略执行针对所述当前对话信息的处理操作。
根据本申请的另一个方面,提供了一种用户对话信息的处理装置,该装置包括:
训练模块,用于利用与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;
获取模块,用于在目标用户的当前对话信息中提取第一目标特征,并将所述第一目标特征输入所述转化概率预测模型中,获取所述当前对话信息关于第二目标特征的分值预测结果,所述第一目标特征包括目标核心对话信息、目标线上行为信息、目标基础用户信息中的至少两种,所述第二目标特征至少包括目标转化结果信息;
确定模块,用于基于所述分值预测结果确定目标转化概率;
处理模块,用于确定与所述目标转化概率匹配的目标执行策略,并基于所述目标执行策略执行针对所述当前对话信息的处理操作。
根据本申请的又一个方面,提供了一种非易失性可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述用户对话信息的处理方法。
根据本申请的再一个方面,提供了一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述用户对话信息的处理方法。
借由上述技术方案,本申请提供的一种用户对话信息的处理方法、装置及计算机设备,与目前用户对话信息的处理方式相比,本申请可首先基于与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;进而在提取出当前对话信息的第一目标特征后,将第一目标特征输入到训练完成的转化概率预测模型中,获取得到当前对话信息关于第二目标特征的分值预测结果;之后可基于分值预测结果确定目标转化概率;最终确定与目标转化概率匹配的目标执行策略,并基于目标执行策略执行针对当前对话信息的处理操作。通过本申请中的技术方案,可根据用户与机器人的对话信息,并结合其它关键用户信息,基于机器学习算法,智能地预测出用户转化概率,直接输出一个定量的概率数值,且不需要人工主观性结合历史经验再判断,进而可提高预测的准确性。并且在获得这个转化概率值后,可以针对性对不同转化概率做出不同的个性化策略动作,进而为用户营造良好的会话体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种用户对话信息的处理方法的流程示意图;
图2示出了本申请实施例提供的另一种用户对话信息的处理方法的流程示意图;
图3示出了本申请实施例提供的一种用户对话信息的处理装置的结构示意图;
图4示出了本申请实施例提供的另一种用户对话信息的处理装置的结构示意图。
具体实施方式
下文将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对目前在判定用户意愿转化度时,对转化意愿度的判断不够直观高效,需要人为耗费一定时间成本去分析判断,而且判断过程有较大的人为主观因素,准确性不高的技术问题,本申请提供了一种用户对话信息的处理方法,如图1所示,该方法包括:
101、利用与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型。
对于本实施例中的对话信息,可基于不同的对话交互方式产生,其中,对话交互方式包括但不限于:(1)AI机器人主动给用户打电话,与用户产生对话交互;(2)AI机器人主动给用户发送文本消息,与用户通过文本消息方式产生对话交互;(3)用户主动向特定服务号码拨打电话,由AI机器人承接,与用户通过语音方式产生对话交互;(4)用户主动向AI机器人发送文本消息咨询,由AI机器人承接,与用户通过语音方式产生对话交互。预设客服场景包括但不限于:业务咨询场景、业务办理场景、业务推荐场景等。
上述方式中,若对话交互方式是语音方式,则需要先将语音通过ASR技术转化成文本,再基于NLP技术识别为特定意图;若用户对话方式是文本消息,则可直接进行特定意图的识别,其中,特定意图为与对话应用场景匹配的业务执行需求,在具体的应用场景中,可首先根据具体的对话应用场景,确定对应的意图文本库。在进行对话内容的特征意图提取时,可将文本形式的对话内容与意图文本库进行相似度匹配,若确定匹配成功,则基于意图文本库对应的标定意图类型确定用户意图。对于本实施例,在提取出与各个客服场景匹配的历史对话信息后,可进一步基于历史对话信息提取与用户意图匹配的特征信息,包括核心对话信息、线上行为信息、基础用户信息、转化结果信息。其中,历史对话信息为在业务平台中存储的预设历史时间段内结束用户转化的对话数据,预设历史时间段为当前时刻的前一预设时间段,具体时间段的设定时长大小可根据具体应用场景进行确定,如可为一周或一个月等;核心对话信息为用于表达目标意图的文本摘要;线上行为信息为指定时间范围内用户打开相关应用程序APP的次数、指定时间范围内某个页面浏览次数、指定时间范围内特定按钮点击次数等;基础用户信息为用户的个人身份信息,如年龄、性别、客户类型、客户年数等;转化结果信息为最终的对话交互结果,即客户是否在期望其完成转化的时间点之前,完成任务的成功转化,如对于业务咨询场景,转化结果信息可对应在业务咨询预设时长内用户是否通过AI机器获取到待咨询的信息;对于业务办理场景,转化结果信息可对应在业务办理预设时长内用户通过AI机器是否自助完成相关业务的办理等。
对于本实施例,可基于机器学习算法,通过历史对话信息中的用户特征信息及转化结果信息,建立转化概率预测模型,机器学习算法可以使用线性回归算法、逻辑回归算法、随机森林算法、XGBoost算法、神经网络算法等,在此不做具体限定。
对于本申请的执行主体可为对用户对话信息进行处理的信息处理系统,在信息处理系统中配置有满足预设训练标准的转化概率预测模型,在目标用户的当前对话信息中提取出第一目标特征后,可通过调用转化概率预测模型确定第一目标特征对应的分值预测结果,进而基于与分值预测结果匹配的目标执行策略,控制执行针对当前对话信息的处理操作。
102、在目标用户的当前对话信息中提取第一目标特征,并将第一目标特征输入转化概率预测模型中,获取当前对话信息关于第二目标特征的分值预测结果。
其中,第一目标特征包括目标核心对话信息、目标线上行为信息、目标基础用户信息中的至少两种,第二目标特征至少包括目标转化结果信息。目标核心对话信息可包括用于表达目标意图的文本摘要,即用于完整表达用户目标意图的文本形式;进一步的,由于用户在与服务相关的特定网站或APP中的线上行为,也和转化率呈一定相关性,因此可提取目标线上行为信息作为模型输入的第一目标特征,目标线上行为信息具体可包括目标用户在指定时间范围内打开APP的次数、指定时间范围内某个页面浏览次数、指定时间范围内特定按钮点击次数等,目标线上行为信息具体可根据会话目的来进行确定,如,会话目的为引导用户参加一个APP的活动,相应的会有APP的登录信息以及线上访问信息,如会话目的不存在相关的网页以及APP访问任务,则不会存在相应的目标线上行为信息;目标用户的目标基础用户信息可包括年龄、性别、用户类型、用户年数等,具体可通过目标用户的用户标识在相关业务平台中提取得到;目标转化结果信息为目标客服场景下机器人针对用户需求对应任务指标的完成度信息,具体可对应最终的对话交互结果,即用户是否在期望其完成转化的时间点之前,完成任务的成功转化。
103、基于分值预测结果确定目标转化概率。
在具体的应用场景中,可预先基于历史对话信息的预测分值大小排序,并等频划分为预设数量个分值区间;统计各个分值区间内转化结果信息为成功转化,对应转化结果值为1的分布概率,将该分布概率确定为对应分值区间内的转化概率。对于本实施例,在确定得到当前对话信息的分值预测结果后,可根据分值预测结果对应的分值大小确定对应匹配的目标分值区间,进而将目标分值区间内的转化概率直接确定为当前对话信息转化成功的目标转化概率。
104、确定与目标转化概率匹配的目标执行策略,并基于目标执行策略执行针对当前对话信息的处理操作。
对于本实施例,在确定出当前对话信息的目标转化概率后,为了为用户营造良好的对话体验,可直接根据目标转化概率智能化匹配目标执行策略,实现对当前会话信息的自动处理,进而为用户提供精准服务。例如,当判定当前对话信息的目标转化概率较高时,可直接基于当前对话信息的目标意图智能化的输出匹配的应答服务,不需要启动后续的人工对接进程;当判定当前对话信息的目标转化概率相对较低时,方便为用户提供更加精准的服务,减少服务应答时间,可进一步分析转化概率的影响指标,进一步启动人工对接进程,将标记影响指标的当前对话信息发送至人工服务台,以便提示人工执行后续的处理操作。
通过本实施例中用户对话信息的处理方法,可首先基于与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;进而在提取出当前对话信息的第一目标特征后,将第一目标特征输入到训练完成的转化概率预测模型中,获取得到当前对话信息关于第二目标特征的分值预测结果;之后可基于分值预测结果确定目标转化概率;最终确定与目标转化概率匹配的目标执行策略,并基于目标执行策略执行对当前对话信息的处理操作。通过本申请中的技术方案,可根据用户与机器人的对话信息,并结合其它关键用户信息,基于机器学习算法,智能地预测出用户转化概率,直接输出一个定量的概率数值,且不需要人工主观性结合历史经验再判断,进而可提高预测的准确性。并且在获得这个转化概率值后,可以针对性对不同转化概率做出不同的个性化策略动作,进而为用户营造良好的会话体验。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种用户对话信息的处理方法,如图2所示,该方法包括:
201、利用与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型。
对于本实施例,可首先提取与各个预设客服场景匹配的历史对话信息,作为样本集;再进一步提取样本集中各个对话信息下的用户特征信息以及转化结果信息,其中,用户特征信息具体可包括核心对话信息、线上行为信息、基础用户信息;进而利用用户特征信息以及转化结果信息训练转化概率预测模型,以使转化概率预测模型的的损失函数小于预设阈值,进一步得到核心对话信息、线上行为信息、基础用户信息对应不同特征维度下的目标权重值,并基于各个维度特征的目标权重值计算样本集中各个对话信息的预测分值;对预测分值按照分值大小进行排序,并等频划分为预设数量个分值区间;统计各个分值区间内转化结果信息为成功转化,对应转化结果值为1的分布概率,将该分布概率确定为对应分值区间内的预设转化概率,以便后续基于该预设转化概率确定当前对话信息的目标转化概率。
具体的,可对样本集使用最终的模型进行结果预测,获得分数h(x),将所有样本的得分h(x)进行排序,并等频划分为若干份(如:1000份),每份数量相同。假设第n份样本集对应的得分区间为[h1,n,h2,n),该份样本集中实际结果值y=1的占比为pn
对于本实施例中的转化概率预测模型可基于机器学习算法进行创建,机器学习算法可以使用线性回归算法、逻辑回归算法、随机森林算法、XGBoost算法、神经网络算法等。下面以常用的线性回归算法为例,介绍本申请中转化概率预测模型的构建过程:
(1)假设样本一共有D个特征,共m个样本;
(2)样本本集中第i个样本的实际转化结果值(0代表未转化,1代表成功转化)定义yi
(3)样本本集中第i个样本定义为向量xi,其第d维特征值定义为xi,d xi=(xi, 1xi,2……xi,D);
(4)定义ωd代表第d维特征的权重;
(5)对第i个样本的预测结果hω(xi)可以表示成:
将参数b表示为ωD+1,上述式子转化为:
(6)将预测值与真实值的均方误差定义为损失函数
(7)最终模型就是要求解出每一个ωd,使得损失函数最小。可采用梯度下降法,重复执行上述步骤,以便求解得到每一个ωd的最优解。
(8)最终,得到模型如下:
其中,xd代表需要预测的用户的第d维特征值。
(9)将各个xd对应ωd的最优解确定为所匹配预设维度特征的目标权重值。
相应的,实施例步骤201具体可以包括:提取历史对话信息中的核心对话信息、线上行为信息、基础用户信息、转化结果信息;将核心对话信息、线上行为信息、基础用户信息确定为转化概率预测模型输入的第一目标特征,将转化结果信息确定为转化概率预测模型输出的第二目标特征,训练转化概率预测模型,以使转化概率预测模型的损失函数小于预设阈值。
202、通过对当前对话信息的意图匹配,确定当前对话信息的目标意图类型。
在具体的应用场景中,为了基于当前对话内容确定目标用户的目标意图类型,可通过预先创建与各个预设客服场景匹配的意图库,在意图库中分别存储有各个意图类型对应的不同文本表达形式,可包括文本表达以及关键词表达两种。例如,对于购物类的预设客服场景,对应意图库中可存储有产品信息咨询、物流咨询、优惠补贴咨询、购物引导请求等多种意图类型,对于每种意图类型,均可配置相应的预设文本表达,如对于产品信息咨询类,对应可包括预设文本表达:“这件产品多少钱?”、“产品尺寸是怎样的?”、“产品用料是什么?”、“产品是如何使用的?”“产品保质期是怎样的?”等;由于同一语义可对应包含有多种文本表达形式,显然设置预设文本表达的形式,无法涵盖所有用户录入的文本信息,故作为本实施例的另一种可选方式,可针对每种意图类型设置对应的语义关键词,如对于产品信息咨询类,可包括预设语义关键词:“价格”、“尺寸”、“用料”、“使用方法”、“保质期”等。
相应的,对于本实施例,实施例步骤具体可以包括:基于当前客服场景确定对应匹配的目标意图库,将当前对话信息与目标意图库中各个意图类型的预设文本表达进行相似度匹配,计算得到第一语义相似度;将当前对话信息与目标意图库中各个意图类型的预设关键词进行语义相似度计算,得到第二语义相似度;基于第一语义相似度和/或第二语义相似度提取与当前对话信息匹配度最高的目标意图类型。其中,在利用第一语义相似度和/或第二语义相似度确定与对话内容匹配的目标意图类型时,可采用三种确定方式。第一种确定方式:计算对话内容与目标意图库中各个意图类型的预设文本表达的第一语义相似度;基于第一语义相似度由大到小的顺序对各个意图类型进行排序处理;将对应第一语义相似度最大的意图类型确定为匹配的目标意图类型。第二种确定方式,计算对话内容与目标意图库中各个意图类型的预设关键词的第二语义相似度;基于第二语义相似度由大到小的顺序对各个意图类型进行排序处理;将对应第二语义相似度最大的意图类型确定为匹配的目标意图类型。第三种确定方式,计算对话内容与目标意图库中各个意图类型的预设文本表达的第一语义相似度,以及对话内容与目标意图库中各个意图类型的预设关键词的第二语义相似度;计算各个意图类型下第一语义相似度和第二语义相似度的加权平均值;基于加权平均值由大到小的顺序对各个意图类型进行排序处理;将对应加权平均值最大的意图类型确定为匹配的目标意图类型。
203、基于目标意图类型对当前对话信息进行文本分析,提取当前对话信息的核心对话文本。
对于本实施例,在确定出目标意图类型后,可按照预设字符对包含多个文本句的对话内容进行断句处理,获取得到各个文本句。其中,预设字符为表示句子结束的标点符号,如‘。’、‘;’、‘!’、‘?’等。将对话内容切分为各个文本句的目的是为了不跨句做核心对话信息筛选。进一步基于分词技术分别将各个文本句切分为第一词语,并得到第一词序列;在第一词序列中剔除特殊词语,得到第二词序列。其中,特殊词语为一些与意图不相关的停用词,如语气助词、副词、介词、连接词等,这些停用词通常自身并无什么明确的意义,只有将其放入一个完整的句子中才有一定作用,如常见的“你好”,“喂”,“哎”,“哎哟”,“但是”,“让”,“不过”等。由于这些词很少单独表达相关程度的信息,且这些功能词对于核心对话信息的提取基本没有什么帮助,故为了保证核心对话信息的简洁性并且降低核心对话信息筛选的工作效率,可事先过滤掉这些没有意义的词。具体可基于现有的停用词词表来实现对停用词的识别与滤除,比如“百度停用词表”、“哈工大停用词表”等。在得到第二词序列后,可进一步在第二词序列中提取与目标意图相关性大于预设相关性阈值的目标词语,进而基于各个目标词语在第二词序列中的排列顺序,对目标词语进行文本整合,进一步组合得到能够反映目标客户的目标意图的核心对话文本。
其中,在基于分词技术分别将各个文本句切分为第一词语,并得到第一词序列时,各个第一词语作为词序列中的元素,按照在输入文本中的出现位置依次排列,进一步得到第一词序列,其中,对应第一词序列的格式为:[词1,词2,词3,…词N]。进一步基于第一词语的目标词性确定与预设停用词性匹配的第二词语,以便从第一词序列中剔除第二词语,得到第二词序列。
相应的,对于本实施例,实施例步骤具体可以包括:基于分词技术将当前对话信息切分为第一词语,并得到第一词序列;根据第一词语的目标词性确定与预设停用词性匹配的第二词语,以便从第一词序列中剔除第二词语,得到第二词序列;在第二词序列中提取与目标意图类型相关性大于预设相关性阈值的目标词语;基于各个目标词语在第二词序列中的排列顺序,对目标词语进行文本整合,生成核心对话文本。
在具体的应用场景中,在第二词序列中提取与目标意图相关性大于预设相关性阈值的目标词语时,可基于TF-IDF算法计算第二词序列中各个第一词语对应输入文本权重值,基于各个第一词语对应输入文本的权重值,在第二序列中提取与目标意图相关性大于预设相关性阈值的目标词语。其中,TF-IDF算法是一种统计方法,用以评估一个词语对于一个文件集或一个语料库中其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的主要思想就是,如果某个单词在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力。在本申请中,可利用TF-IDF算法计算各个第二词序列中所包含的各个第一词语在该第二词序列中的出现频率,即词频TFij,以及计算各个第一词语在所有第二词序列中的出现频率,即逆向文件频率IDFi,并且将词频TFij和逆向文件频率IDFi的乘积确定为该第一词语对应输入文本的重要程度,即权重值。
具体的,TF-IDF算法包括:第一计算公式和第二计算公式。
第一计算公式的特征描述为:
其中,TFij为第一词语i的词频,ni,j为第一词语i在第二词序列dj中出现的次数,为第二词序列dj中所有第一词语的数量之和;
第二计算公式的特征描述为:
其中,IDFi为第一词语ti的逆向文件频率,|D|为文本集合中第二词序列的总数量,|{j:ti∈dj}|+1表示包含第一词语ti的第二词序列的数量。
在本实施例中,通过计算词频TFij和逆向文件频率IDFi的乘积,即可获取得到各个第一词语对应输入文本的权重值。进一步可将对应权重值大于预设权重阈值的第一词语确定为第二序列中与目标意图相关性大于预设相关性阈值的目标词语。相应的,在本实施例中,在第二词序列中提取与目标意图类型相关性大于预设相关性阈值的目标词语时,实施例步骤具体可以包括:基于TF-IDF算法计算第二词序列中各个第一词语对应当前对话信息的权重值;将对应权重值大于预设相关性阈值的第一词语确定目标词语。
204、在业务平台中提取目标用户的目标基础用户信息,以及预设时历史时间段内目标用户与目标意图类型匹配的目标线上行为信息。
在具体的应用场景中,由于目标用户在某一业务平台注册时,往往会上传相关的用户个人信息,故在本实施例中,可基于目标用户的用户标识在相关业务平台中提取目标用户的目标基础用户信息,如年龄、性别、客户类型、客户年数等,进而将目标基础用户信息作为其中一个特征维度进行转化概率的分析预测。相应的,由于目标用户在与服务相关的特定网站或APP中的线上行为,也和转化率呈一定相关性,因此同样需要提取目标线上行为信息,如:指定时间范围内打开APP的次数、指定时间范围内某个页面浏览次数、指定时间范围内特定按钮点击次数等,线上行为具体根据会话目的来进行确定,如,会话目的为引导客户参加一个APP的活动,相应的会有APP的登录信息以及线上访问信息,如会话目的不存在相关的网页以及APP访问任务,则不会存在相应的目标线上行为信息。其中,预设历史时间段为当前时刻的前一预设时间段,具体时间段的设定时长大小可根据具体应用场景进行确定,如可为一周或一个月等,当预设历史时间段设定为当前时刻的前一个月时,可在业务平台中提取当前时刻的前一个月内目标用户与目标意图类型匹配的线上行为信息。
205、将核心对话文本、目标基础用户信息、目标线上行为信息中的至少两种输入转化概率预测模型中,获取当前对话信息的转化概率预测分值。
在具体的应用场景中,核心对话文本、目标基础用户信息、目标线上行为信息作为不同特征维度的特征数据,在基于第一目标特征,确定目标用户的分值预测结果时,为保证预测的精准度,应至少将核心对话文本、目标基础用户信息、目标线上行为信息中的两类特征数据输入转化概率预测模型中,在本实施例中,优选将核心对话文本、目标基础用户信息、目标线上行为信息对应的三个特征维度均同时输入至转化概率预测模型中,进一步得到较为精准的当前对话信息的转化概率预测分值。
206、确定转化概率预测分值所处的目标分值区间,将目标分值区间内的预设转化概率确定为当前对话信息的目标转化概率,预设转化概率是基于历史对话信息的转化分布概率确定的。
对于本实施例,在确定目标分值区间时,可基于实施例步骤103基于历史对话信息确定的各个分值区间内的转化分布概率进一步确定得到,即可首先确定转化概率预测分值所处的目标分值区间,进而将目标分值区间内的转化概率直接确定为当前对话信息转化成功的目标转化概率。
207、确定与目标转化概率匹配的目标执行策略,并基于目标执行策略执行针对当前对话信息的处理操作。
对于本实施例,在具体的应用场景,可预先根据不同的转化概率配置不同的执行策略,进而可实现为用户提供更加精准的服务,减少服务应答时间,营造良好的对话体验。相应的,实施例步骤207具体可以包括:判断目标转化概率是否大于或等于预设概率阈值;若是,则响应执行第一策略动作,将当前对话信息标记为高转化率,并根据目标意图类型生成服务推荐;若否,则响应执行第二策略动作,将当前对话信息标记为低转化率,并对当前对话信息进行语义分析,确定并标记转化概率的影响指标,以便提示人工执行后续的处理操作。例如,当判定当前对话信息的目标转化概率较高时,可直接基于当前对话信息的目标意图智能化的输出匹配的应答服务,不需要启动后续的人工对接进程;当判定当前对话信息的目标转化概率相对较低时,可首先分析转化概率的影响指标,进一步启动人工对接进程,将标记影响指标的当前对话信息发送至人工服务台,以便提示人工执行后续的处理操作。
借由上述用户对话信息的处理方法,可首先基于与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;进而在提取出当前对话信息的第一目标特征后,将第一目标特征输入到训练完成的转化概率预测模型中,获取得到当前对话信息关于第二目标特征的分值预测结果;之后可基于分值预测结果确定目标转化概率;最终确定与目标转化概率匹配的目标执行策略,并基于目标执行策略执行对当前对话信息的处理操作。通过本申请中的技术方案,可根据用户与机器人的对话信息,并结合其它关键用户信息,基于机器学习算法,智能地预测出用户转化概率,直接输出一个定量的概率数值,且不需要人工主观性结合历史经验再判断,进而可提高预测的准确性。并且在获得这个转化概率值后,可以针对性对不同转化概率做出不同的个性化策略动作,进而为用户营造良好的会话体验。
进一步的,作为图1和图2所示方法的具体实现,本申请实施例提供了一种用户对话信息的处理装置,如图3所示,该装置包括:训练模块31、获取模块32、确定模块33、处理模块34;
训练模块31,可用于利用与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;
获取模块32,可用于在目标用户的当前对话信息中提取第一目标特征,并将所述第一目标特征输入所述转化概率预测模型中,获取所述当前对话信息关于第二目标特征的分值预测结果,所述第一目标特征包括目标核心对话信息、目标线上行为信息、目标基础用户信息中的至少两种,所述第二目标特征至少包括目标转化结果信息;
确定模块33,可用于基于所述分值预测结果确定目标转化概率;
处理模块34,可用于确定与所述目标转化概率匹配的目标执行策略,并基于所述目标执行策略执行针对所述当前对话信息的处理操作。
在具体的应用场景中,如图4所示,训练模块31,具体可包括:第一提取单元311、训练单元312;
第一提取单元311,可用于提取历史对话信息中的核心对话信息、线上行为信息、基础用户信息、转化结果信息;
训练单元312,可用于将所述核心对话信息、线上行为信息、基础用户信息确定为转化概率预测模型的输入特征,将所述转化结果信息确定为所述转化概率预测模型的输出特征,训练所述转化概率预测模型,以使所述转化概率预测模型的损失函数小于预设阈值。
在具体的应用场景中,为了在目标用户的当前对话信息中提取第一目标特征,如图4所示,获取模块32,具体可包括:第一确定单元321、第二提取单元322、第三提取单元323;
第一确定单元321,可用于通过对当前对话信息的意图匹配,确定所述当前对话信息的目标意图类型;
第二提取单元322,可用于基于所述目标意图类型对所述当前对话信息进行文本分析,提取所述当前对话信息的核心对话文本;
第三提取单元323,可用于在业务平台中提取所述目标用户的目标基础用户信息,以及预设时历史时间段内所述目标用户与所述目标意图类型匹配的目标线上行为信息;
相应的,为了实现将所述第一目标特征输入所述转化概率预测模型中,获取所述当前对话信息关于第二目标特征的分值预测结果,如图4所示,获取模块32,具体还可包括:获取单元324;
获取单元324,可用于将所述核心对话文本、所述目标基础用户信息、所述目标线上行为信息中的至少两种输入所述转化概率预测模型中,获取所述当前对话信息的转化概率预测分值。
在具体的应用场景中,在确定所述当前对话信息的目标意图类型时,第一确定单元321,具体可用于基于当前客服场景确定对应匹配的目标意图库,将所述当前对话信息与所述目标意图库中各个意图类型的预设文本表达进行相似度匹配,计算得到第一语义相似度;将所述当前对话信息与所述目标意图库中各个意图类型的预设关键词进行语义相似度计算,得到第二语义相似度;基于所述第一语义相似度和/或所述第二语义相似度提取与所述当前对话信息匹配度最高的目标意图类型。
相应的,在于所述目标意图类型对所述当前对话信息进行文本分析,提取所述当前对话信息的核心对话文本时,第二提取单元322,具体可用于基于分词技术将当前对话信息切分为第一词语,并得到第一词序列;根据所述第一词语的目标词性确定与预设停用词性匹配的第二词语,以便从所述第一词序列中剔除所述第二词语,得到第二词序列;在所述第二词序列中提取与所述目标意图类型相关性大于预设相关性阈值的目标词语;基于各个所述目标词语在所述第二词序列中的排列顺序,对所述目标词语进行文本整合,生成目标核心对话文本;
其中,在第二词序列中提取与所述目标意图类型相关性大于预设相关性阈值的目标词语时,第二提取单元322,具体可用于基于TF-IDF算法计算所述第二词序列中各个所述第一词语对应所述当前对话信息的权重值;将对应所述权重值大于预设相关性阈值的第一词语确定目标词语。
在具体的应用场景中,如图4所示,确定模块33,具体可包括:第二确定单元331、第三确定单元332;
第二确定单元331,可用于确定所述转化概率预测分值所处的目标分值区间;
第三确定单元332,可用于将所述目标分值区间内的预设转化概率确定为所述当前对话信息的目标转化概率,所述预设转化概率是基于所述历史对话信息的转化分布概率确定的。
相应的,为了确定得到与所述目标转化概率匹配的目标执行策略,并基于所述目标执行策略执行对所述当前对话信息的处理操作,如图4所示,处理模块34,具体可包括:判断单元341、第一处理单元342、第二处理单元343;
判断单元341,可用于判断所述目标转化概率是否大于或等于预设概率阈值;
第一处理单元342,可用于若是,则响应执行第一策略动作,将所述当前对话信息标记为高转化率,并根据所述目标意图类型生成服务推荐;
第二处理单元343,可用于若否,则响应执行第二策略动作,将所述当前对话信息标记为低转化率,并对所述当前对话信息进行语义分析,确定并标记转化概率的影响指标,以便提示人工执行后续的处理操作。
需要说明的是,本实施例提供的一种用户对话信息的处理装置所涉及各功能单元的其他相应描述,可以参考图1至图2的对应描述,在此不再赘述。
基于上述如图1至图2所示方法,相应的,本实施例还提供了一种非易失性存储介质,其上存储有计算机可读指令,该可读指令被处理器执行时实现上述如图1至图2所示的用户对话信息的处理方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1至图2所示的方法和图3、图4所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种计算机设备,该计算机设备包括存储介质和处理器;非易失性存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1至图2所示的用户对话信息的处理方法。
可选的,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
非易失性存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。
通过应用本申请的技术方案,与目前现有技术相比,本申请可首先基于与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;进而在提取出当前对话信息的第一目标特征后,将第一目标特征输入到训练完成的转化概率预测模型中,获取得到当前对话信息关于第二目标特征的分值预测结果;之后可基于分值预测结果确定目标转化概率;最终确定与目标转化概率匹配的目标执行策略,并基于目标执行策略执行对当前对话信息的处理操作。通过本申请中的技术方案,可根据用户与机器人的对话信息,并结合其它关键用户信息,基于机器学习算法,智能地预测出用户转化概率,直接输出一个定量的概率数值,且不需要人工主观性结合历史经验再判断,进而可提高预测的准确性。并且在获得这个转化概率值后,可以针对性对不同转化概率做出不同的个性化策略动作,进而为用户营造良好的会话体验。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (6)

1.一种用户对话信息的处理方法,其特征在于,包括:
利用与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型,具体包括:提取历史对话信息中的核心对话信息、线上行为信息、基础用户信息、转化结果信息;将所述核心对话信息、线上行为信息、基础用户信息确定为转化概率预测模型的输入特征,将所述转化结果信息确定为所述转化概率预测模型的输出特征,训练所述转化概率预测模型,以使所述转化概率预测模型的损失函数小于预设阈值;
在目标用户的当前对话信息中提取第一目标特征,具体包括:通过对当前对话信息的意图匹配,确定所述当前对话信息的目标意图类型;基于所述目标意图类型对所述当前对话信息进行文本分析,提取所述当前对话信息的核心对话文本;在业务平台中提取所述目标用户的目标基础用户信息,以及预设时历史时间段内所述目标用户与所述目标意图类型匹配的目标线上行为信息;
并将所述第一目标特征输入所述转化概率预测模型中,获取所述当前对话信息关于第二目标特征的分值预测结果,具体包括:将所述核心对话文本、所述目标基础用户信息、所述目标线上行为信息中的至少两种输入所述转化概率预测模型中,获取所述当前对话信息的转化概率预测分值;
所述第一目标特征包括目标核心对话信息、目标线上行为信息、目标基础用户信息中的至少两种,所述第二目标特征至少包括目标转化结果信息;
基于所述分值预测结果确定目标转化概率,具体包括:确定所述转化概率预测分值所处的目标分值区间;将所述目标分值区间内的预设转化概率确定为所述当前对话信息的目标转化概率,所述预设转化概率是基于所述历史对话信息的转化分布概率确定的;
确定与所述目标转化概率匹配的目标执行策略,并基于所述目标执行策略执行针对所述当前对话信息的处理操作,具体包括:判断所述目标转化概率是否大于或等于预设概率阈值;若是,则响应执行第一策略动作,将所述当前对话信息标记为高转化率,并根据所述目标意图类型生成服务推荐;若否,则响应执行第二策略动作,将所述当前对话信息标记为低转化率,并对所述当前对话信息进行语义分析,确定并标记转化概率的影响指标,以便提示人工执行后续的处理操作。
2.根据权利要求1所述的方法,其特征在于,所述通过对当前对话信息的意图匹配,确定所述当前对话信息的目标意图类型,具体包括:
基于当前客服场景确定对应匹配的目标意图库,将所述当前对话信息与所述目标意图库中各个意图类型的预设文本表达进行相似度匹配,计算得到第一语义相似度;
将所述当前对话信息与所述目标意图库中各个意图类型的预设关键词进行语义相似度计算,得到第二语义相似度;
基于所述第一语义相似度和/或所述第二语义相似度提取与所述当前对话信息匹配度最高的目标意图类型。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标意图类型对所述当前对话信息进行文本分析,提取所述当前对话信息的核心对话文本,具体包括:
基于分词技术将当前对话信息切分为第一词语,并得到第一词序列;
根据所述第一词语的目标词性确定与预设停用词性匹配的第二词语,以便从所述第一词序列中剔除所述第二词语,得到第二词序列;
在所述第二词序列中提取与所述目标意图类型相关性大于预设相关性阈值的目标词语;
基于各个所述目标词语在所述第二词序列中的排列顺序,对所述目标词语进行文本整合,生成核心对话文本;
所述在所述第二词序列中提取与所述目标意图类型相关性大于预设相关性阈值的目标词语,具体包括:
基于TF-IDF算法计算所述第二词序列中各个所述第一词语对应所述当前对话信息的权重值;
将对应所述权重值大于预设相关性阈值的第一词语确定目标词语。
4.一种用户对话信息的处理装置,所述装置用于实现权利要求1-3任一项所述的方法,其特征在于,所述装置包括:
训练模块,用于利用与各个预设客服场景匹配的历史对话信息训练符合预设训练标准的转化概率预测模型;
获取模块,用于在目标用户的当前对话信息中提取第一目标特征,并将所述第一目标特征输入所述转化概率预测模型中,获取所述当前对话信息关于第二目标特征的分值预测结果,所述第一目标特征包括目标核心对话信息、目标线上行为信息、目标基础用户信息中的至少两种,所述第二目标特征至少包括目标转化结果信息;
确定模块,用于基于所述分值预测结果确定目标转化概率;
处理模块,用于确定与所述目标转化概率匹配的目标执行策略,并基于所述目标执行策略执行针对所述当前对话信息的处理操作。
5.一种非易失性可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至3中任一项所述的用户对话信息的处理方法。
6.一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至3中任一项所述的用户对话信息的处理方法。
CN202110694054.2A 2021-06-22 2021-06-22 用户对话信息的处理方法、装置及计算机设备 Active CN113360622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110694054.2A CN113360622B (zh) 2021-06-22 2021-06-22 用户对话信息的处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110694054.2A CN113360622B (zh) 2021-06-22 2021-06-22 用户对话信息的处理方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN113360622A CN113360622A (zh) 2021-09-07
CN113360622B true CN113360622B (zh) 2023-10-24

Family

ID=77535684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110694054.2A Active CN113360622B (zh) 2021-06-22 2021-06-22 用户对话信息的处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113360622B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI795001B (zh) * 2021-09-30 2023-03-01 日商邦德電子商務股份有限公司 內容產生方法、內容提供方法、內容產生程式及內容提供程式
CN114860912B (zh) * 2022-05-20 2023-08-29 马上消费金融股份有限公司 数据处理方法、装置、电子设备和存储介质
CN114861680B (zh) * 2022-05-27 2023-07-25 马上消费金融股份有限公司 对话处理方法及装置
CN115346690B (zh) * 2022-07-08 2023-12-01 中国疾病预防控制中心慢性非传染性疾病预防控制中心 引导接线员对求助者进行问话的系统
CN117641315A (zh) * 2022-08-18 2024-03-01 中兴通讯股份有限公司 业务体验保障方法、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874401A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 信息处理方法、模型训练方法、装置、终端及计算设备
CN110909137A (zh) * 2019-10-12 2020-03-24 平安科技(深圳)有限公司 基于人机交互的信息推送方法、装置和计算机设备
CN112365892A (zh) * 2020-11-10 2021-02-12 杭州大搜车汽车服务有限公司 人机对话方法、装置、电子装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897848A (zh) * 2018-06-28 2018-11-27 北京百度网讯科技有限公司 机器人互动方法、装置及设备
US10740371B1 (en) * 2018-12-14 2020-08-11 Clinc, Inc. Systems and methods for intelligently configuring and deploying a machine learning-based dialogue system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874401A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 信息处理方法、模型训练方法、装置、终端及计算设备
CN110909137A (zh) * 2019-10-12 2020-03-24 平安科技(深圳)有限公司 基于人机交互的信息推送方法、装置和计算机设备
CN112365892A (zh) * 2020-11-10 2021-02-12 杭州大搜车汽车服务有限公司 人机对话方法、装置、电子装置及存储介质

Also Published As

Publication number Publication date
CN113360622A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113360622B (zh) 用户对话信息的处理方法、装置及计算机设备
CN110765244B (zh) 获取应答话术的方法、装置、计算机设备及存储介质
CN104951428B (zh) 用户意图识别方法及装置
CN110070391B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN109816483B (zh) 信息推荐方法及装置、可读存储介质
CN109933782B (zh) 用户情绪预测方法和装置
CN108268450B (zh) 用于生成信息的方法和装置
US20220138770A1 (en) Method and apparatus for analyzing sales conversation based on voice recognition
CN110401545B (zh) 聊天群组创建方法、装置、计算机设备和存储介质
CN111078856A (zh) 一种群聊对话处理方法、装置及电子设备
CN111324713A (zh) 对话自动回复方法、装置、存储介质和计算机设备
CN110457454A (zh) 一种对话方法、服务器、对话系统及存储介质
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN113901837A (zh) 一种意图理解方法、装置、设备及存储介质
CN112860995A (zh) 交互方法、装置、客户端、服务器以及存储介质
CN110197196B (zh) 问题处理方法、装置、电子设备以及存储介质
WO2020199590A1 (zh) 情绪检测分析方法及相关装置
CN115936016A (zh) 基于对话的情绪主题识别方法、装置、设备以及介质
CN115630152A (zh) 虚拟人物直播对话的方式、装置、电子设备及存储介质
CN114254088A (zh) 自动应答模型的构建方法和自动应答方法
CN109325234B (zh) 语句处理方法、设备及计算机可读存储介质
CN110535749B (zh) 对话推送方法、装置、电子设备及存储介质
CN113935322A (zh) 基于自然语言处理的案件分配方法、装置、设备及介质
CN112163075A (zh) 一种信息推荐方法、装置、计算机设备和存储介质
CN113794623A (zh) 一种应答消息的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant