CN113779205B - 一种智能应答方法和装置 - Google Patents
一种智能应答方法和装置 Download PDFInfo
- Publication number
- CN113779205B CN113779205B CN202010916973.5A CN202010916973A CN113779205B CN 113779205 B CN113779205 B CN 113779205B CN 202010916973 A CN202010916973 A CN 202010916973A CN 113779205 B CN113779205 B CN 113779205B
- Authority
- CN
- China
- Prior art keywords
- word
- character vector
- training
- answer
- vector features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 225
- 238000012549 training Methods 0.000 claims description 141
- 230000011218 segmentation Effects 0.000 claims description 74
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种智能应答方法和装置,涉及深度学习技术领域。该方法的一具体实施方式包括:将当前应答问题转换成字向量特征;将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征;将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签。该实施方式能够解决应答效率低或者应答能力有限的技术问题。
Description
技术领域
本发明涉及深度学习技术领域,尤其涉及一种智能应答方法和装置。
背景技术
线上客服需要处理咨询服务、投诉服务、售后服务等,目前一般采用人工客服或者机器人客服的方式处理各式各样的线上服务。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
人工客服的处理效率低,重复性工作量较大,占用了大量不必要的时间;机器人客服只能回答知识库中已有的问题,处理线上服务的能力有限。
发明内容
有鉴于此,本发明实施例提供一种智能应答方法和装置,以解决应答效率低或者应答能力有限的技术问题。
为实现上述目的,根据本发明实施例的一个方面,提供了一种智能应答方法,包括:
将当前应答问题转换成字向量特征;
将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征;
将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签;
其中,所述应答模型采用如下方法训练得到:
将训练样本及其对应的问题分类标签分别转换成字向量特征,所述训练样本包括应答问题及其对应的应答答案;
以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型。
可选地,将训练样本及其对应的问题分类标签分别转换成字向量特征,包括:
对训练样本进行分词处理从而得到分词,并对各个所述分词标注位置标签;
将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征。
可选地,对训练样本进行分词处理从而得到分词,包括:
根据预设的词语词典,对训练样本进行结巴分词,从而得到分词。
可选地,对各个所述分词标注位置标签,包括:
对各个所述分词中的每个字分别标注位置标签;
其中,所述位置标签用于指示所述字在所述分词中的位置和所述训练样本对应的问题分类标签。
可选地,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征,包括:
根据预设的字典,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签中的每个字分别转换成数字,从而得到字向量特征;
其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。
可选地,以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型,包括:
将所述应答问题的字向量特征及其对应的应答答案的字向量特征拼接成句子字向量特征;
对所述句子字向量特征进行字扩充操作;
对扩充后的句子字向量特征和各个所述分词的位置标签的字向量特征进行组合操作,得到输入特征信息;
将所述输入特征信息输入到卷积神经网络,并以所述问题分类标签的字向量特征作为输出,进行多次迭代优化,从而得到应答模型。
可选地,对所述句子字向量特征进行字扩充操作,包括:
按照句子字向量特征长度由大到小的顺序,对训练样本集中各个所述训练样本对应的句子字向量特征进行降序排列;
对排序中靠前的若干个句子字向量特征进行字扩充操作,将剩余的句子字向量特征从所述训练样本集中剔除。
可选地,对排序中靠前的若干个句子字向量特征进行字扩充操作,包括:
根据排序中首位句子字向量特征的长度,对排序中靠前的若干个句子字向量特征进行字扩充操作,使得扩充后的句子字向量特征的长度与所述首位句子字向量特征的长度相同。
另外,根据本发明实施例的另一个方面,提供了一种智能应答装置,包括:
第一转换模块,用于将当前应答问题转换成字向量特征;
应答模块,用于将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征;
第二转换模块,用于将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签;
训练模块,用于将训练样本及其对应的问题分类标签分别转换成字向量特征,所述训练样本包括应答问题及其对应的应答答案;以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型。
可选地,所述训练模块还用于:
对训练样本进行分词处理从而得到分词,并对各个所述分词标注位置标签;
将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征。
可选地,所述训练模块还用于:
根据预设的词语词典,对训练样本进行结巴分词,从而得到分词。
可选地,所述训练模块还用于:
对各个所述分词中的每个字分别标注位置标签;
其中,所述位置标签用于指示所述字在所述分词中的位置和所述训练样本对应的问题分类标签。
可选地,所述训练模块还用于:
根据预设的字典,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签中的每个字分别转换成数字,从而得到字向量特征;
其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。
可选地,所述训练模块还用于:
将所述应答问题的字向量特征及其对应的应答答案的字向量特征拼接成句子字向量特征;
对所述句子字向量特征进行字扩充操作;
对扩充后的句子字向量特征和各个所述分词的位置标签的字向量特征进行组合操作,得到输入特征信息;
将所述输入特征信息输入到卷积神经网络,并以所述问题分类标签的字向量特征作为输出,进行多次迭代优化,从而得到应答模型。
可选地,所述训练模块还用于:
按照句子字向量特征长度由大到小的顺序,对训练样本集中各个所述训练样本对应的句子字向量特征进行降序排列;
对排序中靠前的若干个句子字向量特征进行字扩充操作,将剩余的句子字向量特征从所述训练样本集中剔除。
根据本发明实施例的另一个方面,还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,所述一个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面,还提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:因为采用将当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出当前应答答案的字向量特征和问题分类标签的字向量特征,从而转换得到当前应答答案和问题分类标签的技术手段,所以克服了现有技术中应答效率低或者应答能力有限的技术问题。本发明实施例利用已有的问答数据训练应答模型,然后通过预先训练好的应答模型对用户提出的当前应答问题进行在线答复,既减少客服人员的工作量,又不依赖于问答知识库,有效地节省了维护问答知识库的时间和成本。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的智能应答方法的主要流程的示意图;
图2是根据本发明一个可参考实施例的智能应答方法的主要流程的示意图;
图3是根据本发明实施例的智能应答装置的主要模块的示意图;
图4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的智能应答方法的主要流程的示意图。作为本发明的一个实施例,如图1所示,所述智能应答方法可以包括:
步骤101,将当前应答问题转换成字向量特征。
可以根据预设的字典,将用户提出的当前应答问题中的每个字分别转换成数字,从而组成字向量特征。其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。在创建所述字典之前,需要统计各个字的出现次数,也就是词频,然后将其按照从大到小的顺序进行排序,用排序的数字分别表示每个字。为了便于统计各个字的出现次数,可以统计各个字在训练样本集合中的出现次数。需要指出的是,如果当前应答问题中出现了数字或者标点符号,则用“0”对该数据或者标点符号进行替换,表示为无意义。
步骤102,将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征。
可选地,以膨胀卷积神经网络作为主体的结构,采用训练样本训练得到应答模型,将所述应答模型部署到线上,用于输出当前应答答案的字向量特征和问题分类标签的字向量特征。
可选地,所述应答模型采用如下方法训练得到:
将训练样本及其对应的问题分类标签分别转换成字向量特征,所述训练样本包括应答问题及其对应的应答答案;以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型。
可选地,可以从商品详情页的问答信息、每件评论内容中的问答信息、线上客服处理的问答信息等入口收集训练样本,然后对每个训练样本标记问题分类标签,比如权益功能问题、商详功能问题、权益设计问题、APP相关问题等标签。
可选地,将训练样本及其对应的问题分类标签分别转换成字向量特征,包括:对训练样本进行分词处理从而得到分词,并对各个所述分词标注位置标签;将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征。通过分词处理可以得到专业词语,然后对这些专业词语标注位置标签,最后将训练样本、问题分类标签和各个分词的位置标签分别转换成字向量特征。
可选地,对训练样本进行分词处理从而得到分词,包括:根据预设的词语词典,对训练样本进行结巴分词,从而得到分词。为了保证分词准确性,可以预先创建词语词典,词典中包含当前应用场景中常见的专业词语,比如权益页、商详等,这样可以提高分词的准确性。需要指出的是,不同的应用场景可以创建不同的词语词典。汉语文本没有类似英文文本中空格之类的显式标示词的边界标示符,命名实体识别的第一步就是确定词的边界,即分词,采用结巴分词的前提下,需要加入一些专有名词到词典里,以增强了分词的准确性。
可选地,对各个所述分词标注位置标签,包括:对各个所述分词中的每个字分别标注位置标签(BIOES);其中,所述位置标签用于指示所述字在所述分词中的位置和所述训练样本对应的问题分类标签。以分词“权益页”为例,每个字的位置标签分别为:“权B-App”、“益i-App”、“页e-App”;其中,第一个字为原始的信息文本,后面的B表示这是一个分词的开头(i表示中间,e表示结尾),最后的App表示这个字所在的词的问题分类标签为APP相关问题。
可选地,将所述训练样本及其对应的问题分类标签、各个所述分词分别转换成字向量特征,包括:根据预设的字典,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签中的每个字分别转换成数字,从而得到字向量特征;其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。转换成字向量特征的步骤与步骤101类似,不再赘述。由于后续需要对输出的数字进行翻译,所以需要在对数据处理的过程中准备一个字典,该字典包含训练集和测试集所有的字,每个字都有对应的数字进行表示,而每个数字都有一个多维的向量(可以是50维的向量、100维的向量或者200维的向量等)对其进行翻译。为了减少计算量,位置标签中的每个字对应的数字可以用20维的向量进行表示。可选地,训练样本及其对应的问题分类标签转换后的每个数字的向量维度可以大于位置标签转换后的每个数字的向量维度。
可选地,以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型,包括:将所述应答问题的字向量特征及其对应的应答答案的字向量特征拼接成句子字向量特征;对所述句子字向量特征进行字扩充操作;对扩充后的句子字向量特征和各个所述分词的位置标签的字向量特征进行组合操作,得到输入特征信息;将所述输入特征信息输入到卷积神经网络,并以所述问题分类标签的字向量特征作为输出,进行多次迭代优化,从而得到应答模型。对每个句子字向量特征的长度按批量(bath_size)进行比较,按最大长度进行扩充操作(即打padding操作,根据每个batch_size的最长数据进行决定的,并非所有样本统一打padding)。然后将各个所述分词的位置标签的字向量特征与扩充后的句子字向量进行组合操作(即concat操作),构成真正要输入卷积神经网络的特征信息。
需要指出的是,有些训练样本可能不含分词,如果某个训练样本中没有分词,则不需要对该训练样本进行组合操作。
可选地,对所述句子字向量特征进行字扩充操作,包括:按照句子字向量特征长度由大到小的顺序,对训练样本集中各个所述训练样本对应的句子字向量特征进行降序排列;对排序中靠前的若干个句子字向量特征进行字扩充操作,将剩余的句子字向量特征从所述训练样本集中剔除。因为每个句子的长度不统一,可以先将所有的句子自动padding到100个字,在进行训练处理,如果发现训练效果不是太好,可以采用先对句子的长度进行排序,再取批次的数据进行padding,这样可以减少短句子的一个padding数,最大程度地保留了句子的原有含义。
可选地,对排序中靠前的若干个句子字向量特征进行字扩充操作,包括:根据排序中首位句子字向量特征的长度,对排序中靠前的若干个句子字向量特征进行字扩充操作,使得扩充后的句子字向量特征的长度与所述首位句子字向量特征的长度相同。
由于各个训练样本的数据数量差异性较大,导致样本的分布出现异常,会影响到batch_size的选择,导致模型准确率较低,所以可以采取数据增强的手段(如:少量样本复制,句子结构变换等),这样会提高模型的训练准确性。
以膨胀卷积神经网络为例,在训练模型的过程中,首先在输入特征信息的1维度上添加1个维度,之后进行一次卷积,卷积核shape=[1*3*120*100],步长strides=[1,1,1,1],之后进入膨胀卷积流程。该膨胀卷积神经网络的构成是由复用4次的3层卷积神经网络进行卷积,前两层未设置膨胀系数,为普通的卷积神经网络,卷积核shape=[1*3*100*100],输出后会再加上偏差bias,之后用线性整流函数relu进行激活,最后一层卷积神经网络的膨胀系数设为2,但是输出的维度数不变。将4次复用后的结果按最后一个维度进行concat操作,之后再次丢弃drop out,最后输出的时候将之前添加的1个维度删除。将输出的特征进行线性变换,输出一个三维向量[batch_size,self.num_steps,self.num_tags],将该输出向量放入条件随机场计算损失,计算出的损失采取快速梯度下降法进行优化。最后,将模型的参数保存下来,进行下一次迭代优化。
步骤103,将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签。
得到所述应答模型输出的字向量特征后,基于预设的字典将这些字向量特征翻译成文字,从而得到当前应答问题对应的当前应答答案和问题分类标签。
当前应答答案可以返回给发出提问的用户,问题分类标签可以发送给业务人员,有助于业务人员继续完善问题分类标签,而且也有助于不同业务人员有针对性地发现不同分类下存在的问题。比如APP相关问题的标签对应的各个应答问题对于APP开发人员来说,有助于开发人员快速定位需要改进的功能。
根据上面所述的各种实施例,可以看出本发明实施例通过将当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出当前应答答案的字向量特征和问题分类标签的字向量特征,从而转换得到当前应答答案和问题分类标签的技术手段,解决了现有技术中应答效率低或者应答能力有限的技术问题。本发明实施例利用已有的问答数据训练应答模型,然后通过预先训练好的应答模型对用户提出的当前应答问题进行在线答复,既减少客服人员的工作量,又不依赖于问答知识库,有效地节省了维护问答知识库的时间和成本。
图2是根据本发明一个可参考实施例的智能应答方法的主要流程的示意图。作为本发明的又一个实施例,如图2所示,所述智能应答方法可以包括:
步骤201,收集训练样本,对训练样本进行分词处理从而得到分词,并对各个所述分词标注位置标签。
可以从商品详情页的问答信息、每件评论内容中的问答信息、线上客服处理的问答信息等入口收集训练样本,然后对每个训练样本标记问题分类标签,比如权益功能问题、商详功能问题、权益设计问题、APP相关问题等标签。
根据预设的词语词典,对训练样本进行结巴分词,从而得到分词。为了保证分词准确性,可以预先创建词语词典,词典中包含当前应用场景中常见的专业词语,比如权益页、商详等,这样可以提高分词的准确性。需要指出的是,不同的应用场景可以创建不同的词语词典。汉语文本没有类似英文文本中空格之类的显式标示词的边界标示符,命名实体识别的第一步就是确定词的边界,即分词,采用结巴分词的前提下,需要加入一些专有名词到词典里,以增强了分词的准确性。
完成结巴分词后,对各个所述分词中的每个字分别标注位置标签。其中,所述位置标签用于指示所述字在所述分词中的位置和所述训练样本对应的问题分类标签。
步骤202,根据预设的字典,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签中的每个字分别转换成数字,从而得到字向量特征。
其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。在创建所述字典之前,需要统计各个字的出现次数,也就是词频,然后将其按照从大到小的顺序进行排序,用排序的数字分别表示每个字。为了便于统计各个字的出现次数,可以统计各个字在训练样本集合中的出现次数。
需要指出的是,如果当前应答问题中出现了数字或者标点符号,则用“0”对该数据或者标点符号进行替换,表示为无意义。
步骤203,将所述应答问题的字向量特征及其对应的应答答案的字向量特征拼接成句子字向量特征。
步骤204,对所述句子字向量特征进行字扩充操作。
可选地,对所述句子字向量特征进行字扩充操作,包括:按照句子字向量特征长度由大到小的顺序,对训练样本集中各个所述训练样本对应的句子字向量特征进行降序排列;对排序中靠前的若干个句子字向量特征进行字扩充操作,将剩余的句子字向量特征从所述训练样本集中剔除。可以采用先对句子的长度进行排序,再取批次的数据进行padding,这样可以减少短句子的一个padding数,最大程度地保留了句子的原有含义。
步骤205,对扩充后的句子字向量特征和各个所述分词的位置标签的字向量特征进行组合操作,得到输入特征信息。
步骤206,将所述输入特征信息输入到卷积神经网络,并以所述问题分类标签的字向量特征作为输出,进行多次迭代优化,从而得到应答模型。
可选地,所述卷积神经网络可以是膨胀卷积神经网络。
步骤207,将当前应答问题转换成字向量特征。
可以根据预设的字典,将用户提出的当前应答问题中的每个字分别转换成数字,从而组成字向量特征。
步骤208,将所述当前应答问题的字向量特征输入到所述应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征。
步骤209,将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签。
得到所述应答模型输出的字向量特征后,基于预设的字典将这些字向量特征翻译成文字,从而得到当前应答问题对应的当前应答答案和问题分类标签。
另外,在本发明一个可参考实施例中智能应答方法的具体实施内容,在上面所述智能应答方法中已经详细说明了,故在此重复内容不再说明。
图3是根据本发明实施例的智能应答装置的主要模块的示意图,如图3所示,所述智能应答装置300包括第一转换模块301、应答模块302、第二转换模块303和训练模块304;其中,第一转换模块301用于将当前应答问题转换成字向量特征;应答模块302用于将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征;第二转换模块303用于将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签;训练模块304用于将训练样本及其对应的问题分类标签分别转换成字向量特征,所述训练样本包括应答问题及其对应的应答答案;以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型。
可选地,所述训练模块304还用于:
对训练样本进行分词处理从而得到分词,并对各个所述分词标注位置标签;
将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征。
可选地,所述训练模块304还用于:
根据预设的词语词典,对训练样本进行结巴分词,从而得到分词。
可选地,所述训练模块304还用于:
对各个所述分词中的每个字分别标注位置标签;
其中,所述位置标签用于指示所述字在所述分词中的位置和所述训练样本对应的问题分类标签。
可选地,所述训练模块304还用于:
根据预设的字典,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签中的每个字分别转换成数字,从而得到字向量特征;
其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。
可选地,所述训练模块304还用于:
将所述应答问题的字向量特征及其对应的应答答案的字向量特征拼接成句子字向量特征;
对所述句子字向量特征进行字扩充操作;
对扩充后的句子字向量特征和各个所述分词的位置标签的字向量特征进行组合操作,得到输入特征信息;
将所述输入特征信息输入到卷积神经网络,并以所述问题分类标签的字向量特征作为输出,进行多次迭代优化,从而得到应答模型。
可选地,所述训练模块304还用于:
按照句子字向量特征长度由大到小的顺序,对训练样本集中各个所述训练样本对应的句子字向量特征进行降序排列;
对排序中靠前的若干个句子字向量特征进行字扩充操作,将剩余的句子字向量特征从所述训练样本集中剔除。
根据上面所述的各种实施例,可以看出本发明实施例通过将当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出当前应答答案的字向量特征和问题分类标签的字向量特征,从而转换得到当前应答答案和问题分类标签的技术手段,解决了现有技术中应答效率低或者应答能力有限的技术问题。本发明实施例利用已有的问答数据训练应答模型,然后通过预先训练好的应答模型对用户提出的当前应答问题进行在线答复,既减少客服人员的工作量,又不依赖于问答知识库,有效地节省了维护问答知识库的时间和成本。
需要说明的是,在本发明所述智能应答装置的具体实施内容,在上面所述智能应答方法中已经详细说明了,故在此重复内容不再说明。
图3示出了可以应用本发明实施例的智能应答方法或智能应答装置的示例性系统架构300。
如图3所示,系统架构300可以包括终端设备301、302、303,网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互,以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器,例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、物品信息——仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的智能应答方法一般由服务器305执行,相应地,所述智能应答装置一般设置在服务器305中。本发明实施例所提供的智能应答方法也可以由终端设备301、302、303执行,相应地,所述智能应答装置可以设置在终端设备301、302、303中。
应该理解,图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图4,其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统400包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一转换模块、应答模块、第二转换模块和训练模块,其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,该设备实现如下方法:将当前应答问题转换成字向量特征;将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征;将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签;其中,所述应答模型采用如下方法训练得到:将训练样本及其对应的问题分类标签分别转换成字向量特征,所述训练样本包括应答问题及其对应的应答答案;以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型。
根据本发明实施例的技术方案,因为采用将当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出当前应答答案的字向量特征和问题分类标签的字向量特征,从而转换得到当前应答答案和问题分类标签的技术手段,所以克服了现有技术中应答效率低或者应答能力有限的技术问题。本发明实施例利用已有的问答数据训练应答模型,然后通过预先训练好的应答模型对用户提出的当前应答问题进行在线答复,既减少客服人员的工作量,又不依赖于问答知识库,有效地节省了维护问答知识库的时间和成本。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (8)
1.一种智能应答方法,其特征在于,包括:
将当前应答问题转换成字向量特征;
将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征;
将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签;
其中,所述应答模型采用如下方法训练得到:
将训练样本及其对应的问题分类标签分别转换成字向量特征,所述训练样本包括应答问题及其对应的应答答案;
以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型;
将训练样本及其对应的问题分类标签分别转换成字向量特征,包括:
对训练样本进行分词处理从而得到分词,并对各个所述分词标注位置标签;
将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征;
对各个所述分词标注位置标签,包括:
对各个所述分词中的每个字分别标注位置标签;
其中,所述位置标签用于指示所述字在所述分词中的位置和所述训练样本对应的问题分类标签;
将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征,包括:
根据预设的字典,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签中的每个字分别转换成数字,从而得到字向量特征;
其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。
2.根据权利要求1所述的方法,其特征在于,对训练样本进行分词处理从而得到分词,包括:
根据预设的词语词典,对训练样本进行结巴分词,从而得到分词。
3.根据权利要求1所述的方法,其特征在于,以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型,包括:
将所述应答问题的字向量特征及其对应的应答答案的字向量特征拼接成句子字向量特征;
对所述句子字向量特征进行字扩充操作;
对扩充后的句子字向量特征和各个所述分词的位置标签的字向量特征进行组合操作,得到输入特征信息;
将所述输入特征信息输入到卷积神经网络,并以所述问题分类标签的字向量特征作为输出,进行多次迭代优化,从而得到应答模型。
4.根据权利要求3所述的方法,其特征在于,对所述句子字向量特征进行字扩充操作,包括:
按照句子字向量特征长度由大到小的顺序,对训练样本集中各个所述训练样本对应的句子字向量特征进行降序排列;
对排序中靠前的若干个句子字向量特征进行字扩充操作,将剩余的句子字向量特征从所述训练样本集中剔除。
5.根据权利要求4所述的方法,其特征在于,对排序中靠前的若干个句子字向量特征进行字扩充操作,包括:
根据排序中首位句子字向量特征的长度,对排序中靠前的若干个句子字向量特征进行字扩充操作,使得扩充后的句子字向量特征的长度与所述首位句子字向量特征的长度相同。
6.一种智能应答装置,其特征在于,包括:
第一转换模块,用于将当前应答问题转换成字向量特征;
应答模块,用于将所述当前应答问题的字向量特征输入到预先训练好的应答模型中,以输出所述当前应答问题对应的当前应答答案的字向量特征和问题分类标签的字向量特征;
第二转换模块,用于将所述当前应答答案的字向量特征和所述问题分类标签的字向量特征分别转换成所述当前应答问题对应的当前应答答案和问题分类标签;
训练模块,用于将训练样本及其对应的问题分类标签分别转换成字向量特征,所述训练样本包括应答问题及其对应的应答答案;以所述训练样本的字向量特征作为输入、以所述问题分类标签的字向量特征作为输出,训练卷积神经网络,从而得到应答模型;
所述训练模块还用于:
对训练样本进行分词处理从而得到分词,并对各个所述分词标注位置标签;
将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签分别转换成字向量特征;
所述训练模块还用于:
对各个所述分词中的每个字分别标注位置标签;
其中,所述位置标签用于指示所述字在所述分词中的位置和所述训练样本对应的问题分类标签;
所述训练模块还用于:
根据预设的字典,将所述训练样本及其对应的问题分类标签、各个所述分词的位置标签中的每个字分别转换成数字,从而得到字向量特征;
其中,所述字典包括各个字及其对应的数字,所述数字用于指示所述字的出现次数的排序,并且每个数字为多维向量。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010916973.5A CN113779205B (zh) | 2020-09-03 | 2020-09-03 | 一种智能应答方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010916973.5A CN113779205B (zh) | 2020-09-03 | 2020-09-03 | 一种智能应答方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113779205A CN113779205A (zh) | 2021-12-10 |
CN113779205B true CN113779205B (zh) | 2024-05-24 |
Family
ID=78834971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010916973.5A Active CN113779205B (zh) | 2020-09-03 | 2020-09-03 | 一种智能应答方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113779205B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959529A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 问题答案类型的确定方法、装置、设备及存储介质 |
CN109493186A (zh) * | 2018-11-20 | 2019-03-19 | 北京京东尚科信息技术有限公司 | 确定推送信息的方法和装置 |
CN109657127A (zh) * | 2018-12-17 | 2019-04-19 | 北京百度网讯科技有限公司 | 一种答案获取方法、装置、服务器及存储介质 |
CN109800293A (zh) * | 2018-12-20 | 2019-05-24 | 出门问问信息科技有限公司 | 一种基于问题分类获取答案的方法、装置及电子设备 |
CN110032632A (zh) * | 2019-04-04 | 2019-07-19 | 平安科技(深圳)有限公司 | 基于文本相似度的智能客服问答方法、装置及存储介质 |
CN110209782A (zh) * | 2018-09-25 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 问答模型及应答语句的生成方法、装置、介质和电子设备 |
CN110287296A (zh) * | 2019-05-21 | 2019-09-27 | 平安科技(深圳)有限公司 | 一种问题答案选取方法、装置、计算机设备及存储介质 |
CN110516059A (zh) * | 2019-08-30 | 2019-11-29 | 腾讯科技(深圳)有限公司 | 基于机器学习的问题答复方法、问答模型训练方法及装置 |
CN110609886A (zh) * | 2019-09-18 | 2019-12-24 | 北京金山数字娱乐科技有限公司 | 一种文本分析方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3040808B1 (fr) * | 2015-09-07 | 2022-07-15 | Proxem | Procede d'etablissement automatique de requetes inter-langues pour moteur de recherche |
-
2020
- 2020-09-03 CN CN202010916973.5A patent/CN113779205B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959529A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 问题答案类型的确定方法、装置、设备及存储介质 |
CN110209782A (zh) * | 2018-09-25 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 问答模型及应答语句的生成方法、装置、介质和电子设备 |
CN109493186A (zh) * | 2018-11-20 | 2019-03-19 | 北京京东尚科信息技术有限公司 | 确定推送信息的方法和装置 |
CN109657127A (zh) * | 2018-12-17 | 2019-04-19 | 北京百度网讯科技有限公司 | 一种答案获取方法、装置、服务器及存储介质 |
CN109800293A (zh) * | 2018-12-20 | 2019-05-24 | 出门问问信息科技有限公司 | 一种基于问题分类获取答案的方法、装置及电子设备 |
CN110032632A (zh) * | 2019-04-04 | 2019-07-19 | 平安科技(深圳)有限公司 | 基于文本相似度的智能客服问答方法、装置及存储介质 |
CN110287296A (zh) * | 2019-05-21 | 2019-09-27 | 平安科技(深圳)有限公司 | 一种问题答案选取方法、装置、计算机设备及存储介质 |
CN110516059A (zh) * | 2019-08-30 | 2019-11-29 | 腾讯科技(深圳)有限公司 | 基于机器学习的问题答复方法、问答模型训练方法及装置 |
CN110609886A (zh) * | 2019-09-18 | 2019-12-24 | 北京金山数字娱乐科技有限公司 | 一种文本分析方法及装置 |
Non-Patent Citations (1)
Title |
---|
铁路12306线上智能客服系统方案研究;梅巧玲;铁路计算机应用;20200331;第29卷(第3期);28-31 * |
Also Published As
Publication number | Publication date |
---|---|
CN113779205A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107491547B (zh) | 基于人工智能的搜索方法和装置 | |
CN107491534B (zh) | 信息处理方法和装置 | |
CN107220386B (zh) | 信息推送方法和装置 | |
CN106960030B (zh) | 基于人工智能的推送信息方法及装置 | |
CN107861954B (zh) | 基于人工智能的信息输出方法和装置 | |
CN107145485B (zh) | 用于压缩主题模型的方法和装置 | |
CN112100396B (zh) | 一种数据处理方法和装置 | |
CN114385780B (zh) | 程序接口信息推荐方法、装置、电子设备和可读介质 | |
CN113360660B (zh) | 文本类别识别方法、装置、电子设备和存储介质 | |
CN113434636A (zh) | 基于语义的近似文本搜索方法、装置、计算机设备及介质 | |
CN113268560A (zh) | 用于文本匹配的方法和装置 | |
CN109190123B (zh) | 用于输出信息的方法和装置 | |
CN107766498B (zh) | 用于生成信息的方法和装置 | |
CN116109732A (zh) | 图像标注方法、装置、处理设备及存储介质 | |
CN118070072A (zh) | 基于人工智能的问题处理方法、装置、设备及存储介质 | |
CN109902152B (zh) | 用于检索信息的方法和装置 | |
CN111538817B (zh) | 人机交互方法和装置 | |
CN110807097A (zh) | 分析数据的方法和装置 | |
CN111488513A (zh) | 用于生成页面的方法和装置 | |
CN110232328A (zh) | 一种征信报告解析方法、装置及计算机可读存储介质 | |
CN110852057A (zh) | 一种计算文本相似度的方法和装置 | |
CN111459959B (zh) | 用于更新事件集合的方法和装置 | |
CN113779205B (zh) | 一种智能应答方法和装置 | |
CN110990527A (zh) | 自动问答方法及装置、存储介质及电子设备 | |
CN112860860A (zh) | 一种答复问题的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |