CN109829153A - 基于卷积神经网络的意图识别方法、装置、设备及介质 - Google Patents

基于卷积神经网络的意图识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN109829153A
CN109829153A CN201910007860.0A CN201910007860A CN109829153A CN 109829153 A CN109829153 A CN 109829153A CN 201910007860 A CN201910007860 A CN 201910007860A CN 109829153 A CN109829153 A CN 109829153A
Authority
CN
China
Prior art keywords
vector
convolutional neural
neural networks
sample
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910007860.0A
Other languages
English (en)
Inventor
王健宗
程宁
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910007860.0A priority Critical patent/CN109829153A/zh
Publication of CN109829153A publication Critical patent/CN109829153A/zh
Priority to PCT/CN2019/117097 priority patent/WO2020140612A1/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于卷积神经网络的意图识别方法、装置、设备及介质,应用于深度学习技术领域,用于解决意图识别准确性低下的问题。本发明提供的方法包括:获取待识别意图的目标文本;对所述目标文本进行向量化处理,得到目标向量;将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。

Description

基于卷积神经网络的意图识别方法、装置、设备及介质
技术领域
本发明涉及深度学习技术领域,尤其涉及基于卷积神经网络的意图识别方法、装置、设备及介质。
背景技术
在市场上,通过用户的话术准确把握用户意图对促成交易帮助很大。比如,在电话推销场景中对用户话术的意图识别对于是否能成功推销产品至关重要,话术作为用户内心想法的外在表现,透漏出用户的真实感受和内在需求,如果能通过话术正确捕捉到用户的意图,既能提高推销的成功率,增加企业营收和提升品牌的知名度,也不会影响用户的体验。
目前,大多企业都是聘用客服人员与用户进行沟通联系,并依赖客服人员的经验和知识判断用户的真实意图、促成交易的。但是,不同客服人员之间经验、知识存在差距,加上人的主观因素影响,容易出现对用户的真实意图误判的情况,导致意图识别的准确性低下。
发明内容
本发明实施例提供一种基于卷积神经网络的意图识别方法、装置、计算机设备及存储介质,以解决意图识别准确性低下的问题。
一种基于卷积神经网络的意图识别方法,包括:
获取待识别意图的目标文本;
对所述目标文本进行向量化处理,得到目标向量;
将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;
将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。
一种基于卷积神经网络的意图识别装置,包括:
目标文本获取模块,用于获取待识别意图的目标文本;
文本向量化模块,用于对所述目标文本进行向量化处理,得到目标向量;
网络识别模块,用于将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;
意图确定模块,用于将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于卷积神经网络的意图识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于卷积神经网络的意图识别方法的步骤。
上述基于卷积神经网络的意图识别方法、装置、计算机设备及存储介质,首先,获取待识别意图的目标文本;然后,对所述目标文本进行向量化处理,得到目标向量;接着,将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;最后,将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。可见,本发明可以通过预先训练好的卷积神经网络准确地从目标文本中识别出用户的真实意图,不仅避免了经验、知识存在差距导致识别偏差的情况,而且消除了人的主观因素影响,提升了意图识别的准确性,有助于企业把握用户的真实意图并促成交易。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于卷积神经网络的意图识别方法的一应用环境示意图;
图2是本发明一实施例中基于卷积神经网络的意图识别方法的一流程图;
图3是本发明一实施例中基于卷积神经网络的意图识别方法步骤102在一个应用场景下的流程示意图;
图4是本发明一实施例中基于卷积神经网络的意图识别方法在一个应用场景下对目标文本预处理的流程示意图;
图5是本发明一实施例中基于卷积神经网络的意图识别方法在一个应用场景下预先训练卷积神经网络的流程示意图;
图6是本发明一实施例中基于卷积神经网络的意图识别装置的结构示意图;
图7是本发明一实施例中基于卷积神经网络的意图识别装置中预先训练卷积神经网络的部分模块的结构示意图;
图8是本发明一实施例中网络识别模块的结构示意图;
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的基于卷积神经网络的意图识别方法,可应用在如图1的应用环境中,其中,客户端通过网络与服务器进行通信。其中,该客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种基于卷积神经网络的意图识别方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
101、获取待识别意图的目标文本;
本实施例中,服务器可以根据实际使用的需要或者应用场景的需要获取待识别意图的目标文本。例如,服务器可以与客户端通信连接,该客户端提供给某场所内的用户咨询问题,用户通过客户端的麦克风输入语音问题,客户端将该语音问题上传给服务器,服务器将该语音问题音转字后得到文本,该文本即为待识别意图的目标文本。或者,服务器也可以执行对大批量的话术文本识别用户意图的任务,某数据库预先收集大量的话术文本,然后通过网络将多个话术文本传输给服务器,服务器需要对这些话术文本分别进行意图识别,从而这些话术文本分别为各个目标文本。可以理解的是,服务器还可以通过多种方式获取到这些待识别意图的目标文本,对此不再过多赘述,可认为,只要是需要服务器识别意图的文本均可作为目标文本。
需要说明的是,本实施例所说的文本一般是指话术文本,即由人所说的话通过音转字得到的文本内容。
102、对所述目标文本进行向量化处理,得到目标向量;
在获取到目标文本之后,为了便于后续卷积神经网络的识别和学习,服务器需要对该目标文本进行向量化处理,即将文本转化为向量的方式表示,从而得到目标向量。具体地,服务器可以将目标文本以数据矩阵的形式记载,在数据矩阵中,目标文本中的每个字词映射为该数据矩阵中的一个行向量。
为便于理解的,在一个具体应用场景下,如图3所示,进一步地,所述步骤102具体可以包括:
201、采用预设的字典将所述目标文本中各个字词转化为各个一维行向量,所述字典记录了字词与各个一维行向量之间的对应关系;
202、按照所述目标文本中各个字词的次序将所述各个一维行向量组成一个二维向量作为目标向量。
对于上述步骤201,服务器预先设有字典,该字典记录了各个字词与各个一维行向量之前的一一对应关系。例如,可以设置“我”与“1号行向量”对应,“和”与“2号行向量”对应,“你”与“3号行向量”对应……,通过尽可能穷尽所有字词来完善该字典,从而当需要转化该目标文本时,服务器可以采用预设的字典将所述目标文本中各个字词转化为各个一维行向量。举例说明,假设该目标文本为“我和你去吃饭”,经查询字典得知:“我”与“1号行向量”对应、“和”与“2号行向量”对应、“你”与“3号行向量”对应、“去”与“4号行向量”对应、“吃饭”与“5号行向量”对应,从而分别得到1-5号行向量。其中,上述的1-5号行向量是指代编号为1、2、3、4、5的行向量,具体每个行向量应当为包含多个元素的一维矩阵,比如[7,51,423,50,0]为一个一维行向量,在设置字典时,可以将这个一维行向量定义为k号行向量,k大于等于1。
优选地,该字典的构建可以采用自动设置的方式完成,服务器可以一边使用该字典一边设置该字典,具体可以是:当需要将文本转化为一维行向量时,服务器可以逐个获取该文本中的字词,并查询该字典中是否记录有该字词与某个一维行向量的对应关系;若有,则服务器获取与该字词对应的一维行向量;若没有,则将该字词新增至该字典中,并分配一个未分配的一维行向量与该字词对应,然后服务器获取与该字词对应的一维行向量;服务器在获取到该文本中所有字词对应的一维行向量后,即可执行下述步骤202进行二维向量的构建,同时,也将该文本中之前未分配在字典的字词新增至了字典中,实现了对字典的完善。
需要说明的是,在设置字典时,未分配的一维行向量可以由工作人员手动设定,也可以从第三方平台上获取到现有的词向量,比如可以载入新浪、知乎等网站提供的词向量作为本实施例设置字典所需的一维行向量。
对于上述步骤202,将“X1,X2,X3,X4,X5”这五个一维行向量依次组成一个二维矩阵,即二维向量,即可得到所述目标向量。其中,X1-X5分别代表上述的1-5号行向量。
考虑到用户的多样性,步骤102中的目标文本很可能在格式上不符合要求或者存在较多干扰信息,因此,本实施例在将其转化为目标向量之前还可以对其进行预处理,使得该目标文本在格式和内容上更加便于向量转化,以及后续卷积神经网络的识别和分析。如图4所示,进一步地,在步骤102之前,本方法还包括:
301、删除所述目标文本中的指定文本,所述指定文本至少包括停用词或标点符号;
302、对删除指定文本后的所述目标文本进行分词处理,得到所述目标文本中的各个字词。
对于上述步骤301,这里所说的停用词可以是指使用频率特别高的单汉字,比如“的”、“了”等无实际语言意义的汉字,另外,指定文本还可以包括标点符号,比如逗号、句号等,这些标点符号也没有实际语言意义。执行步骤301时,服务器可以将目标文本中的指定文本删除,举例说明,假设该指定文本包括停用词和标点符号,该目标文本中包括文本“我今天来上班了。”,服务器可以先将其中的“了”等无实际意义的停用词删除,并将“。”等标点符号删除,从而得到删除后的文本“我今天来上班”。
对于上述步骤302,在删除指定文本后,服务器还可以对该目标文本进行分词处理,承接上述文本“我今天来上班”,服务器可以通过第三方分词工具将该文本进行语句分割,转化为“我今天来上班”四个字词。
103、将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;
在得到所述目标文本对应的目标向量之后,服务器可以将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,其中,第一概率值表征了所述目标文本属于对应的预设用户意图的概率。可以理解的是,目标结果向量中一般包含了多个元素,每个元素均为一个第一概率值,这些第一概率值与多个预设用户意图一一对应,并表征了目标文本属于对应的预设用户意图的概率。可知,若某个预设用户意图对应的第一概率值越大,则说明该目标文本属于该预设用户意图的概率越高。
为便于理解,下面将对卷积神经网络的训练过程进行详细描述。如图5所示,进一步地,所述卷积神经网络通过以下步骤预先训练好:
401、分别收集属于各个预设用户意图的话术文本;
402、对收集到的话术文本分别进行向量化处理,得到各个话术文本对应的样本向量;
403、针对每个预设用户意图,将所述预设用户意图对应的样本向量的标记值记为1,其它样本向量的标记值记为0,所述其它样本向量是指除所述预设用户意图对应的样本向量之外的样本向量;
404、针对每个预设用户意图,将所有样本向量作为输入投入至卷积神经网络进行训练,得到样本结果向量,所述样本结果向量由各个元素组成,所述各个元素分别表征了所述样本向量对应的话术文本分别属于各个预设用户意图的概率;
405、针对每个预设用户意图,以输出的各个样本结果向量作为调整目标,调整所述卷积神经网络的参数,以最小化得到的所述各个样本结果向量与各个样本向量对应的标记值之间的误差;
406、若所述各个样本结果向量与各个样本向量对应的标记值之间的误差满足预设的训练终止条件,则确定所述卷积神经网络已训练好。
对于上述步骤401,本实施例中,针对实际应用场景,工作人员可以预先在服务器上设置好需要训练的各个预设用户意图,例如可以包括“同意聆听”、“拒绝购买”、“愿意等待”等意图,针对这些预设用户意图,工作人员还需要在具体应用场景下收集各自对应的话术文本,比如用户实际咨询的问题转化得来的话术文本。在收集话术文本时,服务器可以通过专业知识库、网络数据库等渠道收集属于各个预设用户意图的话术文本。需要说明的是,每个预设用户意图对应的话术文本应当达到一定的数量级,各个预设用户意图之间话术文本的数量可以有一定差距,但不应相差过远,避免影响对卷积神经网络的训练效果。例如,可以收集到的话术文本为:“同意聆听”对应的话术文本的数量为100万条,“拒绝购买”对应的话术文本的数量为20万条,“愿意等待”对应的话术文本的数量为30万条。
对于上述步骤402,可以理解的是,在将话术文本投入至卷积神经网络进行训练之前,需要将收集到的这些话术文本分别进行向量化处理,得到各个话术文本对应的样本向量,将文本转化为向量更便于卷积神经网络的理解和训练。需要说明的是,考虑到收集到的话术文本来源众多,话术文本的格式往往并不统一,这容易对后续训练造成干扰。因此,服务器在将这些话术文本进行向量化处理之前可以对其进行预处理,包括停用词、标点符号的删除以及字词的切割。例如,假设某个话术文本为“我今天来上班了。”,服务器可以先将其中的“了”等无实际意义的停用词删除,并将“。”等标点符号删除,然后使用第三方分词工具将该文本进行语句分割,转化为“我今天来上班”四个字词。在预处理后,服务器再对该话术文本中每个字词进行向量化映射,即可得到该话术文本中各个字词对应的行向量,通过将该话术文本中每个字词进行向量化得到多个行向量,这些行向量组成该话术文本对应的样本向量(二维向量)。具体地,样本向量可以以数据矩阵的形式记载。
对于上述步骤403,可以理解的是,在训练之前,需要对样本向量进行标记,本实施例中由于需要针对多个预设用户意图进行训练,因此应当针对不同的预设用户意图分别进行标注。举例说明,假设共3个预设用户意图,分别为“同意聆听”、“拒绝购买”和“愿意等待”,则,针对“同意聆听”时,将该“同意聆听”下的各个样本向量的标记值记为1,“拒绝购买”和“愿意等待”下的各个样本向量的标记值记为0,并用于后续针对该“同意聆听”时的卷积神经网络的训练;同理,针对“拒绝购买”时,将该“拒绝购买”下的各个样本向量的标记值记为1,“同意聆听”和“愿意等待”下的各个样本向量的标记值记为0,并用于后续针对该“拒绝购买”时的卷积神经网络的训练;针对“愿意等待”以及其它预设用户意图同理处理,此处不再赘述。
对于上述步骤404,在训练时,针对每个预设用户意图,将所有样本向量作为输入投入至卷积神经网络进行训练,得到样本结果向量。可以理解的是,由于针对该预设用户意图,除该预设用户意图下各个样本向量的标记值为1,其它标记值均为0,将一个样本向量输入卷积神经网络后,该卷积神经网络输出由N个元素组成的样本结果向量,这N个元素分别表征了该样本向量对应的话术文本分别属于N个预设用户意图的概率。
进一步地,所述步骤404具体可以包括:每个样本向量输入到所述卷积神经网络训练时,按照预设第一丢弃概率随机丢弃卷积层输出的特征图,并分别使用各个预设尺寸的卷积窗口提取特征图上的特征和执行池化操作,再按照预设第二丢弃概率随机丢弃池化操作得到的输出向量,将丢弃剩下的输出向量输入全连接层得到样本结果向量。其中,该第一丢弃概率和第二丢弃概率可以根据实际使用情况设定,比如可以设定为0.6。可知,这里加入了特征图丢弃操作和池化后输出向量的丢弃操作,虽然在一定程度上削弱了每次训练对卷积神经网络的训练效果,但却大大加快了每次的训练速度,可以使得卷积神经网络在短时间内快速完成大量样本的训练,在训练大量样本后,从整体上更有利于提升卷积神经网络的训练效果,识别准确性更高。
对于上述步骤405,可以理解的是,在训练卷积神经网络的过程中,需要调整该卷积神经网络的参数。比如,卷积神经网络的网络结构主要包括卷积层、池化层、随机失活层、正则化层和softmax层,每层中均设有若干个参数,在一个样本训练过程中,通过调整这些参数可以影响卷积神经网络的输出结果。举例说明,假设针对“同意聆听”这一预设用户意图,将“同意聆听”下的某个样本向量投入该卷积神经网络,其输出的结果为:[0.3,0.2,0.5],该结果中3个元素的值代表了该样本向量对应的话术文本分别属于“同意聆听”、“拒绝购买”、“愿意等待”3个预设用户意图的概率,即该话术文本属于“同意聆听”的概率为0.3;该话术文本属于“拒绝购买”的概率为0.2;该话术文本属于“愿意等待”的概率为0.5。通过该样本向量的标记值为1可知,该话术文本属于“同意聆听”,因此可以通过调整该卷积神经网络的参数,尽量使得卷积神经网络输出的结果为“1,0,0”,其中最主要的是尽量使得输出的结果中对应“同意聆听”的元素的值尽可能接近1。
对于上述步骤406,在针对各个预设用户意图均执行完成上述步骤403-405之后,可以判断所述各个样本结果向量与各个样本向量对应的标记值之间的误差是否满足预设的训练终止条件,若满足,则说明该卷积神经网络中的各个参数已经调整到位,可以确定该卷积神经网络已训练完成;反之,若不满足,则说明该卷积神经网络还需要继续训练。其中,该训练终止条件可以根据实际使用情况预先设定,具体地,可以将该训练终止条件设定为:若所述各个样本结果向量与各个样本向量对应的标记值之间的误差均小于指定误差值,则认为其满足该预设的训练终止条件。或者,也可以将其设为:使用验证集中的话术文本执行上述步骤402-404,若卷积神经网络输出的样本结果向量与标记值之间的误差在一定范围内,则认为其满足该预设的训练终止条件。其中,该验证集中的话术文本的收集与上述步骤401类似,具体地,可以执行上述步骤401收集得到各个预设用户意图的话术文本后,将收集得到的话术文本中的一定比例划分为训练集,剩余的话术文本划分为验证集。比如,可以将收集得到的话术文本中随机划分80%作为后续训练卷积神经网络的训练集的样本,将其它的20%划分为后续验证卷积神经网络是否训练完成,也即是否满足预设训练终止条件的验证集的样本。
本实施例中,见上述对步骤404的描述可知,训练时可加入随机丢弃的机制来提高卷积神经网络的训练效率。与之不同的是,在使用卷积神经网络时,为了保证卷积神经网络的识别准确率,不使用随机丢弃的机制。为便于理解,进一步地,所述步骤103具体可以包括:在将所述目标向量输入所述卷积神经网络之后,针对所述卷积神经网络中卷积层输出的特征图,分别使用所述卷积神经网络中的卷积窗口提取所述特征图上的特征和执行池化操作,再将池化操作得到的输出向量输入所述卷积神经网络中的全连接层,得到所述目标结果向量。需要说明的是,这里所使用的卷积窗口为训练好的卷积神经网络中的卷积窗口,可知,卷积窗口的尺寸和个数均在训练时已经调整完成,此处无需在意其尺寸和个数。
104、将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。
可以理解的是,服务器在得到所述卷积神经网络输出的目标结果向量后,由于目标结果向量中各个元素分别为各个预设用户意图对应的第一概率值,而第一概率值表征了所述目标文本属于对应的预设用户意图的概率,这也就意味着,第一概率值越高,说明该目标文本属于该预设用户意图的概率就越高。因此,服务器选取其中第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图,这在最大程度上把握了用户的实际情况和真实意图。
本发明实施例中,首先,获取待识别意图的目标文本;然后,对所述目标文本进行向量化处理,得到目标向量;接着,将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;最后,将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。可见,本发明可以通过预先训练好的卷积神经网络准确地从目标文本中识别出用户的真实意图,不仅避免了经验、知识存在差距导致识别偏差的情况,而且消除了人的主观因素影响,提升了意图识别的准确性,有助于企业把握用户的真实意图并促成交易。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种基于卷积神经网络的意图识别装置,该基于卷积神经网络的意图识别装置与上述实施例中基于卷积神经网络的意图识别方法一一对应。如图6所示,该基于卷积神经网络的意图识别装置包括目标文本获取模块501、文本向量化模块502、网络识别模块503和意图确定模块504。各功能模块详细说明如下:
目标文本获取模块501,用于获取待识别意图的目标文本;
文本向量化模块502,用于对所述目标文本进行向量化处理,得到目标向量;
网络识别模块503,用于将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;
意图确定模块504,用于将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。
如图7所示,进一步地,所述卷积神经网络可以通过以下模块预先训练好:
文本收集模块505,用于分别收集属于各个预设用户意图的话术文本;
样本向量化模块506,用于对收集到的话术文本分别进行向量化处理,得到各个话术文本对应的样本向量;
样本标记模块507,用于针对每个预设用户意图,将所述预设用户意图对应的样本向量的标记值记为1,其它样本向量的标记值记为0,所述其它样本向量是指除所述预设用户意图对应的样本向量之外的样本向量;
样本投入模块508,用于针对每个预设用户意图,将所有样本向量作为输入投入至卷积神经网络进行训练,得到样本结果向量,所述样本结果向量由各个元素组成,所述各个元素分别表征了所述样本向量对应的话术文本分别属于各个预设用户意图的概率;
网络参数调整模块509,用于针对每个预设用户意图,以输出的各个样本结果向量作为调整目标,调整所述卷积神经网络的参数,以最小化得到的所述各个样本结果向量与各个样本向量对应的标记值之间的误差;
训练完成确定模块510,用于若所述各个样本结果向量与各个样本向量对应的标记值之间的误差满足预设的训练终止条件,则确定所述卷积神经网络已训练好。
如图8所示,进一步地,所述网络识别模块503可以包括:
神经网络识别单元5031,用于在将所述目标向量输入所述卷积神经网络之后,针对所述卷积神经网络中卷积层输出的特征图,分别使用所述卷积神经网络中的卷积窗口提取所述特征图上的特征和执行池化操作,再将池化操作得到的输出向量输入所述卷积神经网络中的全连接层,得到所述目标结果向量。
进一步地,所述文本向量化模块可以包括:
一维向量转化单元,用于采用预设的字典将所述目标文本中各个字词转化为各个一维行向量,所述字典记录了字词与各个一维行向量之间的对应关系;
二维向量组成单元,用于按照所述目标文本中各个字词的次序将所述各个一维行向量组成一个二维向量作为目标向量。
进一步地,所述基于卷积神经网络的意图识别装置还可以包括:
指定文本删除模块,用于删除所述目标文本中的指定文本,所述指定文本至少包括停用词或标点符号;
分词处理模块,用于对删除指定文本后的所述目标文本进行分词处理,得到所述目标文本中的各个字词。
关于基于卷积神经网络的意图识别装置的具体限定可以参见上文中对于基于卷积神经网络的意图识别方法的限定,在此不再赘述。上述基于卷积神经网络的意图识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于卷积神经网络的意图识别方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于卷积神经网络的意图识别方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中基于卷积神经网络的意图识别方法的步骤,例如图2所示的步骤101至步骤104。或者,处理器执行计算机程序时实现上述实施例中基于卷积神经网络的意图识别装置的各模块/单元的功能,例如图6所示模块501至模块504的功能。为避免重复,这里不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中基于卷积神经网络的意图识别方法的步骤,例如图2所示的步骤101至步骤104。或者,计算机程序被处理器执行时实现上述实施例中基于卷积神经网络的意图识别装置的各模块/单元的功能,例如图6所示模块501至模块504的功能。为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的意图识别方法,其特征在于,包括:
获取待识别意图的目标文本;
对所述目标文本进行向量化处理,得到目标向量;
将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;
将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。
2.根据权利要求1所述的基于卷积神经网络的意图识别方法,其特征在于,所述卷积神经网络通过以下步骤预先训练好:
分别收集属于各个预设用户意图的话术文本;
对收集到的话术文本分别进行向量化处理,得到各个话术文本对应的样本向量;
针对每个预设用户意图,将所述预设用户意图对应的样本向量的标记值记为1,其它样本向量的标记值记为0,所述其它样本向量是指除所述预设用户意图对应的样本向量之外的样本向量;
针对每个预设用户意图,将所有样本向量作为输入投入至卷积神经网络进行训练,得到样本结果向量,所述样本结果向量由各个元素组成,所述各个元素分别表征了所述样本向量对应的话术文本分别属于各个预设用户意图的概率;
针对每个预设用户意图,以输出的各个样本结果向量作为调整目标,调整所述卷积神经网络的参数,以最小化得到的所述各个样本结果向量与各个样本向量对应的标记值之间的误差;
若所述各个样本结果向量与各个样本向量对应的标记值之间的误差满足预设的训练终止条件,则确定所述卷积神经网络已训练好。
3.根据权利要求1所述的基于卷积神经网络的意图识别方法,其特征在于,所述将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量包括:
在将所述目标向量输入所述卷积神经网络之后,针对所述卷积神经网络中卷积层输出的特征图,分别使用所述卷积神经网络中的卷积窗口提取所述特征图上的特征和执行池化操作,再将池化操作得到的输出向量输入所述卷积神经网络中的全连接层,得到所述目标结果向量。
4.根据权利要求1所述的基于卷积神经网络的意图识别方法,其特征在于,所述对所述目标文本进行向量化处理,得到目标向量包括:
采用预设的字典将所述目标文本中各个字词转化为各个一维行向量,所述字典记录了字词与各个一维行向量之间的对应关系;
按照所述目标文本中各个字词的次序将所述各个一维行向量组成一个二维向量作为目标向量。
5.根据权利要求1至4中任一项所述的基于卷积神经网络的意图识别方法,其特征在于,在对所述目标文本进行向量化处理,得到目标向量之前,还包括:
删除所述目标文本中的指定文本,所述指定文本至少包括停用词或标点符号;
对删除指定文本后的所述目标文本进行分词处理,得到所述目标文本中的各个字词。
6.一种基于卷积神经网络的意图识别装置,其特征在于,包括:
目标文本获取模块,用于获取待识别意图的目标文本;
文本向量化模块,用于对所述目标文本进行向量化处理,得到目标向量;
网络识别模块,用于将所述目标向量作为输入投入至预先训练好的卷积神经网络,得到所述卷积神经网络输出的目标结果向量,所述目标结果向量中的各个元素分别为各个预设用户意图对应的第一概率值,第一概率值表征了所述目标文本属于对应的预设用户意图的概率;
意图确定模块,用于将第一概率值最高的预设用户意图确定为所述目标文本对应的目标用户意图。
7.根据权利要求6所述的基于卷积神经网络的意图识别装置,其特征在于,所述卷积神经网络通过以下模块预先训练好:
文本收集模块,用于分别收集属于各个预设用户意图的话术文本;
样本向量化模块,用于对收集到的话术文本分别进行向量化处理,得到各个话术文本对应的样本向量;
样本标记模块,用于针对每个预设用户意图,将所述预设用户意图对应的样本向量的标记值记为1,其它样本向量的标记值记为0,所述其它样本向量是指除所述预设用户意图对应的样本向量之外的样本向量;
样本投入模块,用于针对每个预设用户意图,将所有样本向量作为输入投入至卷积神经网络进行训练,得到样本结果向量,所述样本结果向量由各个元素组成,所述各个元素分别表征了所述样本向量对应的话术文本分别属于各个预设用户意图的概率;
网络参数调整模块,用于针对每个预设用户意图,以输出的各个样本结果向量作为调整目标,调整所述卷积神经网络的参数,以最小化得到的所述各个样本结果向量与各个样本向量对应的标记值之间的误差;
训练完成确定模块,用于若所述各个样本结果向量与各个样本向量对应的标记值之间的误差满足预设的训练终止条件,则确定所述卷积神经网络已训练好。
8.根据权利要求6或7所述的基于卷积神经网络的意图识别装置,其特征在于,所述网络识别模块包括:
神经网络识别单元,用于在将所述目标向量输入所述卷积神经网络之后,针对所述卷积神经网络中卷积层输出的特征图,分别使用所述卷积神经网络中的卷积窗口提取所述特征图上的特征和执行池化操作,再将池化操作得到的输出向量输入所述卷积神经网络中的全连接层,得到所述目标结果向量。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述基于卷积神经网络的意图识别方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述基于卷积神经网络的意图识别方法。
CN201910007860.0A 2019-01-04 2019-01-04 基于卷积神经网络的意图识别方法、装置、设备及介质 Withdrawn CN109829153A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910007860.0A CN109829153A (zh) 2019-01-04 2019-01-04 基于卷积神经网络的意图识别方法、装置、设备及介质
PCT/CN2019/117097 WO2020140612A1 (zh) 2019-01-04 2019-11-11 基于卷积神经网络的意图识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910007860.0A CN109829153A (zh) 2019-01-04 2019-01-04 基于卷积神经网络的意图识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN109829153A true CN109829153A (zh) 2019-05-31

Family

ID=66861465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910007860.0A Withdrawn CN109829153A (zh) 2019-01-04 2019-01-04 基于卷积神经网络的意图识别方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN109829153A (zh)
WO (1) WO2020140612A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263139A (zh) * 2019-06-10 2019-09-20 湖北亿咖通科技有限公司 车辆、车机设备及其基于神经网络的文本意图识别方法
CN110390108A (zh) * 2019-07-29 2019-10-29 中国工商银行股份有限公司 基于深度强化学习的任务型交互方法和系统
CN110689878A (zh) * 2019-10-11 2020-01-14 浙江百应科技有限公司 一种基于XLNet的智能语音对话意图识别方法
CN110909543A (zh) * 2019-11-15 2020-03-24 广州洪荒智能科技有限公司 意图识别方法、装置、设备及介质
CN111091832A (zh) * 2019-11-28 2020-05-01 秒针信息技术有限公司 一种基于语音识别的意向评估方法和系统
CN111161740A (zh) * 2019-12-31 2020-05-15 中国建设银行股份有限公司 意图识别模型训练方法、意图识别方法以及相关装置
WO2020140612A1 (zh) * 2019-01-04 2020-07-09 平安科技(深圳)有限公司 基于卷积神经网络的意图识别方法、装置、设备及介质
CN112269815A (zh) * 2020-10-29 2021-01-26 维沃移动通信有限公司 结构化数据处理方法、装置及电子设备
CN112287108A (zh) * 2020-10-29 2021-01-29 四川长虹电器股份有限公司 一种物联领域的意图识别优化方法
CN112820412A (zh) * 2021-02-03 2021-05-18 东软集团股份有限公司 用户信息的处理方法、装置、存储介质和电子设备
WO2021143018A1 (zh) * 2020-01-16 2021-07-22 平安科技(深圳)有限公司 意图识别方法、装置、设备及计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069311A (zh) * 2020-08-04 2020-12-11 北京声智科技有限公司 一种文本提取方法、装置、设备及介质
CN111986653A (zh) * 2020-08-06 2020-11-24 杭州海康威视数字技术股份有限公司 一种语音意图识别方法、装置及设备
CN114301864B (zh) * 2020-08-14 2024-02-02 腾讯科技(深圳)有限公司 对象识别方法、装置、存储介质及服务器
CN114090740B (zh) * 2021-11-19 2023-07-07 北京有竹居网络技术有限公司 意图识别方法、装置、可读介质及电子设备
CN115033676B (zh) * 2022-06-22 2024-04-26 支付宝(杭州)信息技术有限公司 一种意图识别模型训练及用户意图识别方法及装置
CN117349333A (zh) * 2022-06-28 2024-01-05 华为技术有限公司 一种推荐方法、装置及电子设备
CN116186585B (zh) * 2023-02-28 2023-10-31 省广营销集团有限公司 基于大数据分析的用户行为意图挖掘方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092623A1 (zh) * 2015-11-30 2017-06-08 北京国双科技有限公司 文本向量表示方法及装置
CN107346340A (zh) * 2017-07-04 2017-11-14 北京奇艺世纪科技有限公司 一种用户意图识别方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878807B2 (en) * 2015-12-01 2020-12-29 Fluent.Ai Inc. System and method for implementing a vocal user interface by combining a speech to text system and a speech to intent system
CN106649694B (zh) * 2016-12-19 2020-05-26 北京云知声信息技术有限公司 语音交互中确定用户意图的方法及装置
US10216724B2 (en) * 2017-04-07 2019-02-26 Conduent Business Services, Llc Performing semantic analyses of user-generated textual and voice content
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
CN109829153A (zh) * 2019-01-04 2019-05-31 平安科技(深圳)有限公司 基于卷积神经网络的意图识别方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092623A1 (zh) * 2015-11-30 2017-06-08 北京国双科技有限公司 文本向量表示方法及装置
CN107346340A (zh) * 2017-07-04 2017-11-14 北京奇艺世纪科技有限公司 一种用户意图识别方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140612A1 (zh) * 2019-01-04 2020-07-09 平安科技(深圳)有限公司 基于卷积神经网络的意图识别方法、装置、设备及介质
CN110263139A (zh) * 2019-06-10 2019-09-20 湖北亿咖通科技有限公司 车辆、车机设备及其基于神经网络的文本意图识别方法
CN110390108A (zh) * 2019-07-29 2019-10-29 中国工商银行股份有限公司 基于深度强化学习的任务型交互方法和系统
CN110390108B (zh) * 2019-07-29 2023-11-21 中国工商银行股份有限公司 基于深度强化学习的任务型交互方法和系统
CN110689878A (zh) * 2019-10-11 2020-01-14 浙江百应科技有限公司 一种基于XLNet的智能语音对话意图识别方法
CN110909543A (zh) * 2019-11-15 2020-03-24 广州洪荒智能科技有限公司 意图识别方法、装置、设备及介质
CN111091832A (zh) * 2019-11-28 2020-05-01 秒针信息技术有限公司 一种基于语音识别的意向评估方法和系统
CN111161740A (zh) * 2019-12-31 2020-05-15 中国建设银行股份有限公司 意图识别模型训练方法、意图识别方法以及相关装置
WO2021143018A1 (zh) * 2020-01-16 2021-07-22 平安科技(深圳)有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN112269815A (zh) * 2020-10-29 2021-01-26 维沃移动通信有限公司 结构化数据处理方法、装置及电子设备
CN112287108A (zh) * 2020-10-29 2021-01-29 四川长虹电器股份有限公司 一种物联领域的意图识别优化方法
CN112287108B (zh) * 2020-10-29 2022-08-16 四川长虹电器股份有限公司 一种物联领域的意图识别优化方法
CN112820412A (zh) * 2021-02-03 2021-05-18 东软集团股份有限公司 用户信息的处理方法、装置、存储介质和电子设备
CN112820412B (zh) * 2021-02-03 2024-03-08 东软集团股份有限公司 用户信息的处理方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
WO2020140612A1 (zh) 2020-07-09

Similar Documents

Publication Publication Date Title
CN109829153A (zh) 基于卷积神经网络的意图识别方法、装置、设备及介质
CN109858022A (zh) 一种用户意图识别方法、装置、计算机设备及存储介质
CN110162627A (zh) 数据增量方法、装置、计算机设备及存储介质
CN109829038A (zh) 基于深度学习的问答反馈方法、装置、设备及存储介质
CN110135263A (zh) 人像属性模型构建方法、装置、计算机设备和存储介质
CN109508638A (zh) 人脸情绪识别方法、装置、计算机设备及存储介质
CN110489520A (zh) 基于知识图谱的事件处理方法、装置、设备和存储介质
CN109815333A (zh) 信息获取方法、装置、计算机设备和存储介质
CN111950656B (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN106547742B (zh) 基于人工智能的语义解析结果处理方法和装置
CN109065139A (zh) 医疗随访方法、装置、计算机设备和存储介质
CN110110611A (zh) 人像属性模型构建方法、装置、计算机设备和存储介质
CN110489550A (zh) 基于组合神经网络的文本分类方法、装置和计算机设备
CN109256216A (zh) 医学数据处理方法、装置、计算机设备和存储介质
CN109670191A (zh) 机器翻译的校准优化方法、装置与电子设备
CN109886077A (zh) 图像识别方法、装置、计算机设备和存储介质
CN109614627A (zh) 一种文本标点预测方法、装置、计算机设备及存储介质
CN109376995A (zh) 财务数据评分方法、装置、计算机设备和存储介质
CN109815489A (zh) 催收信息生成方法、装置、计算机设备和存储介质
CN109886110A (zh) 微表情评分方法、装置、计算机设备及存储介质
CN109509087A (zh) 智能化的贷款审核方法、装置、设备及介质
CN109766419A (zh) 基于语音分析的产品推荐方法、装置、设备及存储介质
CN110222336A (zh) 财务报告分析方法、装置、计算机设备和存储介质
CN110134795A (zh) 生成验证问题组的方法、装置、计算机设备和存储介质
CN109461043A (zh) 产品推送方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190531

WW01 Invention patent application withdrawn after publication