CN111914535A - 一种单词识别方法、装置、计算机设备和存储介质 - Google Patents

一种单词识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111914535A
CN111914535A CN202010762981.9A CN202010762981A CN111914535A CN 111914535 A CN111914535 A CN 111914535A CN 202010762981 A CN202010762981 A CN 202010762981A CN 111914535 A CN111914535 A CN 111914535A
Authority
CN
China
Prior art keywords
words
context
data
recognized
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010762981.9A
Other languages
English (en)
Other versions
CN111914535B (zh
Inventor
李志韬
王健宗
吴天博
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010762981.9A priority Critical patent/CN111914535B/zh
Publication of CN111914535A publication Critical patent/CN111914535A/zh
Priority to PCT/CN2020/135279 priority patent/WO2021151354A1/zh
Application granted granted Critical
Publication of CN111914535B publication Critical patent/CN111914535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明涉及语音语义,提供了一种单词识别方法,包括:获取目标音频数据;根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句;根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。因此,采用本申请实施例,由于能够精准读取出选取句的上下文信息,并结合多个待识别单词解码后的单词标签,这样,能够精准识别出选取句中包括的多个具有独立含义的单词。此外,本发明还涉及区块链技术,上下文信息、目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词均可存储于区块链中。

Description

一种单词识别方法、装置、计算机设备和存储介质
技术领域
本发明涉及语音语义技术领域,特别涉及一种单词识别方法、装置、计算机设备和存储介质。
背景技术
随着智能手机的推广,越来越的即时通信软件得以广泛应用。在多个用户之间通过某一即使通信软件进行交流的过程中,可以使用手写输入文本,也可以直接使用语音功能,发送语音。由于语音转文字的技术的发展,可以将语音转换成文字。
在对用户跟踪回访的过程中,也会采用语音转文字的技术。但是,现有的技术,无法根据回访方与用户的通话录音,直接提取出与用户问答有关的单词,以及对单词的识别精度低。
发明内容
基于此,有必要针对无法根据回访方与用户的通话录音,直接提取出与用户问答有关的单词,以及对单词的识别精度低的问题,提供一种单词识别方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供了一种单词识别方法,所述方法包括:
获取目标音频数据,所述目标音频数据包括目标对象的问答内容,所述目标音频数据还包括梯度标识,所述梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度;
从所述目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,所述选取音频片段对应一个选取句;
根据读取出的所述选取句的上下文信息和多个待识别单词解码后的单词标签,识别出所述选取句中包括的多个具有独立含义的单词。
第二方面,本申请实施例提供了一种单词识别装置,所述装置包括:
获取单元,用于获取目标音频数据,所述目标音频数据包括目标对象的问答内容,所述目标音频数据还包括梯度标识,所述梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度;
处理单元,用于从所述获取单元获取的所述目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,所述选取音频片段对应一个选取句;
识别单元,用于根据读取出的所述选取句的上下文信息和所述处理单元解析的多个待识别单词解码后的单词标签,识别出所述选取句中包括的多个具有独立含义的单词。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述的方法步骤。
第四方面,本申请实施例提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,从目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句;并根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。由于本申请能够读取出选取句的上下文信息,并结合多个待识别单词解码后的单词标签,这样,能够精准识别出选取句中包括的多个具有独立含义的单词。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本公开实施例提供的一种单词识别方法的应用场景图;
图2是本公开实施例提供的一种单词识别方法的流程示意图;
图3是本公开实施例提供的另一单词识别方法的流程示意图;
图4是本公开实施例提供的又一单词识别方法的流程示意图;
图5是本公开实施例提供的再一单词识别方法的流程示意图;
图6是本公开实施例提供的一种单词识别装置的结构示意图;
图7示出了根据本公开的实施例的计算机设备连接结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合附图详细说明本公开的可选实施例。
如图1所示,为本公开实施例的一种应用场景图,该应用场景为多个用户通过手机等终端设备操作安装于该终端设备上的客户端,客户端通过网络与后台服务器进行数据通信。特别的一种应用场景为对选取音频片段中的单词进行识别的过程,但并不限于该唯一应用场景,可以理解的任何能够应用于本实施方案的场景均包括在内,为了说明方便,本实施例以对选取音频片段中的单词进行识别的应用场景为例进行描述。如图1所示,选取音频片段为从目标音频数据中选取的音频片段,目标音频数据往往来自如图1所示的多个客户端之一。
如图2所示,本公开实施例提供一种单词识别方法,应用于服务器端,具体包括如下方法步骤:
S202:获取目标音频数据;
在此步骤中,目标音频数据包括目标对象的问答内容,目标音频数据还包括梯度标识,梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度。
在此步骤中,不同平台具有对应梯度,每个平台的梯度均是不同的。除外之外,每个平台的梯度还跟用于进行样本训练的样本数据的数据量和样本数据的数据类型正相关。
将平台集表示为P,将全局模型批处理大小表示为N,其中,全局模型为用于对如图1所示的多个客户端之间进行数据共享的模型。对于P中的第i个平台,训练数据集为Si,损失函数表示为Li。在每次迭代的开始,第i个平台将首先从Si中选择训练数据Ni的的小批次。然后,第ith个平台将与私有模块和共享模块中的参数关联的梯度计算为
Figure BDA0002613591100000041
Figure BDA0002613591100000042
其中,私有模块用于确定能够在平台内部实现共享的数据,而共享模块用于确定能够在不同平台之间实现共享的数据。专用模块的参数由
Figure BDA0002613591100000043
局部更新,其中,α为学习率。共享模块
Figure BDA0002613591100000044
被发送到第三方中央服务器,以在不同平台之间共享信息。本公开提供的方法,不是直接共享原始数据,而是仅上载渐变软件和共享模块,该模块通常包含对隐私敏感度较低的信息。
当服务器从|P|平台接收梯度时,聚合器将汇总来自所有平台的本地计算的梯度。
聚合梯度
Figure BDA0002613591100000045
是接收到的本地计算的梯度的加权总和,公式为:
Figure BDA0002613591100000046
由于来自不同平台的梯度被汇总在一起,每个平台中标记数据的信息都难以推断,因此,隐私得到了很好的保护。聚合器使用聚合梯度通过
Figure BDA0002613591100000047
更新存储在中央服务器上的全局共享模型的参数。更新的全局共享模型可以分发到每个平台以更新其本地共享模块。重复上述过程,直到整个模型收敛。
在此步骤中,目标音频数据往往来自于如图1所示的多个客户端之一。如图1所示的多个客户端的数据可以处于同一个平台,也可以处于不同的平台。若多个客户端的数据均处于同一个平台,则具有共同的梯度,相互之间可以实现数据共享。若多个客户端的数据分别处于不同的平台、且各个数据均为不能够跨平台共享的数据,则来自多个客户端的数据仅能够在平台内部之间进行数据共享。若多个客户端的数据分别处于不同的平台、且各个数据均为能够跨平台共享的数据,则来自多个客户端的数据均能够在多个平台之间进行数据共享。
在此步骤中,目标音频数据可以为从微信平台上获取的目标对象的音频数据,或者,目标音频数据还可以为从抖音上获取的目标对象的音频数据,或者,目标音频数据还可以为从快手上获取的目标对象的音频数据。这里仅仅是示例,不再赘述。
S204:从目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句。
由于邻居标签通常在命名实体识别之间彼此相关,因此,可以考虑条件随机字段,通过标签之间的依赖性共同解码最佳标签链。命名实体识别是信息提取的一个子任务,旨在将文本中的命名实体定位并分类为预先定义的类别,如人员、组织、位置、时间表达式、数量、货币值、百分比等。
条件随机字段是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。条件随机字段就是用来计算给定观察序列计算标记序列的概率的P(y∣x,lambda)。它使用了马尔科夫链作为隐含变量的概率转移模型,通过可观测状态判别隐含变量,其概率亦通过标注集统计得来,是一个判别模型。
在实际应用中,忽视时间顺序特性,往往会损失很多信息,为了提高对单词进行标签的准确性,应该考虑邻近单词的标签,这里,使用了条件随机场。
S206:根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。
在此步骤中,识别出的选取句中包括多个具有独立含义的单词包括以下至少一项:能够对实体对象进行命名的单词、能够确定选取句中任一关键动词的单词。
在实际应用中,例如,选取句为从与目标对象的问答中提取的一句话“你可以跟我介绍一下全能保和e生保的区别吗”,这样,采用本公开实施例的方法,能够精准地提取出具有独立含义的单词分别为“全能保”、“e生保”、以及“区别”。
如图3所示,本公开实施例提供另一单词识别方法,应用于服务器端,具体包括如下方法步骤:
S302:获取目标音频数据;
在此步骤中,目标音频数据包括目标对象的问答内容,目标音频数据还包括梯度标识,梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度。
在此步骤中,不同平台具有对应梯度,每个平台的梯度均是不同的。除外之外,每个平台的梯度还跟用于进行样本训练的样本数据的数据量和样本数据的数据类型正相关。具体计算不同平台梯度的过程参见图2中相关部分的描述,在此不再赘述。
S304:从目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句。
在此步骤中,可以对条件随机字段解码模型中的参数进行更新。例如,对条件随机解码模型中的代价参数进行更新。若代价参数的值过大,则会导致过拟合;此外,还会对迭代次数变量等参数进行更新。
在此步骤中,关于条件随机字段解码模型的描述,参见图2中的相关描述,在此不再赘述。
S306:根据上下文识别模型,对选取句的上下文环境进行识别和解析,得到与上下文环境对应的上下文信息。
在此步骤中,上下文识别模型包括第一层和第二层,第一层为卷积神经网络层,第一层用于解析选取句的上下文信息,选取句为与选取音频片段对应的一个句子,第二层为双向长短期记忆网络层,第二层用于根据第一方向上单词之间的第一长度距离依赖属性,以及第二方向上单词之间的第二长度距离依赖属性进行建模,得到上下文识别模型,上下文信息存储于区块链中。
需要强调的是,为进一步保证上下文信息的私密和安全性,上述上下文信息还可以存储于一区块链的节点中。
在一种可能的实现方式中,根据上下文识别模型,对选取句的上下文环境进行识别包括以下步骤:
通过上下文识别模型的第一层对选取句的上下文环境进行识别和解析,得到与上下文环境对应的上下文信息。
在此步骤中,通过上下文识别模型的第一层对选取句的上下文环境进行识别和解析包括以下步骤:
通过第一层的卷积神经网络,学习选取句中的每个字符的上下文表示,得到上下文字符序列;
将上下文字符序列发送至第一层的卷积神经网络中的最大池化层;
根据上下文字符序列和最大池化层,得到每个字符对应的字符嵌入词;
对选取句中每个字符对应的字符嵌入词进行解析,得到与上下文环境对应的上下文信息。
在一种可能的实现方式中,在将上下文字符序列发送至第一层的卷积神经网络中的最大池化层之前,所述方法还包括以下步骤:
获取上下文字符序列;
从上下文字符序列中选取任一一段字符序列并进行标记,得到选取字符的标记序列;
根据条件随机字段解码模型,对选取字符的标记序列的出现概率进行计算,得到选取字符的出现概率,条件随机字段解码模型为采用马尔科夫链作为隐含变量的概率转移模型;
在选取字符的出现概率大于或等于预设概率阈值的情况下,确定选取字符为候选字符。
S308:根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。
在此步骤中,识别出的选取句中包括多个具有独立含义的单词包括以下至少一项:能够对实体对象进行命名的单词、能够确定选取句中任一关键动词的单词。
在实际应用中,例如,选取句为从与目标对象的问答中提取的一句话“你可以跟我介绍一下全能保和e生保的区别吗”,这样,采用本公开实施例的方法,能够精准地提取出具有独立含义的单词分别为“全能保”、“e生保”、以及“区别”。
如图4所示,是本公开实施例提供的又一单词识别方法的流程示意图,应用于服务器端,具体包括如下方法步骤:
S402:获取目标音频数据;
在此步骤中,目标音频数据包括目标对象的问答内容,目标音频数据还包括梯度标识,梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度。
S404:从目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句。
在此步骤中,关于条件随机字段解码模型的描述,参见图2以及图3中的相关描述,在此不再赘述。
S406:根据预设梯度模型,从用户数据中选取进行训练的样本数据;
在此步骤中,预设梯度模型用于确定样本数据的数据量和样本数据的数据类型,数据量和数据类型均与预设梯度模型中的当前梯度正相关,用户数据为分布于多个平台上的用户数据、且各个平台上的用户数据均配置有不同的梯度.
S408:根据选取的样本数据进行建模,得到上下文识别模型。
在此步骤中,根据选取的样本数据进行上下文识别模型的构建过程具体为:通过卷积神经网络层和双向长短期记忆网络层两层来捕获单词之间的依赖性,以达到增强单词表示的目的。第一层为卷积神经网络层,旨在捕获本句上下文信息。应用卷积神经网络层学习每个字符的上下文表示,将上下文字符序列发送到最大池化层,并将其转化为单词的最终基于字符的嵌入词。而第二层为双向长短期记忆网络层,旨在对两个方向上单词之间的长度距离依赖性进行建模;这样,通过这两层的作用,同时考虑选取句本句,以及选取句的全局上下文信息,就能够识别出选取句中具有独立含义的多个单词。
S410:根据上下文识别模型,对选取句的上下文环境进行识别和解析,得到与上下文环境对应的上下文信息。
在此步骤中,根据上下文识别模型,对选取句的上下文环境进行识别和解析的过程,参见图2以及图3中的相关描述,在此不再赘述。
S412:根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。
在此步骤中,识别出的选取句中包括多个具有独立含义的单词包括以下至少一项:能够对实体对象进行命名的单词、能够确定选取句中任一关键动词的单词。
在实际应用中,例如,选取句为从与目标对象的问答中提取的一句话“你可以跟我介绍一下全能保和e生保的区别吗”,这样,采用本公开实施例的方法,能够精准地提取出具有独立含义的单词分别为“全能保”、“e生保”、以及“区别”。
如图5所示,是本公开实施例提供的再一单词识别方法的流程示意图,应用于服务器端,具体包括如下方法步骤:
S502:获取目标音频数据;
在此步骤中,目标音频数据包括目标对象的问答内容,目标音频数据还包括梯度标识,梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度。
S504:从目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句。
在此步骤中,关于条件随机字段解码模型的描述,参见图2、图3及图4中的相关描述,在此不再赘述。
S506:根据预设梯度模型,从用户数据中选取进行训练的样本数据;
在此步骤中,预设梯度模型用于确定样本数据的数据量和样本数据的数据类型,数据量和数据类型均与预设梯度模型中的当前梯度正相关,用户数据为分布于多个平台上的用户数据、且各个平台上的用户数据均配置有不同的梯度.
S508:根据选取的样本数据进行建模,得到上下文识别模型。
在此步骤中,关于根据选取的样本数据进行建模过程的描述,参见图2、图3及图4中的相关描述,在此不再赘述。
S510:根据上下文识别模型,对选取句的上下文环境进行识别和解析,得到与上下文环境对应的上下文信息。
在此步骤中,关于根据选取的样本数据进行建模过程的描述,参见图2、图3及图4中的相关描述,在此不再赘述。
S512:根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。
在此步骤中,识别出的选取句中包括多个具有独立含义的单词包括以下至少一项:能够对实体对象进行命名的单词、能够确定选取句中任一关键动词的单词。
在实际应用中,例如,选取句为从与目标对象的问答中提取的一句话“你可以跟我介绍一下全能保和e生保的区别吗”,这样,采用本公开实施例的方法,能够精准地提取出具有独立含义的单词分别为“全能保”、“e生保”、以及“区别”。
S514:获取选取句对应的选取音频片段的属性;
在此步骤中,属性包括第一属性和第二属性,具有第一属性的音频片段为多平台之间能够进行数据共享的音频片段,具有第二属性的音频片段为仅在具有预设梯度的平台内能够进行数据共享的音频片段。
S516:根据选取音频片段的属性判断是否在多平台之间进行数据共享;
具体地,S5162:在选取音频片段的属性为第一属性的情况下,将目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词,在多平台之间进行数据共享,目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词均可存储于区块链中;或者,
S5164:在选取音频片段的属性为第二属性的情况下,将目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词,在仅具有预设梯度的平台内进行数据共享,目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词均可存储于区块链中。
本公开实施例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本公开实施例中,从目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句;根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。由于本公开能够精准读取出选取句的上下文信息,并结合多个待识别单词解码后的单词标签,这样,能够精准识别出选取句中包括的多个具有独立含义的单词。
下述为本发明单词识别装置实施例,可以用于执行本发明单词识别方法实施例。对于本发明单词识别装置实施例中未披露的细节,请参照本发明单词识别方法实施例。
请参见图6,其示出了本发明一个示例性实施例提供的单词识别装置的结构示意图。该单词识别装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该单词识别装置包括获取单元602、处理单元604和识别单元606。
具体而言,获取单元602,用于获取目标音频数据,目标音频数据包括目标对象的问答内容,目标音频数据还包括梯度标识,梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度;
处理单元604,用于从获取单元602获取的目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句;
识别单元606,用于根据读取出的选取句的上下文信息和处理单元604解析的多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。
可选的,识别单元606还用于:
在根据读取出的选取句的上下文信息和多个待识别单词解码后的单词标签,识别出选取音频片段中包括的多个单词之前,根据上下文识别模型,对选取句的上下文环境进行识别和解析,得到与上下文环境对应的上下文信息,上下文识别模型包括第一层和第二层,第一层为卷积神经网络层,第一层用于解析选取句的上下文信息,选取句为与选取音频片段对应的一个句子,第二层为双向长短期记忆网络层,第二层用于根据第一方向上单词之间的第一长度距离依赖属性,以及第二方向上单词之间的第二长度距离依赖属性进行建模,得到上下文识别模型,上下文信息存储于区块链中。
需要强调的是,为进一步保证上下文信息的私密和安全性,上述上下文信息还可以存储于一区块链的节点中。
可选的,识别单元606用于:
通过上下文识别模型的第一层对选取句的上下文环境进行识别和解析,得到与上下文环境对应的上下文信息。
可选的,识别单元606具体用于:
通过第一层的卷积神经网络,学习选取句中的每个字符的上下文表示,得到上下文字符序列;
将上下文字符序列发送至第一层的卷积神经网络中的最大池化层;
根据上下文字符序列和最大池化层,得到每个字符对应的字符嵌入词;
对选取句中每个字符对应的字符嵌入词进行解析,得到与上下文环境对应的上下文信息。
可选的,获取单元602还用于:
在识别单元606将上下文字符序列发送至第一层的卷积神经网络中的最大池化层之前,获取上下文字符序列;
所述装置还包括:
标记单元(在图6中未示出),用于从获取单元602获取的上下文字符序列中选取任一一段字符序列并进行标记,得到选取字符的标记序列;
计算单元(在图6中未示出),用于根据条件随机字段解码模型,对标记单元标记的选取字符的标记序列的出现概率进行计算,得到选取字符的出现概率,条件随机字段解码模型为采用马尔科夫链作为隐含变量的概率转移模型;
候选字符确定单元(在图6中未示出),用于在计算单元计算出的选取字符的出现概率大于或等于预设概率阈值的情况下,确定选取字符为候选字符。
可选的,所述装置还包括:
样本数据选取单元(在图6中未示出),用于在识别单元606根据上下文识别模型,对选取句的上下文环境进行识别和解析之前,根据预设梯度模型,从用户数据中选取进行训练的样本数据,预设梯度模型用于确定样本数据的数据量和样本数据的数据类型,数据量和数据类型均与预设梯度模型中的当前梯度正相关,用户数据为分布于多个平台上的用户数据、且各个平台上的用户数据均配置有不同的梯度;
建模单元(在图6中未示出),用于根据样本数据选取单元选取的样本数据进行建模,得到上下文识别模型。
可选的,获取单元602还用于:
在识别单元606识别出选取句中包括的多个具有独立含义的单词之后,获取选取句对应的选取音频片段的属性,获取单元602获取的属性包括第一属性和第二属性,具有第一属性的音频片段为多平台之间能够进行数据共享的音频片段,具有第二属性的音频片段为仅在具有预设梯度的平台内能够进行数据共享的音频片段;
处理单元604还用于:
根据获取单元602获取的选取音频片段的属性判断是否在多平台之间进行数据共享;在选取音频片段的属性为第一属性的情况下,将目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词,在多平台之间进行数据共享,目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词均可存储于区块链中;或者,
在选取音频片段的属性为第二属性的情况下,将目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词,在仅具有预设梯度的平台内进行数据共享,目标音频数据、选取音频片段、以及识别出的选取音频片段中包括的多个单词均可存储于区块链中;
在此步骤中,选取音频片段中的多个具有独立含义的单词包括以下至少一项:
能够对实体对象进行命名的单词、能够确定选取句中任一关键动词的单词。
在实际应用中,例如,选取句为从与目标对象的问答中提取的一句话“你可以跟我介绍一下全能保和e生保的区别吗”,这样,采用本公开实施例的方法,能够精准地提取出具有独立含义的单词分别为“全能保”、“e生保”、以及“区别”。
需要说明的是,上述实施例提供的单词识别装置在执行单词识别方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的单词识别装置与单词识别方法实施例属于同一构思,其体现实现过程详见单词识别方法实施例,这里不再赘述。
本公开实施例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本公开实施例中,处理单元用于从获取单元获取的目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,选取音频片段对应一个选取句;以及识别单元用于根据读取出的选取句的上下文信息和处理单元解析的多个待识别单词解码后的单词标签,识别出选取句中包括的多个具有独立含义的单词。由于本公开能够精准读取出选取句的上下文信息,并结合多个待识别单词解码后的单词标签,这样,能够精准识别出选取句中包括的多个具有独立含义的单词。
如图7所示,本实施例提供一种计算机设备,该包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如上实施例所述的方法步骤。
本公开实施例提供了一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如上实施例所述的方法步骤。
下面参考图7,其示出了适于用来实现本公开实施例的计算机设备700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的计算机设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,计算机设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有计算机设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线709彼此相连。输入/输出(I/O)接口709也连接至总线709。
通常,以下装置可以连接至I/O接口709:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置709;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许计算机设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的计算机设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述计算机设备中所包含的;也可以是单独存在,而未装配入该计算机设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。

Claims (10)

1.一种单词识别方法,其特征在于,所述方法包括:
获取目标音频数据,所述目标音频数据包括目标对象的问答内容,所述目标音频数据还包括梯度标识,所述梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度;
从所述目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,所述选取音频片段对应一个选取句;
根据读取出的所述选取句的上下文信息和多个待识别单词解码后的单词标签,识别出所述选取句中包括的多个具有独立含义的单词。
2.根据权利要求1所述的方法,其特征在于,在所述根据读取出的所述选取句的上下文信息和多个待识别单词解码后的单词标签,识别出所述选取音频片段中包括的多个单词之前,所述方法还包括:
根据上下文识别模型,对所述选取句的上下文环境进行识别和解析,得到与所述上下文环境对应的所述上下文信息,所述上下文识别模型包括第一层和第二层,所述第一层为卷积神经网络层,所述第一层用于解析所述选取句的上下文信息,所述选取句为与所述选取音频片段对应的一个句子,所述第二层为双向长短期记忆网络层,所述第二层用于根据第一方向上单词之间的第一长度距离依赖属性,以及第二方向上单词之间的第二长度距离依赖属性进行建模,得到所述上下文识别模型,所述上下文信息存储于区块链中。
3.根据权利要求2所述的方法,其特征在于,所述根据上下文识别模型,对所述选取句的上下文环境进行识别包括:
通过所述上下文识别模型的所述第一层对所述选取句的上下文环境进行识别和解析,得到与所述上下文环境对应的所述上下文信息。
4.根据权利要求3所述的方法,其特征在于,所述通过所述上下文识别模型的所述第一层对所述选取句的上下文环境进行识别和解析包括:
通过所述第一层的卷积神经网络,学习所述选取句中的每个字符的上下文表示,得到上下文字符序列;
将所述上下文字符序列发送至所述第一层的所述卷积神经网络中的最大池化层;
根据所述上下文字符序列和所述最大池化层,得到每个字符对应的字符嵌入词;
对所述选取句中每个字符对应的字符嵌入词进行解析,得到与所述上下文环境对应的所述上下文信息。
5.根据权利要求4所述的方法,其特征在于,在所述将所述上下文字符序列发送至所述第一层的所述卷积神经网络中的最大池化层之前,所述方法还包括:
获取所述上下文字符序列;
从所述上下文字符序列中选取任一一段字符序列并进行标记,得到选取字符的标记序列;
根据所述条件随机字段解码模型,对所述选取字符的所述标记序列的出现概率进行计算,得到所述选取字符的出现概率,所述条件随机字段解码模型为采用马尔科夫链作为隐含变量的概率转移模型;
在所述选取字符的出现概率大于或等于预设概率阈值的情况下,确定所述选取字符为候选字符。
6.根据权利要求2所述的方法,其特征在于,在所述根据上下文识别模型,对所述选取句的上下文环境进行识别和解析之前,所述方法还包括:
根据预设梯度模型,从用户数据中选取进行训练的样本数据,预设梯度模型用于确定所述样本数据的数据量和所述样本数据的数据类型,所述数据量和所述数据类型均与所述预设梯度模型中的当前梯度正相关,所述用户数据为分布于多个平台上的用户数据、且各个平台上的用户数据均配置有不同的梯度;
根据选取的所述样本数据进行建模,得到所述上下文识别模型。
7.根据权利要求2所述的方法,其特征在于,在所述识别出所述选取句中包括的多个具有独立含义的单词之后,所述方法还包括:
获取所述选取句对应的所述选取音频片段的属性,所述属性包括第一属性和第二属性,具有所述第一属性的音频片段为多平台之间能够进行数据共享的音频片段,具有所述第二属性的音频片段为仅在具有预设梯度的平台内能够进行数据共享的音频片段;
根据所述选取音频片段的属性判断是否在多平台之间进行数据共享;
在所述选取音频片段的属性为所述第一属性的情况下,将所述目标音频数据、所述选取音频片段、以及识别出的所述选取音频片段中包括的多个单词,在多平台之间进行数据共享,所述目标音频数据、所述选取音频片段、以及识别出的所述选取音频片段中包括的多个单词均可存储于所述区块链中;或者,
在所述选取音频片段的属性为所述第二属性的情况下,将所述目标音频数据、所述选取音频片段、以及识别出的所述选取音频片段中包括的多个单词,在仅具有所述预设梯度的平台内进行数据共享,所述目标音频数据、所述选取音频片段、以及识别出的所述选取音频片段中包括的多个单词均可存储于所述区块链中;
所述选取音频片段中的多个具有独立含义的单词包括以下至少一项:
能够对实体对象进行命名的单词、能够确定所述选取句中任一关键动词的单词。
8.一种单词识别装置,其特征在于,所述装置包括:
获取单元,用于获取目标音频数据,所述目标音频数据包括目标对象的问答内容,所述目标音频数据还包括梯度标识,所述梯度标识用于标识出目标音频来自的平台、且各个平台均具有不同的梯度;
处理单元,用于从所述获取单元获取的所述目标音频数据中提取包括多个待识别单词的选取音频片段,并对多个待识别单词进行标签,得到对应的单词标签,并根据条件随机字段解码模型,对多个待识别单词的单词标签进行解码,得到多个待识别单词解码后的单词标签,所述选取音频片段对应一个选取句;
识别单元,用于根据读取出的所述选取句的上下文信息和所述处理单元解析的多个待识别单词解码后的单词标签,识别出所述选取句中包括的多个具有独立含义的单词。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述单词识别方法的步骤。
10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述单词识别方法的步骤。
CN202010762981.9A 2020-07-31 2020-07-31 一种单词识别方法、装置、计算机设备和存储介质 Active CN111914535B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010762981.9A CN111914535B (zh) 2020-07-31 2020-07-31 一种单词识别方法、装置、计算机设备和存储介质
PCT/CN2020/135279 WO2021151354A1 (zh) 2020-07-31 2020-12-10 一种单词识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010762981.9A CN111914535B (zh) 2020-07-31 2020-07-31 一种单词识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111914535A true CN111914535A (zh) 2020-11-10
CN111914535B CN111914535B (zh) 2023-03-24

Family

ID=73287571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010762981.9A Active CN111914535B (zh) 2020-07-31 2020-07-31 一种单词识别方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111914535B (zh)
WO (1) WO2021151354A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151354A1 (zh) * 2020-07-31 2021-08-05 平安科技(深圳)有限公司 一种单词识别方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008186A (zh) * 2014-06-11 2014-08-27 北京京东尚科信息技术有限公司 从目标文本中确定关键词的方法和装置
CN104731768A (zh) * 2015-03-05 2015-06-24 西安交通大学城市学院 一种面向中文新闻文本的事件地点抽取方法
CN107797989A (zh) * 2017-10-16 2018-03-13 平安科技(深圳)有限公司 企业名称识别方法、电子设备及计算机可读存储介质
CN110147545A (zh) * 2018-09-18 2019-08-20 腾讯科技(深圳)有限公司 文本的结构化输出方法及系统、存储介质和计算机设备
CN110598213A (zh) * 2019-09-06 2019-12-20 腾讯科技(深圳)有限公司 一种关键词提取方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154604A1 (en) * 2006-12-22 2008-06-26 Nokia Corporation System and method for providing context-based dynamic speech grammar generation for use in search applications
CN111339268B (zh) * 2020-02-19 2023-08-15 北京百度网讯科技有限公司 实体词识别方法和装置
CN111429887B (zh) * 2020-04-20 2023-05-30 合肥讯飞数码科技有限公司 基于端到端的语音关键词识别方法、装置以及设备
CN111914535B (zh) * 2020-07-31 2023-03-24 平安科技(深圳)有限公司 一种单词识别方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008186A (zh) * 2014-06-11 2014-08-27 北京京东尚科信息技术有限公司 从目标文本中确定关键词的方法和装置
CN104731768A (zh) * 2015-03-05 2015-06-24 西安交通大学城市学院 一种面向中文新闻文本的事件地点抽取方法
CN107797989A (zh) * 2017-10-16 2018-03-13 平安科技(深圳)有限公司 企业名称识别方法、电子设备及计算机可读存储介质
CN110147545A (zh) * 2018-09-18 2019-08-20 腾讯科技(深圳)有限公司 文本的结构化输出方法及系统、存储介质和计算机设备
CN110598213A (zh) * 2019-09-06 2019-12-20 腾讯科技(深圳)有限公司 一种关键词提取方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151354A1 (zh) * 2020-07-31 2021-08-05 平安科技(深圳)有限公司 一种单词识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111914535B (zh) 2023-03-24
WO2021151354A1 (zh) 2021-08-05

Similar Documents

Publication Publication Date Title
CN111274815B (zh) 用于挖掘文本中的实体关注点的方法和装置
CN111177393B (zh) 一种知识图谱的构建方法、装置、电子设备及存储介质
CN112685565A (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN110633423B (zh) 目标账号识别方法、装置、设备及存储介质
CN112883967B (zh) 图像字符识别方法、装置、介质及电子设备
CN112883968B (zh) 图像字符识别方法、装置、介质及电子设备
CN110826567A (zh) 光学字符识别方法、装置、设备及存储介质
CN111915086A (zh) 异常用户预测方法和设备
CN112149699A (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN110008926B (zh) 用于识别年龄的方法和装置
CN109829431B (zh) 用于生成信息的方法和装置
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN113610034B (zh) 识别视频中人物实体的方法、装置、存储介质及电子设备
CN113033707B (zh) 视频分类方法、装置、可读介质及电子设备
CN111914535B (zh) 一种单词识别方法、装置、计算机设备和存储介质
CN114444508A (zh) 日期识别方法、装置、可读介质及电子设备
CN109726398B (zh) 一种实体识别及属性判断方法、系统、设备及介质
CN113191257B (zh) 笔顺检测方法、装置和电子设备
CN113033552B (zh) 文本识别方法、装置和电子设备
CN111899747B (zh) 用于合成音频的方法和装置
CN114140723A (zh) 多媒体数据的识别方法、装置、可读介质及电子设备
CN114429629A (zh) 图像处理方法、装置、可读存储介质及电子设备
CN114495081A (zh) 文本识别的方法、装置、可读介质和电子设备
CN113222050A (zh) 图像分类方法、装置、可读介质及电子设备
CN111611420A (zh) 用于生成图像描述信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant