CN111026844B - 一种识别数字串读法的方法及装置 - Google Patents

一种识别数字串读法的方法及装置 Download PDF

Info

Publication number
CN111026844B
CN111026844B CN201911240124.6A CN201911240124A CN111026844B CN 111026844 B CN111026844 B CN 111026844B CN 201911240124 A CN201911240124 A CN 201911240124A CN 111026844 B CN111026844 B CN 111026844B
Authority
CN
China
Prior art keywords
features
data
reading method
text
text data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911240124.6A
Other languages
English (en)
Other versions
CN111026844A (zh
Inventor
张浩静
王大亮
齐红威
何鸿凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Shuyuntang Intelligent Technology Co ltd
Original Assignee
Hebei Shuyuntang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Shuyuntang Intelligent Technology Co ltd filed Critical Hebei Shuyuntang Intelligent Technology Co ltd
Priority to CN201911240124.6A priority Critical patent/CN111026844B/zh
Publication of CN111026844A publication Critical patent/CN111026844A/zh
Application granted granted Critical
Publication of CN111026844B publication Critical patent/CN111026844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种识别数字串读法的方法及装置，包括：通过预先训练的表征特征挖掘方法挖掘待识别的数据的表征特征，并基于提取到的表征特征确定数字串的读法；在待识别的数据中包含未识别出数字串读法的第一数据时，基于预先训练的浅层语法特征挖掘方法提取第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于第二文本数据的浅层语法特征，确定第一数据中数字串的读法；若待识别的数据中仍包含未识别出数字串读法的第二数据时，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法。这样，实现了自动高效的识别数字串读法的目的。

Description

一种识别数字串读法的方法及装置
技术领域
本发明涉及数据处理领域，尤其涉及一种识别数字串读法的方法及装置。
背景技术
语音的合成过程中包括对文本-语音的转换，以及数字-语音的转换，其中，对于数字-语音的转换，由于不同的领域或者不同的场景下，相同的数字串具有不同的读法，例如15年潮起潮落，邬学强当过刺绣工，也开过出租车，还跑过市场营销；作为以前的神车，15年是最后一款了，很值得入手。两个句子中第一个读十五，第二个读一五，那么，需要选用合适的读法才能保证数字-语音转换的准确度。
现有技术中，针对不同的语境设置了不同的数字串读法，例如包括：序数读法、普通电报读法、军用电报读法等。但是，在实际应用中，高效自动的识别数字串读法的方法是亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种识别数字串读法的方法及装置，实现了高效自动的识别数字串读法的目的。本发明实施例提供了一种识别数字串读法的方法，包括：
获取待识别的数据；所述待识别的数据包括数字串和文本；
调用预先训练的表征特征挖掘方法，从所述待识别的数据中提取与所述数字串相关联的第一文本数据的表征特征，并基于所述第一文本数据的表征特征，确定数字串的读法；
若所述待识别的数据中包含未识别出数字串读法的第一数据，基于预先训练的浅层语法特征挖掘方法提取所述第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法；
若所述待识别的数据中仍然包含未识别出数字串读法的第二数据，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法。
可选的，所述表征特征挖掘方法的训练过程包括：
获取标记有数字串读法的第一训练样本集；所述第一训练样本集中包含文本和数字串；
基于预设的第一支持度和第一置信度，确定出所述第一训练样本集中词组的频繁项集；
生成与所述词组频繁项集具有关联性的规则，得到表征特征挖掘方法。
可选的，所述基于所述文本数据的表征特征，确定数字串的读法，包括：
将所述第一文本数据的表征特征输入到预先训练的第一决策树中，得到与所述数据串的表征特征相对应的读法；所述第一决策树表示第表征特征与读法的映射关系。
可选的，所述浅层语法特征挖掘方法的训练过程包括：
获取标记有数字串读法的第二训练样本集；所述第二训练样本集中包含文本和数字串；
对所述第二训练样本集中与数字串相邻的文本进行分词，并对分词结果的浅层语法特征进行标注；
基于预设的第二支持度和预设的第二置信度，确定所述第二训练样本集中浅层语法特征的频繁项集；
生成与所述浅层语法特征的频繁项集具有关联性的规则，得到浅层语法特征的挖掘方法。
可选的，所述基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法，包括：
将所述第二文本数据的浅层语法特征输入到预先训练的第二决策树中，得到与所述第二文本数据的浅层语法特征相对应数字串的读法；所述第二决策树表征第二文本数据的浅层语法特征与读法的映射关系。
可选的，所述抽象特征的提取方法包括：
提取所述第三文本数据的表征特征；
提取所述第三文本数据的浅层语法特征；
提取所述第三文本数据的深层语义特征；
将所述第三文本数据的表征特征、浅层语法特征和深层语义特征进行融合，得到第三文本数据的抽象特征。
可选的，所述基于提取到的抽象特征，确定所述第二数据中数字串的读法，包括：
将提取到的抽象特征输入到预先训练的字符串读法模型中，得到第二数据中数字串的读法；所述字符串读法模型是通过抽象特征数据对卷积神经网络进行训练后得到的。
本发明实施例还公开了一种识别数字串读法的装置，包括：
获取单元，用于获取待识别的数据；所述待识别的数据包括数字串和文本；
第一识别单元，用于调用预先训练的表征特征挖掘方法，从所述待识别的数据中提取与所述数字串相关联的第一文本数据的表征特征，并基于所述第一文本数据的表征特征，确定数字串的读法；
第二识别单元，用于若所述待识别的数据中包含未识别出数字串读法的第一数据，基于预先训练的浅层语法特征挖掘方法提取所述第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法；
第三识别单元，用于若所述待识别的数据中仍然包含未识别出数字串读法的第二数据，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法。
可选的，还包括：
表征特征挖掘单元，用于
获取标记有数字串读法的第一训练样本集；所述第一训练样本集中包含文本和数字串；
基于预设的第一支持度和第一置信度，确定出所述第一训练样本集中词组的频繁项集；
生成与所述词组频繁项集具有关联性的规则，得到表征特征挖掘方法。
可选的，还包括：
抽象特征提取单元，用于：
提取所述第三文本数据的表征特征；
提取所述第三文本数据的浅层语法特征；
提取所述第三文本数据的深层语义特征；
将所述第三文本数据的表征特征、浅层语法特征和深层语义特征进行融合，得到第三文本数据的抽象特征。
本发明实施例公开了一种识别数字串读法的方法及装置，包括：对于待识别的数据，先通过预先训练的表征特征挖掘方法挖掘待识别的数据的表征特征，并基于提取到的表征特征确定数字串的读法；在待识别的数据中包含未识别出数字串读法的第一数据时，基于预先训练的浅层语法特征挖掘方法提取第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于第二文本数据的浅层语法特征，确定第一数据中数字串的读法；若待识别的数据中仍包含未识别出数字串读法的第二数据时，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法。这样，实现了自动高效的识别数字串读法的目的，并且，通过不同的特征对数字串的读法进行识别，提高了数字串读法识别的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种识别数字串读法的方法的流程示意图；
图2示出了本发明实施例提供的抽象特征提取的场景示意图；
图3示出了本发明实施例提供的一种卷积神经网络的结构示意图；
图4示出了本发明实施例提供的一种识别数字串读法的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，示出了本发明实施例提供的一种识别数字串读法的方法的流程示意图，在本实施例中，该方法包括：
S101：获取待识别的数据；所述待识别的数据包括数字串和文本；
举例说明：待识别的数据可以为“此次试驾的车型为新款凯迪拉克xt 528四驱铂金风尚版，后排带有隐私玻璃。”其中给待识别的数据中包括：数字串和文本，其中，数字串为“528”，文本为“此次试驾的车型为新款凯迪拉克xt***四驱铂金风尚版，后排带有隐私玻璃”
S102：调用预先训练的表征特征挖掘方法，从所述待识别的数据中提取与所述数字串相关联的表征特征挖掘方法，从所述待识别的数据中提取与所述数字串相关联的第一文本数据的表征特征，并基于所述第一文本数据的表征特征，确定数字串的读法；
本实施例中，表征特征可以理解为文字特征的组合，例如包括一些词组的组合。
举例说明：“219国道”中“国道”是一个词组，“国道”前后的数字采用普通电报读法；“体重180”中“体重”是一个词组，“体重”前后的数字采用序数读法。
其中，本实施例中，表征特征的挖掘方法是通过预先训练后得到的，训练方法包括：
获取标记有数字串读法的第一训练样本集；所述第一训练样本集中包含文本和数字串；
基于预设的第一支持度和第一置信度，确定出所述第一训练样本集中表征特征的频繁项集；
生成与所述表征特征的频繁项集具有关联性的规则，得到表征特征挖掘方法。
本实施例中，第一训练样本集是包含有文本和数字串的组合，并标记有每个组合中数字串的读法。
本实施例中，实现上述确定频繁项集的方式的有很多种，本实施例中不进行限定，优选的，可以采用Apriori算法。
进一步的，在产生频繁项集的同时，对频繁项集所包含的项之间进行独立性检验，对相互独立的项之间进行剪枝，去除无用或错误的项集。
举例说明：可以通过卡方检验的方法检验各项之间的独立性，具体的可以通过卡方统计量进行验证，如下公式1)所示：
1)
其中，O(r)表示项集r发生的频数，E(r)表示项集r的观察值。
其中，2)E(r)＝k*E(r1)/k...E(rn)/k；
上述公式2)中k表示k项集。
得到表征特征挖掘方法后，对表征特征进行判别，确定该表征特征对应的数字串的读法，该方法可以表示为数字串浅层特征的判别方法。
其中，数字串浅层特征的判别方法可以通过决策树的方法确定，具体的可以包括：
1)构建根节点：
获取训练数据集，并从训练数据集中选取出最优的特征作为根节点，并按照该最优的特征，将训练数据集划分为子集；
2)若各个子集能够正确分类，建立叶子节点，将该子集划分到对应的叶子节点中；
3)若各个子集不能正确分类，在子集中重新选取最优的特征，对子集进行划分；
4)当每个子集都被分到叶节点上，则确定出决策树。
其中，训练数据集为标记有读法数据，该数据包括文本和数字串，决策树分类完成后，末端页节点确定的该分支的读法，那么生成的决策树表示为表征特征与读法的映射关系。
其中，在实际应用中，从待识别的数据中提取出与数字串相关联的第一文本数据的表征特征后，基于第一文本数据的表征特征，确定数字串读法的实现过程可以包括：
将所述第一文本数据的表征特征输入到预先训练的第一决策树中，得到与数据串的表征特征相对应的读法；所述第一决策树表示表征特征与读法的映射关系。
S103：若所述待识别的数据中包含未识别出数字串读法的第一数据，基于预先训练的浅层语法特征挖掘方法提取所述第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法；
本实施例中，浅层语法特征可以理解为包含文本属性的特征，其中，属性可以包括：词性、韵律、依存文法、语境。
举例说明：清华大学是985院校，985因为临近的命名实体识别的地名实体，清华大学，可以判定985是普通电报读法。京东等私企实行996制度，996因为临近的命名实体识别的地名实体，京东，可以判定996是普通电报读法。
其中，浅层语法特征的挖掘方法是通过标记有浅层语法特征的训练样本进行训练后得到的，浅层语法特征的挖掘方法包括：
获取标记有数字串读法的第二训练样本集；所述第二训练样本集中包含文本和数字串；
对所述第二训练样本集中与数字串相邻的文本进行分词，并对分词结果的浅层语法特征进行标注；
基于预设的第二支持度和预设的第二置信度，确定所述第二训练样本集中浅层语法特征的频繁项集；
生成与所述浅层语法特征的频繁项集具有关联性的规则，得到浅层语法特征的挖掘方法。
本实施例中，实现上述确定浅层语法特征频繁项集的方式的有很多种，本实施例中不进行限定，优选的，可以采用Apriori算法。
进一步的，在产生浅层语法特征频繁项集的同时，对频繁项集所包含的项之间进行独立性检验，对相互独立的项之间进行剪枝，去除无用或错误的项集。
得到浅层语法特征后，还需要确定浅层语法特征对应的读法，具体的可以采用决策树的方法实现基于浅层语法特征对数字串读法的判别，例如，实现步骤可以包括：
1)构建根节点：
获取第二训练数据集，并从训练数据集中选取出最优的特征作为根节点，并按照该最优的特征，将第二训练数据集划分为子集；
2)若各个子集能够正确分类，建立叶子节点，将该子集划分到对应的叶子节点中；
3)若各个子集不能正确分类，在子集中重新选取最优的特征，对子集进行划分；
4)当每个子集都被分到叶节点上，则确定出决策树。
其中，第二训练数据集为标记有读法的浅层语法特征，决策树分类完成后，末端页节点确定的该分支的读法，那么生成的决策树表示为浅层语法特征与数字串读法的映射关系。
在实际应用中，当基于预先训练的浅层语法特征的挖掘方法提取到第一数据与数字串相关的第二文本数据的浅层语法特征后，基于第二文本数据的浅层语法特征，确定第一数据中数字串的读法，具体的，包括：
将所述第二文本数据的浅层语法特征输入到预先训练的第二决策树中，得到与第二文本数据的浅层语法特征相对应的数字串的读法；所述第二决策树表征第二文本数据的浅层语法特征与读法的映射关系。
S104：若所述待识别的数据中仍包含未识别出数字串读法的第二数据，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法。
本实施例中，第二数据的抽象特征是将数据的表征特征、浅层语法特征和深层语义特征进行融合后得到的。
其中，深层语义特征可以理解为通过预设的语言模型得到的词向量，具体的获取方法包括：
将与数字串相关的第三文本数据进行分词；
将分词结果输入到预设的语言模型中，得到词向量。
本实施例中，预设的语言模型可以为神经网络语言模型(英文全称：NerualNetwork Language Model，英文简称：NNLM)、word2vec、ELMO等。
其中，对于抽象特征的获取方式可以包括如下的两种：
方式一、如图2所示，提取第三文本数据的表征特征、浅层语法特征和深层语义特征，并将提取到的第三文本数据的表征特征、浅层语法特征和深层语义特征进行融合。
其中，采用预先训练的表征特征挖掘方法提取第三文本数据的表征特征，采用预先训练的浅层语法特征的挖掘方法提取第三文本数据的浅层语法特征，采用预先训练的深层语义特征的挖掘方法提取第三文本数据的深层语义特征。
也就是说抽象特征为表征特征、浅层语法特征和深层语义特征融合后的特征。
方式二、预先训练抽象特征的提取方法，通过已训练的抽象特征的提取方法提取第三文本数据中的抽象特征。
其中，抽象特征的提取方法的训练过程可以包括：
抽取训练样本的表征特征、浅层语法特征和深层语义特征，并将训练样本的表征特征、浅层语法特征和深层语义特征融合得到训练样本的抽象特征，将标记有抽象特征的训练样本输入到机器学习模型中，得到用于提取抽象特征的模型。
本实施例中，在得到抽象特征后，基于抽象特征确定数字串的读法，本实施例中，优选的采用卷积神经网络确定数字串的读法，卷积神经网络是通过抽象特征进行训练后得到的。
在一种实现方式中，基于图3训练卷积神经网络：
其中，卷积神经网络包括：输入层、隐藏层、分类层；其中，隐藏层包括：LSTM+CNN层以及self-attention+CNN层。
其中，训练过程可以包括：
1)在卷积神经网络模型的输入层中输入训练数据的抽象特征；
2)分别通过LSTM+CNN层以及self-attention+CNN层对输入的数据进行特征提取：
在LSTM+CNN层：
先通过LSTM提取特征，主要通过如下的公式进行特征提取：
遗忘门：
3)Ft＝f(wF·[ht-1,xt]+bF)
上式3)中，wF是权重矩阵，bF是偏置，ht-1是上一时刻的输出状态，xt是是这一时刻的输入词向量。f是遗忘门的激活函数。在LSTM中的第一步是决定需要从细胞状态中丢弃什么信息，这部分由遗忘门完成，避免信息的冗余。
输入门：
4)It＝g(wi·[ht-1,xt]+bi)；
5)
上式中，wF和wc是权重矩阵，bF和bc是偏置，ht-1是上一时刻的输出状态，xt是是这一时刻的输入词向量。g是输入门的激活函数。
输入门决定让多少新的信息加入进来。先是通过g激活函数决定哪些信息要更新，然后再通过一个tanh层生成一个向量，即备选的用来更新的内容
输出门：
6)Ot＝y(wO·[ht-1,xt]+bO)；
7)ht＝Ot*tanh(Ct)；
上式中，wO是权重矩阵，bO是偏置，ht-1是上一时刻的输出状态，xt是这一时刻的输入词向量。y是输出门的激活函数。Ct是细胞状态。
Ot将决定那部分信息可以输出，ht是将要输出的部分进行输出。
其中，通过训练好的LSTM模型，当输入序列中没有重要信息时，遗忘门的值接近于1，输入门的值接近于0，表示过去的记忆被完整保存，而输入信息被放弃，从而实现长期记忆功能。当输入序列中存在重要信息时，LSTM应把他存入记忆中，此时输入门接近于1；当输入序列中存在重要信息且该信息意味着之前的记忆不再重要时，输入门的值接近1，遗忘门的值接近0。可以很好的抽取包含数字串的较长文本的抽象特征。将LSTM提取的特征输入到卷积神经网络CNN中。通过CNN可以有效抽取包含数字串的文本的局部特征Mi。(局部特征M是否有特指的什么特征)这里，为了捕获不同层面的高级特征，进一步采用了不同大小的卷积核。
在self-attention+CNN层：
self-attention操作用于捕获包含数字串的句子中单词之间的一些句法特征或语义特征，且更容易捕获句子中长距离的相互依赖的特征。
在self-attention中，每个单词有3个不同的向量，它们分别是Query向量，Key向量和Value向量。它们是通过3个不同的权值矩阵和词向量相乘得到。
为每个词向量计算一个score＝Query*Key。并对score进行归一化处理，即除以其中，/>是Query和Key向量的维度。
对归一化后的score进行softmax激活，再和Value进行点成，加权相加，得到最终的特征向量Z。
8)
其次，将self-attention提取的特征输入到卷积神经网络CNN中。通过CNN可以有效抽取包含数字串的文本的局部特征Ni。这里，为了捕获不同层面的高级特征，进一步采用了不同尺寸大小的卷积核。
然后将两部分的特征进行拼接：
9)
这里的“+”是拼接的意思，βm和βn是两个相加为1的系数，用于控制LSTM和self-attention的比例。
3)再进入全连接层、softmax激活函数，输出数字串读法是在各个类别的概率。
进一步的，可以通过计算最小化分类交叉熵损失，对模型进行优化：
交叉熵损失可以通过如下的公式10)计算：
10)
进一步的，为了保证准确率，这里会对输出的结果进行置信度的限制，置信度大于设定的阈值，则输出数字串读法的判定结果。
本实施例中，对于待识别的数据，先通过预先训练的表征特征挖掘方法挖掘待识别的数据的表征特征，并基于提取到的表征特征确定数字串的读法；在待识别的数据中包含未识别出数字串读法的第一数据时，基于预先训练的浅层语法特征挖掘方法提取第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于第二文本数据的浅层语法特征，确定第一数据中数字串的读法；若待识别的数据中仍包含未识别出数字串读法的第二数据时，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法。这样，实现了自动高效的识别数字串读法的目的，并且，通过不同的特征对数字串的读法进行识别，提高了数字串读法识别的准确度。
参考图4，示出了本发明实施例提供的一种识别数字串读法的装置的结构示意图，在本实施例中，该装置包括：
获取单元401，用于获取待识别的数据；所述待识别的数据包括数字串和文本；
第一识别单元402，用于调用预先训练的表征特征挖掘方法，从所述待识别的数据中提取与所述数字串相关联的第一文本数据的表征特征，并基于所述第一文本数据的表征特征，确定数字串的读法；
第二识别单元403，用于若所述待识别的数据中包含未识别出数字串读法的第一数据，基于预先训练的浅层语法特征挖掘方法提取所述第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法；
第三识别单元404，用于若所述待识别的数据中仍然包含未识别出数字串读法的第二数据，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法。
可选的，还包括：
表征特征挖掘单元，用于
获取标记有数字串读法的第一训练样本集；所述第一训练样本集中包含文本和数字串；
基于预设的第一支持度和第一置信度，确定出所述第一训练样本集中词组的频繁项集；
生成与所述词组频繁项集具有关联性的规则，得到表征特征挖掘方法。
可选的，所述第一识别单元，包括：
第一数字串读法判别子单元，用于将所述第一文本数据的表征特征输入到预先训练的第一决策树中，得到与所述数据串的表征特征相对应的读法；所述第一决策树表示第表征特征与读法的映射关系。
可选的，还包括：浅层语法特征挖掘单元，用于
获取标记有数字串读法的第二训练样本集；所述第二训练样本集中包含文本和数字串；
对所述第二训练样本集中与数字串相邻的文本进行分词，并对分词结果的浅层语法特征进行标注；
基于预设的第二支持度和预设的第二置信度，确定所述第二训练样本集中浅层语法特征的频繁项集；
生成与所述浅层语法特征的频繁项集具有关联性的规则，得到浅层语法特征的挖掘方法。
可选的，所述第二识别单元，包括：
第二数字串读法识别子单元，用于：
将所述第二文本数据的浅层语法特征输入到预先训练的第二决策树中，得到与所述第二文本数据的浅层语法特征相对应数字串的读法；所述第二决策树表征第二文本数据的浅层语法特征与读法的映射关系。
可选的，抽象特征提取单元，用于：
提取所述第三文本数据的表征特征；
提取所述第三文本数据的浅层语法特征；
提取所述第三文本数据的深层语义特征；
将所述第三文本数据的表征特征、浅层语法特征和深层语义特征进行融合，得到第三文本数据的抽象特征。
可选的，所述第三识别单元，包括：
第三数字串读法识别子单元，用于：
将提取到的抽象特征输入到预先训练的字符串读法模型中，得到第二数据中数字串的读法；所述字符串读法模型是通过抽象特征数据对卷积神经网络进行训练后得到的。
通过本实施例的装置，实现了自动高效的识别数字串读法的目的，并且，通过不同的特征对数字串的读法进行识别，提高了数字串读法识别的准确度。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种识别数字串读法的方法，其特征在于，包括：
获取待识别的数据；所述待识别的数据包括数字串和文本；
调用预先训练的表征特征挖掘方法，从所述待识别的数据中提取与所述数字串相关联的第一文本数据的表征特征，并基于所述第一文本数据的表征特征，确定数字串的读法；所述表征特征为文字特征的组合；
若所述待识别的数据中包含未识别出数字串读法的第一数据，基于预先训练的浅层语法特征挖掘方法提取所述第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法；所述浅层语法特征为包含文本属性的特征；所述文本属性包括词性、韵律、依存文法、语境；
若所述待识别的数据中仍然包含未识别出数字串读法的第二数据，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法；所述抽象特征是将数据的表征特征、浅层语法特征和深层语义特征进行融合得到的；所述深层语义特征为通过预设的语言模型得到的词向量。
2.根据权利要求1所述的方法，其特征在于，所述表征特征挖掘方法的训练过程包括：
获取标记有数字串读法的第一训练样本集；所述第一训练样本集中包含文本和数字串；
基于预设的第一支持度和第一置信度，确定出所述第一训练样本集中词组的频繁项集；
生成与所述词组频繁项集具有关联性的规则，得到表征特征挖掘方法。
3.根据权利要求1所述的方法，其特征在于，所述基于所述文本数据的表征特征，确定数字串的读法，包括：
将所述第一文本数据的表征特征输入到预先训练的第一决策树中，得到与所述数据串的表征特征相对应的读法；所述第一决策树表示第表征特征与读法的映射关系。
4.根据权利要求1所述的方法，其特征在于，所述浅层语法特征挖掘方法的训练过程包括：
获取标记有数字串读法的第二训练样本集；所述第二训练样本集中包含文本和数字串；
对所述第二训练样本集中与数字串相邻的文本进行分词，并对分词结果的浅层语法特征进行标注；
基于预设的第二支持度和预设的第二置信度，确定所述第二训练样本集中浅层语法特征的频繁项集；
生成与所述浅层语法特征的频繁项集具有关联性的规则，得到浅层语法特征的挖掘方法。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法，包括：
将所述第二文本数据的浅层语法特征输入到预先训练的第二决策树中，得到与所述第二文本数据的浅层语法特征相对应数字串的读法；所述第二决策树表征第二文本数据的浅层语法特征与读法的映射关系。
6.根据权利要求1所述的方法，其特征在于，所述抽象特征的提取方法包括：
提取所述第三文本数据的表征特征；
提取所述第三文本数据的浅层语法特征；
提取所述第三文本数据的深层语义特征；
将所述第三文本数据的表征特征、浅层语法特征和深层语义特征进行融合，得到第三文本数据的抽象特征。
7.根据权利要求1所述的方法，其特征在于，所述基于提取到的抽象特征，确定所述第二数据中数字串的读法，包括：
将提取到的抽象特征输入到预先训练的字符串读法模型中，得到第二数据中数字串的读法；所述字符串读法模型是通过抽象特征数据对卷积神经网络进行训练后得到的。
8.一种识别数字串读法的装置，其特征在于，包括：
获取单元，用于获取待识别的数据；所述待识别的数据包括数字串和文本；
第一识别单元，用于调用预先训练的表征特征挖掘方法，从所述待识别的数据中提取与所述数字串相关联的第一文本数据的表征特征，并基于所述第一文本数据的表征特征，确定数字串的读法；所述表征特征为文字特征的组合；
第二识别单元，用于若所述待识别的数据中包含未识别出数字串读法的第一数据，基于预先训练的浅层语法特征挖掘方法提取所述第一数据中与数字串相关的第二文本数据的浅层语法特征，并基于所述第二文本数据的浅层语法特征，确定所述第一数据中数字串的读法；所述浅层语法特征为包含文本属性的特征；所述文本属性包括词性、韵律、依存文法、语境；第三识别单元，用于若所述待识别的数据中仍然包含未识别出数字串读法的第二数据，提取所述第二数据中与数字串相关的第三文本数据的抽象特征，并基于提取到的抽象特征，确定所述第二数据中数字串的读法；所述抽象特征是将数据的表征特征、浅层语法特征和深层语义特征进行融合得到的；所述深层语义特征为通过预设的语言模型得到的词向量。
9.根据权利要求8所述的装置，其特征在于，还包括：
表征特征挖掘单元，用于
获取标记有数字串读法的第一训练样本集；所述第一训练样本集中包含文本和数字串；
基于预设的第一支持度和第一置信度，确定出所述第一训练样本集中词组的频繁项集；
生成与所述词组频繁项集具有关联性的规则，得到表征特征挖掘方法。
10.根据权利要求8所述的装置，其特征在于，还包括：
抽象特征提取单元，用于：
提取所述第三文本数据的表征特征；
提取所述第三文本数据的浅层语法特征；
提取所述第三文本数据的深层语义特征；
将所述第三文本数据的表征特征、浅层语法特征和深层语义特征进行融合，得到第三文本数据的抽象特征。
CN201911240124.6A 2019-12-04 2019-12-04 一种识别数字串读法的方法及装置 Active CN111026844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911240124.6A CN111026844B (zh) 2019-12-04 2019-12-04 一种识别数字串读法的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911240124.6A CN111026844B (zh) 2019-12-04 2019-12-04 一种识别数字串读法的方法及装置

Publications (2)

Publication Number Publication Date
CN111026844A CN111026844A (zh) 2020-04-17
CN111026844B true CN111026844B (zh) 2023-08-01

Family

ID=70208137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911240124.6A Active CN111026844B (zh) 2019-12-04 2019-12-04 一种识别数字串读法的方法及装置

Country Status (1)

Country Link
CN (1) CN111026844B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323475A (ja) * 2006-06-02 2007-12-13 Advanced Telecommunication Research Institute International 自然言語における多義解消装置及びコンピュータプログラム
CN101196881A (zh) * 2006-12-08 2008-06-11 富士通株式会社 文本中数字和特殊符号串的文字符号化处理方法及系统
CN102982021A (zh) * 2011-08-11 2013-03-20 苹果公司 用于消除语言转换中的多个读法的歧义的方法
CN107104803A (zh) * 2017-03-31 2017-08-29 清华大学 一种基于数字口令与声纹联合确认的用户身份验证方法
CN109801630A (zh) * 2018-12-12 2019-05-24 平安科技（深圳）有限公司 语音识别的数字转换方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323475A (ja) * 2006-06-02 2007-12-13 Advanced Telecommunication Research Institute International 自然言語における多義解消装置及びコンピュータプログラム
CN101196881A (zh) * 2006-12-08 2008-06-11 富士通株式会社 文本中数字和特殊符号串的文字符号化处理方法及系统
CN102982021A (zh) * 2011-08-11 2013-03-20 苹果公司 用于消除语言转换中的多个读法的歧义的方法
CN107104803A (zh) * 2017-03-31 2017-08-29 清华大学 一种基于数字口令与声纹联合确认的用户身份验证方法
CN109801630A (zh) * 2018-12-12 2019-05-24 平安科技（深圳）有限公司 语音识别的数字转换方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闽南方言语音合成系统的设计与实现;朱广路;《中国优秀硕士学位论文全文数据库信息科技辑》;第1-55页 *

Also Published As

Publication number Publication date
CN111026844A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN110321432B (zh) 文本事件信息提取方法、电子装置和非易失性存储介质
CN107729309B (zh) 一种基于深度学习的中文语义分析的方法及装置
WO2021027533A1 (zh) 文本语义识别方法、装置、计算机设备和存储介质
CN107122479B (zh) 一种基于深度学习的用户密码猜测系统
KR100714769B1 (ko) 서면 텍스트로부터의 조정가능 신경망 기반 언어 식별
US8185376B2 (en) Identifying language origin of words
CN112232058B (zh) 基于深度学习三层语义抽取框架的假新闻识别方法及系统
CN104156349B (zh) 基于统计词典模型的未登录词发现和分词系统及方法
CN113094578A (zh) 基于深度学习的内容推荐方法、装置、设备及存储介质
CN111368130A (zh) 客服录音的质检方法、装置、设备及存储介质
CN108399157B (zh) 实体与属性关系的动态抽取方法、服务器及可读存储介质
CN110070853B (zh) 一种语音识别转化方法及系统
CN112347761B (zh) 基于bert的药物关系抽取方法
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN111079405A (zh) 文本信息识别方法、装置、存储介质和计算机设备
CN113742733A (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN111444704A (zh) 基于深度神经网络的网络安全关键词抽取方法
CN110688831A (zh) 短信文本模版的识别方法
CN103440865A (zh) 语音识别的后处理方法
CN115064154A (zh) 混合语言语音识别模型的生成方法及装置
CN112199954A (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
CN106933802B (zh) 一种面向多数据源的社保类实体识别方法及装置
KR101072460B1 (ko) 한국어 형태소 분석 방법
WO2022060439A1 (en) Language autodetection from non-character sub-token signals
CN111026844B (zh) 一种识别数字串读法的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant