CN111414745A - 文本标点确定方法与装置、存储介质、电子设备 - Google Patents
文本标点确定方法与装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN111414745A CN111414745A CN202010261395.6A CN202010261395A CN111414745A CN 111414745 A CN111414745 A CN 111414745A CN 202010261395 A CN202010261395 A CN 202010261395A CN 111414745 A CN111414745 A CN 111414745A
- Authority
- CN
- China
- Prior art keywords
- text
- category
- processed
- target
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本公开属于人工智能技术领域,涉及一种文本标点确定方法与装置、存储介质、电子设备。该方法包括:获取待处理话术文本,并确定与待处理话术文本对应的话术类别;对待处理话术文本进行分段,并对分段后的待处理话术文本进行分词处理,得到分词处理结果;将分词处理结果转换成词向量,以根据词向量和话术类别确定与待处理话术文本对应的目标话术类别;将目标话术类别输入至预先训练好的机器学习模型中,得到添加标点后的目标话术文本。本公开根据不同的应用场景和领域独有的文本特征添加标点,不仅可以提升添加标点的处理效率,还可以提高添加标点的准确率。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及一种文本标点确定方法与文本标点确定装置、计算机可读存储介质及电子设备。
背景技术
由于自动语音识别技术广泛地应用于语音客服和智能助手等领域,但是自动语音识别技术只能生成没有标点序号的文本序列,因此,这些文本序列很难理解和处理,加大了文本的阅读难度。
针对文本的标点添加问题,利用神经网络框架训练平行预料得到文本标点的添加模型。进一步的,将预料训练成词向量输入到条件随机场中,输出无标点文本中待添加标点的位置和得分。但是,当通过这种方式确定文本标点添加的概率进行标点添加时,无法满足特定场景和特定领域的准确率要求。
鉴于此,本领域亟需开发一种新的文本标点确定方法及装置。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种文本标点确定方法、文本标点确定装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术的限制而导致的特定领域标点添加准确率低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本发明实施例的第一个方面,提供一种文本标点确定方法,所述方法包括:获取待处理话术文本,并确定与所述待处理话术文本对应的话术类别;对所述待处理话术文本进行分段,并对所述分段后的所述待处理话术文本进行分词处理,得到分词处理结果;将所述分词处理结果转换成词向量,以根据所述词向量和所述话术类别确定与所述待处理话术文本对应的目标话术类别;将所述待处理话术文本输入至与所述目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本。
在本发明的一种示例性实施例中,所述话术类别包括:开场白类别、产品介绍类别、免责声明类别和投保确认类别。
在本发明的一种示例性实施例中,所述将所述待处理话术文本输入至与所述目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本,包括:确定预先训练好的多个机器学习模型,并根据所述目标话术类别在所述多个机器学习模型中确定目标机器学习模型;将所述待处理话术文本输入至目标机器学习模型中,得到添加标点后的目标话术文本。
在本发明的一种示例性实施例中,在所述将所述目标话术类别输入至目标机器学习模型中之前,所述方法还包括:获取话术文本样本以及与所述话术文本样本对应的目标话术样本;将所述话术文本样本输入至待训练机器学习模型中,以使所述待训练机器学习模型输出与所述话术文本样本对应的目标样本;若所述目标样本与所述目标话术样本不匹配,调整所述待训练机器学习模型的参数,以使所述目标样本与所述目标话术样本相同。
在本发明的一种示例性实施例中,所述将所述分词处理结果转换成词向量,以根据所述词向量和所述话术类别确定与所述待处理话术文本对应的目标话术类别,包括:将所述分词处理结果转换成词向量,并根据所述词向量和所述话术类别确定与所述待处理话术文本对应的待校正话术类别;对所述待处理话术文本进行滑窗处理,得到滑窗处理结果;确定与所述滑窗处理结果对应的标准话术类别,并根据所述标准话术类别对所述待校正话术类别进行校正,得到目标话术类别。
在本发明的一种示例性实施例中,所述将所述分词处理结果转换成词向量,包括:利用词频-逆文本模型对所述分词处理结果进行转换,得到词频向量;利用潜在语义索引模型对所述词频向量进行转换,得到词向量。
在本发明的一种示例性实施例中,所述对所述待处理话术文本进行分段,并对所述分段后的所述待处理话术文本进行分词处理,得到分词处理结果,包括:根据预设文本字数对所述待处理话术文本进行分段,得到分段处理结果;利用N元模型对所述分段处理结果进行分词处理,得到分词处理结果。
根据本发明实施例的第二个方面,提供一种文本标点确定装置,所述装置包括:类别确定模块,被配置为获取待处理话术文本,并确定与所述待处理话术文本对应的话术类别;分词处理模块,被配置为对所述待处理话术文本进行分段,并对所述分段后的所述待处理话术文本进行分词处理,得到分词处理结果;向量转换模块,被配置为将所述分词处理结果转换成词向量,以根据所述词向量和所述话术类别确定与所述待处理话术文本对应的目标话术类别;标点添加模块,被配置为将所述待处理话术文本输入至与所述目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本。
根据本发明实施例的第三个方面,提供一种电子设备,包括:处理器和存储器;其中,存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例的文本标点确定方法。
根据本发明实施例的第四个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意示例性实施例中的文本标点确定方法。
由上述技术方案可知,本发明示例性实施例中的文本标点确定方法、文本标点确定装置、计算机存储介质及电子设备至少具备以下优点和积极效果:
在本公开的示例性实施例提供的方法及装置中,通过确定与待处理话术文本对应的目标话术类别,可以进一步确定对应的机器学习模型输出的添加标点后的目标话术文本。根据不同的应用场景和领域独有的文本特征添加标点,不仅可以提升添加标点的处理效率,还可以提高添加标点的准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种文本标点确定方法的流程图;
图2示意性示出本公开示例性实施例中得到分词处理结果的方法的流程示意图;
图3示意性示出本公开示例性实施例中得到目标话术类别的方法的流程示意图;
图4示意性示出本公开示例性实施例中得到词向量的方法的流程示意图;
图5示意性示出本公开示例性实施例中得到目标话术文本的方法的流程示意图;
图6示意性示出本公开示例性实施例中训练机器学习模型的方法的流程示意图;
图7示意性示出本公开示例性实施例中一种文本标点确定装置的结构示意图;
图8示意性示出本公开示例性实施例中一种用于实现文本标点确定方法的电子设备;
图9示意性示出本公开示例性实施例中一种用于实现文本标点确定方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
针对相关技术中存在的问题,本公开提出了一种文本标点确定方法。图1示出了文本标点确定方法的流程图,如图1所示,文本标点确定方法至少包括以下步骤:
步骤S110. 获取待处理话术文本,并确定与待处理话术文本对应的话术类别。
步骤S120.对待处理话术文本进行分段,并对分段后的待处理话术文本进行分词处理,得到分词处理结果。
步骤S130.将分词处理结果转换成词向量,以根据词向量和话术类别确定与待处理话术文本对应的目标话术类别。
步骤S140.将待处理话术文本输入至与目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本。
在本公开的示例性实施例中,通过确定与待处理话术文本对应的目标话术类别,可以进一步确定对应的机器学习模型输出的添加标点后的目标话术文本。根据不同的应用场景和领域独有的文本特征添加标点,不仅可以提升添加标点的处理效率,还可以提高添加标点的准确率。
下面对文本标点确定方法的各个步骤进行详细说明。
在步骤S110中,获取待处理话术文本,并确定与待处理话术文本对应的话术类别。
在本公开的示例性实施例中,该待处理话术文本可以是特定场景或者特定领域下,根据通话对端输出的以供通话本端更好地理解通话对端语义,也更为准确地添加标点的对话文本。举例而言,获取该待处理话术文本的方式可以是对通话本段或通话本段的语音进行语音识别处理得到的,也可以通过其他方式得到,本示例性实施例对此不作特殊限定。
进一步的,针对不同的应用场景可以自定义与待处理话术文本对应的话术类别。
在可选的实施例中,话术类别包括开场白类别、产品介绍类别、免责声明类别和投保确认类别。该话术类别是针对推销产品的应用场景下自定义的类别。除此之外,针对其他应用场景,也可以自定义其他类别,本示例性实施例对此不作特殊限定。
在步骤S120中,对待处理话术文本进行分段,并对分段后的待处理话术文本进行分词处理,得到分词处理结果。
在本公开的一种示例性实施例中,由于待处理话术文本的内容较多且没有对应的段落区分,增加了待处理话术文本的理解难度。因此,可以对待处理话术文本进行分段。
在可选的实施例中,图2示出了得到分词处理结果的方法的流程示意图,如图2所示,该方法至少包括以下步骤:在步骤S210,根据预设文本字数对待处理话术文本进行分段,得到分段处理结果。分段方式可以是对待处理话术文本进行强制分段,具体的强制分段可以根据预设文本字数进行划分。举例而言,预设文本字数可以为300字,亦即将待处理话术文本按照300字自动进行划分,得到分段处理结果。除此之外,预设文本字数也可以根据预处理话术文本的内容确定,本示例性实施例对此不作特殊限定。
在步骤S220,利用N元模型对分段处理结果进行分词处理,得到分词处理结果。N元模型(N-gram模型)是一种语言模型,可以实现分词功能。常用的N元模型有Bi-gram(N=2)和Tri-gram(N=3)。举例而言,分段处理结果为“我爱机器学习”,按照Bi-gram和Tri-gram分解的结果分别是{“我爱”,“爱机”,“机器”,“器学”,“学习”}和{“我爱机”,“爱机器”,“机器学”,“器学习”}。因此,利用N元模型可对分段处理结果进行二元或三元分词处理买得到分词处理结果。
在本示例性实施例中,对待处理话术文本进行分段和分词处理,处理方式简单快捷,并且处理结果准确。
在步骤S130中,将分词处理结果转换成词向量,以根据词向量和话术类别确定与待处理话术文本对应的目标话术类别。
在本公开的一种示例性实施例中,根据分词处理结果可以确定目标话术类别。
在可选的实施例中,图3示出了得到目标话术类别的方法的流程示意图,如图3所示,在步骤S310中,将分词处理结果转换成词向量,并根据词向量和话术类别确定与待处理话术文本对应的待校正话术类别。
在可选的实施例中,图4示出了得到词向量的方法的流程示意图,如图4所示,在步骤S410,利用词频-逆文本模型对分词处理结果进行转换,得到词频向量。词频-逆文档(Term Frequency - Inverse Document Frequency,简称TF-IDF)模型是一种用于资讯检索与文本挖掘的常用加权技术,可以用来评估一个词对于一个文档集或语料库中某个文档的重要程度。因此,对分词处理结果利用词频-逆文本模型进行转换之后,可以得到分词处理结果对应的权重,亦即词频向量。
在步骤S420,利用潜在语义索引模型对词频向量进行转换,得到词向量。潜在语义索引(Latent Semantic Indexing,简称LSI)模型是一种简单实用的主题模型。LSI是基于奇异值分解的方法来得到文本的主题的。由于原本的词频向量会有冗余,因此,对词频向量利用潜在语义索引模型转换,可以对词频向量进行降维处理,得到对应的词向量。
在本示例性实施例中,对分词处理结果进行两次转换得到对应的词向量,可以实现对分词处理结果的降维,减少后续处理的复杂度和处理成本。
在得到词向量之后,可以将词向量输入至梯度提升树中进行分类,对待处理语义文本的分类结果进行预测。根据预测结果得到该待处理语义文本属于各个话术类别的分类概率,并将分类概率中最大的话术类别确定为待处理话术文本对应的待校正话术类别。
在步骤S320中,对待处理话术文本进行滑窗处理,得到滑窗处理结果。为进一步对待校正话术类别进行校正,得到更为准确地目标话术类别,可以对待校正话术类别进行滑窗处理。具体的,可以设置窗口的大小为100个字,亦即每次确定待处理话术文本中的100个为一次预测数据。将这100个字进行分词处理、向量转换之后,输入至梯度提升树中进行分类预测,并获得最高概率的话术类别确定为滑窗处理结果。
在步骤S330中,确定与滑窗处理结果对应的标准话术类别,并根据标准话术类别对待校正话术类别进行校正,得到目标话术类别。为了进行进一步的滑动窗口处理,可以设置滑动距离为25个字,亦即步长为25。按照该步长,滑动得到的新窗口文字内容,用与步骤S320中相同的方式进行滑窗处理,得到对应的分类结果。因此,对应于一段300个字的待处理话术文本,可以得到300/100*(100/25)=12个分类结果,亦即12中话术类别。但是,有可能存在第一个100字对应的话术类别为开场白类别,滑动25个字之后的第二个100个字对应的话术类别也为开场白类别。因此,可以将得到的所有的分类结果进行相邻两个的比对,将相同的分类结果和对应的待处理语义文本进行合并处理,得到标准话术类别。
在确定标准话术类别之后,可以与之前的300字对应的待校正话术类别进行比较结果,并根据比较结果得到目标话术类别。举例而言,当标准话术类别与待校正话术类别一致时,可以确定待校正话术类别为目标话术类别;当标准话术类别与待校正话术类别不一致时,可以将标准话术类别中与待校正话术类别一致的话术类别确定为目标话术类别。
在本示例性实施例中,利用滑窗处理对待校正话术类别进行校正,解决由于强制分段带来的分类结果不准确的问题,进一步提高后续标点添加的准确性。
在步骤S140中,将待处理话术文本输入至与目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本。
在本公开的一种示例性实施例中,对应于不同的话术类别分别有不同的预先训练好的机器学习模型。
在可选的实施例中,图5示出了得到目标话术文本的方法的流程示意图,如图5所示,该方法至少包括以下步骤:在步骤S510中,确定预先训练好的多个机器学习模型,并根据目标话术类别在多个机器学习模型中确定目标机器学习模型。优选的,分别对应开场白类别、产品介绍类别、免责声明类别和投保确认类别,可以有四个预先训练好的机器学习模型。不同的机器学习模型都是根据不同话术类别的话术文本样本训练得到的。举例而言,当确定目标话术类别为开场白类别时,可以与开场白类别对应的机器学习模型为目标机器学习模型。
在步骤S520中,将目标话术类别输入至目标机器学习模型中,得到添加标点后的目标话术文本。
在可选的实施例中,图6示出了训练目标机器学习模型的方法的流程示意图,如图6所示,在步骤S610中,获取话术文本样本以及与话术文本样本对应的目标话术样本。针对不同的话术类别可以获得相应的平行预料进行模型训练,进而获得不同话术类别的模型。平行预料是采用划分好的不同话术类别的话术文本样本,并且将话术文本样本去掉标点符号与话术文本样本一同形成训练待训练机器学习模型的平行预料。这些去掉标点符号的话术文本样本为训练集,原来的话术文本样本为目标话术样本。
由于在对待处理语义文本进行分段处理的时候,可能会出现某段文本中包含两个话术类别的文本内容的情况,因此在构成训练集的时候,可以使每个话术类别的训练集包括上一类别以及下一类别的文本内容,这样可以使机器学习模型收敛的速度更快,也进一步提升标点确定的准确率。
在步骤S620中,将话术文本样本输入至待训练机器学习模型中,以使待训练机器学习模型输出与话术文本样本对应的目标样本。模型训练方法可以采用针对机器翻译技术的seq2seq框架,该框架采用了编码-解码(encoder-decoder)模型,善于将文本序列转换成不定长度的输出序列。编码是指将输入序列通过非线性编码成为一个指定长度的向量,解码把编码的结果和之前的历史信息共同作为条件生成下一个词。再添加标点的模型的训练过程中,通过N元模型的方式,将标点符号嵌入到待处理语义文本的构词中,共同作为特征进行训练,以使该模型更为快捷地确定标点位置。因此,将话术文本样本输入至该预训练的编码-解码模型中,可以使该模型输出目标样本。
在步骤S620中,若目标样本与目标话术样本不匹配,调整待训练机器学习模型的参数,以使目标样本与目标话术样本相同。将预训练机器学习模型输出的目标样本与之前原本具有标点符号的目标话术样本进行比对,以确定二者是否一致。当目标样本与目标话术样本不一致时,调整待训练机器学习模型的参数,以使目标样本与目标话术样本一致,完成机器学习模型的训练。
在本示例性实施例中,对于机器学目标话术样本输出的准确性,进一步的对目标话术文本的正确性提高了保证。
因此,在训练好机器学习模型之后,可以将待处理话术文本输出至机器学习模型中,得到已经添加好标点符号的目标话术文本。
在本公开的示例性实施例中,通过确定与待处理话术文本对应的目标话术类别,可以进一步确定对应的机器学习模型输出的添加标点后的目标话术文本。根据不同的应用场景和领域独有的文本特征添加标点,不仅可以提升添加标点的处理效率,还可以提高添加标点的准确率。
此外,在本公开的示例性实施例中,还提供一种文本标点确定装置。图7示出了文本标点确定装置的结构示意图,如图7所示,文本标点确定装置700可以包括:类别确定模块710、分词处理模块720、向量转换模块730和标点添加模块740。其中:
类别确定模块710,被配置为获取待处理话术文本,并确定与待处理话术文本对应的话术类别;分词处理模块720,被配置为对待处理话术文本进行分段,并对分段后的待处理话术文本进行分词处理,得到分词处理结果;向量转换模块730,被配置为将分词处理结果转换成词向量,以根据词向量和话术类别确定与待处理话术文本对应的目标话术类别;标点添加模块740,被配置为将目标话术类别输入至预先训练好的机器学习模型中,得到添加标点后的目标话术文本。
上述文本标点确定装置700的具体细节已经在对应的文本标点确定方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及文本标点确定装置700的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参照图8来描述根据本发明的这种实施例的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元820可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)821和/或高速缓存存储单元822,还可以进一步包括只读存储单元(ROM)823。
存储单元820还可以包括具有一组(至少一个)程序模块825的程序/实用工具824,这样的程序模块825包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备800交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器840通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图9所示,描述了根据本发明的实施例的用于实现上述方法的程序产品900,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种文本标点确定方法,其特征在于,所述方法包括:
获取待处理话术文本,并确定与所述待处理话术文本对应的话术类别;
对所述待处理话术文本进行分段,并对所述分段后的所述待处理话术文本进行分词处理,得到分词处理结果;
将所述分词处理结果转换成词向量,以根据所述词向量和所述话术类别确定与所述待处理话术文本对应的目标话术类别;
将所述待处理话术文本输入至与所述目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本。
2.根据权利要求1所述的文本标点确定方法,其特征在于,所述话术类别包括:开场白类别、产品介绍类别、免责声明类别和投保确认类别。
3.根据权利要求1所述的文本标点确定方法,其特征在于,所述将所述待处理话术文本输入至与所述目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本,包括:
确定预先训练好的多个机器学习模型,并根据所述目标话术类别在所述多个机器学习模型中确定目标机器学习模型;
将所述待处理话术文本输入至所述目标机器学习模型中,得到添加标点后的目标话术文本。
4.根据权利要求3所述的文本标点确定方法,其特征在于,在所述将所述目标话术类别输入至目标机器学习模型中之前,所述方法还包括:
获取话术文本样本以及与所述话术文本样本对应的目标话术样本;
将所述话术文本样本输入至待训练机器学习模型中,以使所述待训练机器学习模型输出与所述话术文本样本对应的目标文本;
若所述目标文本与所述目标话术样本不匹配,调整所述待训练机器学习模型的参数,以使所述目标文本与所述目标话术样本相同。
5.根据权利要求1所述的文本标点确定方法,其特征在于,所述将所述分词处理结果转换成词向量,以根据所述词向量和所述话术类别确定与所述待处理话术文本对应的目标话术类别,包括:
将所述分词处理结果转换成词向量,并根据所述词向量和所述话术类别确定与所述待处理话术文本对应的待校正话术类别;
对所述待处理话术文本进行滑窗处理,得到滑窗处理结果;
确定与所述滑窗处理结果对应的标准话术类别,并根据所述标准话术类别对所述待校正话术类别进行校正,得到目标话术类别。
6.根据权利要求5所述的文本标点确定方法,其特征在于,所述将所述分词处理结果转换成词向量,包括:
利用词频-逆文本模型对所述分词处理结果进行转换,得到词频向量;
利用潜在语义索引模型对所述词频向量进行转换,得到词向量。
7.根据权利要求1所述的文本标点确定方法,其特征在于,所述对所述待处理话术文本进行分段,并对所述分段后的所述待处理话术文本进行分词处理,得到分词处理结果,包括:
根据预设文本字数对所述待处理话术文本进行分段,得到分段处理结果;
利用N元模型对所述分段处理结果进行分词处理,得到分词处理结果。
8.一种文本标点确定装置,其特征在于,包括:
类别确定模块,被配置为获取待处理话术文本,并确定与所述待处理话术文本对应的话术类别;
分词处理模块,被配置为对所述待处理话术文本进行分段,并对所述分段后的所述待处理话术文本进行分词处理,得到分词处理结果;
向量转换模块,被配置为将所述分词处理结果转换成词向量,以根据所述词向量和所述话术类别确定与所述待处理话术文本对应的目标话术类别;
标点添加模块,被配置为将所述待处理话术文本输入至与所述目标话术类别对应的机器学习模型中,得到添加标点后的目标话术文本。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的文本标点确定方法。
10.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器被配置为经由执行所述可执行指令来执行权利要求1-7中任意一项所述的文本标点确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010261395.6A CN111414745A (zh) | 2020-04-03 | 2020-04-03 | 文本标点确定方法与装置、存储介质、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010261395.6A CN111414745A (zh) | 2020-04-03 | 2020-04-03 | 文本标点确定方法与装置、存储介质、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111414745A true CN111414745A (zh) | 2020-07-14 |
Family
ID=71491867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010261395.6A Pending CN111414745A (zh) | 2020-04-03 | 2020-04-03 | 文本标点确定方法与装置、存储介质、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414745A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111883137A (zh) * | 2020-07-31 | 2020-11-03 | 龙马智芯(珠海横琴)科技有限公司 | 基于语音识别的文本处理方法及装置 |
CN112036128A (zh) * | 2020-08-21 | 2020-12-04 | 百度在线网络技术(北京)有限公司 | 一种文本内容处理方法、装置、设备以及存储介质 |
CN112685996A (zh) * | 2020-12-23 | 2021-04-20 | 北京有竹居网络技术有限公司 | 文本标点预测方法、装置、可读介质和电子设备 |
WO2021213155A1 (zh) * | 2020-11-25 | 2021-10-28 | 平安科技(深圳)有限公司 | 文本添加标点的方法、装置、介质及电子设备 |
CN116386800A (zh) * | 2023-06-06 | 2023-07-04 | 神州医疗科技股份有限公司 | 基于预训练语言模型的医疗病历数据分割方法和系统 |
CN116939616A (zh) * | 2023-09-15 | 2023-10-24 | 中关村科学城城市大脑股份有限公司 | 应用于电信防诈的设备控制方法、装置和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150149880A1 (en) * | 2013-11-27 | 2015-05-28 | Google Inc. | Assisted punctuation of character strings |
CN104915356A (zh) * | 2014-03-13 | 2015-09-16 | 中国移动通信集团上海有限公司 | 一种文本分类校正方法及装置 |
CN109255115A (zh) * | 2018-10-19 | 2019-01-22 | 科大讯飞股份有限公司 | 一种文本标点调整方法及装置 |
-
2020
- 2020-04-03 CN CN202010261395.6A patent/CN111414745A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150149880A1 (en) * | 2013-11-27 | 2015-05-28 | Google Inc. | Assisted punctuation of character strings |
CN104915356A (zh) * | 2014-03-13 | 2015-09-16 | 中国移动通信集团上海有限公司 | 一种文本分类校正方法及装置 |
CN109255115A (zh) * | 2018-10-19 | 2019-01-22 | 科大讯飞股份有限公司 | 一种文本标点调整方法及装置 |
Non-Patent Citations (2)
Title |
---|
怀进鹏,等: "《智能计算机研究进展》", 31 March 2001 * |
高振峰,等: "基于滑动窗口的特征提取方法在文本分类中的应用", 《科技信息(学术研究)》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111883137A (zh) * | 2020-07-31 | 2020-11-03 | 龙马智芯(珠海横琴)科技有限公司 | 基于语音识别的文本处理方法及装置 |
CN112036128A (zh) * | 2020-08-21 | 2020-12-04 | 百度在线网络技术(北京)有限公司 | 一种文本内容处理方法、装置、设备以及存储介质 |
WO2021213155A1 (zh) * | 2020-11-25 | 2021-10-28 | 平安科技(深圳)有限公司 | 文本添加标点的方法、装置、介质及电子设备 |
CN112685996A (zh) * | 2020-12-23 | 2021-04-20 | 北京有竹居网络技术有限公司 | 文本标点预测方法、装置、可读介质和电子设备 |
CN112685996B (zh) * | 2020-12-23 | 2024-03-22 | 北京有竹居网络技术有限公司 | 文本标点预测方法、装置、可读介质和电子设备 |
CN116386800A (zh) * | 2023-06-06 | 2023-07-04 | 神州医疗科技股份有限公司 | 基于预训练语言模型的医疗病历数据分割方法和系统 |
CN116386800B (zh) * | 2023-06-06 | 2023-08-18 | 神州医疗科技股份有限公司 | 基于预训练语言模型的医疗病历数据分割方法和系统 |
CN116939616A (zh) * | 2023-09-15 | 2023-10-24 | 中关村科学城城市大脑股份有限公司 | 应用于电信防诈的设备控制方法、装置和电子设备 |
CN116939616B (zh) * | 2023-09-15 | 2023-12-08 | 中关村科学城城市大脑股份有限公司 | 应用于电信防诈的设备控制方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110489555B (zh) | 一种结合类词信息的语言模型预训练方法 | |
CN112712804B (zh) | 语音识别方法、系统、介质、计算机设备、终端及应用 | |
CN109033305B (zh) | 问题回答方法、设备及计算机可读存储介质 | |
CN111414745A (zh) | 文本标点确定方法与装置、存储介质、电子设备 | |
CN109754809B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN107729313B (zh) | 基于深度神经网络的多音字读音的判别方法和装置 | |
JP5901001B1 (ja) | 音響言語モデルトレーニングのための方法およびデバイス | |
CN111402861B (zh) | 一种语音识别方法、装置、设备及存储介质 | |
CN112037773B (zh) | 一种n最优口语语义识别方法、装置及电子设备 | |
CN111177324B (zh) | 基于语音识别结果进行意图分类的方法和装置 | |
CN114580382A (zh) | 文本纠错方法以及装置 | |
CN111062217A (zh) | 语言信息的处理方法、装置、存储介质及电子设备 | |
US20210406483A1 (en) | Device, method and program for natural language processing | |
CN110852040B (zh) | 一种标点预测模型训练方法及文本标点确定方法 | |
CN112364658A (zh) | 翻译以及语音识别方法、装置、设备 | |
CN114330371A (zh) | 基于提示学习的会话意图识别方法、装置和电子设备 | |
CN112016271A (zh) | 语言风格转换模型的训练方法、文本处理方法以及装置 | |
CN112530404A (zh) | 一种语音合成方法、语音合成装置及智能设备 | |
CN112084769A (zh) | 依存句法模型优化方法、装置、设备及可读存储介质 | |
CN112633007B (zh) | 一种语义理解模型构建方法及装置、语义理解方法及装置 | |
CN114333838A (zh) | 语音识别文本的修正方法及系统 | |
WO2024077906A1 (zh) | 语音文本生成方法、语音文本生成模型的训练方法、装置 | |
CN116306690A (zh) | 机器翻译质量评估方法、装置、设备及存储介质 | |
CN115906854A (zh) | 一种基于多级对抗的跨语言命名实体识别模型训练方法 | |
CN116483314A (zh) | 一种自动化智能活动图生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |