CN115827867A - 文本类型的检测方法及装置 - Google Patents

Abstract

本公开提供了一种文本类型的检测方法及装置，涉及数据处理技术领域，尤其涉及自然语言处理。实现方案为：对待检测文本进行初步检验；响应于待检测文本被初步检验为疑似预设类型的文本，将待检测文本进行分句，以得到包含多个语句的语句集合；针对语句集合中的每个语句，确定该语句包含的预先确定的关键词的数量；根据语句集合中的多个语句包含的关键词的数量，从多个语句中选择多个目标语句；分别确定多个目标语句中的每个目标语句是否为标识语句；以及响应于标识语句的数量满足预设条件，确定待检测文本为预设类型的文本。

Description

文本类型的检测方法及装置

技术领域

本公开涉及数据处理技术领域，尤其涉及自然语言处理，具体涉及一种文本类型的检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

互联网中存在大量的文本信息，这些文本信息可能包括多种类型，例如有的文本可能是和体育相关的，有的可能是和生活相关的。在互联网向用户进行文本的推送服务时，需要针对用户的偏好推送相关类型的文本。因此，目前互联网要求进行推送的相关服务器能够快速、有效地识别文本的类型，以便于后续的推送服务。但是，现有存在的文本类型的检测方法大多是针对短文本的，目前还没有针对长文本的文本类型的检测方法。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种文本类型的检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种文本类型的检测方法，包括：对待检测文本进行初步检验；响应于待检测文本被初步检验为疑似预设类型的文本，将待检测文本进行分句，以得到包含多个语句的语句集合；针对语句集合中的每个语句，确定该语句包含的预先确定的关键词的数量，其中，关键词与预设类型相关联；根据语句集合中的多个语句包含的关键词的数量，从多个语句中选择多个目标语句；分别确定多个目标语句中的每个目标语句是否为标识语句；以及响应于确定标识语句的数量满足预设条件，确定待检测文本为预设类型的文本。

根据本公开的另一方面，提供了一种文本类型的检测装置，包括：检验单元，配置成对待检测文本进行初步检验；分句单元，配置成响应于待检测文本被初步检验为疑似预设类型的文本，将待检测文本进行分句，以得到包含多个语句的语句集合；第一确定单元，配置成针对语句集合中的每个语句，确定该语句包含的预先确定的关键词的数量，其中，关键词与预设类型相关联；选择单元，配置成根据语句集合中的多个语句包含的关键词的数量，从多个语句中选择多个目标语句；第二确定单元，配置成分别确定多个目标语句中的每个目标语句是否为标识语句；以及第三确定单元，配置成响应于确定标识语句的数量满足预设条件，确定待检测文本为预设类型的文本。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的方法。

根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述的方法。

根据本公开的一个或多个实施例，可以将待检测文本分割为多个语句，从多个语句中选择大概率为标识语句的部分目标语句进行检验，从而避免对整个文本进行检测，简化了检测过程，同时提高了检测的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的文本类型的检测方法的流程图；

图2示出了根据本公开的实施例的从多个语句中选择目标语句的方法的流程图；

图3示出了根据本公开的实施例的从历史数据中检测到的多个预设类型的文本中确定关键词的方法的流程图；

图4示出了根据本公开的实施例的将待检测文本进行分句的方法的流程图；

图5示出了根据本公开的实施例的预设类型的文本的检测装置的结构框图；

图6示出了根据本公开另一实施例的预设类型的文本的检测装置的结构框图；

图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

下面将结合附图详细描述本公开的实施例。图1示出了根据本公开实施例的文本类型的检测方法100的流程图。该检测方法100可以用于与处理文本相关服务器，这些服务器可以是用于接收用户上传文档的服务器，例如用于网盘的服务器、与用于文章发表的网站相关的服务器等等。这些服务器还可以是用于向相关用户提供文本推送服务的服务器，例如与社交媒体、广告推广或云厂商相关的服务器等等。上述预设类型的文本包括但不限于包括体育类型的文本、音乐类型的文本等等。

如图1所示，该方法100包括：

步骤110，对待检测文本进行初步检验；

步骤120，响应于待检测文本被初步检验为疑似预设类型的文本，将待检测文本进行分句，以得到包含多个语句的语句集合；

步骤130，针对语句集合中的每个语句，确定该语句包含的预先确定的关键词的数量，其中，关键词与预设类型相关联；

步骤140，根据语句集合中的多个语句包含的关键词的数量，从多个语句中选择多个目标语句；

步骤150，分别确定多个目标语句中的每个目标语句是否为标识语句；以及

步骤160，响应于确定标识语句的数量满足预设条件，确定待检测文本为预设类型的文本。

本公开一个或多个实施例的检测方法将待检测文本分割为多个语句，从多个语句中选择大概率为标识语句的部分目标语句进行检验，从而避免对整个文本进行检测，简化了检测过程，同时提高了检测的准确性。

上文所述的预设类型为文本的分类类型，其包括但不限于：音乐类型、体育类型、生活类型、旅游类型和军事类型等等，属于预设类型的文本中的文本内容和该类型相关，例如，属于音乐类型的文本主要描述和音乐相关的内容。

在步骤110中，首先对待检测文本进行初步检验。由于服务器中的文本信息数量巨大，在这些大量的文本中，预设类型的文本可能只占一少部分，其余大部分为非预设类型的文本。因此，在进行后续精确检验之前先进行初步检验，以筛除绝大多数明显为非预设类型的文本。在一些实施例中，为了提高初步检验的精度，可以将大量的待检测文本输入到文本分类模型中进行预测，基于预测结果判断其是否为疑似预设类型的文本。在另外一些实施例中，还可以使用其他方式进行初步检验，例如提取文本中出现的高频词汇，然后判断该高频词汇是否为和预设类型相关联的领域专业词汇，若高频词汇为领域专业词汇，则判定该文本为疑似预设类型的文本。

在步骤120中，将待检测文本进行分句，以便于后续进行精确检验。在一些实施例中，为了便于分句的效率，可以每间隔预设字符数对待检测文本进行分句。在另外一些实施例中，为了确保分句的准确性，还可以先识别文本中的标点符号以及停用词，然后以标点符号或停用词为分割点进行分句。上述通过分句得到的多个语句将构成语句集合。

在步骤130中，关键词指示包含该关键词的语句可能为相关的标识语句。关键词是检测某些领域的一些关键词，并且与上述预设类型相关联。例如在检测关于音乐类型的文本时，关键词包括但不限于“歌曲”、“歌星”、“演唱”等词汇；例如在检测体育类型的文本时，关键词包括但不限于“足球”、“篮球”、“赛车”等词汇。上述关键词可以是预先确定好的，执行检测方法的相关服务器中可以预先存储关键词表，在进行检测时，可以查询该关键词表以得到相关的关键词。一般而言，一个语句中包含的关键词的数量越多，表示该语句越有可能是标识语句。

在步骤140中，可以从语句集合中选择关键词数量偏多的语句作为目标语句，并且在后续重点对目标语句进行检测。在一些实施例中，可以选取包含的关键词数量超过阈值数量的语句作为目标语句，在另外一些实施例中，还可以选取包含的关键词在语句中字数占比超过阈值比例的语句作为目标语句。

在步骤150中，可以将每个目标语句分别输入到语句识别模型中进行预测，基于模型的预测结果确定该目标语句是否为标识语句。在另外一些实施例中，还可以通过另外一些方式确定该目标语句是否为标识语句，例如可以对该语句中出现的关键词进行分级。对于相关领域程度较高的词汇赋予较高的级别，例如：在体育类型的文本中，关键词“足球”的级别高于关键词“健身”，然后通过综合分析各语句中关键词的级别确定该目标语句是否为标识语句。例如，当语句中出现3个预设级别以上的关键词时，则确定该语句为标识语句。

可以理解，待检测文本若仅包含少量的标识语句则不能构成预设类型的文本，因此，在步骤160中，可以通过判断标识语句的数量是否满足预设条件来确定待检测文本是否为预设类型的文本，上述预设条件可以是标识语句在多个目标语句中的占比超过阈值比例，若占比超过阈值比例，则表示该文本中包含的标识语句数量较多，则确定待检测文本为预设类型的文本。上述阈值比例可以为50％、60％、70％等。在另外一些实施例中，也可以通过标识语句的绝对数量来进行判断，这里不对预设条件进行限定。

图2示出了根本公开实施例的从多个语句中选择目标语句的方法200的流程图，如图2所示，该方法200包括：

步骤210，根据多个语句各自包含的关键词的数量，按照关键词的数量由多到少的顺序对多个语句进行排序；以及

步骤220，将排序结果中排序在前的预设比例的多个语句确定为多个目标语句。

可以理解，目标语句包含的关键词的数量越多，该目标语句为标识语句的可能性越大，在排序结果中排序靠前的目标语句大概率可能为标识语句。在本实施例中，通过排序可以准确定位目标语句，从而提高了后续对文本进行检测的准确度。

在一些实施例中，可以将每个目标语句分别输入到预训练albert模型中，基于模型的预测结果确定该目标语句是否为标识语句。预训练模型可以是之前的开发人员为了解决类似问题而训练出来的模型。在解决类似的预设类型的文本检测问题的时候，无需从零开始训练一个新模型，可以从在类似问题中训练过的模型开始进行再训练。预训练albert模型已经基于历史数据中的大量语料进行了训练，这些语料可以来自于真实的互联网数据。因此预训练albert模型相较于其他文本分类模型，具有更加准确的预测值，可以准确预测目标语句是否为标识语句。

在一些实施例中，在获取待检测文本之后，可以对待检测文本进行预处理操作。预处理操作包括以下操作中的一种或多种：文字类型的转换、将连续数字替换为预设字符以及去除非文字符号。在本实施例中，预处理操作可以除去数字、非文字字符的干扰，提高后续检测的准确度。

在一些实施例中，对待检测文本进行初步检验包括：将待检测文本输入到文本分类模型中，根据文本分类模型的预测结果确定待检测文本是否为疑似预设类型的文本。上述文本分类模型可以例如是fastText模型。fastText是一个词向量计算和文本分类工具，其根据文本中确定的高频词的词向量在向量空间中的欧氏距离确定待检测文本的类别。使用诸如fastText模型的文本分类模型进行初步验证，fastText模型可以对整个文本进行预测，无需对待检测文本进行语句分割。fastText模型预测更加快速，但是精确度较低，可以用于初步验证，以提高文本检测效率。如上文所述，由于服务器中的文本信息数量巨大，而且，这些文本信息中绝大多数文本为非预设类型的文本，因此，在进行后续精确检验之前先进行初步检验，以筛除绝大多数明显不属于预设类型的文本。只有当fastText模型预测文本为疑似预设类型的文本，才执行后续的检测操作；若当fastText模型预测文本为非疑似预设类型的文本，则不再执行后续分句、选择目标语句等一系列操作。

上述文本分类模型的训练过程包括：同时使用正样本和负样本对文本分类模型进行训练，其中，正样本的样本输入为包含至少一个关键词的疑似预设类型的文本，负样本的样本输入为包含至少一个关键词的非疑似预设类型的文本。在本实施例中，可以同时使用正负样本对文本分类模型进行训练，从而能够对模型的参数进行精确调节，提高了后续模型预测的精确度。

在一些实施例中，关键词的确定过程包括：从历史数据中检测到的多个预设类型的文本中确定多个关键词。利用历史数据中已确定出的预设类型的文本确定关键词，使得确定出的关键词的种类更准确和完备。历史数据中检测到的多个预设类型的文本可以是对待检测文本进行检测的服务器在先前检测到的相同预设类型的文本，另外，这些历史数据中的预设类型的文本也可以是由人工标注出来的预设类型的文本。例如，当对音乐类型的文本进行检测时，历史数据可以为相关服务器中存储的已经被确定为音乐类型的其他文本。

图3示出了根据本公开实施例的从历史数据中检测到的多个预设类型的文本中确定关键词的方法300的流程图，如图3所示，该方法300包括：

步骤310，对多个预设类型的文本进行分词，得到多个候选关键词；

步骤320，确定多个候选关键词中的每个候选关键词的逆文本频率，其中，逆文本频率根据多个预设类型的文本的数量以及多个预设类型的文本中包含该候选关键词的预设类型的文本的数量进行确定；以及

步骤330，根据多个候选关键词的逆文本频率，从多个候选关键词中确定多个关键词。

在步骤310中，利用凝聚度、互信息等挖掘预设类型的文本中的词或短语。首先将预设类型的文本根据n-gram进行分词(如2-gram时，即，对原句中每两个字进行组合)。例如“你好世界”可以将其分为“你好、好世、世界”，可以使用凝聚度(即点间互信息point-wisemutual information)作为分词依据。如果凝聚度小于某个阈值则将其分开得到候选关键词，凝聚度的计算公式如下：

其中，p(x,y)为字x和字y在文本中同时出现的频率，p(x),p(y)为字x和字y在文本中各自出现的频率。在另外一些实施例中，还可以利用HMM(隐马尔可夫模型)等分词工具对历史标注的预设类型的文本中的语句进行分词。

在步骤320中，计算步骤310中得到的每个候选关键词的逆文本频率(IDF)。逆文本频率表示候选关键词在预设类型的文本中出现的频率。如果包含候选关键词t的预设类型的文本越少，IDF越大，则说明候选关键词t具有很好的类别区分能力，例如在检测体育类型的文本的领域，该候选关键词t就是区分体育相关内容的关键词。如果某一类文本中包含候选关键词t的文本数为m，而其它类文本中包含t的文本数为k，显然所有包含t的文本数为n＝m+k，当m较大时，n也较大，按照IDF公式得到的IDF的值会比较小，就说明该候选关键词t类别区分能力不强，不是用于检测预设类型的文本的关键词。逆文本频率计算公式如下：

其中，n_d表示预设类型的文本总数，df(d,t)表示包含该候选关键词的文本数量。

在步骤330中，可以从多个候选关键词中选择逆文本频率大于频率阈值的候选关键词以作为最终确定的多个关键词。后续这些关键词用于从待检测文本中选择出目标语句，如方法100的步骤140所描述的。在执行步骤330之前，还可以将步骤310中筛选出的候选关键词进行人工筛选，删除明显的非关键词(例如体育文章中IDF值较高的“行走”、“呼吸”、“运动”等词语)。

在本实施例中，可以利用逆文本频率从多个候选关键词中确定目标关键词，这些确定出的目标关键词具有很好的类别区分能力。例如在检测体育类型的文本的领域，这些确定出的关键词具有很好的区分语句是否为体育相关的标识语句的功能，本实施例的方法提高了确定关键词的准确度。

图4示出了根据本公开实施例的将待检测文本进行分句的方法400的流程图，如图4所示，该方法400包括：

步骤410，每间隔预设字符数对待检测文本进行分句，以得到多个语句；以及

步骤420，删除多个语句中的非完整语句。

在步骤410中，字符数可以通过经验获得，例如经实验后可以将字符数设置为256。在420中，对分句后的短文本进行预处理，其中，需要将多个语句中的非完整语句删除。具体地，非完整语句删除的规则可以包括：

a)若分割的语句的句首或句尾小于5字符处有标点，则删除标点及标点之后或之前的字符，从而保证分割后的语句尽量包含完整句意；

b)若分割的语句中非中文字符小于阈值，则删除，例如小于10字符则舍弃该短句，从而避免诸如电话号码等非文字信息的干扰。

图5示出了根据本公开实施例的预设类型的文本的检测装置500的结构框图。如图5所示，该装置500包括：检验单元510，配置成对待检测文本进行初步检验；分句单元520，配置成响应于待检测文本被初步检验为疑似预设类型的文本，将待检测文本进行分句，以得到包含多个语句的语句集合；第一确定单元530，配置成针对语句集合中的每个语句，确定该语句包含的预先确定的关键词的数量，其中，关键词与预设类型相关联；选择单元540，配置成根据语句集合中的多个语句包含的关键词的数量，从多个语句中选择多个目标语句；第二确定单元550，配置成分别确定多个目标语句中的每个目标语句是否为标识语句；以及第三确定单元560，配置成响应于确定标识语句的数量满足预设条件，确定待检测文本为预设类型的文本。

图6示出了根据本公开另一实施例的预设类型的文本的检测装置600的结构框图。如图6所示，在一些实施例中，选择单元640包括：排序模块641，配置成根据多个语句各自包含的关键词的数量，按照关键词的数量由多到少的顺序对多个语句进行排序；以及第一确定模块642，配置成将排序结果中排序在前的预设比例的多个语句确定为多个目标语句。

在一些实施例中，第二确定单元650还配置成：将每个目标语句分别输入到预训练albert模型中，基于模型的预测结果确定该目标语句是否为标识语句。

在一些实施例中，上述装置600还包括：预处理单元670，配置成对待检测文本进行预处理操作，其中，预处理操作包括以下操作中的一种或多种：文字类型的转换、将连续数字替换为预设字符以及去除非文字符号。

在一些实施例中，检验单元610还配置成：将待检测文本输入到文本分类模型中，根据文本分类模型的预测结果确定待检测文本是否为疑似预设类型的文本。

在一些实施例中，上述装置600还包括：关键词确定单元680，配置成从历史数据中检测到的多个预设类型的文本中确定多个关键词。

在一些实施例中，关键词确定单元680包括：分词模块681，配置成对多个预设类型的文本进行分词，得到多个候选关键词；第二确定模块682，配置成确定多个候选关键词中的每个候选关键词的逆文本频率，其中，逆文本频率根据多个预设类型的文本的数量以及多个预设类型的文本中包含该候选关键词的预设类型的文本的数量进行确定；以及第三确定模块683，配置成根据多个候选关键词的逆文本频率，从多个候选关键词中确定多个关键词。

应当理解，图5中所示装置500的各个单元可以与参考图1描述的方法100中的各个步骤相对应。图6中所示装置600的各个单元以及模块可以与参考图2至图4描述的方法200-400中的各个步骤相对应。由此，上面针对方法100-400描述的操作、特征和优点同样适用于装置500、装置600及其包括的单元和模块。为了简洁起见，某些操作、特征和优点在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如文本类型的检测方法。例如，在一些实施例中，文本类型的检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的文本类型的检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本类型的检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (19)

1.一种文本类型的检测方法，包括：

对待检测文本进行初步检验；

响应于所述待检测文本被初步检验为疑似预设类型的文本，将所述待检测文本进行分句，以得到包含多个语句的语句集合；

针对所述语句集合中的每个语句，确定该语句包含的预先确定的关键词的数量，其中，所述关键词与所述预设类型相关联；

根据所述语句集合中的多个语句包含的关键词的数量，从所述多个语句中选择多个目标语句；

分别确定所述多个目标语句中的每个目标语句是否为标识语句；以及

响应于确定所述标识语句的数量满足预设条件，确定所述待检测文本为预设类型的文本。

2.根据权利要求1所述的方法，其中，所述根据所述语句集合中的多个语句包含的关键词的数量，从所述多个语句中选择多个目标语句包括：

根据所述多个语句各自包含的关键词的数量，按照关键词的数量由多到少的顺序对所述多个语句进行排序；以及

将排序结果中排序在前的预设比例的多个语句确定为所述多个目标语句。

3.根据权利要求1所述的方法，其中，所述分别确定所述多个目标语句中的每个目标语句是否为标识语句包括：

将每个目标语句分别输入到预训练albert模型中，基于模型的预测结果确定该目标语句是否为标识语句。

4.根据权利要求1-3中任一项所述的方法，还包括：

对所述待检测文本进行预处理操作，其中，所述预处理操作包括以下操作中的一种或多种：文字类型的转换、将连续数字替换为预设字符以及去除非文字符号。

5.根据权利要求1-3中任一项所述的方法，其中，所述对待检测文本进行初步检验包括：

将所述待检测文本输入到文本分类模型中，根据所述文本分类模型的预测结果确定所述待检测文本是否为疑似预设类型的文本。

6.根据权利要求5所述的方法，其中，所述文本分类模型的训练过程包括：

同时使用正样本和负样本对所述文本分类模型进行训练，其中，所述正样本的样本输入为包含至少一个关键词的疑似预设类型的文本，所述负样本的样本输入为包含至少一个关键词的非疑似预设类型的文本。

7.根据权利要求1-6中任一项所述的方法，其中，所述关键词的确定过程包括：

从历史数据中检测到的多个预设类型的文本中确定多个关键词。

8.根据权利要求7所述的方法，其中，所述从历史数据中检测到的多个预设类型的文本中确定多个关键词包括：

对所述多个预设类型的文本进行分词，得到多个候选关键词；

确定所述多个候选关键词中的每个候选关键词的逆文本频率，其中，所述逆文本频率根据所述多个预设类型的文本的数量以及所述多个预设类型的文本中包含该候选关键词的预设类型的文本的数量进行确定；以及

根据所述多个候选关键词的逆文本频率，从所述多个候选关键词中确定所述多个关键词。

9.根据权利要求1-6中任一项所述的方法，其中，所述将所述待检测文本进行分句包括：

每间隔预设字符数对所述待检测文本进行分句，以得到多个语句；以及

删除所述多个语句中的非完整语句。

10.一种文本类型的检测装置，包括：

检验单元，配置成对待检测文本进行初步检验；

分句单元，配置成响应于所述待检测文本被初步检验为疑似预设类型的文本，将所述待检测文本进行分句，以得到包含多个语句的语句集合；

第一确定单元，配置成针对所述语句集合中的每个语句，确定该语句包含的预先确定的关键词的数量，其中，所述关键词与所述预设类型相关联；

选择单元，配置成根据所述语句集合中的多个语句包含的关键词的数量，从所述多个语句中选择多个目标语句；

第二确定单元，配置成分别确定所述多个目标语句中的每个目标语句是否为标识语句；以及

第三确定单元，配置成响应于确定所述标识语句的数量满足预设条件，确定所述待检测文本为预设类型的文本。

11.根据权利要求10所述的装置，其中，所述选择单元包括：

排序模块，配置成根据所述多个语句各自包含的关键词的数量，按照关键词的数量由多到少的顺序对所述多个语句进行排序；以及

第一确定模块，配置成将排序结果中排序在前的预设比例的多个语句确定为所述多个目标语句。

12.根据权利要求10所述的装置，其中，所述第二确定单元还配置成：

将每个目标语句分别输入到预训练albert模型中，基于模型的预测结果确定该目标语句是否为标识语句。

13.根据权利要求10-12中任一项所述的装置，还包括：

预处理单元，配置成对所述待检测文本进行预处理操作，其中，所述预处理操作包括以下操作中的一种或多种：文字类型的转换、将连续数字替换为预设字符以及去除非文字符号。

14.根据权利要求10-12中任一项所述的装置，其中，所述检验单元还配置成：

将所述待检测文本输入到文本分类模型中，根据所述文本分类模型的预测结果确定所述待检测文本是否为疑似预设类型的文本。

15.根据权利要求10-14中任一项所述的装置，还包括：

关键词确定单元，配置成从历史数据中检测到的多个预设类型的文本中确定多个关键词。

16.根据权利要求15所述的装置，其中，所述关键词确定单元包括：

分词模块，配置成对所述多个预设类型的文本进行分词，得到多个候选关键词；

第二确定模块，配置成确定所述多个候选关键词中的每个候选关键词的逆文本频率，其中，所述逆文本频率根据所述多个预设类型的文本的数量以及所述多个预设类型的文本中包含该候选关键词的预设类型的文本的数量进行确定；以及

第三确定模块，配置成根据所述多个候选关键词的逆文本频率，从所述多个候选关键词中确定所述多个关键词。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-9中任一项所述的方法。

Images