CN118070797A - 一种生成文本检测方法、装置、存储介质及电子设备 - Google Patents

一种生成文本检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN118070797A
CN118070797A CN202410140536.7A CN202410140536A CN118070797A CN 118070797 A CN118070797 A CN 118070797A CN 202410140536 A CN202410140536 A CN 202410140536A CN 118070797 A CN118070797 A CN 118070797A
Authority
CN
China
Prior art keywords
text
detected
disturbance
generation probability
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410140536.7A
Other languages
English (en)
Inventor
杨信
易灿
傅幸
王维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202410140536.7A priority Critical patent/CN118070797A/zh
Publication of CN118070797A publication Critical patent/CN118070797A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本说明书实施例公开了一种生成文本检测方法、装置、存储介质及电子设备，包括：对待检测文本进行文本扰动处理，得到扰动检测文本，并计算待检测文本对应的第一生成概率以及计算扰动检测文本对应的第二生成概率，然后根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标，最后若扰动差异指标大于预设差异阈值，则可确定待检测文本为生成文本。

Description

一种生成文本检测方法、装置、存储介质及电子设备
技术领域
本发明涉及计算机技术，尤其涉及一种生成文本检测方法、装置、存储介质及电子设备。
背景技术
基于深度层学习的大型语言模型广泛应用于智能客服、智能聊天等方面，其可以通过自动生成文本让人们能够方便地与计算机进行交互，获取所需信息或解决问题。大型语言模型还可以用于生成自动摘要、自动翻译等，为人们提供了更加便捷的方式来处理文字内容，可以大大节约人力成本和时间成本。
然而，伴随着语言模型的普及和性能的不断提升，其出色的语言生成能力也为一些不良行为提供了便利性，例如：学生利用语言模型完成作业、用户通过语言模型生成虚假评价、不法分子伪造隐私信息等，语言模型无形中推动了这些不良行为的发展，带来了负面影响。因此，如何识别出通过语言模型得到的生成文本，是消除语言模型所带来的负面影响的关键。
发明内容
本说明书实施例提供一种生成文本检测方法，通过该方法可实现对生成文本的检测识别，所述方法包括：
对待检测文本进行文本扰动处理，得到扰动检测文本；
计算所述待检测文本对应的第一生成概率以及计算所述扰动检测文本对应的第二生成概率；
根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标；
若所述扰动差异指标大于预设差异阈值，则确定所述待检测文本为生成文本。
进一步地，在一些实施方式中，所述对待检测文本进行文本扰动处理之前，还包括：
对所述待检测文本进行分词处理，得到所述待检测文本对应的至少一个词元；
计算各所述词元分别对应的自信息量；
根据预设自信息量阈值删除所述待检测文本中自信息量小于所述预设自信息量阈值的词元，得到词元删除后的待检测文本。
进一步地，在一些实施方式中，所所述计算所述待检测文本对应的第一生成概率，包括：
对所述待检测文本进行分词处理，得到所述待检测文本对应的至少一个词元；
计算各所述词元分别对应的词概率，所述词概率为所述词元在所述待检测文本中出现的概率；
对各所述词元分别对应的词概率进行累乘操作，得到所述第一生成概率。
进一步地，在一些实施方式中，所述对待检测文本进行文本扰动处理，得到扰动检测文本，包括：
对所述待检测文本进行预设数量的文本扰动处理，得到预设数量的扰动检测文本；
所述计算所述扰动检测文本对应的第二生成概率，包括：
计算各扰动检测文本分别对应的第三生成概率；
对各所述第三生成概率进行取平均操作，得到所述第二生成概率。
进一步地，在一些实施方式中，所述根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标，包括：
计算所述第一生成概率和所述第二生成概率之间的概率差值的绝对值，将所述概率差值的绝对值作为所述待检测文本和所述扰动检测文本之间的扰动差异指标。
进一步的，在一些实施方式中，根据权利要求1所述的方法，所述根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标，包括：
d＝logp(x)-logp(xi)
其中，所述x为所述待检测文本，所述p(x)为所述第一生成概率，所述xi为所述扰动检测文本，所述p(xi)为所述第二生成概率，所述d为扰动差异指标。
本说明书实施例还提出了一种生成文本检测装置，包括：
文本扰动模块，用于对待检测文本进行文本扰动处理，得到扰动检测文本；
生成概率计算模块，用于计算所述待检测文本对应的第一生成概率以及计算所述扰动检测文本对应的第二生成概率；
扰动差异计算模块，用于根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标；
生成文本判定模块，用于若所述扰动差异指标大于预设差异阈值，则确定所述待检测文本为生成文本。
本说明书实施例还提供一种计算机程序产品，所述计算机程序产品存储有至少一条指令，所述至少一条指令适于由处理器加载并执行上述的方法步骤。
本说明书实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。
本说明书实施例还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。
本说明书实施例提出一种生成文本检测方法，通过对待检测文本施加扰动得到扰动检测文本，根据待检测文本和扰动检测文本的生成概率差异生成扰动差异指标，在扰动差异指标大于预设差异阈值时确定待检测文本为生成文本；采用此方法，实现了对生成文本的检测识别。
附图说明
图1为本说明书实施例提供了一种生成文本检测方法的流程示意图；
图2为本说明书实施例提供的一种生成文本检测方法的流程示意图；
图3为本说明书实施例提供的一种生成文本检测方法的流程示意图；
图4为本说明书实施例提供的一种生成文本检测装置的结构示意图；
图5为本说明书实施例提供的一种生成文本检测装置的结构示意图；
图6为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
基于深度层学习的大型语言模型广泛应用于智能客服、智能聊天等方面，其可以通过自动生成文本让人们能够方便地与计算机进行交互，获取所需信息或解决问题。大型语言模型还可以用于生成自动摘要、自动翻译等，为人们提供了更加便捷的方式来处理文字内容，可以大大节约人力成本和时间成本。
然而，伴随着语言模型的普及和性能的不断提升，其出色的语言生成能力也为一些不良行为提供了便利性，例如：学生利用语言模型完成作业、用户通过语言模型生成虚假评价、不法分子伪造隐私信息等，语言模型无形中推动了这些不良行为的发展，带来了负面影响。因此，如何识别出通过语言模型得到的生成文本，是消除语言模型所带来的负面影响的关键。
相关技术中，针对生成文本的检测大都基于文本二分类方法，通过制作包含生成文本和人写文本的训练数据，将生成文本和人写文本作为不同的文本类别来训练一个二分类模型，由训练完成的二分类模型实现对生成模型检测识别。这种方法需要大量的训练数据进行有监督训练，并且训练过程中容易过拟合的问题，影响生成文本检测精度。
基于此，本说明书实施例提供一种生成文本检测方法，通过对待检测文本施加扰动得到扰动检测文本，然后计算待检测文本和扰动检测文本分别对应的生成概率，根据待检测文本和扰动检测文本的生成概率差异生成扰动差异指标，在扰动差异指标大于预设差异阈值时确定待检测文本为生成文本；采用此方法，不仅实现了对生成文本的检测识别，而且无需制作训练数据训练检测模型，避免检测模型过拟合的问题，保证生成文本检测的检测精度。
请参见图1，为本说明书实施例提供了一种生成文本检测方法的流程示意图。在本说明书实施例中，所述生成文本检测方法应用于生成文本检测装置或配置有生成文本检测装置的电子设备。下面将针对图1所示的流程进行详细的阐述，所述生成文本检测方法具体可以包括以下步骤：
S102，对待检测文本进行文本扰动处理，得到扰动检测文本；
在本说明书一个或多个实施例中，在获取得到需要进行生成文本检测的待检测文本之后，通过同义词、同音词、语序调换等方式对待检测文本进行文本扰动处理，得到扰动后的扰动检测文本。
需要说明的是，通常来说，语言模型基于概率生成文本。语言模型通过对语料库中大量文本数据的学习,学会了语言的概率分布模式。在生成新的文本时，语言模型根据给定的输入和上下文,选择最可能的单词或句子来继续生成文本。即语言模型生成文本通常为给定语义环境中最大概率出现的文本。而相对而言，人不具备机器语言模型对语料库中大量文本数据的完整学习能力，人写文本或人说文本通常具有个体差异以及独特性，人写文本或人说文本不会是给定语义环境中最大概率出现的文本。因此，本说明书实施例通过计算待检测文本出现的概率即可判断该文本是否为生成文本。
具体而言，由于生成文本的出现概率没有一个具体的量化标准。在本说明书实施例中，通过对待检测文本施加文本扰动，得到扰动后的扰动检测文本，通过比较待检测文本和扰动检测文本的生成概率差异，即可判断待检测文本是否为生成文本。
可以理解的是，语言模型生成文本通常为给定语义环境中最大概率出现的文本，而生成文本进行文本扰动后，扰动后的文本的生成概率必然小于生成文本的生成概率。通过比较扰动前文本和扰动后文本的生成概率差异，即可判断扰动前的文本是否为生成文本。
需要说明的是，在本说明书一个或多个实施例中，可通过同义词替换、同音词替换、语序替换等多种方式对待检测文本进行文本扰动。本说明书一个或多个实施例对文本扰动的具体方式不做具体限定。
S104，计算待检测文本对应的第一生成概率以及计算扰动检测文本对应的第二生成概率；
在本说明书一个或多个实施例中，在得到扰动后的扰动检测文本之后，分别计算待检测文本的第一生成概率和扰动检测文本的第二生成概率。
一种可行的实施方式中，可以根据具有大量文本数据的语料库计算待检测文本和扰动检测文本分别对应的生成概率。具体的，基于统计的方式生成语料库中文本以及字词序列之间的概率分布，根据文本和字词序列之间的概率分布计算待检测文本和扰动检测文本分别对应的生成概率。
S106，根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标；
S108，若扰动差异指标大于预设差异阈值，则确定待检测文本为生成文本。
在本说明书一个或多个实施例中，计算得到待检测文本和扰动检测文本分别对应的生成概率之后，根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标。
可以理解的是，语言模型生成文本通常为给定语义环境中最大概率出现的文本，而生成文本进行文本扰动后，扰动后的文本的生成概率必然小于生成文本的生成概率。在本说明书实施例中，根据待检测文本的第一生成概率和扰动检测文本的第二生成概率之间的生成概率差异生成扰动差异指标，该扰动差异指标用以表明待检测文本和扰动检测文本之间的扰动差异，该扰动差异指标主要和生成概率相关，通过设置扰动差异阈值，在扰动差异指标大于预设差异阈值时，即表明待检测文本经过文本扰动后生成概率变化较大，则可确定待检测文本为生成文本。
采用本说明书实施例提供的生成文本检测方法，通过对待检测文本施加扰动得到扰动检测文本，然后计算待检测文本和扰动检测文本分别对应的生成概率，根据待检测文本和扰动检测文本的生成概率差异生成扰动差异指标，在扰动差异指标大于预设差异阈值时确定待检测文本为生成文本；采用此方法，不仅实现了对生成文本的检测识别，而且无需制作训练数据训练检测模型，避免检测模型过拟合的问题，保证生成文本检测的检测精度。
在本说明书一个或多个实施例中，步骤S104中，计算待检测文本对应的第一生成概率，可以为：对待检测文本进行分词处理，得到待检测文本对应的至少一个词元，计算各词元分别对应的词概率，词概率为词元在待检测文本中出现的概率，对各词元分别对应的词概率进行累乘操作，得到第一生成概率。
可以理解的是，在计算待检测文本对应的第一生成概率时，首先计算待检测文本中各词分别对应的词概率，然后将各词分别对应的词概率累乘即得到待检测文本对应的第一生成概率。在该实施例中，首先对待检测文本进行分词处理，得到待检测文本对应的多个词元，其中一个词元可代表待检测文本中的一个字或一个词语。根据得到的多个词元，然后根据具有大量文本数据的语料库计算各词元分别对应的词生成概率，在得到各词元分别对应的词概率之后，对各词元分别对应的词概率进行累乘操作，最终得到待检测文本对应的第一生成概率。
需要说明的是，待检测文本中某词元对应的词概率可以为：在前置各词元已出现条件下，该词元出现的概率。例如，在文本“我爱祖国”中，经过分词处理可以得到“我”、“爱”、“祖国”等三个词元，其中，词元“祖国”出现的概率是指在“我”、“爱”两词元已出现的情况下，词元“祖国”再出现的概率。
在本说明书一个或多个实施例中，步骤S104中，计算扰动检测文本对应的第二生成概率，可以为：对扰动检测文本进行分词处理，得到扰动检测文本对应的至少一个词元，计算各词元分别对应的词概率，词概率为词元在扰动检测文本中出现的概率，对各词元分别对应的词概率进行累乘操作，得到第二生成概率。
可以理解的是，在计算扰动检测文本对应的第二生成概率时，首先计算扰动检测文本中各词分别对应的词概率，然后将各词分别对应的词概率累乘即得到扰动检测文本对应的第二生成概率。在该实施例中，首先对扰动检测文本进行分词处理，得到扰动检测文本对应的多个词元，其中一个词元可代表扰动检测文本中的一个字或一个词语。根据得到的多个词元，然后根据具有大量文本数据的语料库计算各词元分别对应的词生成概率，在得到各词元分别对应的词概率之后，对各词元分别对应的词概率进行累乘操作，最终得到扰动检测文本对应的第二生成概率。
在本说明书一个或多个实施例中，步骤S102中，在对待检测文本进行文本扰动时，可采用多次扰动的方式得到多个版本的扰动检测文本。以多个扰动检测文本和待检测文本的平均扰动差异判断待检测文本是否为生成文本，可以进一步提升生成文本检测的精准度。
请参见图2，为本说明书实施例提供的一种生成文本检测方法的流程示意图。如图2所示，所述方法包括如下步骤：
S202，对待检测文本进行预设数量的文本扰动处理，得到预设数量的扰动检测文本；
在本说明书实施例中，在获得待检测文本之后，对待检测文本进行预设数量的文本扰动处理，得到每次扰动处理分别对应的扰动检测文本。
S204，计算各扰动检测文本分别对应的第三生成概率；
在经过多次扰动处理并得到各扰动检测文本之后，分别计算各扰动检测文本对应的第三生成概率。
一种可行的实施方式中，可以根据具有大量文本数据的语料库计算扰动检测文本对应的生成概率。具体的，基于统计的方式生成语料库中文本以及字词序列之间的概率分布，根据文本和字词序列之间的概率分布计算扰动检测文本对应的生成概率。
在本说明书一个或多个实施例中，计算扰动检测文本对应的第三生成概率，可以为：对扰动检测文本进行分词处理，得到扰动检测文本对应的至少一个词元，计算各词元分别对应的词概率，词概率为词元在扰动检测文本中出现的概率，对各词元分别对应的词概率进行累乘操作，得到第三生成概率。
S206，对各第三生成概率进行取平均操作，得到第二生成概率；
在计算得到各扰动检测文本分别对应的第三生成概率之后，对各第三生成概率取平均得到第二生成概率。
S208，计算待检测文本对应的第一生成概率；
S210，根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标；
S212，若扰动差异指标大于预设差异阈值，则确定待检测文本为生成文本。
在本说明书一个或多个实施例中，计算得到待检测文本和扰动检测文本分别对应的生成概率之后，根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标。
可以理解的是，语言模型生成文本通常为给定语义环境中最大概率出现的文本，而生成文本进行文本扰动后，扰动后的文本的生成概率必然小于生成文本的生成概率。在本说明书实施例中，根据待检测文本的第一生成概率和扰动检测文本的第二生成概率之间的生成概率差异生成扰动差异指标，该扰动差异指标用以表明待检测文本和扰动检测文本之间的扰动差异，该扰动差异指标主要和生成概率相关，通过设置扰动差异阈值，在扰动差异指标大于预设差异阈值时，即表明待检测文本经过文本扰动后生成概率变化较大，则可确定待检测文本为生成文本。
可以理解的是，若待检测文本为生成文本，扰动后的扰动检测文本的第二生成概率必然小于待检测文本的第一生成概率，根据生成概率求出的待检测文本和扰动检测文本之间的扰动差异较大；若待检测文本不为生成文本，则扰动后的扰动检测文本的第二生成概率不会小于待检测文本的第一生成概率，扰动后的扰动检测文本的第二生成概率和待检测文本的第一生成概率应大致相近，根据生成概率求出的待检测文本和扰动检测文本之间的扰动差异较小。基于此，通过合理设置扰动差异阈值，即可根据计算到的待检测文本和扰动检测文本之间的扰动差异区分出待检测文本是否为生成文本。
采用本说明书实施例提供的生成文本检测方法，通过对待检测文本施加扰动得到扰动检测文本，然后计算待检测文本和扰动检测文本分别对应的生成概率，根据待检测文本和扰动检测文本的生成概率差异生成扰动差异指标，在扰动差异指标大于预设差异阈值时确定待检测文本为生成文本；采用此方法，不仅实现了对生成文本的检测识别，而且无需制作训练数据训练检测模型，避免检测模型过拟合的问题，保证生成文本检测的检测精度。
在本说明书一个或多个实施例中，步骤S210中，根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标，还可以为：计算第一生成概率和第二生成概率之间的概率差值的绝对值，将概率差值的绝对值作为待检测文本和扰动检测文本之间的扰动差异指标。
进一步的，在本说明书一个或多个实施例中，步骤S210中，根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标，还可以通过如下公式计算扰动差异指标：
d＝logp(x)-logp(xi)
其中，x为待检测文本，p(x)为第一生成概率，xi为扰动检测文本，p(xi)为第二生成概率，d为扰动差异指标。
需要说明的是，由于生成概率介于0-1之间，从而第一生成概率和第二生成概率之间的概率差值较小，在差值较小时不容易区分差异。采用上述公式，可将生成概率差异进行放大，得到差异明显的扰动差异指标，从而方便基于扰动差异阈值进行区分生成文本。
在本说明书一个或多个实施例中，在得到待检测文本之后，并在对待检测文本进行文本扰动之前，首先对待检测文本进行文本压缩，剔除待检测文本中信息量较低的词元，缩短文本长度，可以降低后续扰动处理和生成概率计算时的计算量，提高计算速度。并且通过剔除待检测文本中信息量较低的词元，可以大幅降低后续扰动处理时产生无效扰动的可能性，保证扰动有效。
请参见图3，为本说明书实施例提供的一种生成文本检测方法的流程示意图。如图3所示，所述方法包括如下步骤：
S302，对待检测文本进行分词处理，得到待检测文本对应的至少一个词元；
在本说明书一个或多个实施例中，在获取得到需要进行生成文本检测的待检测文本之后，首先对待检测文本进行分词处理，得到待检测文本对应的多个词元，其中一个词元可代表待检测文本中的一个字或一个词语。
S304，计算各词元分别对应的自信息量；
需要说明的是，自信息量是指一个随机事件发生某一结果后所带来的信息量，其可以为定义为该事件发生概率的对数负值。自信息量与发生概率呈负相关。在本说明书一个或多个实施例中，各词元的自信息量可以为该词元对应词生成概率的对数负值。
在本说明书一个或多个实施例中，在得到待检测文本对应的多个词元之后，通过计算各词元分别对应的词概率，然后根据词概率计算各词元分别对应的自信息量。
可选的，可以基于如下方式计算词元对应的自信息量：
I(x′)＝-log2P(xt ′|x′ 0,x′ 1,…,xt ′ -1)
其中，x′为待计算自信息量的词元，x0 ′,x1 ′,…,xt ′ -1为待检测文本中位于x′之前的各词元，P(xt ′|x0 ′,x1 ′,…,xt ′ -1)为词元x′对应的词概率，I(x′)为词元x′对应的自信息量。
S306，根据预设自信息量阈值删除待检测文本中自信息量小于预设自信息量阈值的词元，得到词元删除后的待检测文本；
可以理解的是，在计算得到各词元分别对应的自信息量之后，根据预设自信息量阈值删除待检测文本中自信息量小于预设自信息量阈值的词元，可以缩短文本长度，进而降低后续扰动处理和生成概率计算时的计算量，提高计算速度。并且通过剔除待检测文本中信息量较低的词元，可以大幅降低后续扰动处理时产生无效扰动的可能性，保证扰动有效。
S308，对待检测文本进行文本扰动处理，得到扰动检测文本；
在本说明书一个或多个实施例中，对词元删除后的待检测文本进行文本扰动处理，得到扰动检测文本。
S310，计算待检测文本对应的第一生成概率以及计算扰动检测文本对应的第二生成概率；
S312，根据第一生成概率和第二生成概率的差异生成待检测文本和扰动检测文本之间的扰动差异指标；
S314，若扰动差异指标大于预设差异阈值，则确定待检测文本为生成文本。
采用本说明书实施例提供的生成文本检测方法，首先根据待检测文本各词元的自信息量提出待检测文本中信息量较少的词元，通过剔除待检测文本中信息量较低的词元，可以大幅降低后续扰动处理时产生无效扰动的可能性，保证扰动有效，然后对词元剔除后待检测文本施加扰动得到扰动检测文本，然后计算待检测文本和扰动检测文本分别对应的生成概率，根据待检测文本和扰动检测文本的生成概率差异生成扰动差异指标，在扰动差异指标大于预设差异阈值时确定待检测文本为生成文本；采用此方法，不仅实现了对生成文本的检测识别，而且无需制作训练数据训练检测模型，避免检测模型过拟合的问题，保证生成文本检测的检测精度。
请参见图4，为本说明书实施例提供的一种生成文本检测装置的结构示意图。如图4所示，该生成文本检测装置1可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。根据一些实施例，该生成文本检测装置1包括文本扰动模块11、生成概率计算模块12、扰动差异计算模块13以及生成文本判定模块14，具体包括：
文本扰动模块11，用于对待检测文本进行文本扰动处理，得到扰动检测文本；
生成概率计算模块12，用于计算所述待检测文本对应的第一生成概率以及计算所述扰动检测文本对应的第二生成概率；
扰动差异计算模块13，用于根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标；
生成文本判定模块14，用于若所述扰动差异指标大于预设差异阈值，则确定所述待检测文本为生成文本。
可选的，请参见图5，为本说明书实施例提供的一种生成文本检测装置的结构示意图。如图5所示，所述装置还包括文本压缩模块15，用于：
对所述待检测文本进行分词处理，得到所述待检测文本对应的至少一个词元；
计算各所述词元分别对应的自信息量；
根据预设自信息量阈值删除所述待检测文本中自信息量小于所述预设自信息量阈值的词元，得到词元删除后的待检测文本。
可选的，所述生成概率计算模块12在执行所述计算所述待检测文本对应的第一生成概率时，具体用于：
对所述待检测文本进行分词处理，得到所述待检测文本对应的至少一个词元；
计算各所述词元分别对应的词概率，所述词概率为所述词元在所述待检测文本中出现的概率；
对各所述词元分别对应的词概率进行累乘操作，得到所述第一生成概率。
可选的，所述文本扰动模块11，具体用于：
对所述待检测文本进行预设数量的文本扰动处理，得到预设数量的扰动检测文本；
所述计算所述扰动检测文本对应的第二生成概率，包括：
计算各扰动检测文本分别对应的第三生成概率；
对各所述第三生成概率进行取平均操作，得到所述第二生成概率。
可选的，所述扰动差异计算模块13，具体用于：
计算所述第一生成概率和所述第二生成概率之间的概率差值的绝对值，将所述概率差值的绝对值作为所述待检测文本和所述扰动检测文本之间的扰动差异指标。
可选的，所述扰动差异计算模块13，具体用于：
d＝logp(x)-logp(xi)
其中，所述x为所述待检测文本，所述p(x)为所述第一生成概率，所述xi为所述扰动检测文本，所述p(xi)为所述第二生成概率，所述d为扰动差异指标。
上述装置实施例与方法实施例相对应，具体说明可以参见方法实施例部分的描述，此处不再赘述。装置实施例是基于对应的方法实施例得到，与对应的方法实施例具有同样的技术效果，具体说明可参见对应的方法实施例。
本说明书实施例还提供的一种存储介质，所述存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1～图3所示实施例的所述的方法，具体执行过程可以参见图1～图3所示实施例的具体说明，在此不进行赘述。
本说明书还提供的一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1～图3所示实施例的所述的方法，具体执行过程可以参见图1～图3所示实施例的具体说明，在此不进行赘述。
本说明书实施例还提供了图6所示的电子设备的结构示意图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他事务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述的生成文本检测方法或字体表征提取模型训练方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种生成文本检测方法，所述方法包括：
对待检测文本进行文本扰动处理，得到扰动检测文本；
计算所述待检测文本对应的第一生成概率以及计算所述扰动检测文本对应的第二生成概率；
根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标；
若所述扰动差异指标大于预设差异阈值，则确定所述待检测文本为生成文本。
2.根据权利要求1所述的方法，所述对待检测文本进行文本扰动处理之前，还包括：
对所述待检测文本进行分词处理，得到所述待检测文本对应的至少一个词元；
计算各所述词元分别对应的自信息量；
根据预设自信息量阈值删除所述待检测文本中自信息量小于所述预设自信息量阈值的词元，得到词元删除后的待检测文本。
3.根据权利要求1所述的方法，所述计算所述待检测文本对应的第一生成概率，包括：
对所述待检测文本进行分词处理，得到所述待检测文本对应的至少一个词元；
计算各所述词元分别对应的词概率，所述词概率为所述词元在所述待检测文本中出现的概率；
对各所述词元分别对应的词概率进行累乘操作，得到所述第一生成概率。
4.根据权利要求1所述的方法，所述对待检测文本进行文本扰动处理，得到扰动检测文本，包括：
对所述待检测文本进行预设数量的文本扰动处理，得到预设数量的扰动检测文本；
所述计算所述扰动检测文本对应的第二生成概率，包括：
计算各扰动检测文本分别对应的第三生成概率；
对各所述第三生成概率进行取平均操作，得到所述第二生成概率。
5.根据权利要求1所述的方法，所述根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标，包括：
计算所述第一生成概率和所述第二生成概率之间的概率差值的绝对值，将所述概率差值的绝对值作为所述待检测文本和所述扰动检测文本之间的扰动差异指标。
6.根据权利要求1所述的方法，所述根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标，包括：
d＝logp(x)-logp(xi)
其中，所述x为所述待检测文本，所述p(x)为所述第一生成概率，所述xi为所述扰动检测文本，所述p(xi)为所述第二生成概率，所述d为扰动差异指标。
7.一种生成文本检测装置，包括：
文本扰动模块，用于对待检测文本进行文本扰动处理，得到扰动检测文本；
生成概率计算模块，用于计算所述待检测文本对应的第一生成概率以及计算所述扰动检测文本对应的第二生成概率；
扰动差异计算模块，用于根据所述第一生成概率和所述第二生成概率的差异生成所述待检测文本和所述扰动检测文本之间的扰动差异指标；
生成文本判定模块，用于若所述扰动差异指标大于预设差异阈值，则确定所述待检测文本为生成文本。
8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～6中任意一项所述方法的步骤。
9.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～6中任意一项所述方法的步骤。
10.一种计算机程序产品，其上存储有至少一条指令，其特征在于，所述至少一条指令被处理器执行时实现权利要求1～6中任意一项所述方法的步骤。
CN202410140536.7A 2024-01-31 2024-01-31 一种生成文本检测方法、装置、存储介质及电子设备 Pending CN118070797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410140536.7A CN118070797A (zh) 2024-01-31 2024-01-31 一种生成文本检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410140536.7A CN118070797A (zh) 2024-01-31 2024-01-31 一种生成文本检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN118070797A true CN118070797A (zh) 2024-05-24

Family

ID=91104917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410140536.7A Pending CN118070797A (zh) 2024-01-31 2024-01-31 一种生成文本检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN118070797A (zh)

Similar Documents

Publication Publication Date Title
CN109063886B (zh) 一种异常检测方法、装置以及设备
CN110457578B (zh) 一种客服服务需求识别方法及装置
CN113221555B (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN117076650B (zh) 一种基于大语言模型的智能对话方法、装置、介质及设备
CN110826894A (zh) 超参数确定方法、装置及电子设备
CN112417093B (zh) 一种模型训练的方法及装置
CN115828162A (zh) 一种分类模型训练的方法、装置、存储介质及电子设备
CN113887206B (zh) 一种模型训练及关键词提取方法及装置
CN117369783B (zh) 一种安全代码生成模型的训练方法及装置
CN116822606A (zh) 一种异常检测模型的训练方法、装置、设备及存储介质
CN115567371B (zh) 一种异常检测方法、装置、设备及可读存储介质
CN116861976A (zh) 一种异常检测模型的训练方法、装置、设备及存储介质
CN118070797A (zh) 一种生成文本检测方法、装置、存储介质及电子设备
CN115827918A (zh) 一种执行业务的方法、装置、存储介质及电子设备
CN111242195B (zh) 模型、保险风控模型训练方法、装置及电子设备
CN114676257A (zh) 一种对话主题确定方法及装置
CN113344590A (zh) 一种模型训练以及投诉率预估的方法及装置
CN116070916B (zh) 数据处理方法、装置及设备
CN117494068B (zh) 一种结合深度学习与因果推断的网络舆情分析方法及装置
CN115952859B (zh) 数据处理方法、装置及设备
CN116340469B (zh) 一种同义词挖掘方法、装置、存储介质及电子设备
CN115017915B (zh) 一种模型训练、任务执行的方法及装置
CN113011165B (zh) 一种识别被封锁关键词的方法、装置、设备及介质
CN118261149A (zh) 一种语法改错方法及装置
CN114996447A (zh) 基于中心损失的文本层级分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination