CN116757164A - 一种gpt生成语言识别与检测系统 - Google Patents
一种gpt生成语言识别与检测系统 Download PDFInfo
- Publication number
- CN116757164A CN116757164A CN202310742557.1A CN202310742557A CN116757164A CN 116757164 A CN116757164 A CN 116757164A CN 202310742557 A CN202310742557 A CN 202310742557A CN 116757164 A CN116757164 A CN 116757164A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- model
- classification
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000011176 pooling Methods 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000013519 translation Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 23
- 238000009499 grossing Methods 0.000 claims description 22
- 241000282414 Homo sapiens Species 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 229940050561 matrix product Drugs 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 22
- 230000004927 fusion Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000002679 ablation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种GPT生成语言识别与检测系统，包括用户网页端、前端组成和模型与算法模块；用户网页端包含有文本检测界面、单个文件检测界面和多个文本批量检测界面。本发明提出了RMAP融合机制，保证模型的分类效果与泛化能力。首先采用数据增强技术对部分训练数据进行回译处理，使用自编码预训练模型RoBERTa和RCNN对文本进行特征提取，并利用多头注意力思想改进最大池化层的。完成深度特征提取后，通过softmax函数得到文本分类概率分布P，再取概率最大值对应的标签为分类结果，实现辨别效率高，且辨别更迅速准确的技术效果。
Description
技术领域
本发明涉及一种，特别涉及一种GPT生成语言识别与检测系统。
背景技术
现如今的社会对今年1月对1000名18岁以上学生进行了调查，结果显示48％的学生会使用ChatGPT完成小测验，而53％的学生则使用ChatGPT撰写论文。英国TheTab网站的调查显示，在12月和1月这两个大学的冬季考试季中，调查的八所大学中，就有高达128402次和982809次使用大学wifi浏览ChatGPT网站的记录，数量相当惊人。如何与剽窃作斗争，保证学术诚信，已引起各高校的高度重视。许多其他的应用和活动也面临着类似的问题，法律、医疗和金融等专业领域问题上的实证评估领域，可能会产生潜在的有害或虚假信息。大量的基于AI恶意程序生成的假新闻或知识问答，也可能会导致大量不实的误导信息肆意传播。
现有技术中，通常试图采用统计离群点检测法试图根据生成文本中的痕迹区分人类编写的文本和机器生成的文本，并引入了GLTR可视化工具，以帮助人类验证者检测机器生成的文本。它使用掩码填充策略构建模型生成文本的多个扰动，并将扰动的对数概率与未扰动的生成进行比较。如果未扰动文本的对数概率显著高于扰动的对数概率，则认为文本是模型生成的。
另一种检测方法依赖于分类器，这些分类器经过微调以区分人类书写的文本和机器生成的文本。这方面的早期努力是利用分类器来检测虚假的评论，主要通过多种语言模型微调，从而分辨人类的回答和机器的回答。
然而现有技术在中文领域的分辨具有较大的缺陷，具体包含有：
对非英语语种的支持问题：大型语言模型通常是在大规模的英文语料库上进行训练，对其他小语种的支持相对较弱，需要加强对小语种的支持；
准确性问题：LLM文本检测器的准确率可能会受到数据不平衡、语言差异、对抗攻击和复杂文本等方面的限制，因此在实际应用中需要进行充分的评估和优化；
泛化性问题：通常情况下，深度学习模型对于训练集中的数据可以取得很好的拟合效果，但在面对未曾见过的数据时，可能会出现过拟合的现象，导致泛化性能下降，生成的文本质量也会受到影响。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种GPT生成语言识别与检测系统。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种GPT生成语言识别与检测系统，包括用户网页端、前端组成和模型与算法模块；
用户网页端包含有文本检测界面、单个文件检测界面和多个文本批量检测界面；
前端组成包含有HTML、CSS和JavaScript算法，用于前端展示和列序；
所述模型与算法模块包含有回译模块和RMAP模型，其中RMAP模型包含有RoBERTa转换词向量模块、RCNN卷积神经网络、多头注意力池化和标签平滑正则化单元，用于形成人类与ChatGPT对比中英文数据库以及对生成语言的识别；
回译模块包含有后端文件转文本和文本分类器，其中后端文件转文本包含有PHP算法，用于接受来自JavaScript的文本信息并提取文本信息；文本分类器包含有Python，用于对文本类型分类；
模型与算法模块包含有如下步骤
S1.RoBERTa转换词向量模块分别调用中文与英文RoBERTa模型，从词嵌入层获取初始字向E1～En然后输入到多层双向Transformer编码器中以获得带有特征信息的向量T1～Tn，以此将输入的文本信息形成预处理后文本的向量表示返回；
S2.通过RCNN卷积神经网络作为深度特征提取模块，将输入的预处理文本向量表示处理为文本词向量表示输出；
S3.通过多头注意力池化，将处理后的文本词向量输入后处理为二分类结果；
S31.当模型在训练过程中面对数据较少或特征量较少时，采用标签平滑正则化单元，通过输入文本特征向量表示，并设置真实的标签以及平滑因子，调节平滑程度后，即可输出经过平滑法处理后的预测结果。
作为本发明的一种优选技术方案，回译模块主要用删除重复的语句、进行分词和去除无用的词汇，先对句子进行分词，删除重复语句，基于HC3数据集预处理。
作为本发明的一种优选技术方案，S2中，在经典RCNN模型的词表示学习过程中采用BiLSTM获得文本的上下文信息并将BiLSTM获得的隐层输出与词向量拼接组合为新的词表示，具体公式如下
cl(ωi)＝f(W(l)cl(ωi-1)+W(sl)e(ωi-1))
cr(ωi)＝f(W(r)cr(ωi+1)+W(sr)e(ωi+1))，
其中：cl(ωi)表示第i个目标词上下文的上文；cr(ωi)表示第i个目标词上下文的下文，它们都是维度为c的向量；e(ωi-1)和e(ωi+1)分别表示第i-1和i+1个词的词向量；W(1)，W(r)∈Rc×c是当前隐藏层转换到下一个隐藏层的权重矩阵；W(s1)和W(sr)是将当前词的语义与下一个词的上下文进行语义结合的矩阵；f为非线性激活函数；
获取目标词上下文表示后，将其与目标词的词向量进行拼接：
xi＝[cl(ωi)；e(ωi)；cr(ωi)]
一条文本的词表示通过xi拼接后可以表示为：
X＝[x1，x2，...，xi]
文本词向量表示通过映射后，进行激活函数的处理，
Yi＝f(WiX+bi)
其中，映射矩阵Wi∈R为属于CNN过滤器的权重；bi是偏置量；f(WiX+bi)代表激活函数，在此选用更适合深度特征提取与分类的Swish激活函数：
f(x)＝xsigmoid(βx)；
β为变量x的缩放参数，本步骤的缩放参数的取值为1。
作为本发明的一种优选技术方案，S3中，在进行文本分类时，将每条文本的向量作为q、k、v分别映射到不同子空间中矩阵乘积过程为矩阵乘积过程为：
[q1，q2，...，qh]Wqh＝[q1 Wq1，q2 Wq2，...，qh Wqh]＝[Q1，Q2，...，Qh]，
[k1，k2，...，kh]Wkh＝[k1 Wk1，k2 Wk2，...，khWkh]＝[K1，K2，...，Kh]，
[v1，v2，...，vh]Wvh＝[v1 Wv1，v2 Wv2，...，vh Wvh]＝[V1，V2，...，Vh]，
其中：qh、kh、vh为多头注意力各子空间的查询、键、值；Wqh、Wkh、Wvh为在训练中随机生成的权重矩阵；h为子空间的数量；
多头自注意力机制采用缩放点积注意力，计算公式为：
其中，F函数采用了放缩机制，通过使用softmax函数利用注意力分数ui计算注意力的权重分布ai：
对V加权求和得到注意力机制的输出，多头注意力机制的计算过程为：
hi＝AttentionValue(QWqi，KWki，VWvi)
MultiheadAtt＝Concat(h1，h2，...，hi)Wo
最大池化层的基本操作是为词向量矩阵的每一个维度都设定一个滑动窗口，去掉文本词向量中其他的值，仅保留维度中最大的值：
Mp＝maxpooling(y1，y2，...，yi)
最大池化层保留了文本单个关键信息，注意力机制则注意到与输入文本关联大的局部信息，引入多头的思想进一步提取文本所有特征。将最大池化层、多头注意力模块的结果进行融合，并通过全连接层可得：
最后将全连接层的输出通过改进的softmax函数得到文本分类概率分布P，再取概率最大值对应的标签为分类结果。
作为本发明的一种优选技术方案，S31中，模型会根据当前文本对应的各个类别返回一个置信分数，再经过softmax归一化处理，得到当前文本属于某一个类别的概率p。x作为训练的输入，得到的每一个类i的概率为：
文本分类使用的交叉熵损失函数为：
其中，qi为真实标签概率。文本分类模型的训练数据是以文本正确标签和错误标签差值最小为目标来学习的，当训练数据有限时，会导致过拟合问题的发生，故对Loss进行了改进：
其中，本步骤取超参数ε＝0.1。
与现有技术相比，本发明的有益效果如下：
本发明提出了RMAP融合机制，保证模型的分类效果与泛化能力。首先采用数据增强技术对部分训练数据进行回译处理，使用自编码预训练模型RoBERTa和RCNN对文本进行特征提取，并利用多头注意力思想改进最大池化层的。完成深度特征提取后，通过softmax函数得到文本分类概率分布P，再取概率最大值对应的标签为分类结果，实现辨别效率高，且辨别更迅速准确的技术效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的整体系统框架图；
图2是本发明的模型与算法模块框图；
图3是本发明的回译模块框图；
图4是本发明的RoBERTa转换词向量模块框图；
图5是本发明的RCNN卷积神经网络框图；
图6是本发明的多头注意力池化框图；
图7是本发明的标签平滑正则化单元框图；
图8是本发明的中文验证集准确率变化曲线对比图；
图9是本发明的英文验证集准确率变化曲线对比图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
如图1-2所示，本发明提供一种GPT生成语言识别与检测系统，包括用户网页端、前端组成和模型与算法模块；
用户网页端包含有文本检测界面、单个文件检测界面和多个文本批量检测界面；
前端组成包含有HTML、CSS和JavaScript算法，用于前端展示和列序；
所述模型与算法模块包含有回译模块和RMAP模型，其中RMAP模型包含有RoBERTa转换词向量模块、RCNN卷积神经网络、多头注意力池化和标签平滑正则化单元，用于形成人类与ChatGPT对比中英文数据库以及对生成语言的识别；
回译模块包含有后端文件转文本和文本分类器，其中后端文件转文本包含有PHP算法，用于接受来自JavaScript的文本信息并提取文本信息；文本分类器包含有Python，用于对文本类型分类；
模型与算法模块包含有如下步骤
S1.RoBERTa转换词向量模块分别调用中文与英文RoBERTa模型，从词嵌入层获取初始字向E1～En然后输入到多层双向Transformer编码器中以获得带有特征信息的向量T1～Tn，以此将输入的文本信息形成预处理后文本的向量表示返回；
S2.通过RCNN卷积神经网络作为深度特征提取模块，将输入的预处理文本向量表示处理为文本词向量表示输出；
S3.通过多头注意力池化，将处理后的文本词向量输入后处理为二分类结果；
S31.当模型在训练过程中面对数据较少或特征量较少时，采用标签平滑正则化单元，通过输入文本特征向量表示，并设置真实的标签以及平滑因子，调节平滑程度后，即可输出经过平滑法处理后的预测结果。
在实现文本检测算法之前，需要准备和处理一个大规模的语料库作为训练和测试数据；为了提高生成文本的识别效果，数据预处理是非常重要的一步，其中，包括删除重复的语句、进行分词和去除无用的词汇等；由于中文句子中没有像英文句子一样明显的分隔符，因此需要先对句子进行分词，分词的质量直接影响到文本分类的效果；其中采用了JIEBA分词器，删除HC3数据集中的重复语句，用JIEBA分词器对文本内容分词降低无用词对分类器的干扰；删除“@、％、&...”等标点符号、特殊符号。
在文本分类中，数据增强技术的方法包括增加或减少噪声、替换同义词和Mixup等。本方法就HC3数据集中的一些问题，如文本特征量稀缺、规范性差等，使用回译技术对部分数据文本进行处理，将预处理后的文本通过回译算法进行数据增强，先调用谷歌翻译API将文本翻译成英文，再将英文回译成中文，有效地解决了部分文本中因语义不明显而难以提取语义特征的问题。如图3中的框图流程。
回译技术能有效扩充文本量使隐含特征更明显。尽管回译处理可以扩大样本的特征空间，但需要确保实验效果的准确性为了避免回译处理可能导致原文语义歧义化的影响，只就训练集中5％的数据进行回译处理。
为了解决RoBERTa模型不能够充分提取文本上下文特征以及RCNN中存在最大池化策略单一的问题，本团队提出了一种名为RMAP的新模型。该模型采用了融合机制，分别提取文本的全局语义特征信息和局部语言特征信息。模型的整体框架如图2所示。
RoBERTa在多个层面上进行了改进在掩码语言模型构建任务中使用动态掩码而不是静态掩码；不执行下句预测任务，只用掩码语言模型构建任务进行训练；以大批量的方式进行训练；使用字节级字节对编码作为子词词元化算法。
RoBERTa转换词向量模块分别调用中文与英文RoBERTa模型，从词嵌入层获取初始字向E1～En然后输入到多层双向Transformer编码器中以获得带有特征信息的向量T1～Tn，具体框图如图4所示。
与传统的基于窗口的神经网络相比较，RCNN能够改善文本窗口大小不足的缺陷，在文本分类任务上有更好的分类效果。因此，针对ChatGPT与人类生成文本分类的特点，加入RCNN模型作为深度特征提取模块。RCNN深度提取文本特征的算法步骤如图5所示。
在经典RCNN模型的词表示学习过程中采用BiLSTM获得文本的上下文信息并将BiLSTM获得的隐层输出与词向量拼接组合为新的词表示，具体公式如下
cl(ωi)＝f(W(l)cl(ωi-1)+W(sl)e(ωi-1))
cr(ωi)＝f(W(r)cr(ωi+1)+W(sr)e(ωi+1))，
其中：c1(ωi)表示第i个目标词上下文的上文；cr(ωi)表示第i个目标词上下文的下文，它们都是维度为c的向量；e(ωi-1)和e(ωi+1)分别表示第i-1和i+1个词的词向量；W(1)，W(r)∈Rc×c是当前隐藏层转换到下一个隐藏层的权重矩阵；W(s1)和W(sr)是将当前词的语义与下一个词的上下文进行语义结合的矩阵；f为非线性激活函数；
获取目标词上下文表示后，将其与目标词的词向量进行拼接：
xi＝[cl(ωi)；e(ωi)；cr(ωi)]
二条文本的词表示通过xi拼接后可以表示为：
X＝[x1，x2，...，xi]
文本词向量表示通过映射后，进行激活函数的处理，
Yi＝f(WiX+bi)
其中，映射矩阵Wi∈R为属于CNN过滤器的权重；bi是偏置量；f(WiX+bi)代表激活函数，在此选用更适合深度特征提取与分类的Swish激活函数：
f(x)＝xsigmoid(βx)；
β为变量x的缩放参数，本步骤的缩放参数的取值为1。Swish具备下界、平滑、非单调的特性，Swish在深层模型上的效果优于ReLU。
在ChatGPT与人类生成文本分类任务中，单一突出的文本特征不能作为分类器对文本归类的决定因素。最大池化层策略存在缺点，如单一和特征不明显。若继续使用最大池化策略，分类器可能会丢失重要信息，而注意力机制提取的文本特征仍有局限性。因此，我们提出了一种方法，将注意力机制和池化层相结合，使用多头注意力机制对文本在不同子空间进行加权，以使模型更好地学习新闻文本的深层特征，算法流程如图6所示：
在进行文本分类时，将每条文本的向量作为q、k、v分别映射到不同子空间中矩阵乘积过程为矩阵乘积过程为：
[q1，q2，...，qh]Wqh＝[q1 Wq1，q2 Wq2，...，qh Wqh]＝[Q1，Q2，...，Qh]，
[k1，k2，...，kh]Wkh＝[k1 Wk1，k2 Wk2，...，kh Wkh]＝[K1，K2，...，Kh]，
[v1，v2，...，vh]Wvh＝[v1 Wv1，v2 Wv2，...，vh Wvh]＝[V1，V2，...，Vh]，
其中：qh、kh、vh为多头注意力各子空间的查询、键、值；Wqh、Wkh、Wvh为在训练中随机生成的权重矩阵；h为子空间的数量；
多头自注意力机制采用缩放点积注意力，计算公式为：
其中，F函数采用了放缩机制，通过使用softmax函数利用注意力分数ui计算注意力的权重分布ai：
对V加权求和得到注意力机制的输出，多头注意力机制的计算过程为：
hi＝AttentionValue(QWqi，KWki，VWvi)
MultiheadAtt＝Concat(h1，h2，...，hi)Wo
最大池化层的基本操作是为词向量矩阵的每一个维度都设定一个滑动窗口，去掉文本词向量中其他的值，仅保留维度中最大的值：
Mp＝maxpooling(y1，y2，...，yi)
最大池化层保留了文本单个关键信息，注意力机制则注意到与输入文本关联大的局部信息，引入多头的思想进一步提取文本所有特征。将最大池化层、多头注意力模块的结果进行融合，并通过全连接层可得：
最后将全连接层的输出通过改进的softmax函数得到文本分类概率分布P，再取概率最大值对应的标签为分类结果。
当模型在训练过程中面对数据较少或特征量较少时，可能会出现过拟合现象。为了解决这个问题，设计了一种适用于新闻主题分类的标签平滑正则化方法，旨在减少真实标签的极端化，并赋予标签一定的容错率。标签平滑技术已经被广泛应用于许多领域，如图像分类、语言翻译和语音识别任务等。
算法流程如图7所示；
在此之下的分类任务中，模型会根据当前文本对应的各个类别返回一个置信分数，再经过softmax归一化处理，得到当前文本属于某一个类别的概率p。x作为训练的输入，得到的每一个类i的概率为：
文本分类使用的交叉熵损失函数为：
其中，qi为真实标签概率。文本分类模型的训练数据是以文本正确标签和错误标签差值最小为目标来学习的，当训练数据有限时，会导致过拟合问题的发生，故对Loss进行了改进：
其中，本步骤取超参数ε＝0.1
为了为证明所提模型的有效性，本方法选取HC3数据集进行实验，实验所用具体数据集情况见表1与表2所示。本文通过将HC3数据集的中英文中五大数据集分类别训练，并按照622划分训练集、测试集和验证集。训练集用于模型的训练和参数调整模型通过训练集中的数据进行学习，寻找数据中的规律和特征，以便对未知数据进行预测。其中验证集用于选择模型和调整模型参数，以提高模型的泛化能力。在训练完成后，将测试集中的数据输入到训练好的模型中，根据模型的输出结果与测试集中的真实结果进行比较，以此评估模型的性能和准确率。
表1 GPTMups与同类竞品对比
表2HC3英文数据信息
实验参数设置如下：实验参数设置如下：使用RoBERTa中文预训练模型，隐藏层尺寸为768，隐藏层层数为12，激活函数为GeLU。使用的RCNN模型的主要参数如下：RNN维度为256，dropout为0.1，激活函数为Swish。实验使用的多头注意力子空间个数经过多次实验后确定为8，随机失活率设为0.1。模型经过多次训练得到的学习率设为4×10-5，batch_size设为32，优化器选择效果较优的BertAdam，模型预热参数设为0.5。
为验证本文模型在ChatGPT与人类文本分类研究的有效性，采用准确率、精确率、召回率和F1分数作为评价标准，具体公式为：
准确率(Accuracy)是指分类正确的样本数占总样本数的比例。准确率是最常用的评价指标之一，但在极度不平衡的数据集中可能会失效。精确率(Precision)是指预测为正样本中实际为正样本的比例。精确率衡量的是模型的预测准确性，可以评估模型对于负样本的分类效果。召回率(Recall)是指实际为正样本中被预测为正样本的比例。召回率衡量的是模型的覆盖能力，可以评估模型对于正样本的分类效果。F1分数(F1-score)是指精确率和召回率的加权平均值，是衡量二分类模型综合效果的指标。F1值越高，说明模型的分类效果越好。
为体现模型的有效性，本方法选取了当前研究领域的多个ChatGPT与人类生成文本识别模型，在相同实验环境进行与以下模型进行对比。
(1)GPTClasfier：今年一月底，OpenAI对一个GPT模型进行了微调，应用其发布的GPTClassifier以执行ChatGPT与人类生成文本分类任务。
(2)DetectGPT：最近的ChatGT的发布促使开发了两个新工具，分别是一个名为GPTZero的闭源工具和一个开源工具DetectGPT。DetectGPT使用一个观察结果，即模型生成的文本位于模型对数概率函数的负曲率区域。
(3)GLTR：在发布GPT-2之后，GLTR可视化工具，以帮助人类验证者检测机器生成的文本，其原理是为了生成流畅和自然的文本，大多数解码策略从分布的头部抽取高概率的标记。由于初步测试GLTR的分类效果与GPTZero相似，因此选择了GTLR进行对比试验。
(4)BERT-Fc：用谷歌AI发布的BERT对文本进行特征提取，BERT内部包含12个Transformerencoder层，模型后接全连接层进行分类。
(5)BERT-RCNN：用BERT预训练模型进行特征提取，输出的词向量通过使用Bi-LSTM获得上下文信息，将双向LSTM的隐层输出与encoder输出进行拼接后，接全连接层进行分类。
(6)RoBERTa-Fc：使用RoBERTa得到模型初步特征提取后的词向量，再通过LSTM提取深层语义特征。
(7)RoBERTa-RCNN：使用RoBERTa得到模型初步特征提取后的词向量，然后使用Bi-LSTM获得上下文信息。
上述模型(1)(2)(3)为目前已经投入使用的模型，本团队直接调用的相关模型接口，主要是用于比较RMAP模型相较于这些模型的优越性，模型(4)(5)(6)(7)则是RMAP模型改进的基准。我们分布选取了HC3的5个英文数据子集和5个中文数据子集中的训练集分语种分布进行训练，选用测试集分类结果做完评估模型的指标，为了使实验结果更加真实有效，选取三次重复。
实验结果的中值作为最终结果，具体对比结果如表3：
表3不同模型在不同类型数据上的分类效果
/>
由表3可以看出，在ChatGPT与人类生成文本分类任务中，无论是测试集的准确率、精确度、召回率还是F1分数，RoBERTa明显优于BERT模型，RMAP取得的效果最优。RMAP中文模型在baike、open_qa、finance、medical、nlpcc_dbqa上的准确率为96.07％、94.77％、95.04％、96.44％、96.38％。RMAP英文模型在wiki_csai、open_qa、finance、medical、reddit_eli5上的准确率为95.48％、94.54％、95.01％、96.15％、95.97％。相较于GPTClasfier、DetectGPT、GLTR，准确率提升明显，且无论是在中文检测还是英文检测，分类效果都很稳定。相较于BERT-Fc、BERT-RCNN、RoBERTa-Fc、RoBERTa-RCNN，结合注意力池化的RMAP模型准确率最高。
为进一步体现RMAP融合模型的优越性，本方法对各模型的训练过程进行了进一步探究。图8为在百度百科抓取的baike数据集上，将RMAP中文模型与效果较好的使用RoBERTa、BERT的融合模型进行对比。图9则为在维基百科抓取的wiki_csai数据集上的对比。
从各个模型在训练过程中的验证集准确率(Valaccuracy)随训练周期Epoch变化的曲线可以发现，与其他融合模型相比，RMAP模型收敛速度快，训练过程稳定，整个曲线相对平稳，且准确率高，在第一个Epoch就达到了较高的准确率，且在随后的训练过程中准确率一直领先，体现了多头注意力池化所带来的优势。
为验证本文RMAP模型在分类任务上的有效性，分别在baike和wiki_csai数据集上进行消融实验。去掉标签平滑技术保留数据增强的实验为RMAP(Da-noLb)，去掉数据增强保留标签平滑技术的实验为RMAP(Lb-noDa)，去掉数据增强和标签平滑技术的实验为RMAP(noLb&Da)，分别与本文RMAP模型进行对比，不同模型经过多次实验，消融实验结果如表4所示。
表5消融实验结果
由表4可知，实验组RMAP(Lb-noDa)在原模型RMAP(noLb&Da)基础上均有小幅度提升，证明本文提出的正则化方法具有减少模型过拟合的作用，从而可以更好地泛化。实验组RMAP(Da-noLb)同样在原模型基础上有小幅度提升，证明数据增强的回译技术可以让部分文本扩充文本量，使隐含特征更明显。
本发明通过上述方法，实现了对生成文本的深度特征提取，提高了ChatGPT与人类生成文本的分类效果，达到了高准确识别能力，同时保证了稳健的泛化能力；通过RoBERTa和RCNN模型，结合多头注意力思想改进最大池化层，实现对中文和英文文本的深度特征提取；在激活层Swish函数代替ReLU函数，提高ChatGPT与人类生成文本分类效果；用回译技术解决短文本的语义稀疏问题；用标签平滑方法避免过拟合，确保模型的泛化性。
与此同时，还实现了支持双语种地同时，满足了用户的高效率、多样性检测需求；支持中英文检测，对国内用户友好；实现了多文件批量检测，大大的提高了检测效率；不论是单文件还是多文件检测，我们均支持多种类型文件检测，文件类型可以是txt，doc，docx和pdf；不同类型文件也可同时混合上传检测。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种GPT生成语言识别与检测系统，其特征在于，包括用户网页端、前端组成和模型与算法模块；
用户网页端包含有文本检测界面、单个文件检测界面和多个文本批量检测界面；
前端组成包含有HTML、CSS和JavaScript算法，用于前端展示和列序；
所述模型与算法模块包含有回译模块和RMAP模型，其中RMAP模型包含有RoBERTa转换词向量模块、RCNN卷积神经网络、多头注意力池化和标签平滑正则化单元，用于形成人类与ChatGPT对比中英文数据库以及对生成语言的识别；
回译模块包含有后端文件转文本和文本分类器，其中后端文件转文本包含有PHP算法，用于接受来自JavaScript的文本信息并提取文本信息；文本分类器包含有Python，用于对文本类型分类；
模型与算法模块包含有如下步骤
S1.RoBERTa转换词向量模块分别调用中文与英文RoBERTa模型，从词嵌入层获取初始字向E1～En然后输入到多层双向Transformer编码器中以获得带有特征信息的向量T1～Tn，以此将输入的文本信息形成预处理后文本的向量表示返回；
S2.通过RCNN卷积神经网络作为深度特征提取模块，将输入的预处理文本向量表示处理为文本词向量表示输出；
S3.通过多头注意力池化，将处理后的文本词向量输入后处理为二分类结果；
S31.当模型在训练过程中面对数据较少或特征量较少时，采用标签平滑正则化单元，通过输入文本特征向量表示，并设置真实的标签以及平滑因子，调节平滑程度后，即可输出经过平滑法处理后的预测结果。
2.根据权利要求1所述的一种GPT生成语言识别与检测系统，其特征在于，所述回译模块主要用删除重复的语句、进行分词和去除无用的词汇，先对句子进行分词，删除重复语句，基于HC3数据集预处理。
3.根据权利要求1所述的一种GPT生成语言识别与检测系统，其特征在于，S2中，在经典RCNN模型的词表示学习过程中采用BiLSTM获得文本的上下文信息并将BiLSTM获得的隐层输出与词向量拼接组合为新的词表示，具体公式如下
cl(ωi)＝f(W(l) cl(ωi-1)+W(sl) e(ωi-1))
cr(ωi)＝f(W(r) cr(ωi+1)+W(sr)e(ωi+1))，
其中：c1(ωi)表示第i个目标词上下文的上文；cr(ωi)表示第i个目标词上下文的下文，它们都是维度为c的向量；e(ωi-1)和e(ωi+1)分别表示第i-1和i+1个词的词向量；W(1)，W(r)∈Rc×c是当前隐藏层转换到下一个隐藏层的权重矩阵；W(s1)和W(sr)是将当前词的语义与下一个词的上下文进行语义结合的矩阵；f为非线性激活函数；
获取目标词上下文表示后，将其与目标词的词向量进行拼接：
xi＝[cl(ωi)；e(ωi)；cr(ωi)]
一条文本的词表示通过xi拼接后可以表示为：
X＝[x1，x2，...，xi]
文本词向量表示通过映射后，进行激活函数的处理，
Yi＝f(WiX+bi)
其中，映射矩阵Wi∈R为属于CNN过滤器的权重；bi是偏置量；f(WiX+bi)代表激活函数，在此选用更适合深度特征提取与分类的Swish激活函数：
f(x)＝xsigmoid(βx)；
β为变量x的缩放参数，本步骤的缩放参数的取值为1。
4.根据权利要求1所述的一种GPT生成语言识别与检测系统，其特征在于，S3中，在进行文本分类时，将每条文本的向量作为q、k、v分别映射到不同子空间中矩阵乘积过程为矩阵乘积过程为：
[q1，q2，...，qh]Wqh＝[q1 Wq1，q2 Wn2，...，qh Wqh]＝[Q1，Q2，...，Qh]，[k1，k2，...，kh]Wkh＝[k1 Wk1，k2 Wk2，...，kh Wkh]＝[K1，K2，...，Kh]，[v1，v2，...，vh]Wvh＝[v1 Wv1，v2 Wv2，...，vhWvh]＝[V1，V2，...，Vh]，
其中：qh、kh、vh为多头注意力各子空间的查询、键、值；Wqh、Wkh、Wvh为在训练中随机生成的权重矩阵；h为子空间的数量；
多头自注意力机制采用缩放点积注意力，计算公式为：
其中，F函数采用了放缩机制，通过使用softmax函数利用注意力分数ui计算注意力的权重分布ai：
对V加权求和得到注意力机制的输出，多头注意力机制的计算过程为：
hi＝Attention Value(QWqi，KWki，VWvi)
MultiheadAtt＝Concat(h1，h2，...，hi)Wo
最大池化层的基本操作是为词向量矩阵的每一个维度都设定一个滑动窗口，去掉文本词向量中其他的值，仅保留维度中最大的值：
Mp＝maxpooling(y1，y2，...，yi)
最大池化层保留了文本单个关键信息，注意力机制则注意到与输入文本关联大的局部信息，引入多头的思想进一步提取文本所有特征。将最大池化层、多头注意力模块的结果进行融合，并通过全连接层可得：
最后将全连接层的输出通过改进的softmax函数得到文本分类概率分布P，再取概率最大值对应的标签为分类结果。
5.根据权利要求4所述的一种GPT生成语言识别与检测系统，其特征在于，S31中，模型会根据当前文本对应的各个类别返回一个置信分数，再经过softmax归一化处理，得到当前文本属于某一个类别的概率p，x作为训练的输入，得到的每一个类i的概率为：
文本分类使用的交叉熵损失函数为：
其中，qi为真实标签概率。文本分类模型的训练数据是以文本正确标签和错误标签差值最小为目标来学习的，当训练数据有限时，会导致过拟合问题的发生，故对Loss进行了改进：
其中，本步骤取超参数ε＝0.1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310742557.1A CN116757164A (zh) | 2023-06-21 | 2023-06-21 | 一种gpt生成语言识别与检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310742557.1A CN116757164A (zh) | 2023-06-21 | 2023-06-21 | 一种gpt生成语言识别与检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116757164A true CN116757164A (zh) | 2023-09-15 |
Family
ID=87958688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310742557.1A Withdrawn CN116757164A (zh) | 2023-06-21 | 2023-06-21 | 一种gpt生成语言识别与检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116757164A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117151084A (zh) * | 2023-10-31 | 2023-12-01 | 山东齐鲁壹点传媒有限公司 | 一种中文拼写、语法纠错方法、存储介质及设备 |
| CN117171653A (zh) * | 2023-11-02 | 2023-12-05 | 成方金融科技有限公司 | 一种识别信息关系的方法、装置、设备及存储介质 |
| CN117313709A (zh) * | 2023-11-29 | 2023-12-29 | 中国科学技术大学 | 一种基于统计信息和预训练语言模型的生成文本检测方法 |
| CN117392551A (zh) * | 2023-12-12 | 2024-01-12 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸟粪图像特征的电网鸟害识别方法及系统 |
-
2023
- 2023-06-21 CN CN202310742557.1A patent/CN116757164A/zh not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117151084A (zh) * | 2023-10-31 | 2023-12-01 | 山东齐鲁壹点传媒有限公司 | 一种中文拼写、语法纠错方法、存储介质及设备 |
| CN117151084B (zh) * | 2023-10-31 | 2024-02-23 | 山东齐鲁壹点传媒有限公司 | 一种中文拼写、语法纠错方法、存储介质及设备 |
| CN117171653A (zh) * | 2023-11-02 | 2023-12-05 | 成方金融科技有限公司 | 一种识别信息关系的方法、装置、设备及存储介质 |
| CN117171653B (zh) * | 2023-11-02 | 2024-01-23 | 成方金融科技有限公司 | 一种识别信息关系的方法、装置、设备及存储介质 |
| CN117313709A (zh) * | 2023-11-29 | 2023-12-29 | 中国科学技术大学 | 一种基于统计信息和预训练语言模型的生成文本检测方法 |
| CN117313709B (zh) * | 2023-11-29 | 2024-03-29 | 中国科学技术大学 | 一种基于统计信息和预训练语言模型的生成文本检测方法 |
| CN117392551A (zh) * | 2023-12-12 | 2024-01-12 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸟粪图像特征的电网鸟害识别方法及系统 |
| CN117392551B (zh) * | 2023-12-12 | 2024-04-02 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸟粪图像特征的电网鸟害识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298037B (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
| CN110633409B (zh) | 一种融合规则与深度学习的汽车新闻事件抽取方法 | |
| CN116757164A (zh) | 一种gpt生成语言识别与检测系统 | |
| Zhu et al. | GL-GCN: Global and local dependency guided graph convolutional networks for aspect-based sentiment classification | |
| CN113673254B (zh) | 基于相似度保持的知识蒸馏的立场检测方法 | |
| CN114528827A (zh) | 一种面向文本的对抗样本生成方法、系统、设备及终端 | |
| CN109271524A (zh) | 知识库问答系统中的实体链接方法 | |
| CN115759092A (zh) | 一种基于albert的网络威胁情报命名实体识别方法 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN113486645A (zh) | 一种基于深度学习的文本相似度检测方法 | |
| CN116246279A (zh) | 一种基于clip背景知识的图文特征融合方法 | |
| CN111967267A (zh) | 一种基于XLNet的新闻文本地域提取的方法及系统 | |
| Cai | Automatic essay scoring with recurrent neural network | |
| CN114398900A (zh) | 一种基于RoBERTa模型的长文本语义相似度计算方法 | |
| Tarride et al. | A comparative study of information extraction strategies using an attention-based neural network | |
| CN117034948B (zh) | 基于多特征自适应融合的段落识别方法、系统及存储介质 | |
| CN113076744A (zh) | 一种基于卷积神经网络的文物知识关系抽取方法 | |
| Tao et al. | Leveraging pattern semantics for extracting entities in enterprises | |
| CN114169447B (zh) | 基于自注意力卷积双向门控循环单元网络的事件检测方法 | |
| CN113569044B (zh) | 一种基于自然语言处理技术的网页文本内容的分类方法 | |
| Singh et al. | Deep Learning based Abstractive Summarization for English Language | |
| CN114648029A (zh) | 一种基于BiLSTM-CRF模型的电力领域命名实体识别方法 | |
| CN114595687A (zh) | 基于BiLSTM的老挝语文本正则化方法 | |
| Su et al. | FPRNet: end-to-end full-page recognition model for handwritten Chinese essay | |
| Li et al. | Grading Chinese answers on specialty subjective questions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230915 |
|
| WW01 | Invention patent application withdrawn after publication |