CN117056522B - 一种互联网言论优化处理方法、介质及系统 - Google Patents
一种互联网言论优化处理方法、介质及系统 Download PDFInfo
- Publication number
- CN117056522B CN117056522B CN202311307662.9A CN202311307662A CN117056522B CN 117056522 B CN117056522 B CN 117056522B CN 202311307662 A CN202311307662 A CN 202311307662A CN 117056522 B CN117056522 B CN 117056522B
- Authority
- CN
- China
- Prior art keywords
- language
- text
- bad
- speaker
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000006467 substitution reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 7
- 230000011664 signaling Effects 0.000 abstract 1
- 238000012549 training Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 238000012795 verification Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010197 meta-analysis Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- INFDPOAKFNIJBF-UHFFFAOYSA-N paraquat Chemical compound C1=C[N+](C)=CC=C1C1=CC=[N+](C)C=C1 INFDPOAKFNIJBF-UHFFFAOYSA-N 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种互联网言论优化处理方法、介质及系统，属于互联网言论优化处理技术领域，该方法包括：连续获取互联网用户的言论文本；利用预先训练好的不良言论分析模型对言论文本进行不良言论计算，得到不良言论标记；对言论文本进行分词，得到言论词集；对每个言论词进行同义字、同音字、形近字扩展，形成言论词矩阵；对言论词矩阵组合形成言论生成文本集；使用模型对言论生成文本集中的每个言论生成文本进行不良言论计算，得到不良言论标记则将不良言论标记映射到言论文本上；根据得到的不良言论标记对言论文本进行优化处理。能够解决现有技术无法识别和处理谐音暗语、网络词汇、结合上下文语境的恶意揶揄讽刺的技术问题。
Description
技术领域
本发明属于互联网言论优化处理技术领域，具体而言，涉及一种互联网言论优化处理方法、介质及系统。
背景技术
在现代社交网络时代，人们频繁地使用文字进行沟通，如聊天工具、文章博客、评论留言、弹幕飘屏等形式，公开地发表自己的言论和观点。然而，由于网络上言论自由、匿名性等特点，经常有用户发出不良言论，因此寻找一种切实有效的针对网络不良言论的识别过滤的方法，比以往更加急切。
目前市场上已有的不良言论处理软件多数都是采用过滤的方法，往往是基于词语、短语的匹配，通过是对用户的言论做分词切割，再与负面词库做匹配，此方式只能识别一些简单的关键词，无法有效过滤出更为隐晦的不良言论。尤其是面对谐音暗语、网络词汇、结合上下文语境的恶意揶揄讽刺，传统的不良言论处理软件无法识别和处理。
发明内容
有鉴于此，本发明提供一种互联网言论优化处理方法、介质及系统，能够解决现有技术无法识别和处理谐音暗语、网络词汇、结合上下文语境的恶意揶揄讽刺的技术问题。
本发明是这样实现的：
本发明的第一方面提供一种互联网言论优化处理方法，其中，包括以下步骤：
S10、连续获取互联网用户的言论文本，至少包括文章文本、文字对话；
S20、利用预先训练好的不良言论分析模型对所述言论文本进行不良言论计算，得到不良言论标记并继续执行步骤S70，若本步骤不能得到不良言论标记则继续执行步骤S30；
S30、对所述言论文本进行分词，得到言论词集；
S40、对言论词集中的每个言论词进行同义字、同音字、形近字扩展，形成言论词矩阵；
S50、对所述言论词矩阵进行组合，形成言论生成文本集，包含多个言论生成文本；
S60、使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算，得到不良言论标记则将不良言论标记映射到所述言论文本上，并继续执行步骤S70；若不能得到不良言论标记，则停止后续步骤继续执行，并返回结果为所述言论文本中无不良言论；
S70、根据得到的不良言论标记对言论文本进行优化处理。
在上述技术方案的基础上，本发明的一种互联网言论优化处理方法还可以做如下改进:
其中，所述不良言论分析模型的建立步骤，具体包括：
建立微调数据集、所述微调数据集为互联网审查部门对用户言论的审查数据，其中微调的输入为用户言论，微调的输出为用户言论对应的不良言论人工审查标记；
选择基础模型、使用大语言模型作为基础模型；
模型微调、利用微调数据集对大语言模型进行微调，得到不良言论分析模型。
其中，所述对所述言论文本进行分词的步骤中，采用的分词方法为大语言模型分词法。
其中，所述对言论词集中的每个言论词进行同义字、同音字、形近字扩展，形成言论词矩阵的步骤，具体包括：
对言论词集中的每个言论词进行同义词、同音字、形近字扩展；
组合扩展结果,构建词扩展矩阵作为言论词矩阵。
其中，所述使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算的步骤中，利用连续获取的言论文本作为上下文语境。
进一步的，所述使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算的步骤中，采用通过LangChain提供不良言论分析模型的会话记忆。
其中，将不良言论标记映射到所述言论文本上的方法为：将不良言论标记根据所述言论文本和言论生成文本的言论词对应关系映射到所述言论文本上。
其中，所述根据得到的不良言论标记对言论文本进行优化处理的方法为：使用大语言模型对言论文本中的不良言论标记处进行文字替换。
本发明的第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行上述的互联网言论优化处理方法。
本发明的第三方面提供一种互联网不良言论处理系统，其中，包括上述的计算机可读存储介质。
与现有技术相比较，本发明提供的一种互联网言论优化处理方法、介质及系统的有益效果是：
1.提高了对网络新兴语言的适应能力
-利用大语言模型进行动态分词,可以对网络新词、小语言团体语言进行更好的处理。
-同义词、同音字等扩展丰富了语言表达空间。
2.强化了对潜在不良信息的识别能力
-语言生成技术扩大检测语料规模和语言组合情况。
-情感控制生成使得训练覆盖更多潜在不友好信息。
3.更全面和高效的不良信息过滤
-语言模型判断+人工核查的模式综合两种优势。
-多模型融合提升判断的鲁棒性。
4.减少了模型迭代成本
-生成新语料避免人工标注大量数据。
-语言模型替换降低了手动修改费用。
5.用户体验更友好
-自动替换修复了部分不良内容。
-保留正面信息,避免过度删除影响阅读。
综上所述,本发明在网络词汇适应性、不良信息识别能力、过滤效率等方面显示出优势,能够解决现有技术无法识别和处理谐音暗语、网络词汇、结合上下文语境的恶意揶揄讽刺的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种互联网言论优化处理方法的流程图；
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，是本发明第一方面提供一种互联网言论优化处理方法的流程图，本方法包括以下步骤：
S10、连续获取互联网用户的言论文本，至少包括文章文本、文字对话；
S20、利用预先训练好的不良言论分析模型对言论文本进行不良言论计算，得到不良言论标记并继续执行步骤S70，若本步骤不能得到不良言论标记则继续执行步骤S30；
S30、对言论文本进行分词，得到言论词集；
S40、对言论词集中的每个言论词进行同义字、同音字、形近字扩展，形成言论词矩阵；
S50、对言论词矩阵进行组合，形成言论生成文本集，包含多个言论生成文本；
S60、使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算，得到不良言论标记则将不良言论标记映射到言论文本上，并继续执行步骤S70；若不能得到不良言论标记，则停止后续步骤继续执行，并返回结果为言论文本中无不良言论；
S70、根据得到的不良言论标记对言论文本进行优化处理。
其中，在上述技术方案中，不良言论分析模型的建立步骤，具体包括：
建立微调数据集、微调数据集为互联网审查部门对用户言论的审查数据，其中微调的输入为用户言论，微调的输出为用户言论对应的不良言论人工审查标记；
选择基础模型、使用大语言模型作为基础模型；
模型微调、利用微调数据集对大语言模型进行微调，得到不良言论分析模型。
具体而言，建立不良言论分析模型的步骤的具体实施方式描述如下：
1、微调数据集的构建
(1)获取互联网审查部门对用户言论的审查样本数据。样本数据需包含用户原始言论文本和对应的人工审查结果(是否包含不良信息,不良类型等)。
(2)对样本数据进行整理和处理。过滤掉文本量过少或审查结果标注不明确的样本；对文本进行清洗,处理明显错误的标注结果。
(3)按照训练、验证、测试集的比例划分样本数据。常见的比例为6:2:2或7:2:1。
(4)考虑样本数据的类别均衡性。不同类型的不良言论样本要尽量均衡,防止某些类别样本量过少导致模型拟合效果不佳。
2、基础模型的选择
(1)选择大规模预训练语言模型(LLM)作为基础模型,如ChatGLM、星火大模型等。这些模型在大规模文本数据上进行预训练,可提取文本的语义特征。
(2)根据具体使用场景选择合适的预训练模型。例如对话场景可以选择对话式模型,文章场景可以选择文本生成模型等。
(3)考虑模型规模。通常大模型效果好,但计算资源消耗大。可根据实际情况选择合适规模的模型。
3、模型微调
(1)初始化微调模型。采用预选好的预训练语言模型,加载其预训练权重作为模型初始化。
(2)构建微调任务。将模型输出层改为二分类输出,预测输入文本是否包含不良信息。
(3)配置微调超参数。包括batch size、学习率、训练轮数等。可先采用默认值,后期按效果调整。
(4)使用微调数据集对模型进行微调。采用交叉熵损失函数训练模型参数。
(5)评估模型效果。在验证集上评估微调后的模型,计算精确率、召回率、F1分数等指标。
(6)根据评估结果调整模型结构和超参数,选择最佳模型。
4、可选的，模型优化与迭代
(1)收集更多实际样本数据,扩充微调数据集,提升模型鲁棒性。
(2)尝试不同结构的预训练语言模型和微调方法。
(3)采用集成学习的思想,整合多个模型的判断,提高判断准确率。
(4)持续关注行业前沿技术进展,及时迭代升级,如采用更优秀的预训练模型等。
(5)部署联合人工校验机制。重点难判断样本可以提交给专业审核人员判定,供模型继续学习。
5、可选的，模型部署与应用
(1)将优化后的模型部署到实际生产环境中。
(2)接入实时的用户言论文本流,进行不良信息判断。
(3)对判定为包含不良信息的言论,根据处理策略进行后续处理。例如预警、过滤、记录等。
(4)对过滤错判的样本进行反馈记录,供后续模型迭代优化。
(5)考虑部署方式的可扩展性、可靠性和高效性,保证判断服务的稳定性。
(6)评估模型在实际应用中的效果,根据反馈不断优化完善。
由于人工审查能够识别谐音暗语、网络词汇、结合上下文语境的恶意揶揄讽刺，因此利用人工审查的数据作为微调数据集，能够使得训练后的大语言模型居于识别谐音暗语、网络词汇、结合上下文语境的恶意揶揄讽刺的能力。
其中，在上述技术方案中，对言论文本进行分词的步骤中，采用的分词方法为大语言模型分词法。
具体的，步骤S30的实施方式描述如下：
1、大语言模型选型
选择合适的预训练语言模型。考虑模型规模、语料库、训练任务等因素。优选BERT或ChatGLM6B；
例如,选择基于百科类语料预训练的BERT模型,可以识别常见词汇。
2、构建动态词表
(1)收集新的网络词汇,如流行语、群体词汇等,构建动态新词词表。
(2)将新词词表与BERT词表合并,获得新的动态词表。
3、微调语言模型
(1)采用含有新词词表的文本训练语料,对语言模型进行微调。
(2)微调目标是最大化文本序列的概率J(θ)，描述公式为:
其中,wt是文本序列的第t个词,T是文本序列长度,θ是模型参数。
3、通过反向传播算法更新模型参数θ,完成微调。
4、基于微调语言模型的分词
(1)输入需要分词的文本序列S。
(2)计算S关于当前动态词表的各个可能分词情况下的概率。
(3)选择概率最大的分词结果作为最终分词结果。
通过上述流程,可以利用大语言模型的能力,实现对网络词汇和小语言团体语言的适应,从而提高分词效果。后续还可以考虑利用可解释性技术分析模型的分词决策过程,进一步完善分词方法。
下面给出一个建立不良言论分析模型的实施例
微调数据集的构建
(1)从互联网审查部门获取用户言论的审查样本数据。用D表示样本数据集，其中n是样本数量，xi表示第i个样本的用户言论文本，yi表示对应的人工审查结果，即是否包含不良信息，不良类型等。
(2)对样本数据进行整理和处理。这一步是数据预处理，包括过滤掉文本量过少或审查结果标注不明确的样本，对文本进行清洗，处理明显错误的标注结果。预处理的目标是减少噪声和不相关的信息，提高模型的性能。
(3)按照训练、验证、测试集的比例划分样本数据。设训练集比例为p1，验证集比例为p2，测试集比例为p3，其中p1+p2+p3＝1，常见的比例如p1:p2:p3＝6:2:2或7:2:1。
(4)考虑样本数据的类别均衡性。设各类不良言论的样本数量为n1,n2,...,nk，其中k是不良类型的数量，为了避免某些类别样本量过少导致模型拟合效果不佳，需要使得n1:n2:...:nk尽可能接近1:1:...:1。
基础模型的选择
(1)选择大规模预训练语言模型(LLM)作为基础模型，比如ChatGlm6B。设预训练模型为M，其参数为θ，代表模型的权重，模型M在大规模文本数据上进行预训练，可以提取文本的语义特征。
(2)根据具体使用场景选择合适的预训练模型。设场景为S，则选择的模型M需要满足M(S)的性能最优。
(3)考虑模型规模。设模型规模为size(M)，通常大模型效果好，但计算资源消耗大，因此需要根据实际情况选择合适规模的模型，即优化目标为minimize size(M),根据硬件资源进行自定义，默认的可以设置规模size(M)＝2000轮。
模型微调
(1)初始化微调模型。设微调模型为M′，其参数为θ′，则有θ′＝θ，即加载预选好的预训练语言模型的预训练权重作为模型初始化。
(2)构建微调任务。将模型输出层改为二分类输出，预测输入文本是否包含不良信息，即其中/>是模型预测的第i个样本的审查结果。
(3)配置微调超参数。设超参数为α，包括batch size、学习率、训练轮数等。
(4)使用微调数据集对模型进行微调。设损失函数为L，则有其中/>表示模型预测的审查结果与实际审查结果的差异，采用交叉熵损失函数训练模型参数，即优化目标为/>一般的，可以设置优化目标的值为0.03。
(5)评估模型效果。在验证集上评估微调后的模型，计算精确率 召回率F1分数/>其中TP是真正例数，TP是假正例数，FN是假负例数。
(6)根据评估结果调整模型结构和超参数，选择最佳模型，即优化目标为maximizeF1，也就是说，寻求的目标模型能够实现最大的F1。
这一实施例可以建立一个基于大规模预训练语言模型的不良言论分析模型，并通过模型微调和优化，达到较好的判断效果。
其中，在上述技术方案中，对言论词集中的每个言论词进行同义字、同音字、形近字扩展，形成言论词矩阵的步骤，具体包括：
对言论词集中的每个言论词进行同义词、同音字、形近字扩展；
组合扩展结果,构建词扩展矩阵作为言论词矩阵。
具体的，步骤S40的实施方式描述如下：
一、构建同义词林
1.收集各领域同义词词林资源,包含常用同义词、网络词汇同义词等；
2.对资源进行清洗整合,构建同义词林S。针对一个词wi,找到其所有同义词集合:S(wi)＝s1,s2,…,sm；m表示同义词个数；
3.通过人工校验,确保同义词之间语义一致；
二、收集同音字表
1.收集汉字同音字资源,包含形近同音字、谐音字等。；
2.整理为同音字替换表H。针对一个词whi,找到其所有同音字集合:H(whi)＝h1,h2,…,hn；n表示同音词个数；
三、建立形近字表
1.收集汉字形近资源,包括偏旁部首、笔画顺序或个数相近的汉字；
2.构建形近字替换表X。针对一个词whi,找到其所有形近字集合:X(whi)＝x1,x2,…,xk；k表示形近字数量；
四、进行同义词、同音字、形近字扩展
对于分词得到的词whi:
1.在同义词林中查找其同义词集合S(whi)；
2.在同音字表中查找其同音字集合H(whi)；
3.在形近字表中查找其形近字集合X(whi)；
4.将上述三个集合组合,构建扩展集合:
E(whi)＝S(whi)∪H(whi)∪X(whi)；
五、词扩展矩阵构建
1.对分词结果中的每个词whi,应用上述扩展,查找其扩展集合E(whi)；
2.将一个分词结果表示为词向量(wh1,wh2,…,whN)；N表示言论词集中的言论词的数量；
3.通过词扩展,获得所有可能的扩展词矩阵作为言论词矩阵:
(E(wh1),E(wh2),…,E(whN))。
其中，在上述技术方案中，使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算的步骤中，利用连续获取的言论文本作为上下文语境。
网络暴力言论不仅限于粗言粗语，有时阴阳怪气、揶揄讽刺更能破坏他人的心态。这种表面看似文明的文字，往往需要结合上下文语境，识别难度更高。得益于大语言模型强大的上下文分析总结能力，可以识别不同语境下的恶意揶揄讽刺，解决了传统的关键词过滤对其束手无策的问题。
进一步的，在上述技术方案中，使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算的步骤中，采用通过LangChain提供不良言论分析模型的会话记忆。
同一主题的互联网言论通常是逐步增加的，且主要集中在同一时间段，如同一篇博客的评论区、同一个视频的弹幕，新增的评论、弹幕会集中在文章、视频刚发布的一段时间内。如果每次识别不良言论都从头开始拉取上下文，耗时耗力，效率较低。LangChain是一个开源框架，允许从事人工智能的开发者将例如ChatGlm6B或ChatGlm130B的大语言模型与外部计算和数据来源结合起来。通过LangChain开发模型的会话记忆功能，按不同会话维持一个记忆存储作为缓存，并设置一个合适的缓存过期时间，即可减少大量重复的拉取动作，降本增效。
其中，在上述技术方案中，将不良言论标记映射到言论文本上的方法为：将不良言论标记根据言论文本和言论生成文本的言论词对应关系映射到言论文本上。
其中，在上述技术方案中，根据得到的不良言论标记对言论文本进行优化处理的方法为：使用大语言模型对言论文本中的不良言论标记处进行文字替换。
目前有部分互联网平台在过滤不良言论时，只是单纯的阻止客户提交发言，或将不文明字眼以星号代替。用户在正常发言时可能无意间触发了关键词过滤，导致发言失败。或者用户负面发言时，故意添加分隔符，避开关键词的审查。
大语言模型可以根据语境理解，更精确地识别原文逻辑思路对不良言论标记处进行文字替换，甚至填补和续写文字，在过滤掉不良言论后，可以用文明得体的文字补充优化原文，大大增强用户体验。如发现评论中存在负面言论，首先尝试在保持原意的情况下，以积极正确的价值观、文明友善的语气进行改写，并将改写后的文字通过弹窗等形式展示，提示用户言论需要修改，并请客户确认是否按照修改后的文字进行评论。如原评论无实际意义，则阻止用户发表评论，同时建议用户进行修改，遵守网络礼仪。
本发明的第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行上述的互联网言论优化处理方法。
本发明的第三方面提供一种互联网不良言论处理系统，其中，包括上述的计算机可读存储介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种互联网言论优化处理方法，其特征在于，包括以下步骤：
S10、连续获取互联网用户的言论文本，至少包括文章文本、文字对话；
S20、利用预先训练好的不良言论分析模型对所述言论文本进行不良言论计算，得到不良言论标记并继续执行步骤S70，若本步骤不能得到不良言论标记则继续执行步骤S30；
S30、对所述言论文本进行分词，得到言论词集；
S40、对言论词集中的每个言论词进行同义字、同音字、形近字扩展，形成言论词矩阵；
S50、对所述言论词矩阵进行组合，形成言论生成文本集，包含多个言论生成文本；
S60、使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算，得到不良言论标记则将不良言论标记映射到所述言论文本上，并继续执行步骤S70；若不能得到不良言论标记，则停止后续步骤继续执行，并返回结果为所述言论文本中无不良言论；
S70、根据得到的不良言论标记对言论文本进行优化处理；
其中，所述使用预先训练好的不良言论分析模型对言论生成文本集中的每个言论生成文本进行不良言论计算的步骤中，利用连续获取的言论文本作为上下文语境，采用通过LangChain提供不良言论分析模型的会话记忆。
2.根据权利要求1所述的一种互联网言论优化处理方法，其特征在于，所述不良言论分析模型的建立步骤，具体包括：
建立微调数据集、所述微调数据集为互联网审查部门对用户言论的审查数据，其中微调的输入为用户言论，微调的输出为用户言论对应的不良言论人工审查标记；
选择基础模型、使用大语言模型作为基础模型；
模型微调、利用微调数据集对大语言模型进行微调，得到不良言论分析模型。
3.根据权利要求1所述的一种互联网言论优化处理方法，其特征在于，所述对所述言论文本进行分词的步骤中，采用的分词方法为大语言模型分词法。
4.根据权利要求1所述的一种互联网言论优化处理方法，其特征在于，所述对言论词集中的每个言论词进行同义字、同音字、形近字扩展，形成言论词矩阵的步骤，具体包括：
对言论词集中的每个言论词进行同义词、同音字、形近字扩展；
组合扩展结果,构建词扩展矩阵作为言论词矩阵。
5.根据权利要求1所述的一种互联网言论优化处理方法，其特征在于，将不良言论标记映射到所述言论文本上的方法为：将不良言论标记根据所述言论文本和言论生成文本的言论词对应关系映射到所述言论文本上。
6.根据权利要求1所述的一种互联网言论优化处理方法，其特征在于，所述根据得到的不良言论标记对言论文本进行优化处理的方法为：使用大语言模型对言论文本中的不良言论标记处进行文字替换。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行权利要求1-6任一项所述的互联网言论优化处理方法。
8.一种互联网不良言论处理系统，其特征在于，包括权利要求7所述的计算机可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311307662.9A CN117056522B (zh) | 2023-10-11 | 2023-10-11 | 一种互联网言论优化处理方法、介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311307662.9A CN117056522B (zh) | 2023-10-11 | 2023-10-11 | 一种互联网言论优化处理方法、介质及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117056522A CN117056522A (zh) | 2023-11-14 |
| CN117056522B true CN117056522B (zh) | 2024-03-15 |
Family
ID=88664787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311307662.9A Active CN117056522B (zh) | 2023-10-11 | 2023-10-11 | 一种互联网言论优化处理方法、介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117056522B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977416A (zh) * | 2019-04-03 | 2019-07-05 | 中山大学 | 一种多层次自然语言反垃圾文本方法及系统 |
| CN110196894A (zh) * | 2019-05-30 | 2019-09-03 | 北京百度网讯科技有限公司 | 语言模型的训练方法和预测方法 |
| CN110569502A (zh) * | 2019-07-31 | 2019-12-13 | 苏宁云计算有限公司 | 一种违禁广告语的识别方法、装置、计算机设备及存储介质 |
| CN112036167A (zh) * | 2020-08-25 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN112784016A (zh) * | 2021-01-27 | 2021-05-11 | 上海连尚网络科技有限公司 | 一种检测言论信息的方法与设备 |
| CN113704472A (zh) * | 2021-08-30 | 2021-11-26 | 济南大学 | 基于主题记忆网络的仇恨和攻击性言论识别方法及系统 |
| CN114611504A (zh) * | 2022-03-04 | 2022-06-10 | 网易（杭州）网络有限公司 | 用户言论、风险用户的识别方法及相关装置 |
| WO2023093525A1 (zh) * | 2021-11-23 | 2023-06-01 | 中兴通讯股份有限公司 | 模型训练方法、中文文本纠错方法、电子设备和存储介质 |
| WO2023092961A1 (zh) * | 2022-04-27 | 2023-06-01 | 之江实验室 | 一种用于舆情文本分析的半监督方法和装置 |
| CN116720515A (zh) * | 2023-06-05 | 2023-09-08 | 上海识装信息科技有限公司 | 基于大语言模型的敏感词审核方法、存储介质及电子设备 |
-
2023
- 2023-10-11 CN CN202311307662.9A patent/CN117056522B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977416A (zh) * | 2019-04-03 | 2019-07-05 | 中山大学 | 一种多层次自然语言反垃圾文本方法及系统 |
| CN110196894A (zh) * | 2019-05-30 | 2019-09-03 | 北京百度网讯科技有限公司 | 语言模型的训练方法和预测方法 |
| CN110569502A (zh) * | 2019-07-31 | 2019-12-13 | 苏宁云计算有限公司 | 一种违禁广告语的识别方法、装置、计算机设备及存储介质 |
| CN112036167A (zh) * | 2020-08-25 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、服务器及存储介质 |
| CN112784016A (zh) * | 2021-01-27 | 2021-05-11 | 上海连尚网络科技有限公司 | 一种检测言论信息的方法与设备 |
| CN113704472A (zh) * | 2021-08-30 | 2021-11-26 | 济南大学 | 基于主题记忆网络的仇恨和攻击性言论识别方法及系统 |
| WO2023093525A1 (zh) * | 2021-11-23 | 2023-06-01 | 中兴通讯股份有限公司 | 模型训练方法、中文文本纠错方法、电子设备和存储介质 |
| CN114611504A (zh) * | 2022-03-04 | 2022-06-10 | 网易（杭州）网络有限公司 | 用户言论、风险用户的识别方法及相关装置 |
| WO2023092961A1 (zh) * | 2022-04-27 | 2023-06-01 | 之江实验室 | 一种用于舆情文本分析的半监督方法和装置 |
| CN116720515A (zh) * | 2023-06-05 | 2023-09-08 | 上海识装信息科技有限公司 | 基于大语言模型的敏感词审核方法、存储介质及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Intention-aware multi-channel keyword extension for content security;Chunjing Qiu et al.;2018 IEEE Third International Conference on Data Science in Cyberspace (DSC). Proceedings;20180719;第788-794页 * |
| 运用查询扩展技术的网民言论与舆论话题相关性研究;吴越;周安民;丁雪峰;胡勇;;计算机应用研究;20110315(03);第1145-1151页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117056522A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11693894B2 (en) | Conversation oriented machine-user interaction | |
| CN110110062B (zh) | 机器智能问答方法、装置与电子设备 | |
| Xu et al. | Exploiting shared information for multi-intent natural language sentence classification. | |
| US9081411B2 (en) | Rapid development of virtual personal assistant applications | |
| CN111708869B (zh) | 人机对话的处理方法及装置 | |
| CN112270379A (zh) | 分类模型的训练方法、样本分类方法、装置和设备 | |
| CN110765759B (zh) | 意图识别方法及装置 | |
| US20230350929A1 (en) | Method and system for generating intent responses through virtual agents | |
| CN106202153A (zh) | 一种es搜索引擎的拼写纠错方法及系统 | |
| US11481387B2 (en) | Facet-based conversational search | |
| CN108538294B (zh) | 一种语音交互方法及装置 | |
| JP2016513269A (ja) | 音響言語モデルトレーニングのための方法およびデバイス | |
| CN109741735B (zh) | 一种建模方法、声学模型的获取方法和装置 | |
| CN111339772B (zh) | 俄语文本情感分析方法、电子设备和存储介质 | |
| CN114444462B (zh) | 模型训练方法及人机交互方法、装置 | |
| CN110633464A (zh) | 一种语义识别方法、装置、介质及电子设备 | |
| KR20220128397A (ko) | 자동 음성 인식을 위한 영숫자 시퀀스 바이어싱 | |
| CN113609849A (zh) | 一种融合先验知识模型的蒙古语多模态细粒度情感分析方法 | |
| CN115497465A (zh) | 语音交互方法、装置、电子设备和存储介质 | |
| CN114091469B (zh) | 基于样本扩充的网络舆情分析方法 | |
| CN108021565B (zh) | 一种基于对话的用户满意度的分析方法及装置 | |
| CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
| CN116757195B (zh) | 一种基于提示学习的隐性情感识别方法 | |
| CN117056522B (zh) | 一种互联网言论优化处理方法、介质及系统 | |
| CN116978367A (zh) | 语音识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |