CN117743698A - 基于ai大模型的网络恶意写手识别方法及系统 - Google Patents
基于ai大模型的网络恶意写手识别方法及系统 Download PDFInfo
- Publication number
- CN117743698A CN117743698A CN202410160652.5A CN202410160652A CN117743698A CN 117743698 A CN117743698 A CN 117743698A CN 202410160652 A CN202410160652 A CN 202410160652A CN 117743698 A CN117743698 A CN 117743698A
- Authority
- CN
- China
- Prior art keywords
- model
- user
- comment
- identification
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013139 quantization Methods 0.000 claims description 40
- 238000010276 construction Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 235000002198 Annona diversifolia Nutrition 0.000 description 9
- 241000282842 Lama glama Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000009193 crawling Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及数据处理技术领域，特别是涉及基于AI大模型的网络恶意写手识别方法及系统。其中，该方法包括：确定网络写手的识别要素，根据识别要素进行数据采集并构建写手识别数据集；基于AI大模型及QT‑LoRA模型构建写手识别模型，在超算平台基于所述识别数据集对所述QT‑LoRA模型进行分布式并行训练，基于训练后的QT‑LoRA模型与AI大模型的预训练模型合并，生成全量模型权重文件，使AI大模型适用于写手识别任务，接入待识别社交平台的用户信息、评论信息，调用所述AI大模型进行批量网络写手识别。通过本申请，显著提升了网络写手识别效率与准确率，降低了成本。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及基于AI大模型的网络恶意写手识别方法及系统。
背景技术
网络写手是指在网络中针对特定内容发布特定信息的、被雇佣的用户，又名网络枪手，他们通常活跃在电子商务网站、论坛、微博等网络社交平台中。他们时而化身营销“推手”时而又伪装成普通网民或消费者，通过发布、回复和传播帖文对正常用户的判断产生影响，操纵舆论、制造矛盾，在虚拟网络环境中识别网络写手并加以处理至关重要。
现有的网络写手识别主流方法包括基于机器学习的方法和基于深度学习的方法，但由于数据集规模和模型的原因，现有方法的识别准确率低、误检率高，还无法对已经造成的舆情进行有效处理，无法正确引导网络舆情。
发明内容
本申请实施例提供了一种基于AI大模型的网络恶意写手识别方法及系统，构建了基于AI大模型的网络写手识别与处理方法，可对网络中的恶意网络写手进行识别、处理，显著提升了识别效率与准确率，降低了成本，可以进一步处理恶意网络写手的评论内容，形成正向的网络环境。
第一方面，本申请实施例提供了一种基于AI大模型的网络恶意写手识别方法，包括：
数据集获取步骤，确定网络写手的识别要素，根据识别要素进行数据采集并构建写手识别数据集，所述识别要素包括：用户IP特征、用户属性特征、用户关系特征、用户评论内容特征、用户周期特征，所述识别数据集包括识别数据子集、评论数据子集；
识别模型构建步骤，基于AI大模型及QT-LoRA模型构建写手识别模型，所述QT-LoRA模型包括依次配置的第一Linear线性模块、自注意力机制模块Self-Attention、第二Linear线性模块及前馈全连接层Feed-Forward，所述第一Linear线性模块、第二Linear线性模块均前置有双量化模块且后置有Adapter模块，所述双量化模块用于对常量进行二次量化以节省参数存储空间，所述Adapter模块为一组小型的网络层，用于增加训练参数、弥补二次量化带来的精度损失，以实现对写手识别任务的适应性学习；
识别模型训练步骤，在超算平台基于所述识别数据集对所述QT-LoRA模型进行分布式并行训练，基于训练后的QT-LoRA模型与AI大模型的预训练模型合并，生成全量模型权重文件，使AI大模型适用于写手识别任务，从而在超算生产环境下部署网络写手识别模型，并进行网络写手识别任务。其中，所述QT-LoRA模型不断迭代训练，以提升模型性能。
网络写手识别步骤，接入待识别社交平台的用户信息、评论信息，通过调用所述AI大模型进行批量网络写手识别，具体的，爬取待识别社交平台的用户信息、评论信息，将前述用户信息和评论信息组合为字符串发送至AI大模型中，AI大模型识别后得到判定结果，该判定结果也可以与相关网络安全系统连接进行数据共享，以便于进行公众舆情控制。
在其中一些实施例中，所述数据集获取步骤进一步包括：
识别写手用户获取步骤，根据所述识别要素筛选识别目标社交平台中的写手用户，并输出写手用户列表；
数据采集步骤，获取所述写手用户列表中各写手用户的用户信息、评论信息并生成相应的评论回复信息，所述用户信息包括：用户IP、用户属性、用户关系、用户行为、用户周期、用户参与话题及短评；所述评论信息包括用户评论内容；所述评论回复信息为基于用户评论内容用户生成的回复内容；
写手识别数据集构建步骤，根据所述用户信息构建所述识别数据子集，并根据所述评论信息及评论回复信息构建所述评论数据子集。
在其中一些实施例中，所述数据集获取步骤中进一步包括：
数据集预处理步骤，分别将所述识别数据子集、评论数据子集中的信息进行加工形成包括instruction字段、input字段及output字段的形式，其中，识别数据子集的instruction字段为用户信息拼接形成的语句，input字段的内容预设为空，output字段为识别写手用户时基于识别要素形成的与instruction字段中用户信息对应的用户判断结果组成的数据。评论数据子集的instruction字段为网络写手评论内容，output字段为评论回复信息，input字段的内容也预设为空。
在其中一些实施例中，所述识别模型训练步骤进一步包括：
训练环境部署步骤，获取AI大模型的预训练模型并存放于所述超算平台一预设models目录中，将QT-LoRA模型部署于GPU集群；
训练参数配置步骤，启动QT-LoRA模型的训练环境，将AI大模型作为QT-LoRA模型的底座，以避免全量参数更新时参数不匹配的问题，加载AI大模型的预训练模型并设置QT-LoRA模型的训练参数，并导入所述识别数据子集、评论数据子集进行QT-LoRA模型的分布式并行训练。
在其中一些实施例中，该方法还包括：
恶意评论处理步骤，获取识别为网络写手的写手用户，定位其负面评论信息并利用所述AI大模型生成对应回复文本内容，配置社交账号用于发表所述回复文本内容，从而实现舆情正向引导。
在其中一些实施例中，该方法还包括：
数据集迭代步骤，对所述数据采集步骤的所述评论信息及评论回复信息进行人工校验或自动化校验，删除话题相关性小和/或答非所问的评论回复信息，重新构建所述评论数据子集，优化评论数据子集的数据质量，其中，对于话题相关性小和/或答非所问的判断可以基于AI大模型实现的。
第二方面，本申请实施例提供了一种基于AI大模型的网络恶意写手识别系统，包括：
数据集获取模块，用于确定网络写手的识别要素，根据识别要素进行数据采集并构建写手识别数据集，所述识别要素包括：用户IP特征、用户属性特征、用户关系特征、用户评论内容特征、用户周期特征，所述识别数据集包括识别数据子集、评论数据子集；
识别模型构建模块，用于基于AI大模型及QT-LoRA模型构建写手识别模型，所述QT-LoRA模型包括依次配置的第一Linear线性模块、自注意力机制模块Self-Attention、第二Linear线性模块及前馈全连接层Feed-Forward，所述第一Linear线性模块、第二Linear线性模块均前置有双量化模块且后置有Adapter模块，所述双量化模块用于对常量进行二次量化以节省参数存储空间，所述Adapter模块为一组小型的网络层，用于增加训练参数、弥补二次量化带来的精度损失，以实现对写手识别任务的适应性学习；
识别模型训练模块，用于在超算平台基于所述识别数据集对所述QT-LoRA模型进行分布式并行训练，基于训练后的QT-LoRA模型与AI大模型的预训练模型合并，生成全量模型权重文件，使AI大模型适用于写手识别任务，从而在超算生产环境下部署网络写手识别模型，并进行网络写手识别任务。其中，所述QT-LoRA模型不断迭代训练，以提升模型性能。
网络写手识别模块，用于接入待识别社交平台的用户信息、评论信息，通过调用所述AI大模型进行批量网络写手识别，具体的，爬取待识别社交平台的用户信息、评论信息，将前述用户信息和评论信息组合为字符串发送至AI大模型中，AI大模型识别后得到判定结果，该判定结果也可以与相关网络安全系统连接进行数据共享，以便于进行公众舆情控制。
在其中一些实施例中，所述数据集获取模块进一步包括：
识别写手用户获取模块，用于根据所述识别要素筛选识别目标社交平台中的写手用户，并输出写手用户列表；
数据采集模块，用于获取所述写手用户列表中各写手用户的用户信息、评论信息并生成相应的评论回复信息，所述用户信息包括：用户IP、用户属性、用户关系、用户行为、用户周期、用户参与话题及短评；所述评论信息包括用户评论内容；所述评论回复信息为基于用户评论内容用户生成的回复内容；
写手识别数据集构建模块，用于根据所述用户信息构建所述识别数据子集，并根据所述评论信息及评论回复信息构建所述评论数据子集。
在其中一些实施例中，所述数据集获取模块中进一步包括：
数据集预处理模块，用于分别将所述识别数据子集、评论数据子集中的信息进行加工形成包括instruction字段、input字段及output字段的形式，其中，识别数据子集的instruction字段为用户信息拼接形成的语句，input字段的内容预设为空，output字段为识别写手用户时基于识别要素形成的与instruction字段中用户信息对应的用户判断结果组成的数据。评论数据子集的instruction字段为网络写手评论内容，output字段为评论回复信息，input字段的内容也预设为空。
在其中一些实施例中，所述识别模型训练模块进一步包括：
训练环境部署模块，用于获取AI大模型的预训练模型并存放于所述超算平台一预设models目录中，将QT-LoRA模型部署于GPU集群；
训练参数配置模块，用于启动QT-LoRA模型的训练环境，将AI大模型作为QT-LoRA模型的底座，以避免全量参数更新时参数不匹配的问题，加载AI大模型的预训练模型并设置QT-LoRA模型的训练参数，并导入所述识别数据子集、评论数据子集进行QT-LoRA模型的分布式并行训练。
在其中一些实施例中，该系统还包括：
恶意评论处理模块，用于获取识别为网络写手的写手用户，定位其负面评论信息并利用所述AI大模型生成对应回复文本内容，配置社交账号用于发表所述回复文本内容，从而实现舆情正向引导。
在其中一些实施例中，该系统还包括：
数据集迭代模块，用于对所述数据采集模块的所述评论信息及评论回复信息进行人工校验或自动化校验，删除话题相关性小和/或答非所问的评论回复信息，重新构建所述评论数据子集，优化评论数据子集的数据质量，其中，对于话题相关性小和/或答非所问的判断可以基于AI大模型实现的。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于AI大模型的网络恶意写手识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于AI大模型的网络恶意写手识别方法。
相比于相关技术，本申请实施例提供的基于AI大模型的网络恶意写手识别方法及系统，采用AI大模型，与神经网络模型相比效率更高、能力更强、兼容性更好，利用双量化模块和Adapter模块对LoRA模型做改进，通过利用双量化模块在AI大模型训练过程中每个参数平均节省0.37bit空间，双量化模块带来的性能损失可结合Adapter模块由Adapter模块进行补偿，从而既能通过双量化模块降低存储空间又能通过Adapter模块增加训练参数提高训练性能，基于对负面评论信息的正向回复，实现舆情正向引导。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于AI大模型的网络恶意写手识别方法的流程图；
图2是根据本申请实施例的基于AI大模型的网络恶意写手识别方法的优选流程图；
图3是根据本申请实施例的基于AI大模型的网络恶意写手识别方法的分步骤流程图；
图4是根据本申请实施例的基于AI大模型的网络恶意写手识别方法的另一分步骤流程图；
图5是根据本申请实施例的基于AI大模型的网络恶意写手识别方法的另一分步骤流程图；
图6是根据本申请实施例的QT-LoRA模型的结构原理示意图；
图7是根据本申请实施例的基于AI大模型的网络恶意写手识别系统的结构框图；
图8是根据本申请实施例的基于AI大模型的网络恶意写手识别系统的优选结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
虚假粉丝，是指在社交媒体平台上，通过交易获得的关注或者粉丝，这类粉丝通常是系统自动生成的恶意注册用户，或者是单方面被关注的对象。
AI大模型（Artificial Intelligence Big Model，简称AI大模型，译为人工智能大模型）：是指拥有超大规模参数（通常在十亿个以上）、超强计算资源的机器学习模型，能够处理海量数据，完成各种复杂任务。
本实施例提供了一种基于AI大模型的网络恶意写手识别方法。图1至图5是根据本申请实施例的基于AI大模型的网络恶意写手识别方法的流程图，如图1至图5所示，该流程包括如下步骤：
数据集获取步骤S1，确定网络写手的识别要素，根据识别要素进行数据采集并构建写手识别数据集，识别要素包括：用户IP特征、用户属性特征、用户关系特征、用户评论内容特征、用户周期特征，识别数据集包括识别数据子集、评论数据子集，写手识别数据集可通过循环执行数据采集过程不断增强数据集的规模和数据质量；为便于理解，本申请实施例对上述识别要素进行举例说明，其中，用户IP特征包括：是否为境外IP地址、IP属地是否频繁变动，具体对于变动频次可以基于实际识别需求进行相应的阈值配置；用户属性特征包括：账户是否为私密号、是否无发表作品、是否零获赞；用户关系特征包括账户是否有大量虚假粉丝、是否关注粉丝比例高或是否关注数远大于粉丝数；用户行为特征包括：用户是否喜欢敏感话题、是否针对敏感话题评论集中和/或响应速度极快，及用户是否评论互动率低，敏感话题是指非权威媒体发布的有关争议话题的消息；用户评论内容特征包括用户是否多次使用相同评论、是否负面煽动性评论较多、是否短评数较多、是否发表短评频率高，其中，对负面煽动性平均可配置相关负面关键词进行检测，短评可配置相应的长度阈值，对此本申请不做具体限定；用户周期特征包括：用户周期是否区别明显及周期内是否有断崖式异常数据，用户周期包括静默期、潜伏期、活跃期。本申请的数据采集于各大社交平台，现有的或将有的社交平台都可作为数据来源。
识别模型构建步骤S2，基于AI大模型及QT-LoRA模型构建写手识别模型，图6是根据本申请实施例的QT-LoRA模型的结构原理示意图，参考图6所示，QT-LoRA模型包括依次配置的第一Linear线性模块、自注意力机制模块Self-Attention、第二Linear线性模块及前馈全连接层Feed-Forward，第一Linear线性模块、第二Linear线性模块均前置有双量化模块且后置有Adapter模块，双量化模块用于对常量进行二次量化以节省参数存储空间，Adapter模块为一组小型的网络层，用于增加训练参数、弥补二次量化带来的精度损失，以实现对写手识别任务的适应性学习；可选地，本申请采用Chinese-AIpaca-2-13B中文AI大模型作为预训练模型，利用双量化模块和Adapter模块对LoRA模型做改进，本申请实施例通过利用双量化模块在大模型训练过程中每个参数平均节省0.37bit空间，在此基础上，对于Chinese-AIpaca-2-13B中文AI大模型可以节省约45GB空间，双量化模块带来的性能损失可结合Adapter模块由Adapter模块进行补偿，从而既能通过双量化模块降低存储空间又能通过Adapter模块增加训练参数提高训练性能，实现解决采用LoRA模型进行全量微调一般化带来的精度降低情况。
识别模型训练步骤S3，在超算平台基于识别数据集对QT-LoRA模型进行分布式并行训练，基于训练后的QT-LoRA模型与AI大模型的预训练模型合并，生成全量模型权重文件navyRec LLM，即合并后的AI大模型，使AI大模型适用于写手识别任务，从而在超算生产环境下部署网络写手识别模型，并进行网络写手识别任务。具体的，运行merge_llama2_with_chinese_lora_low_mem.py脚本，合并Chinese-AIpaca-2-13B预训练模型和训练后的QT-LoRA模型，base_model参数设置为Chinese-AIpaca-2-13B预训练模型的权重文件，lora_model参数设置为训练后的QT-LoRA模型权重文件，合并后AI大模型的输出格式为huggingface格式，合并后模型的输出路径定义为output_dir。可选的，本申请实施例选用NF5688M7为GPU服务器。其中，QT-LoRA模型不断迭代训练，以提升模型性能。
网络写手识别步骤S4，接入待识别社交平台的用户信息、评论信息，通过接入llama.cpp Sever的对外API调用服务接口调用AI大模型进行批量网络写手识别，具体的，爬取待识别社交平台的用户信息（如用户IP、用户ID、用户昵称、年龄、地区、简介、关注数、粉丝数、好友数、发表作品数、转发数、点赞数、私信数0、活跃时间段、用户周期、偏好话题）、评论信息（如短评数、发短评频率、评论内容情绪等信息），将前述用户信息和评论信息组合为字符串发送至AI大模型中，AI大模型识别后得到判定结果，该判定结果也可以与相关网络安全系统连接进行数据共享，以便于进行公众舆情控制。
在上述实施例中，参考图3所示，数据集获取步骤S1进一步包括：
识别写手用户获取步骤S101，根据识别要素筛选识别目标社交平台中的写手用户，并输出写手用户列表；
数据采集步骤S102，获取写手用户列表中各写手用户的用户信息、评论信息并生成相应的评论回复信息，用户信息包括：用户IP、用户属性、用户关系、用户行为、用户周期、用户参与话题及短评；评论信息包括用户评论内容；评论回复信息为基于用户评论内容用户生成的回复内容，可以是通过AI大模型的语义生成网络对用户评论内容进行话题识别及语义匹配形成的；为便于理解，本申请实施例对获取的用户信息进行举例说明，如下表1所示。
上述评论内容情绪可通过短评中的情绪相关关键词进行识别，如开心、难过、大哭等，另外，需要说明的是，本步骤采集的数据为社交平台中用户的非隐私数据，即使涉及隐私数据也会通过弹窗、隐私协议等方式获取用户许可。
写手识别数据集构建步骤S103，根据用户信息构建识别数据子集，并根据评论信息及评论回复信息构建评论数据子集。
在另外一些实施例中，为了匹配模型对输入数据的要求，参考图4所示，数据集获取步骤S1中进一步包括：
数据集预处理步骤S104，分别将识别数据子集、评论数据子集中的信息进行加工形成包括instruction字段、input字段及output字段的形式，其中，识别数据子集的instruction字段为用户信息拼接形成的语句，如：“用户IP属地包括山东、美国、日本；用户ID为887765245，用户昵称为“两袖清风”，年龄不详、地区不详、简介不详；关注数2342、粉丝数0、好友数0；发表作品数0、转发数0、点赞数6589、私信数0；活跃时间段无规律、用户周期180天；偏好话题经济趋势；短评数70098、发短评频率300秒、评论内容情绪难过”，instruction字段的语句也可以是基于其他话术类型形成的语句，只需包括有内容中的用户信息即可，input字段的内容预设为空，output字段为识别写手用户时基于识别要素形成的与instruction字段中用户信息对应的用户判断结果组成的数据，举例但不限于：“因为用户IP异常、用户属性不全、用户关系异常、用户行为异常、用户周期异常、用户参与话题敏感、用户评论异常、评论内容情绪消极，所以该用户为网络写手。”评论数据子集的instruction字段为网络写手评论内容，如：“不公平”，output字段为评论回复信息，为正向内容，如：“公平需要大家共同维护”，input字段的内容也预设为空。
经过上述预处理步骤得到的识别数据子集、评论数据子集作为QT-LoRA模型的训练文件，存储为JSON格式。
在上述实施例中，参考图5所示，识别模型训练步骤S3进一步包括：
训练环境部署步骤S301，获取AI大模型的预训练模型并存放于超算平台一预设models目录中，将QT-LoRA模型部署于GPU集群，详细的，训练显卡配置为2块型号为H800的GPU，软件环境CUDA版本为11.8，cuDNN版本为8.9.7，python版本为3.11，torch及其它依赖环境版本参照CUDA11.8的对照版本。
训练参数配置步骤S302，启动QT-LoRA模型的训练环境并设置trust_remote_code，以避免预训练模型不兼容问题，将AI大模型作为QT-LoRA模型的底座，以避免全量参数更新时参数不匹配的问题，QT-LoRA模型的训练显存设置为80G，加载AI大模型的预训练模型并设置QT-LoRA模型的训练参数，Chinese-AIpaca-2-13B的预训练模型加载时参数配置为：model loader方式为Transformers，compute_dtype为float16，quant_type为nf4，alpha_value为1，rope_freq_base为0，compress_pos_emb为1，其余选择默认值；QT-LoRA模型的训练参数配置为：训练后的QT-LoRA模型文件名称为navyRec,QT-LoRA Rank为32，QT-LoRA AIpha为64，Batch Size为128，Micro Batch Size为4，Cutoff Length为256，Saveevery n steps为0，Epoches为3，Learning Rate为3e-4,LR Scheduler为linear，其余QT-LoRA训练相关参数均默认，上述各参数的含义与LoRA模型相同，在此不作具体说明，并导入识别数据子集、评论数据子集进行QT-LoRA模型的分布式并行训练，得到名称为navyRec的QT-LoRA模型文件，文件夹下包括adapter_config.json、adapter_model.bin、config.json、special_tokens_maps.json、tokenizer.model、tokenizer_config.json等权重及配置文件，具体的，识别数据子集、评论数据子集导入至一预设datasets目录中，并设置Data Format为alpaca-chatbot-format,Datset选择.JSON格式的数据集，Evaluateevery n steps为100，运用Anaconda工具配置模型训练所需的其它依赖环境并保障集群网络环境通畅。
参考图2所示，为了将本申请识别到的写手数据进行处理，该方法还包括：
恶意评论处理步骤S5，获取识别为网络写手的写手用户，定位其负面评论信息并利用AI大模型生成对应回复文本内容，配置社交账号用于发表回复文本内容，从而实现舆情正向引导，本申请实施例采用的中文AI大模型本就是使用大量文本数据训练的深度学习模型，具备上下文语义理解及文本生成的功能，由于AI大模型在训练数据清洗过程中会剔除非法、消极、低俗的数据，因此其文本生成内容为积极正向文本内容或中性内容，其中，定位其负面评论信息包括定位其作品及评论。
在另外一些实施例中，该方法还包括：
数据集迭代步骤，对数据采集步骤S102的评论信息及评论回复信息进行人工校验或自动化校验，删除话题相关性小和/或答非所问的评论回复信息，重新构建评论数据子集，优化评论数据子集的数据质量，其中，对于话题相关性小和/或答非所问的判断可以基于AI大模型实现的。
同理，也可以基于上述数据集迭代步骤对网络写手的识别数据子集进行人工校验或自动化校验，提高数据的质量，进而不断提升AI大模型的模型性能，有效规避了在实际过程中的模型效果不佳、对齐偏差及答非所问的情况。
为了进一步降低AI大模型对GPU显存的消耗、增强模型性能、提高模型处理效率，采用llama.cpp工具量化部署合并后的AI大模型，具体包括如下步骤：
首先，克隆和编译llama.cpp，使用git pull命令拉取llama.cpp代码仓库；
然后，对llama.cpp进行编译，生成./quantize二进制文件，生成量化版本的navyRec模型。采用llama.cpp对huggingface格式的navyRec文件进行量化，将完整的权重转换为GGML的FP16格式，生成navyRec-fp16模型文件。
进一步对FP16模型进行4-bit量化，生成navyRec-fp4模型文件，最终在GPU服务器中编译llama.cpp加载启动量化后的navyRec-fp4模型文件，完成模块业务化部署运行，并通过架设llama.cpp Sever，设置外部访问接口，对外提供访API调用服务进行批量网络写手识别服务。
基于如上实施例，本申请实施例采用训练后的AI大模型执行网络写手识别任务，与神经网络模型相比效率更高、能力更强、兼容性更好，利用双量化模块和Adapter模块对LoRA模型做改进，通过利用双量化模块在AI大模型训练过程中每个参数平均节省0.37bit空间，双量化模块带来的性能损失可结合Adapter模块由Adapter模块进行补偿，从而既能通过双量化模块降低存储空间又能通过Adapter模块增加训练参数提高训练性能。
本申请实施例对得到的AI大模型进行了评测，现有的评测方法包括生成效果评测、客观效果评测、量化效果评测、人类偏好对齐等，本申请实施例采用客观效果评测方法，在识别数据子集和评论数据子集中分别随机抽样1万条记录作为AI大模型的输入，人工判断AI大模型的网络写手识别和处理效果。人工统计结果显示：网络写手识别和处理的准确率分别为38.9%和42.5%，基本达到Chinese-LLaMA-2-13B模型的C-Eval客观效果评测水准。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于AI大模型的网络恶意写手识别系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的基于AI大模型的网络恶意写手识别系统的结构框图，如图7所示，该系统包括：数据集获取模块1、识别模型构建模块2、识别模型训练模块3及网络写手识别模块4。各功能模块具体配置为：
数据集获取模块1用于确定网络写手的识别要素，根据识别要素进行数据采集并构建写手识别数据集，识别要素包括：用户IP特征、用户属性特征、用户关系特征、用户评论内容特征、用户周期特征，识别数据集包括识别数据子集、评论数据子集，写手识别数据集可通过循环执行数据采集过程不断增强数据集的规模和数据质量；其中，用户IP特征包括：是否为境外IP地址、IP属地是否频繁变动；用户属性特征包括：账户是否为私密号、是否无发表作品、是否零获赞；用户关系特征包括账户是否有大量虚假粉丝、是否关注粉丝比例高或是否关注数远大于粉丝数；用户行为特征包括：用户是否喜欢敏感话题、是否针对敏感话题评论集中和/或响应速度极快，及用户是否评论互动率低；用户评论内容特征包括用户是否多次使用相同评论、是否负面煽动性评论较多、是否短评数较多、是否发表短评频率高；用户周期特征包括：用户周期是否区别明显及周期内是否有断崖式异常数据，用户周期包括静默期、潜伏期、活跃期。其中，数据集获取模块1进一步包括：识别写手用户获取模块101、数据采集模块102、写手识别数据集构建模块103及数据集预处理模块104。
识别模型构建模块2用于基于AI大模型及QT-LoRA模型构建写手识别模型，QT-LoRA模型包括依次配置的第一Linear线性模块、自注意力机制模块Self-Attention、第二Linear线性模块及前馈全连接层Feed-Forward，第一Linear线性模块、第二Linear线性模块均前置有双量化模块且后置有Adapter模块，双量化模块用于对常量进行二次量化以节省参数存储空间，Adapter模块为一组小型的网络层，用于增加训练参数、弥补二次量化带来的精度损失，以实现对写手识别任务的适应性学习；可选地，本申请采用Chinese-AIpaca-2-13B中文AI大模型作为预训练模型，利用双量化模块和Adapter模块对LoRA模型做改进。
识别模型训练模块3用于在超算平台基于识别数据集对QT-LoRA模型进行分布式并行训练，基于训练后的QT-LoRA模型与AI大模型的预训练模型合并，生成全量模型权重文件navyRec LLM，即为合并后AI大模型，使AI大模型适用于写手识别任务，从而在超算生产环境下部署网络写手识别模型，并进行网络写手识别任务。其中，识别模型训练模块3进一步包括：训练环境部署模块301及训练参数配置模块302。
网络写手识别模块4，用于接入待识别社交平台的用户信息、评论信息，通过接入llama.cpp Sever的对外API调用服务接口调用AI大模型进行批量网络写手识别，具体的，爬取待识别社交平台的用户信息（如用户IP、用户ID、用户昵称、年龄、地区、简介、关注数、粉丝数、好友数、发表作品数、转发数、点赞数、私信数0、活跃时间段、用户周期、偏好话题）、评论信息（如短评数、发短评频率、评论内容情绪等信息），将前述用户信息和评论信息组合为字符串发送至AI大模型中，AI大模型识别后得到判定结果，该判定结果也可以与相关网络安全系统连接进行数据共享，以便于进行公众舆情控制。
上述实施例中，识别写手用户获取模块101用于根据识别要素筛选识别目标社交平台中的写手用户，并输出写手用户列表；数据采集模块102用于获取写手用户列表中各写手用户的用户信息、评论信息并生成相应的评论回复信息，用户信息包括：用户IP、用户属性、用户关系、用户行为、用户周期、用户参与话题及短评；评论信息包括用户评论内容；评论回复信息为基于用户评论内容用户生成的回复内容，可以是通过AI大模型的语义生成网络对用户评论内容进行话题识别及语义匹配形成的；写手识别数据集构建模块103用于根据用户信息构建识别数据子集，并根据评论信息及评论回复信息构建评论数据子集；数据集预处理模块104用于分别将识别数据子集、评论数据子集中的信息进行加工形成包括instruction字段、input字段及output字段的形式。经过上述预处理模块得到的识别数据子集、评论数据子集作为QT-LoRA模型的训练文件，存储为JSON格式。
上述实施例中，训练环境部署模块301用于获取AI大模型的预训练模型并存放于超算平台一预设models目录中，将QT-LoRA模型部署于GPU集群。训练参数配置模块302用于启动QT-LoRA模型的训练环境并设置trust_remote_code，以避免预训练模型不兼容问题，将AI大模型作为QT-LoRA模型的底座，以避免全量参数更新时参数不匹配的问题，QT-LoRA模型的训练显存设置为80G，加载AI大模型的预训练模型并设置QT-LoRA模型的训练参数，并导入识别数据子集、评论数据子集进行QT-LoRA模型的分布式并行训练，得到名称为navyRec的QT-LoRA模型文件，文件夹下包括adapter_config.json、adapter_model.bin、config.json、special_tokens_maps.json、tokenizer.model、tokenizer_config.json等权重及配置文件。
基于如上结构，本申请实施例采用训练后的AI大模型执行网络写手识别任务，与神经网络模型相比效率更高、能力更强、兼容性更好，利用双量化模块和Adapter模块对LoRA模型做改进，通过利用双量化模块在AI大模型训练过程中每个参数平均节省0.37bit空间，双量化模块带来的性能损失可结合Adapter模块由Adapter模块进行补偿，从而既能通过双量化模块降低存储空间又能通过Adapter模块增加训练参数提高训练性能。
图8是根据本申请实施例的基于AI大模型的网络恶意写手识别系统的优选结构框图，如图8所示，该系统包括图7所示的所有模块，此外还包括：
恶意评论处理模块5，用于获取识别为网络写手的写手用户，定位其负面评论信息并利用AI大模型生成对应回复文本内容，配置社交账号用于发表回复文本内容，从而实现舆情正向引导，本申请实施例采用的中文AI大模型本就是使用大量文本数据训练的深度学习模型，具备上下文语义理解及文本生成的功能，由于AI大模型在训练数据清洗过程中会剔除非法、消极、低俗的数据，因此其文本生成内容为积极正向文本内容或中性内容，其中，定位其负面评论信息包括定位其作品及评论。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例基于AI大模型的网络恶意写手识别方法可以由计算机设备来实现。
另外，结合上述实施例中的基于AI大模型的网络恶意写手识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于AI大模型的网络恶意写手识别方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于AI大模型的网络恶意写手识别方法，其特征在于，包括：
数据集获取步骤，确定网络写手的识别要素，根据识别要素进行数据采集并构建写手识别数据集，所述识别要素包括：用户IP特征、用户属性特征、用户关系特征、用户评论内容特征、用户周期特征，所述识别数据集包括识别数据子集、评论数据子集；
识别模型构建步骤，基于AI大模型及QT-LoRA模型构建写手识别模型，所述QT-LoRA模型包括依次配置的第一Linear线性模块、自注意力机制模块Self-Attention、第二Linear线性模块及前馈全连接层Feed-Forward，所述第一Linear线性模块、第二Linear线性模块均前置有双量化模块且后置有Adapter模块，所述双量化模块用于对常量进行二次量化；
识别模型训练步骤，在超算平台基于所述识别数据集对所述QT-LoRA模型进行分布式并行训练，基于训练后的QT-LoRA模型与AI大模型的预训练模型合并，生成全量模型权重文件，使AI大模型适用于写手识别任务；
网络写手识别步骤，接入待识别社交平台的用户信息、评论信息，调用所述AI大模型进行批量网络写手识别。
2.根据权利要求1所述的基于AI大模型的网络恶意写手识别方法，其特征在于，所述数据集获取步骤进一步包括：
识别写手用户获取步骤，根据所述识别要素筛选识别目标社交平台中的写手用户，并输出写手用户列表；
数据采集步骤，获取所述写手用户列表中各写手用户的用户信息、评论信息并生成相应的评论回复信息，所述用户信息包括：用户IP、用户属性、用户关系、用户行为、用户周期、用户参与话题及短评；所述评论信息包括用户评论内容；所述评论回复信息为基于用户评论内容用户生成的回复内容；
写手识别数据集构建步骤，根据所述用户信息构建所述识别数据子集，并根据所述评论信息及评论回复信息构建所述评论数据子集。
3.根据权利要求2所述的基于AI大模型的网络恶意写手识别方法，其特征在于，所述数据集获取步骤中进一步包括：
数据集预处理步骤，分别将所述识别数据子集、评论数据子集中的信息进行加工形成包括instruction字段、input字段及output字段的形式。
4.根据权利要求3所述的基于AI大模型的网络恶意写手识别方法，其特征在于，所述识别模型训练步骤进一步包括：
训练环境部署步骤，获取AI大模型的预训练模型并存放于所述超算平台一预设models目录中，将QT-LoRA模型部署于GPU集群；
训练参数配置步骤，启动QT-LoRA模型的训练环境，将AI大模型作为QT-LoRA模型的底座，加载AI大模型的预训练模型并设置QT-LoRA模型的训练参数，并导入所述识别数据子集、评论数据子集进行QT-LoRA模型的分布式并行训练。
5.根据如权利要求1-4中任一项所述的基于AI大模型的网络恶意写手识别方法，其特征在于，还包括：
恶意评论处理步骤，获取识别为网络写手的写手用户，定位其负面评论信息并利用所述AI大模型生成对应回复文本内容，配置社交账号用于发表所述回复文本内容。
6.一种基于AI大模型的网络恶意写手识别系统，其特征在于，包括：
数据集获取模块，用于确定网络写手的识别要素，根据识别要素进行数据采集并构建写手识别数据集，所述识别要素包括：用户IP特征、用户属性特征、用户关系特征、用户评论内容特征、用户周期特征，所述识别数据集包括识别数据子集、评论数据子集；
识别模型构建模块，用于基于AI大模型及QT-LoRA模型构建写手识别模型，所述QT-LoRA模型包括依次配置的第一Linear线性模块、自注意力机制模块Self-Attention、第二Linear线性模块及前馈全连接层Feed-Forward，所述第一Linear线性模块、第二Linear线性模块均前置有双量化模块且后置有Adapter模块，所述双量化模块用于对常量进行二次量化；识别模型训练模块，用于在超算平台基于所述识别数据集对所述QT-LoRA模型进行分布式并行训练，基于训练后的QT-LoRA模型与AI大模型的预训练模型合并，生成全量模型权重文件，使AI大模型适用于写手识别任务；
网络写手识别模块，用于接入待识别社交平台的用户信息、评论信息，通过调用所述AI大模型进行批量网络写手识别。
7.根据权利要求6所述的基于AI大模型的网络恶意写手识别系统，其特征在于，所述数据集获取模块进一步包括：
识别写手用户获取模块，用于根据所述识别要素筛选识别目标社交平台中的写手用户，并输出写手用户列表；
数据采集模块，用于获取所述写手用户列表中各写手用户的用户信息、评论信息并生成相应的评论回复信息，所述用户信息包括：用户IP、用户属性、用户关系、用户行为、用户周期、用户参与话题及短评；所述评论信息包括用户评论内容；所述评论回复信息为基于用户评论内容用户生成的回复内容；
写手识别数据集构建模块，用于根据所述用户信息构建所述识别数据子集，并根据所述评论信息及评论回复信息构建所述评论数据子集。
8.根据权利要求7所述的基于AI大模型的网络恶意写手识别系统，其特征在于，所述数据集获取模块中进一步包括：
数据集预处理模块，用于分别将所述识别数据子集、评论数据子集中的信息进行加工形成包括instruction字段、input字段及output字段的形式。
9.根据权利要求8所述的基于AI大模型的网络恶意写手识别系统，其特征在于，所述识别模型训练模块进一步包括：
训练环境部署模块，用于获取AI大模型的预训练模型并存放于所述超算平台一预设models目录中，将QT-LoRA模型部署于GPU集群；
训练参数配置模块，用于启动QT-LoRA模型的训练环境，将AI大模型作为QT-LoRA模型的底座，加载AI大模型的预训练模型并设置QT-LoRA模型的训练参数，并导入所述识别数据子集、评论数据子集进行QT-LoRA模型的分布式并行训练。
10.根据如权利要求6-9中任一项所述的基于AI大模型的网络恶意写手识别系统，其特征在于，还包括：
恶意评论处理模块，用于获取识别为网络写手的写手用户，定位其负面评论信息并利用所述AI大模型生成对应回复文本内容，配置社交账号用于发表所述回复文本内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160652.5A CN117743698B (zh) | 2024-02-05 | 2024-02-05 | 基于ai大模型的网络恶意写手识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160652.5A CN117743698B (zh) | 2024-02-05 | 2024-02-05 | 基于ai大模型的网络恶意写手识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117743698A true CN117743698A (zh) | 2024-03-22 |
| CN117743698B CN117743698B (zh) | 2024-05-24 |
Family
ID=90281670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410160652.5A Active CN117743698B (zh) | 2024-02-05 | 2024-02-05 | 基于ai大模型的网络恶意写手识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117743698B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956210A (zh) * | 2019-11-29 | 2020-04-03 | 重庆邮电大学 | 一种基于ap聚类的半监督网络水军识别方法及系统 |
| US20210012199A1 (en) * | 2019-07-04 | 2021-01-14 | Zhejiang University | Address information feature extraction method based on deep neural network model |
| CN112905739A (zh) * | 2021-02-05 | 2021-06-04 | 北京邮电大学 | 虚假评论检测模型训练方法、检测方法及电子设备 |
| CN113422761A (zh) * | 2021-06-11 | 2021-09-21 | 西安电子科技大学 | 基于对抗学习的恶意社交用户检测方法 |
| CN113761312A (zh) * | 2021-07-09 | 2021-12-07 | 杭州叙简科技股份有限公司 | 一种基于Elasticsearch和微博评论的网络写手检测方法 |
| CN115688024A (zh) * | 2022-09-27 | 2023-02-03 | 哈尔滨工程大学 | 基于用户内容特征和行为特征的网络异常用户预测方法 |
| CN116881449A (zh) * | 2023-06-05 | 2023-10-13 | 昆明理工大学 | 一种基于Bert和Bi-LSTM的恶意评论检测方法 |
| CN117421433A (zh) * | 2023-11-17 | 2024-01-19 | 南京蓝鲸人网络科技有限公司 | 一种图文智能舆情分析方法及系统 |
-
2024
- 2024-02-05 CN CN202410160652.5A patent/CN117743698B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210012199A1 (en) * | 2019-07-04 | 2021-01-14 | Zhejiang University | Address information feature extraction method based on deep neural network model |
| CN110956210A (zh) * | 2019-11-29 | 2020-04-03 | 重庆邮电大学 | 一种基于ap聚类的半监督网络水军识别方法及系统 |
| CN112905739A (zh) * | 2021-02-05 | 2021-06-04 | 北京邮电大学 | 虚假评论检测模型训练方法、检测方法及电子设备 |
| CN113422761A (zh) * | 2021-06-11 | 2021-09-21 | 西安电子科技大学 | 基于对抗学习的恶意社交用户检测方法 |
| CN113761312A (zh) * | 2021-07-09 | 2021-12-07 | 杭州叙简科技股份有限公司 | 一种基于Elasticsearch和微博评论的网络写手检测方法 |
| CN115688024A (zh) * | 2022-09-27 | 2023-02-03 | 哈尔滨工程大学 | 基于用户内容特征和行为特征的网络异常用户预测方法 |
| CN116881449A (zh) * | 2023-06-05 | 2023-10-13 | 昆明理工大学 | 一种基于Bert和Bi-LSTM的恶意评论检测方法 |
| CN117421433A (zh) * | 2023-11-17 | 2024-01-19 | 南京蓝鲸人网络科技有限公司 | 一种图文智能舆情分析方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| ZHANG LU ET AL: "Research and Progress of Fake Product Review Identification", 《COMPUTER ENGINEERING》, vol. 45, no. 10, 15 October 2019 (2019-10-15), pages 293 - 300 * |
| 武云飞: "基于图神经网络的虚假评论群组检测算法", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2023, no. 10, 15 October 2023 (2023-10-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117743698B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220188521A1 (en) | Artificial intelligence-based named entity recognition method and apparatus, and electronic device | |
| US9495345B2 (en) | Methods and systems for modeling complex taxonomies with natural language understanding | |
| CN111667056B (zh) | 用于搜索模型结构的方法和装置 | |
| US20150309988A1 (en) | Evaluating Crowd Sourced Information Using Crowd Sourced Metadata | |
| EP4006909B1 (en) | Method, apparatus and device for quality control and storage medium | |
| US20200257679A1 (en) | Natural language to structured query generation via paraphrasing | |
| CN111258995A (zh) | 数据处理方法、装置、存储介质及设备 | |
| CN106943747A (zh) | 虚拟角色名称推荐方法、装置、电子设备和存储介质 | |
| CN109918678B (zh) | 一种字段含义识别方法和装置 | |
| CN113516961B (zh) | 一种音符生成方法、相关设备、存储介质及程序产品 | |
| US10191921B1 (en) | System for expanding image search using attributes and associations | |
| CN111062490B (zh) | 一种包含隐私数据的网络数据的处理、识别方法及装置 | |
| CN117296058A (zh) | 作为简单有效的对抗攻击方法的变体不一致攻击（via） | |
| US11688393B2 (en) | Machine learning to propose actions in response to natural language questions | |
| CN112329429B (zh) | 文本相似度学习方法、装置、设备以及存储介质 | |
| KR102434666B1 (ko) | 사전 데이터베이스를 활용하여 음성 데이터에 기반한 텍스트를 생성하기 위한 방법 및 컴퓨팅 장치 | |
| CN117112727A (zh) | 适用于云计算业务的大语言模型微调指令集构建方法 | |
| CN117743698B (zh) | 基于ai大模型的网络恶意写手识别方法及系统 | |
| CN116932147A (zh) | 流式作业处理方法、装置、电子设备及介质 | |
| CN110929285A (zh) | 一种隐私数据的处理方法及装置 | |
| CN114238745A (zh) | 一种提供搜索结果的方法及装置、电子设备和介质 | |
| CN111897910A (zh) | 信息推送方法和装置 | |
| CN117235236B (zh) | 对话方法、装置、计算机设备和存储介质 | |
| CN110147488A (zh) | 页面内容的处理方法、处理装置、计算设备及存储介质 | |
| US11645683B1 (en) | Using machine learning to identify hidden software issues |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |