CN112070112B - 涉网犯罪分类方法、装置、计算机设备及存储介质 - Google Patents
涉网犯罪分类方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112070112B CN112070112B CN202010738496.8A CN202010738496A CN112070112B CN 112070112 B CN112070112 B CN 112070112B CN 202010738496 A CN202010738496 A CN 202010738496A CN 112070112 B CN112070112 B CN 112070112B
- Authority
- CN
- China
- Prior art keywords
- case
- classification model
- network
- crime
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013145 classification model Methods 0.000 claims abstract description 164
- 238000012549 training Methods 0.000 claims abstract description 118
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims description 71
- 239000013598 vector Substances 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000002265 prevention Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 101000650808 Homo sapiens Semaphorin-3G Proteins 0.000 description 3
- 101100042259 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rpn15 gene Proteins 0.000 description 3
- 102100027750 Semaphorin-3G Human genes 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 241001622623 Coeliadinae Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Probability & Statistics with Applications (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及涉网犯罪分类方法、装置、计算机设备及存储介质，该方法包括获取需要分析的犯罪案件信息，以得到初始数据；将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；反馈所述分类结果至终端，以在终端显示；其中，所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的。本发明通过获取需要分析的犯罪案件信息，并通过案件分类模型进行分类，将分类结果反馈至终端，其中案件分类模型采用网络模型等进行自动化分类，减少成本，且采用模型分类的方式可以减少人为的误差，实现自动且高效地进行涉网犯罪案件的分类，提升整个分类的准确率。
Description
技术领域
本发明涉及犯罪案件分类方法，更具体地说是指涉网犯罪分类方法、装置、计算机设备及存储介质。
背景技术
新型涉网犯罪渗透在普通大众日常生活的各个角落，对人民群众的财产安全带来极大的危害，因此，目前国家政府针对涉网新型犯罪提出多种打击惩罚措施，比如发布《电信网络诈骗意见》进一步明确了办理电信网络诈骗案件的入罪量刑标准，统一了执法司法尺度，要求形成严厉打击电信网络诈骗犯罪的高压态势；提出在《刑法》中单设“电信网络诈骗罪”，并提高定刑幅度；提出在《刑法》第177条“妨害信用卡管理罪”的基础上出台司法解释或修正案，进一步加大对买卖银行卡犯罪行为的惩处力度。
国家层面明确指出加强对于涉网新型犯罪的打击和惩罚力度，但由于涉网新型犯罪以互联网作为作案媒介，事后打击难度较大，而且当得到犯罪案件资料后，需要派遣专业人士进行涉网和非涉网案件的分类归纳，以便于得到涉网案件的相关资料，并由此进行分析，进而进行防控，防控的准确率来自于最初始的涉网案件的分类以及后期的分析准确率，但是目前采用的均是人工分类方式，存在一定的误差，且效率低下，对人员的要求较高。
因此，有必要设计一种新的方法，实现自动且高效地进行涉网犯罪案件的分类，提升整个分类的准确率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供涉网犯罪分类方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：涉网犯罪分类方法，包括：
获取需要分析的犯罪案件信息，以得到初始数据；
将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；
反馈所述分类结果至终端，以在终端显示；
其中，所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的。
其进一步技术方案为：所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的，包括：
构建文本分类模型，并进行预训练；
获取若干个涉网犯罪案件信息以及若干个非涉网犯罪案件信息，并对涉网犯罪案件信息以及非涉网犯罪案件信息对应的案件类别标签，以得到第一样本数据集；
将第一样本数据集划分为第一训练集以及第一测试集；
根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；
使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果；
判断测试结果是否符合要求；
若测试结果符合要求，则微调后的文本分类模型为案件分类模型；
若测试结果不符合要求，则执行所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型。
其进一步技术方案为：所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型，包括：
将第一训练集输入至文本分类模型内进行计算，以得到样本的语义向量；
使用全连接层对样本的语义向量计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义特征，以得到特征值；
根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果；
根据训练结果以及对应的案件类别标签计算交叉熵损失函数值，通过损失函数值进行反向传播微调文本分类模型的参数，以得到微调后的文本分类模型。
其进一步技术方案为：所述文本分类模型包括通用预训练语言表示模型、神经网络模型以及非神经网络中至少一种。
其进一步技术方案为：所述全连接层采用逐层减半并与上层向量拼接的方式进行逐层降维。
其进一步技术方案为：所述根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果，包括：
根据特征值使用softmax函数计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，并选取概率值大的类别作为训练结果。
本发明还提供了涉网犯罪分类装置，包括：
信息获取单元，用于获取需要分析的犯罪案件信息，以得到初始数据；
分类处理单元，用于将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；
反馈单元，用于反馈所述分类结果至终端，以在终端显示。
其进一步技术方案为：还包括：
分类模型获取单元，用于通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型，以得到案件分类模型。
本发明提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过获取需要分析的犯罪案件信息，并通过案件分类模型进行分类，将分类结果反馈至终端，其中案件分类模型采用网络模型等进行自动化分类，减少成本，且采用模型分类的方式可以减少人为的误差，实现自动且高效地进行涉网犯罪案件的分类，提升整个分类的准确率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的涉网犯罪分类方法的应用场景示意图；
图2为本发明实施例提供的涉网犯罪分类方法的流程示意图；
图3为本发明实施例提供的涉网犯罪分类方法的子流程示意图；
图4为本发明实施例提供的涉网犯罪分类方法的子流程示意图；
图5为本发明实施例提供的涉网犯罪分类装置的示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的涉网犯罪分类方法的应用场景示意图。图2为本发明实施例提供的涉网犯罪分类方法的示意性流程图。该涉网犯罪分类方法应用于服务器中。服务器与第一终端和第二终端进行数据交互，其中第二终端为公安操作系统所在的设备，服务器通过对公安数据进行涉网犯罪类别的分析以及关键要素的提取，以便于构建知识图谱，可以生成针对性更强的防控信息，针对性的推送给对应的终端，实现对公安数据进行自动和精准分析，提取关键信息后，生成针对性的防控信息，并针对性推送给对应的终端，以提高整个分析效率和优化防控效果。
图2是本发明实施例提供的涉网犯罪分类方法的流程示意图。如图2所示，该方法包括以下步骤S110至S130。
S110、获取需要分析的犯罪案件信息，以得到初始数据。
在本实施例中，上述的初始数据是指来自公安系统的犯罪案件数据以及执法人员在执法过程中所得到的犯罪案件数据。
S120、将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果。
在本实施例中，分类结果是指初始数据对应的案件类别，包括涉网新型犯罪案件类别以及非涉网新型犯罪案件类别。
其中，上述的案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的。
目前公安数据存在案件类别误判的问题，从而导致政府决策层无法准确掌握涉网新型犯罪案件的案发态势，导致后续防控措施的制定缺乏数据支撑。因此，需要对犯罪案件的类别先进行划分，以便于针对性地生成防控通知。基层干警对涉网新型犯罪理解不够深刻等多种原因，在案件归类时出现案件类别错误分类的情况，导致相关政府决策层无法准确掌握实际案发情况，因此首先在海量案件中准别甄别出涉网新型犯罪案件。
在本实施例中，首先使用自然语言处理语义分析的方式在海量公安警情数据中准确甄别出涉网新型犯罪案件。具体地，采用语义分析的方式，获取警情案件的语义信息，根据语义信息甄别出涉网新型犯罪案件。
在一实施例中，请参阅图3，上述的案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的，可包括步骤 S121～S127。
S121、构建文本分类模型，并进行预训练。
在本实施例中，在进行文本分类模型的训练时，需要对获取有质量的数据，以便于提高整个模型的准确性，良好的数据质量是分析建模的基础，因此首先对公安警情数据进行数据质量探查，包括数据字段的空值率以及警情案件数据文本长度等，根据警情案件数据的文本长度设置模型参数值。其中，警情案件数据是指涉网犯罪案件信息以及非涉网犯罪案件信息。
目前顶级的BERT(基于Transformer的双向编码器表征，Bidirectional EncoderRepresentations from Transformers)语言模型已在海量数据集中进行了预训练，具备强大的语义获取能力，为使得BERT语言模型更加适配于警情数据，使用千万数据量级别的警情数据按照其最初的预训练方法对BERT语言模型再次进行预训练，进一步提升其警情数据语义获取能力。
在本实施例中，所述文本分类模型包括通用预训练语言表示模型、神经网络模型以及非神经网络中至少一种。
S122、获取若干个涉网犯罪案件信息以及若干个非涉网犯罪案件信息，并对涉网犯罪案件信息以及非涉网犯罪案件信息对应的案件类别标签，以得到第一样本数据集。
对预训练的BERT语言模型进行模型参数微调，使其适用于警情案件文本分类任务。
在本实施例中，第一样本数据集是指若干个带有案件类别标签的涉网犯罪案件信息以及若干个带有案件类别标签的非涉网犯罪案件信息的集合。
具体地，选取N个涉网犯罪案件信息和M个非涉网犯罪案件信息构建第一样本数据集Train＝{a1,a2…aN,aN+1,aN+2…aN+M}，其中ai代表实数域上的 L×E阶矩阵：
S123、将第一样本数据集划分为第一训练集以及第一测试集。
在本实施例中，可以根据实际情况按照一定的比例如9：1等将第一样本数据集划分为两部分，其中第一训练集用于对文本分类模型进行微调，第一测试集用于对微调后的文本分类模型进行预测，以确保微调后的文本分类模型是适合分类犯罪案件。
S124、根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型。
在本实施例中，微调后的文本分类模型是指文本分类模型在采用第一训练集进行二次训练后调整参数至二次训练出来的结果符合要求时所对应的模型。
在一实施例中，请参阅图,4，上述的步骤S124可包括步骤S1241～S1244。
S1241、将第一训练集输入至文本分类模型内进行计算，以得到样本的语义向量。
在本实施例中，样本的语义向量是指第一训练集输入至文本分类模型中分析所得的语义向量。
将训练样本集按照符合模型输入类型的计算流在BERT模型中进行计算得到样本的语义向量：sem＝(cls,token1,token2…tokenL,sep)，其中cls＝ (x1,x2…xE)代表该第一训练集的语义，tokeni＝(x1,x2…xE)代表第一训练集中每个字的语义。
S1242、使用全连接层对样本的语义向量计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义特征，以得到特征值。
在本实施例中，特征值是指涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义向量使用全连接层计算所得的语义特征。
使用全连接层计算得到第一训练集的语义cls分别属于两个类别的语义特征为得到警情案件文本中比较丰富的语义信息，在使用BERT模型进行计算时会输出维度比较高的语义向量，但本实施例最终是属于二分类任务，即全连接层的输出为二维向量，因此为避免高维度语义向量直接降维到二维向量时损失较多的语义信息，在全连接层中采用逐层减半并与上层向量拼接的方式进行逐层降维。
第一训练集的语义cls作为全连接的输入，第一层隐藏层的计算方式为：
；其中，cls_dim为第一训练集的语义cls的向量维度
b0,1、b0,2和b0,cls_dim/2均是全连接层参数，计算得到第一层隐藏层的向量维度为cls_dim/2，将全连接的输入层与第一层隐藏层进行向量拼接得到维度为(cls_dim+cls_dim/2)的向量作为第二层隐藏层的输入；具体地计算方式是采用输入层进行维度减半，并输入值第一隐藏层后得到的结果进行向量拼接，此后在进行维度减半，以得到第二隐藏层的输入，后续的隐藏层均按照上述的维度减半后向量拼接的方式进行，最终计算得到输入的警情案件文本分别属于涉网案件和非涉网案件的语义特征向量z1,z2。
S1243、根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果。
在本实施例中，训练结果是指第一训练集处于涉网新型犯罪案件类别以及非涉网新型犯罪案件类别的概率中概率高的案件类别。
使用softmax函数计算该训练样本分别属于涉网类别和非涉网类别的概率：
选取概率值较大的类别作为该第一训练集的预测类别。
S1244、根据训练结果以及对应的案件类别标签计算交叉熵损失函数值，通过损失函数值进行反向传播微调文本分类模型的参数，以得到微调后的文本分类模型。
具体地，计算第一训练集的预测类别和真实类别之间的交叉熵损失函数值，通过损失函数值进行反向传播微调模型参数。损失函数值
损失函数值处于稳定且小于某一阈值，则表明微调后的文本分类模型已收敛，可以作为实际案件类别筛选的模型。
具体地，当损失函数值维持不变，即微调后的文本分类模型已经收敛，即损失函数值基本不变且非常小，也表明当前的微调后的文本分类模型是可以被用作案件分类模型的，一般是开始训练时损失值比较大，越往后训，损失值越小，倘若该损失函数值未维持不变，表明当前微调后的文本分类模型不可以用作案件分类模型，也就是评估出来的类别并不准确，会导致后期的关键要素相关处理也不准确，需要进再次反向传播微调。
S125、使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果。
在本实施例中，测试结果是指利用第一测试集输入至微调后的文本分类模型后，得到的类别。
具体地，还可以选取公安警情数据中没有明确标记为涉网或者非涉网的数据作为第一测试集：Test＝{b1,b2…bK}，其中bi同样代表实数域上的L×E阶矩阵，使用微调后的BERT模型对测试数据进行预测，使用softmax函数计算得到第一测试集i属于每一个涉网和非涉网的概率，选取最大概率值所对应的类别作为第一测试集i的预测类别。
S126、判断测试结果是否符合要求；
S127、若测试结果符合要求，则微调后的文本分类模型为案件分类模型；
若测试结果不符合要求，则执行所述步骤S125。
当测试结果的精度和召回率这两个指标评估符合条件，则表明拟合程度符合要求，便可认为测试结果是符合要求的；否则，则认为该测试结果不符合要求。微调后的文本分类模型收敛时停止训练。微调后的文本分类模型后训练好后对微调后的文本分类模型进行测试，如果测试结果不好，需要调整训练策略重新进行微调后的文本分类模型训练。当然，在训练的过程中，会进行训练和测试，训练时测试是为了实时查看训练情况；而训练微调后的文本分类模型完成后的测试，用精度和召回率这两个指标评估整个微调后的文本分类模型的执行准确程度。
利用案件类别模型自动进行犯罪案件的分类，可以减少对执法人员的要求，且分类准确度高。为进一步精确的甄别出涉网新型犯罪案件，需要在模型预测结果中添加后验知识进行进一步的筛选。
甄别涉网新型犯罪案件的核心技术是文本分类，本实施例中使用BERT模型进行案件类别分类，此外可使用循环神经网络、卷积神经网络等多种神经网络模型以及关键词筛选等多种非神经网络来实现案件类别分类，只要可实现文本类别分类的技术方案均为本部分的替代方案。
举个例子：
假设公安警情数据的数据字段如下表所示：
| 案件编号 | 案件内容 | 案件类型 |
| 123456 | 王刚报警称…支付宝被骗1000元 | 网络诈骗 |
| 张亮报警称…自行车被盗 | 偷盗类 |
通过统计得到案件编号、案件内容和案件类型的空值率分别为50％，0％， 0％；案件内容的文本长度都小于500，则可将案件分类模型的最大文本长度设置为500。
为便于描述，分别选取1个简短的涉网案件a1:王刚报警称支付宝被骗1000 元和1个非涉网案件a2:张亮报警称自行车被盗为例进行描述。构建训练样本集得到：Train＝{a1,a2}，则a1和a2分别代表12×768阶矩阵和10×768阶矩阵，其中768为默认的向量维度，a1和a2的具体值分别如下所示：
将训练样本集按照符合模型输入类型的计算流在BERT模型中对上述训练样本集进行计算，得到每个样本的语义向量：sem1＝(cls,token1…tokenL)＝ ((0.1256…-0.3248),(-0.1657…-0.2384)…(0.3217…0.2684))；sem2＝ (cls,token1…tokenL)＝((0.2461…-0.1692),(0.1867…0.2367)…(0.1463…0.0257))；
使用全连接层计算两个第一训练集的语义cls分别属于涉网和非涉网的语义特征。768维的向量作为全连接层的输入，第一层隐藏层的计算如下：
将第一层隐藏层384维向量与768维输入向量进行拼接得到1152维向量作为第二层隐藏层的输入，同样经过维度减半第二层隐藏层计算得到576维向量，依次计算直至得到两个样本分别属于涉网案件和非涉网案件的二维语义特征向量： z1＝(z1,1,z1,2)＝(0.2971,0.0165)；z2＝(z2,1,z2,2)＝(0.0168,0.2024)。
使用softmax函数计算该训练样本分别属于涉网类别和非涉网类别的概率：
计算训练样本的预测类别和真实类别之间的交叉熵损失函数值： loss1＝-[1×log 0.57+0×log0.43]＝0.2441；loss2＝-[0×log 0.45+1× log0.55＝0.2596。
该训练样本集的平均损失为：
并使用平均损失进行反向传播微调模型参数。
为便于描述，选取两个简短的案件t1“张红报警称银行卡余额突然变少，怀疑被盗刷，经民警核实为设置自动充值，非盗窃案件”和t2“赵刚报警称银行卡在超市被盗刷2000元，系网络盗窃案件”作为测试数据，Test＝{t1,t2}，t1和t2分别为实数域中的36×768阶矩阵和23×768阶矩阵，其中768为默认的向量维度， t1和t2的具体值分别为：
按照模型微调过程计算得到t1和t2案件分别属于涉网类别和非涉网类别的概率为0.67/0.33和0.86/0.14，显然将t1和t2均预测为涉网类别。在上述两个测试数据中，由于案件t1的案件描述与涉网案件非常相似，模型将其预测为涉网类型，但是在案件的最后部分使用非常简短的内容来表明此案件为非涉网案件，经添加后验知识进行进一步筛选，将其类别改为非涉网案件。
为进一步说明本实施例所提供的方法在案件类别分类提取方面带来的有益效果，将本实施例和3种现有方法，BERT+全连接层、LSTM+全连接层、RNN+ 全连接层在真实案件数据中分别进行案件类别分类和案件要素提取，为便于描述在本文中只详细给出本文方法和RNN+全连接层方法在每一步中的计算结果，最终给出每个方法在真实数据集中的准确率，具体如下：
选取1个涉网案件a1:王刚报警称在网上刷单被骗1000元和1个非涉网案件a2:张亮报警称支付宝余额少了1500元，后经查实为借给朋友后续忘记，并非被骗为例进行描述。本实施例构建训练样本集得到：Train＝{1,2}，则1和 a2分别代表17×768阶矩阵和36×768阶矩阵，其中768为BERT模型默认的向量维度17和36分别代表案件的文本长度，a1和a2的具体值分别如下所示：
RNN+全连接层构建训练样本集得到：Train＝{a1,a2}，由于RNN并非是预训练的语言模型没有预训练得到的向量值，因此采用服从正态分布的随机300 维向量初始化的方式对向量值进行初始化，并且随机初始化的向量值在训练过程中为可训练参数，a1和a2的随机初始化具体值分别如下所示：
在BERT模型中对上述训练样本集进行计算，得到每个样本的语义向量： sem1＝(cls,token1…tokenL,sep)＝ ((0.01246…-0.14231)……(-0.1257…-0.2013))； sem2＝(cls,token1…tokenL,sep)＝ ((-0.26421…-0.16745)…(0.0034…0.10276))。
对RNN模型而言，将RNN输入层和隐藏层维度均设置为300，按照RNN 网络结构对上述训练样本集进行计算，得到每个样本的语义向量：sem1＝ (token1…tokenL)＝((0.00264…-0.01468)……(-0.13462…-0.20014))； sem2＝(token1…tokenL)＝((-0.01543…0.1368)…(-0.00165…0.1006))。
本实施例使用全连接层逐层拼接的方式进行计算，使用全连接层计算两个训练样本语义cls分别属于涉网和非涉网的语义特征，768维的向量作为全连接层的输入，第一层隐藏层为
将第一层隐藏层384维向量与768维输入向量进行拼接得到1152维向量作为第二层隐藏层的输入，同样经过维度减半第二层隐藏层计算得到576维向量，依次计算直至得到两个样本分别属于涉网案件和非涉网案件的二维语义特征向量：z1＝(z1,1,Z1,2)＝(0.0137,0.1684)；z2＝(z2,1,z2,2)＝(0.1039,0.0064)。
RNN+全连接层进行计算，经RNN模型计算后分别得到两个样本的300维语义向量(-0.13462…-0.20014)，(-0.00165…0.1006)，使用输入特征维度为 300，输出特征维度为2的全连接层进行计算分别得到两个样本属于涉网案件和非涉网案件的二维语义特征向量：
本实施例使用softmax函数计算每个样本属于涉网类别和非涉网类别的概率：使用softmax函数计算两个训练样本分别属于涉网类别和非涉网类别的概率：
RNN+全连接层使用softmax函数计算每个样本属于涉网类别和非涉网类别的概率：使用softmax函数计算该训练样本分别属于涉网类别和非涉网类别的概率
由上述计算结果可知本实例将案件一预测为涉网，案件二预测为非涉网， RNN+全连接层的方式将两个案件均预测为涉网案件，而真实情况为案件一为涉网案件、案件二为非涉网案件。
经过在真实全量案件数据中进行实验，对比效果如表1所示，实验结果证明本实例优于其他几种方法。
表1.案件类别分类方法效果对比
| 方法 | 准确率 |
| BERT+全连接层(逐层向量拼接) | 96.49％ |
| BERT+全连接层 | 91.24％ |
| LSTM+全连接层 | 83.71％ |
| RNN+全连接层 | 79.65％ |
上述的涉网犯罪分类方法，通过获取需要分析的犯罪案件信息，并通过案件分类模型进行分类，将分类结果反馈至终端，其中案件分类模型采用网络模型等进行自动化分类，减少成本，且采用模型分类的方式可以减少人为的误差，实现自动且高效地进行涉网犯罪案件的分类，提升整个分类的准确率。
图5是本发明实施例提供的一种涉网犯罪分类装置300的示意性框图。如图5所示，对应于以上涉网犯罪分类方法，本发明还提供一种涉网犯罪分类装置300。该涉网犯罪分类装置300包括用于执行上述涉网犯罪分类方法的单元，该装置可以被配置于终端中。具体地，请参阅图5，该涉网犯罪分类装置300包括信息获取单元301、分类处理单元302以及反馈单元303。
信息获取单元301，用于获取需要分析的犯罪案件信息，以得到初始数据；分类处理单元302，用于将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；反馈单元303，用于反馈所述分类结果至终端，以在终端显示。
在一实施例中，上述的装置还包括分类模型获取单元，所述分类模型获取单元，用于通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型，以得到案件分类模型。
在一实施例中，所述分类模型获取单元包括分类模型构建子单元、第一获取子单元、划分子单元、分类微调子单元、分类预测子单元以及第一判断子单元。
分类模型构建子单元，用于构建文本分类模型，并进行预训练；第一获取子单元，用于获取若干个涉网犯罪案件信息以及若干个非涉网犯罪案件信息，并对涉网犯罪案件信息以及非涉网犯罪案件信息对应的案件类别标签，以得到第一样本数据集；划分子单元，用于将第一样本数据集划分为第一训练集以及第一测试集；分类微调子单元，用于根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；分类预测子单元，用于使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果；第一判断子单元，用于判断测试结果是否符合要求；若测试结果符合要求，则微调后的文本分类模型为案件分类模型；若测试结果不符合要求，则执行所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型。
在一实施例中，所述分类微调子单元包括向量计算模块、特征计算模块、类别概率计算模块以及第一微调模块。
向量计算模块，用于将第一训练集输入至文本分类模型内进行计算，以得到样本的语义向量；特征计算模块，用于使用全连接层对样本的语义向量计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义特征，以得到特征值；类别概率计算模块，用于根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果；第一微调模块，用于根据训练结果以及对应的案件类别标签计算交叉熵损失函数值，通过损失函数值进行反向传播微调文本分类模型的参数，以得到微调后的文本分类模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述涉网犯罪分类装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述涉网犯罪分类装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器 504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种涉网犯罪分类方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种涉网犯罪分类方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取需要分析的犯罪案件信息，以得到初始数据；将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；反馈所述分类结果至终端，以在终端显示。
其中，所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的。
在一实施例中，处理器502在实现所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的步骤时，具体实现如下步骤：
构建文本分类模型，并进行预训练；获取若干个涉网犯罪案件信息以及若干个非涉网犯罪案件信息，并对涉网犯罪案件信息以及非涉网犯罪案件信息对应的案件类别标签，以得到第一样本数据集；将第一样本数据集划分为第一训练集以及第一测试集；根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果；判断测试结果是否符合要求；若测试结果符合要求，则微调后的文本分类模型为案件分类模型；若测试结果不符合要求，则执行所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型。
在一实施例中，处理器502在实现所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型步骤时，具体实现如下步骤：
将第一训练集输入至文本分类模型内进行计算，以得到样本的语义向量；使用全连接层对样本的语义向量计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义特征，以得到特征值；根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果；根据训练结果以及对应的案件类别标签计算交叉熵损失函数值，通过损失函数值进行反向传播微调文本分类模型的参数，以得到微调后的文本分类模型。
其中，所述文本分类模型包括通用预训练语言表示模型、神经网络模型以及非神经网络中至少一种。
所述全连接层采用逐层减半并与上层向量拼接的方式进行逐层降维。
在一实施例中，处理器502在实现所述根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果的步骤时，具体实现如下步骤：
根据特征值使用softmax函数计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，并选取概率值大的类别作为训练结果。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取需要分析的犯罪案件信息，以得到初始数据；将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；反馈所述分类结果至终端，以在终端显示。
其中，所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的步骤时，具体实现如下步骤：
构建文本分类模型，并进行预训练；获取若干个涉网犯罪案件信息以及若干个非涉网犯罪案件信息，并对涉网犯罪案件信息以及非涉网犯罪案件信息对应的案件类别标签，以得到第一样本数据集；将第一样本数据集划分为第一训练集以及第一测试集；根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果；判断测试结果是否符合要求；若测试结果符合要求，则微调后的文本分类模型为案件分类模型；若测试结果不符合要求，则执行所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型步骤时，具体实现如下步骤：
将第一训练集输入至文本分类模型内进行计算，以得到样本的语义向量；使用全连接层对样本的语义向量计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义特征，以得到特征值；根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果；根据训练结果以及对应的案件类别标签计算交叉熵损失函数值，通过损失函数值进行反向传播微调文本分类模型的参数，以得到微调后的文本分类模型。
其中，所述文本分类模型包括通用预训练语言表示模型、神经网络模型以及非神经网络中至少一种。
所述全连接层采用逐层减半并与上层向量拼接的方式进行逐层降维。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果的步骤时，具体实现如下步骤：
根据特征值使用softmax函数计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，并选取概率值大的类别作为训练结果。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等) 执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.涉网犯罪分类方法，其特征在于，包括：
获取需要分析的犯罪案件信息，以得到初始数据；
将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；
反馈所述分类结果至终端，以在终端显示；
其中，所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的；
所述案件分类模型是通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型所得的，包括：
构建文本分类模型，并进行预训练；
获取若干个涉网犯罪案件信息以及若干个非涉网犯罪案件信息，并对涉网犯罪案件信息以及非涉网犯罪案件信息对应的案件类别标签，以得到第一样本数据集；
将第一样本数据集划分为第一训练集以及第一测试集；
根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；
使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果；选取公安警情数据中没有明确标记为涉网或者非涉网的数据作为第一测试集：
，其中
代表实数域上的
阶矩阵，L代表训练样本的文本长度,E代表词向量维度，使用微调后的BERT模型对测试数据进行预测，使用softmax函数计算得到第一测试集i属于每一个涉网和非涉网的概率，选取最大概率值所对应的类别作为第一测试集i的预测类别；
判断测试结果是否符合要求；
若测试结果符合要求，则微调后的文本分类模型为案件分类模型；
若测试结果不符合要求，则执行所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；
所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型，包括：
将第一训练集输入至文本分类模型内进行计算，以得到样本的语义向量；
使用全连接层对样本的语义向量计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义特征，以得到特征值；
根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果；
根据训练结果以及对应的案件类别标签计算交叉熵损失函数值，通过损失函数值进行反向传播微调文本分类模型的参数，以得到微调后的文本分类模型；
所述全连接层采用逐层减半并与上层向量拼接的方式进行逐层降维；具体地，采用输入层进行维度减半，并输入至第一隐藏层后得到的结果进行向量拼接，此后再进行维度减半，以得到第二隐藏层的输入，后续的隐藏层均按照上述的维度减半后向量拼接的方式进行，最终计算得到输入的警情案件文本分别属于涉网案件和非涉网案件的语义特征向量
。
2.根据权利要求1所述的涉网犯罪分类方法，其特征在于，所述文本分类模型包括通用预训练语言表示模型、神经网络模型以及非神经网络中至少一种。
3.根据权利要求2所述的涉网犯罪分类方法，其特征在于，所述根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果，包括：
根据特征值使用softmax函数计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，并选取概率值大的类别作为训练结果。
4.涉网犯罪分类装置，其特征在于，包括：
信息获取单元，用于获取需要分析的犯罪案件信息，以得到初始数据；
分类处理单元，用于将所述初始数据输入至案件分类模型内进行案件分类处理，以得到分类结果；
反馈单元，用于反馈所述分类结果至终端，以在终端显示；
还包括：
分类模型获取单元，用于通过带有案件类别标签的犯罪案件信息作为第一样本数据集训练文本分类模型，以得到案件分类模型；
所述分类模型获取单元包括分类模型构建子单元、第一获取子单元、划分子单元、分类微调子单元、分类预测子单元以及第一判断子单元；
分类模型构建子单元，用于构建文本分类模型，并进行预训练；第一获取子单元，用于获取若干个涉网犯罪案件信息以及若干个非涉网犯罪案件信息，并对涉网犯罪案件信息以及非涉网犯罪案件信息对应的案件类别标签，以得到第一样本数据集；划分子单元，用于将第一样本数据集划分为第一训练集以及第一测试集；分类微调子单元，用于根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；分类预测子单元，用于使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果；第一判断子单元，用于判断测试结果是否符合要求；若测试结果符合要求，则微调后的文本分类模型为案件分类模型；若测试结果不符合要求，则执行所述根据第一训练集对文本分类模型进行微调，以得到微调后的文本分类模型；使用微调后的文本分类模型对第一测试集进行预测，以得到测试结果；选取公安警情数据中没有明确标记为涉网或者非涉网的数据作为第一测试集：
，其中
代表实数域上的
阶矩阵，L代表训练样本的文本长度,E代表词向量维度，使用微调后的BERT模型对测试数据进行预测，使用softmax函数计算得到第一测试集i属于每一个涉网和非涉网的概率，选取最大概率值所对应的类别作为第一测试集i的预测类别；
所述分类微调子单元包括向量计算模块、特征计算模块、类别概率计算模块以及第一微调模块；
向量计算模块，用于将第一训练集输入至文本分类模型内进行计算，以得到样本的语义向量；特征计算模块，用于使用全连接层对样本的语义向量计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别所对应的语义特征，以得到特征值；类别概率计算模块，用于根据特征值计算涉网新型犯罪案件类别以及非涉网新型犯罪案件类别对应的概率，以得到训练结果；第一微调模块，用于根据训练结果以及对应的案件类别标签计算交叉熵损失函数值，通过损失函数值进行反向传播微调文本分类模型的参数，以得到微调后的文本分类模型；
所述全连接层采用逐层减半并与上层向量拼接的方式进行逐层降维；具体地，采用输入层进行维度减半，并输入至第一隐藏层后得到的结果进行向量拼接，此后再进行维度减半，以得到第二隐藏层的输入，后续的隐藏层均按照上述的维度减半后向量拼接的方式进行，最终计算得到输入的警情案件文本分别属于涉网案件和非涉网案件的语义特征向量
。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的方法。
6.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738496.8A CN112070112B (zh) | 2020-07-28 | 2020-07-28 | 涉网犯罪分类方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738496.8A CN112070112B (zh) | 2020-07-28 | 2020-07-28 | 涉网犯罪分类方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070112A CN112070112A (zh) | 2020-12-11 |
| CN112070112B true CN112070112B (zh) | 2021-11-16 |
Family
ID=73656730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010738496.8A Active CN112070112B (zh) | 2020-07-28 | 2020-07-28 | 涉网犯罪分类方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070112B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113919544B (zh) * | 2021-08-30 | 2022-05-27 | 浙江警察学院 | 犯罪预警方法、装置、计算机设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991999A (zh) * | 2019-12-02 | 2020-04-10 | 深圳市华云中盛科技股份有限公司 | 执法裁量效率的提高方法、装置、计算机设备及存储介质 |
| CN111177367A (zh) * | 2019-11-11 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 案件分类方法、分类模型训练方法及相关产品 |
| CN111444353A (zh) * | 2020-04-03 | 2020-07-24 | 杭州叙简科技股份有限公司 | 一种警情知识图谱的构建及使用方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3447663A1 (en) * | 2017-08-23 | 2019-02-27 | Tata Consultancy Services Limited | System and method for event profiling |
-
2020
- 2020-07-28 CN CN202010738496.8A patent/CN112070112B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111177367A (zh) * | 2019-11-11 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 案件分类方法、分类模型训练方法及相关产品 |
| CN110991999A (zh) * | 2019-12-02 | 2020-04-10 | 深圳市华云中盛科技股份有限公司 | 执法裁量效率的提高方法、装置、计算机设备及存储介质 |
| CN111444353A (zh) * | 2020-04-03 | 2020-07-24 | 杭州叙简科技股份有限公司 | 一种警情知识图谱的构建及使用方法 |
Non-Patent Citations (2)
| Title |
|---|
| 改进的CRNN 模型在警情文本分类中的研究与应用;王孟轩 等;《应用科学学报》;20200531;第1-3章，表3 * |
| 王孟轩 等.改进的CRNN 模型在警情文本分类中的研究与应用.《应用科学学报》.2020, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070112A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135167B (zh) | 一种随机森林的边缘计算终端安全等级评估方法 | |
| CN109299741B (zh) | 一种基于多层检测的网络攻击类型识别方法 | |
| CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
| CN110310114B (zh) | 对象分类方法、装置、服务器及存储介质 | |
| CN107292097B (zh) | 基于特征组的中医主症选择方法 | |
| CN110399490A (zh) | 一种弹幕文本分类方法、装置、设备及存储介质 | |
| CN110460605A (zh) | 一种基于自动编码的异常网络流量检测方法 | |
| CN112015901A (zh) | 文本分类方法及装置、警情分析系统 | |
| CN116596095B (zh) | 基于机器学习的碳排放量预测模型的训练方法及装置 | |
| CN107145516A (zh) | 一种文本聚类方法及系统 | |
| CN112784031B (zh) | 一种基于小样本学习的客服对话文本的分类方法和系统 | |
| Chen et al. | Deeppoison: Feature transfer based stealthy poisoning attack for dnns | |
| CN112560105B (zh) | 保护多方数据隐私的联合建模方法及装置 | |
| CN114298176A (zh) | 一种欺诈用户检测方法、装置、介质及电子设备 | |
| CN109214444B (zh) | 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法 | |
| CN108667678A (zh) | 一种基于大数据的运维日志安全检测方法及装置 | |
| CN109858974A (zh) | 已购车用户识别模型构建方法及识别方法 | |
| CN113052577A (zh) | 一种区块链数字货币虚拟地址的类别推测方法及系统 | |
| CN114548300B (zh) | 解释业务处理模型的业务处理结果的方法和装置 | |
| CN114330650A (zh) | 基于进化元学习模型训练的小样本特征分析方法及装置 | |
| CN112070112B (zh) | 涉网犯罪分类方法、装置、计算机设备及存储介质 | |
| CN110827809B (zh) | 一种基于条件生成式对抗网络的语种识别分类方法 | |
| CN113239199B (zh) | 一种基于多方数据集的信用分类方法 | |
| CN111144546A (zh) | 评分方法、装置、电子设备及存储介质 | |
| CN110347669A (zh) | 基于流式大数据分析的风险防范方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |