CN115409433B - 基于深度nlp的社区重点人员画像分析方法及装置 - Google Patents
基于深度nlp的社区重点人员画像分析方法及装置 Download PDFInfo
- Publication number
- CN115409433B CN115409433B CN202211359353.1A CN202211359353A CN115409433B CN 115409433 B CN115409433 B CN 115409433B CN 202211359353 A CN202211359353 A CN 202211359353A CN 115409433 B CN115409433 B CN 115409433B
- Authority
- CN
- China
- Prior art keywords
- data
- personnel
- label
- key
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 4
- 238000007726 management method Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于深度NLP的社区重点人员画像分析方法及装置,包括:采集社区重点人员数据,并对重点人员数据进行预处理;采用word2ve算法对所述重点人员数据进行数值化处理;将数值化处理后的数据输入至CNN模型中进行特征提取;将提取的特征数据输入至LSTM网络中,得到局部特征的长距离特征,并经全连接层输出分类的标签数据;对分类的标签数据进行层次分析法权重分配,并求得人员个体的风险值;求得任一重点人员的离群程度;根据人员个体的风险值和离群程度,采用多标签聚类算法进行重点人员画像合成。通过上述方案,本发明具有逻辑简单、准确可靠等优点。
Description
技术领域
本发明涉及大数据分析技术领域,尤其是基于深度NLP的社区重点人员画像分析方法及装置。
背景技术
重点人员是指存在危害国家和社会安全嫌疑的人员,而重点人员管控工作是有关部门按照有关法律法规对重点人员进行一项带有秘密性的基础工作。在大数据时代的背景下,以往传统重点人员管控的模式受到了挑战,传统的重点人员管控的模式已经无法满足相关部门的正常需要,再加上当今的信息高速流通使得漏控、脱控现象时有发生,有关部门之间信息壁垒的存在,使得已经掌握的数据无法最大程度发挥作用,因而可以满足当前社会需求且可以全面、精准的对重点人员进行管控的方法已势在必行。
例如专利公开号为“CN110727688A”、名称为“重点人员网格化服务管理系统”的中国发明专利,其包括对管辖区域进行网格化划分和规划的区域划分单元、对重点人员进行实时状态信息采集的信息采集单元、对整个区域内进行摄像监控的摄像监控单元、保存重点人员信息并在监控视频中标注出重点人员,对重点人员实时状态信息进行分析得出是否存在危险或犯罪的结果的后台处理中心,以及将后台处理中心得到的信息反馈给对应负责人的信息反馈单元,所述区域划分单元、信息采集单元、摄像监控单元、信息反馈单元均与后台处理中心连接。其采用摄像监控单元进行监控,并进行人工标注的方式,其工作量较大,且存在漏控、脱控现象。
再如专利公开号为“CN107133646A”、名称为“一种通过人员行为轨迹识别重点人员的方法及系统”的中国发明专利,其收集重点人员和非重点人员的行为轨迹数据,建立重点人员轨迹信息集和非重点人员轨迹信息集;对重点人员轨迹信息集和非重点人员轨迹信息集的信息进行特征提取;从重点人员轨迹信息集和非重点人员轨迹信息集中提取每个人行为轨迹信息中的位置特征和时间特征,将位置特征和时间特征作为TOKEN串,并统计提取出的TOKEN串出现的次数和字频;建立动态模型;计算每个哈希表TOKEN串ti出现的概率;利用样本人员的轨迹特征进行学习训练,计算样本人员为重点人员的概率;建立新表;根据建立哈希表估计新人员为重点人员的可能性。该技术只从轨迹信息中获得数据,未从其他维度(社交维度等)进行综合考量,有可能出现误判或者漏判情况。
再如专利公开号为“CN112330742A”、名称为“公共区域重点人员活动路线记录方法及装置”的中国发明专利,其包括:获取视频监控信息中行人的生物特征信息,生物特征信息包括:人脸特征、体型特征、步态特征和行为特征中的至少一项;将生物特征信息与数据库中预存的重点人员特征信息进行匹配,重点人员特征信息包括生物特征信息和身份信息;在生物特征信息与数据库中预存的重点人员特征信息匹配时,实时记录重点人员的活动位置信息;根据活动位置信息生成对应的重点人员活动轨迹。 该技术只从个体角度进行分析来预估重点人员的风险状况,未进行群体分析来得出更可靠、准确的结论。
因此,急需要提出一种逻辑简单、准确可靠的基于深度NLP的社区重点人员画像分析方法及装置。
发明内容
针对上述问题,本发明的目的在于提供基于深度NLP的社区重点人员画像分析方法,本发明采用的技术方案如下:
第一部分,本技术提供了一种基于深度NLP的社区重点人员画像分析方法,其包括以下步骤:
采集社区重点人员数据,并对重点人员数据进行预处理;
采用word2ve算法对所述重点人员数据进行数值化处理;
将数值化处理后的数据输入至CNN模型中进行特征提取;
将提取的特征数据输入至LSTM网络中,得到局部特征的长距离特征,并经全连接层输出分类的标签数据;
对分类的标签数据进行层次分析法权重分配,并求得人员个体的风险值;
求得任一重点人员的离群程度;
根据人员个体的风险值和离群程度,采用多标签聚类算法进行重点人员画像合成。
第二部分,本技术提供了一种基于深度NLP的社区重点人员画像分析装置,其包括:
数据采集预处理模块,采集社区重点人员数据,并对重点人员数据进行预处理;
数值化处理模块,与数据采集预处理模块连接,采用word2ve算法对所述重点人员图像数据进行数值化处理;
CNN模型,与数值化处理模块连接,将数值化处理后的数据输入至CNN模型中进行特征提取;
LSTM网络,与CNN模型连接,将提取的特征数据输入至LSTM网络中,得到局部特征的长距离特征,并经全连接层输出分类的标签数据;
层次分析模块,与LSTM网络连接,对分类的标签数据进行层次分析法权重分配,并求得人员个体的风险值;
离群程度分析模块,与LSTM网络连接,求得任一重点人员的离群程度;
以及,画像合成模块,与层次分析模块和离群程度分析模块连接,根据人员个体的风险值和离群程度,采用多标签聚类算法进行重点人员画像合成。
与现有技术相比,本发明具有以下有益效果:
(1)本发明巧妙地采用word2ve算法对所述重点人员的数据进行数值化处理。其中,word2ve是一种无监督的学习模型,其主要思想是:在相似邻近词分布的中心词之间存在一定的语义相似度,它可以在一个语料集上实现词汇信息到语义空间的映射,最终获得一个词向量模型。本发明采用word2ve算法进行数值化处理,其从多个维度来刻画重点人员画像,以保证获取充足的数据集,便于对其进行个体分析。
(2)本发明巧妙地采用CNN模型进行特征提取,其使用CNN模型可以提取到数据的局部特征;并且,CNN模型中权值是共享的,从而减少参数数量,降低训练难度。
(3)本发明巧妙地采用LSTM网络对CNN模型取的特征向量进行处理,得到局部特征的长距离特征,并经全连接层输出分类的标签数据;其好处在于,LSTM网络具有长时记忆功能,解决了长序列训练过程中存在的梯度消失和梯度爆炸问题。本发明巧妙地对分类的标签数据进行层次分析法权重分配,并求得人员个体的风险值;在本发明中,由于群体中存在不平衡现象,即在不同维度中不同风险程度重点人员的人数及所占比例存在较大差异;因此,本发明采用层次分析法,用于个体目标分析,其经过一个不同维度权重的风险权重分配,以得到一个综合权重,最终得到风险值。
(4)本发明通过求得任一重点人员的离群程度,该过程不同于个体目标分析,群体目标分析的目标是基于多个标签的数据,并计算每一个重点人员的离群程度。所谓离群程度指的是在全局管控工作中,某一重点人员与其他人员存在一定的偏离,其产生的原因是全局管控工作的动态变化。本发明通过计算每一个重点人员的离群程度,有利于本领域技术人员把握当前全局管控工作,实时地调整当前管控工作。
(5)本发明巧妙地结合人员个体的风险值和离群程度,并采用多标签聚类算法进行重点人员画像合成,其通过多标签聚类算法,可以对已经得到的个体风险值和离群程度进行整合,从而得到完整的重点人员画像。
综上所述,本发明具有逻辑简单、准确可靠等优点,在大数据分析技术领域具有很高的实用价值和推广价值。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需使用的附图作简单介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对保护范围的限定,对于本领域技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的逻辑流程图。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚,下面结合附图和实施例对本发明作进一步说明,本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,本实施例提供了一种基于深度NLP的社区重点人员画像分析方法,本技术所提出的网络模型由三部分组成,第一部分是社区重点人员初步画像建立,通过获取海量的社区人员静态数据与动态数据样本,按照自然属性、社交属性、主题属性、经济状况等标签维度将数据分类,建立社区人员画像标签模型。第二部分是社区重点人员画像分析,将社区重点人员画像分析分为个体目标分析和群体目标分析。采用机器学习算法结合不平衡学习技术构建个体目标分析模型,用来判断个体人员的风险程度。构建基于局部异常因子算法用于群体目标分析,最终得到每一个重点人员的离群程度。第三部分将前两个部分的结果进行融合,得到最终的人员画像。
具体来说,本技术的分析方法包括以下步骤:
第一步,采集社区重点人员数据,并对重点人员数据进行预处理;该步骤是主要针对剔除无意义的符号信息或其它的冗余信息。
本步骤中使用的分词方法为基于词典规则的中文分词。主要是使用已经建立好的词库,通过词典匹配的方式使用正向最大匹配法对句子进行划分,其具体思想如下:
(1)按从左往右的顺序,从句子中取出m(m指词典中最长词的长度)个字作为匹配字段。
(2)查找字典,和取出的字段进行匹配;
(3)进入判断:
匹配成功:将该字段作为一个词分出去;
匹配不成功:将该字段最后一个字去掉,剩下的字作为新的匹配字段,再次进行匹配;
(4)循环以上过程直到分完为止。
第二步,采用word2ve算法对所述重点人员数据进行数值化处理,为了让计算机能够理解词汇,需要将词汇信息映射到一个数值化的语义空间中一一词向量空间,便于后续操作。
第三步,将数值化处理后的数据输入至CNN模型中进行特征提取;具体来说,该步骤使用了textCNN模型,其结构如下:
第一层:将第二步中得到的词向量作为输入;
第二层(卷积层):使用多个过滤器对词向量进行卷积,使用的激活函数为Relu;
第三层(池化层):将卷积层的结果进行池化,并添加dropout正则来防止过拟合;
第四层:输出提取的特征向量。
第四步,将提取的特征数据输入至LSTM网络中,得到局部特征的长距离特征,并经全连接层输出分类的标签数据。在LSTM的每个单元中有三种类型的门:遗忘门、输入门和输出门。遗忘门决定上一时刻的单元状态 有多少保留到当前时刻的单元状态;输入门决定当前时刻的隐藏状态输入和上一时刻的隐藏状态输出有多少保存到当前时刻的单元状态; 输出门决定当前时刻的单元状态有多少作为当前时刻的隐藏状态输出; 遗忘门和输入门控制当前时刻t的 LSTM 单元状态。
遗忘门的公式如下:
其中, 表示遗忘门的权重参数矩阵, 表示遗忘门的偏置向量, 表示Sigmoid函数,其值域为(0,1)。
输入门的公式如下:
其中, 表示输入门的权重参数矩阵, 表示输出门的权重参数矩阵,表示输入门的偏置向量,表示输出门的偏置向量,表示激活函数,其值域为(-1, 1)。
单元状态公式如下:
其中, 表示候选单元状态,表示按元素相乘。
输出门公式如下:
其中, 表示输出门的权重参数矩阵,表示输出门的偏置向量。
隐藏状态 / 最终输出公式为:
。
第五步,对分类的标签数据进行层次分析法权重分配,并求得人员个体的风险值。该步骤通过输入个体的不同标签的数据,最终得到该个体的风险状况。个体目标分析的目标是基于某一维度,判定重点人员的风险程度。所谓的风险程度是指存在实施领域专家定义的危险行为的可能。
由于群体中存在不平衡现象,即在不同维度中不同风险程度重点人员的人数及所占比例存在较大差异,因而本发明使用基于AHP方法,用于个体目标分析,经过一个不同维度权重的风险权重分配,来得到一个综合权重,最终得到风险值。
在此,人员个体的风险值的表达式为:
其中,R表示个体的风险值;表示标签的数量; 表示标签风险度;表示标签对应的风险权重。
AHP方法(层次分析法)可有效地将定性问题定量化,利用判断矩阵的最大特征值及特征向量,计算某层指标或因子相对于上层各指标或因子的权重值。其步骤如下:
将数个标签作为输入,并搭建层次结构模型;
构造判断矩阵,其是为了通过相对尺度的值来判定要比较的两个元素之间的重要程度,该值越大,则表明对比的两个元素中前者相对于后者更重要,如表1所示。
表1判断矩阵表
标度 | 含义 |
1 | 表示两个因素相比,具有相同重要性 |
3 | 表示两个因素相比,前者比后者稍重要 |
5 | 明显重要 |
7 | 强烈重要 |
9 | 极端重要 |
2,4,6,8 | 表示上述相邻判断的中间值 |
倒数 | 若因素#timg#与因素#timg#的重要性比为#timg#,那么因素#timg#与因素#timg#重要性之比为#timg# |
对判断矩阵的任一列向量进行归一化后将任一行向量求和,并进行归一化处理得到列向量,其表达式为:
其中, 表示构造的判断矩阵, 表示归一化的判断矩阵, 表示第行第j列的元素,表示行数。
对列向量的层次总排序,求得第K层元素相对于总目标的排序为:
其中,表示第K层元素相对于第K-1层元素的排序; 表示K-1层元素对总目标的权重。
第六步,求得任一重点人员的离群程度;本步骤不同于个体目标分析,群体目标分析的目标是基于多个标签的数据,计算每一个重点人员的离群程度。
LOF 主要是通过比较每个点p和其邻域点的密度来判断该点是否为异常点,如果点p的密度越低,越可能被认定是异常点。其密度通过点之间的欧氏距离来计算的,点之间欧氏距离越远,密度越低,距离越近,密度越高。
在此,本发明中对该距离进行了优化,使用多个标签的欧氏距离来进行测算,重点人员的离群程度的局部离群因子的表达式为:
其中, 表示对于点的第距离,; 表示距离领域点的第距离领域;表示点的局部可达密度;表示点的局部可达密度;表示第个标签的权重值;表示第个标签欧氏距离; 表示和两点之间的距离;表示局部离群因子。
第七步,根据人员个体的风险值和离群程度,采用多标签聚类算法进行重点人员画像合成。具体如下:
(1)从用户数据中抽取两种类型的标签(个体风险和离群程度);
(2)计算每类标签对应的用户人数,即人员甲身上既有高风险类标签,又有高低群程度标签则记为数字1,同时存在两个标签的人越多,则表明相关部门需要对该类人进行及时管控。
(3)用余弦相似度函数计算两两标签之间的相关性,余弦值越高,其相似度越大,其表达式为:
A和B对应个体风险值与离群程度对应的T维向量。
(4)筛选出与每个A类标签相关性最大的B类标签,即将该A类标签归类到该B类标签,得到最终的用户画像。
上述实施例仅为本发明的优选实施例,并非对本发明保护范围的限制,但凡采用本发明的设计原理,以及在此基础上进行非创造性劳动而作出的变化,均应属于本发明的保护范围之内。
Claims (8)
1.基于深度NLP的社区重点人员画像分析方法,其特征在于,包括以下步骤:
采集社区重点人员数据,并对重点人员数据进行预处理;
采用word2ve算法对所述重点人员数据进行数值化处理;
将数值化处理后的数据输入至CNN模型中进行特征提取;
将提取的特征数据输入至LSTM网络中,得到局部特征的长距离特征,并经全连接层输出分类的标签数据;
对分类的标签数据进行层次分析法权重分配,并求得人员个体的风险值;
求得任一重点人员的离群程度;
根据人员个体的风险值和离群程度,采用多标签聚类算法进行重点人员画像合成,包括:
抽取人员个体的风险值和离群程度的标签,并计算任一标签对应的用户人数;
采用余弦相似度函数计算标签之间的相关性,其表达式为:
其中,A和B表示标签;Ai表示A标签对应个体风险值与离群程度对应的T维向量;Bi表示B标签对应个体风险值与离群程度对应的T维向量;
筛选出与每个A类标签相关性最大的B类标签,并将该A类标签归类到该B类标签,得到最终的用户画像。
2.根据权利要求1所述的基于深度NLP的社区重点人员画像分析方法,其特征在于,对重点人员的数据的进行预处理,采用基于词典规则的中文分词方法对重点人员的数据进行处理。
3.根据权利要求1所述的基于深度NLP的社区重点人员画像分析方法,其特征在于,所述人员个体的风险值的表达式为:
其中,R表示个体的风险值,n表示标签的数量;Scorei表示标签风险度;Weighti表示标签对应的风险权重。
4.根据权利要求3所述的基于深度NLP的社区重点人员画像分析方法,其特征在于,所述风险权重采用以下步骤获取:
将数个标签作为输入,并搭建层次结构模型;
构造判断矩阵;
对判断矩阵的任一列向量进行归一化后将任一行向量求和,并进行归一化处理得到列向量wi,其表达式为:
其中,Aij表示构造的判断矩阵,表示归一化的判断矩阵,Akj表示第k行第j列的元素,k表示行数;i=1,2,3.....n;j=1,2,3.....n;
对列向量wi的层次总排序,求得第K层元素相对于总目标的排序为:
其中,表示第K层元素相对于第K-1层元素的排序;表示k-1层元素对总目标的权重。
5.根据权利要求3所述的基于深度NLP的社区重点人员画像分析方法,其特征在于,所述重点人员的离群程度的局部离群因子的表达式为:
其中,dk(p)表示对于点p的第k距离,dk(p)=d(p,o);Nk(p)表示距离领域点p的第k距离领域;lrdk(p)表示点p的局部可达密度;lrdk(o)表示点o的局部可达密度;AHPi表示第i个标签的权重值;di(p,o)表示第i个标签欧氏距离;d(p,o)表示p和o两点之间的距离;LOFk(p)表示局部离群因子。
6.一种基于深度NLP的社区重点人员画像分析装置,其特征在于,包括:
数据采集预处理模块,采集社区重点人员数据,并对重点人员数据进行预处理;
数值化处理模块,与数据采集预处理模块连接,采用word2ve算法对所述重点人员数据进行数值化处理;
CNN模型,与数值化处理模块连接,将数值化处理后的数据输入至CNN模型中进行特征提取;
LSTM网络,与CNN模型连接,将提取的特征数据输入至LSTM网络中,得到局部特征的长距离特征,并经全连接层输出分类的标签数据;
层次分析模块,与LSTM网络连接,对分类的标签数据进行层次分析法权重分配,并求得人员个体的风险值;
离群程度分析模块,与LSTM网络连接,求得任一重点人员的离群程度;
以及,画像合成模块,与层次分析模块和离群程度分析模块连接,根据人员个体的风险值和离群程度,采用多标签聚类算法进行重点人员画像合成,包括:
抽取人员个体的风险值和离群程度的标签,并计算任一标签对应的用户人数;
采用余弦相似度函数计算标签之间的相关性,其表达式为:
其中,A和B表示标签;Ai表示A标签对应个体风险值与离群程度对应的T维向量;Bi表示B标签对应个体风险值与离群程度对应的T维向量;
筛选出与每个A类标签相关性最大的B类标签,并将该A类标签归类到该B类标签,得到最终的用户画像。
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权要求1至5任一项所述的基于深度NLP的社区重点人员画像分析方法。
8.一种计算机可读存储介质,其存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权要求1至5任一项所述的基于深度NLP的社区重点人员画像分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211359353.1A CN115409433B (zh) | 2022-11-02 | 2022-11-02 | 基于深度nlp的社区重点人员画像分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211359353.1A CN115409433B (zh) | 2022-11-02 | 2022-11-02 | 基于深度nlp的社区重点人员画像分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115409433A CN115409433A (zh) | 2022-11-29 |
CN115409433B true CN115409433B (zh) | 2023-04-07 |
Family
ID=84169164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211359353.1A Active CN115409433B (zh) | 2022-11-02 | 2022-11-02 | 基于深度nlp的社区重点人员画像分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115409433B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019191810A1 (en) * | 2018-04-04 | 2019-10-10 | Basyrov Marat | Methods and systems for resolving user interface features, and related applications |
CN111967494A (zh) * | 2020-07-01 | 2020-11-20 | 北京工业大学 | 一种面向大型活动公安系统警卫安保的多源异构数据分析方法 |
CN112527861A (zh) * | 2020-12-09 | 2021-03-19 | 大连源动力科技有限公司 | 一种基于大数据实时分析的人员画像分析方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11222253B2 (en) * | 2016-11-03 | 2022-01-11 | Salesforce.Com, Inc. | Deep neural network model for processing data through multiple linguistic task hierarchies |
CN112182246B (zh) * | 2020-09-28 | 2022-01-11 | 上海市浦东新区行政服务中心(上海市浦东新区市民中心) | 通过大数据分析建立企业画像的方法、系统、介质及应用 |
CN112488716B (zh) * | 2020-12-21 | 2023-08-01 | 北京航空航天大学 | 一种异常事件检测系统 |
CN113641821B (zh) * | 2021-08-11 | 2023-08-29 | 北京信息科技大学 | 一种社交网络中意见领袖的价值取向识别方法及系统 |
CN113723861A (zh) * | 2021-09-13 | 2021-11-30 | 南方电网数字电网研究院有限公司 | 异常用电行为检测方法、装置、计算机设备和存储介质 |
CN114118779B (zh) * | 2021-11-24 | 2024-05-10 | 武汉大学 | 一种基于kgann的面向互联网舆情事件的企业风险识别方法 |
CN115221954B (zh) * | 2022-07-12 | 2023-10-31 | 中国电信股份有限公司 | 用户画像方法、装置、电子设备以及存储介质 |
-
2022
- 2022-11-02 CN CN202211359353.1A patent/CN115409433B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019191810A1 (en) * | 2018-04-04 | 2019-10-10 | Basyrov Marat | Methods and systems for resolving user interface features, and related applications |
CN111967494A (zh) * | 2020-07-01 | 2020-11-20 | 北京工业大学 | 一种面向大型活动公安系统警卫安保的多源异构数据分析方法 |
CN112527861A (zh) * | 2020-12-09 | 2021-03-19 | 大连源动力科技有限公司 | 一种基于大数据实时分析的人员画像分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115409433A (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110008311B (zh) | 一种基于语义分析的产品信息安全风险监测方法 | |
CN111414461B (zh) | 一种融合知识库与用户建模的智能问答方法及系统 | |
CN107577785A (zh) | 一种适用于法律识别的层次多标签分类方法 | |
CN110232395B (zh) | 一种基于故障中文文本的电力系统故障诊断方法 | |
CN108717408A (zh) | 一种敏感词实时监控方法、电子设备、存储介质及系统 | |
CN110321563A (zh) | 基于混合监督模型的文本情感分析方法 | |
CN111191051B (zh) | 一种基于中文分词技术的应急知识图谱的构建方法及系统 | |
CN113742733B (zh) | 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置 | |
CN115048464A (zh) | 用户操作行为数据的检测方法、装置及电子设备 | |
CN113157859A (zh) | 一种基于上位概念信息的事件检测方法 | |
CN115688024A (zh) | 基于用户内容特征和行为特征的网络异常用户预测方法 | |
CN114611491A (zh) | 基于文本挖掘技术的智慧政务舆情分析研究方法 | |
CN116244446A (zh) | 社交媒体认知威胁检测方法及系统 | |
Gunaseelan et al. | Automatic extraction of segments from resumes using machine learning | |
Lauren et al. | A low-dimensional vector representation for words using an extreme learning machine | |
CN112307364B (zh) | 一种面向人物表征的新闻文本发生地抽取方法 | |
CN117094291B (zh) | 基于智能写作的自动新闻生成系统 | |
Tianxiong et al. | Identifying chinese event factuality with convolutional neural networks | |
CN108519993A (zh) | 基于多数据流计算的社交网络热点事件检测方法 | |
CN117216687A (zh) | 一种基于集成学习的大语言模型生成文本检测方法 | |
CN106991171A (zh) | 基于智慧校园信息服务平台的话题发现方法 | |
CN115409433B (zh) | 基于深度nlp的社区重点人员画像分析方法及装置 | |
Li et al. | Evaluating the rationality of judicial decision with LSTM-based case modeling | |
CN115730058A (zh) | 一种基于知识融合的推理问答方法 | |
CN113987536A (zh) | 数据表中字段安全等级确定方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |