CN114491078A - 基于知识图谱的社区项目人员落脚点和同行人员分析方法 - Google Patents
基于知识图谱的社区项目人员落脚点和同行人员分析方法 Download PDFInfo
- Publication number
- CN114491078A CN114491078A CN202210139570.3A CN202210139570A CN114491078A CN 114491078 A CN114491078 A CN 114491078A CN 202210139570 A CN202210139570 A CN 202210139570A CN 114491078 A CN114491078 A CN 114491078A
- Authority
- CN
- China
- Prior art keywords
- information
- community
- knowledge graph
- person
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 24
- 206010034701 Peroneal nerve palsy Diseases 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007418 data mining Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000013500 data storage Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Animal Behavior & Ethology (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于知识图谱的社区项目人员落脚点和同行人员分析方法，涉及知识图谱技术领域。本发明包括S1构建知识图谱的方法、S2分析人员落脚点的方法和S3分析同行人员的方法；构建知识图谱的方法步骤包括，S1‑1知识图谱的定义与存储，S1‑2获取非结构化数据，S1‑3信息抽取，S1‑4轨迹抽取，S1‑5知识加工；分析人员落脚点的方法步骤包括，输入查询信息，知识图谱检索，活动轨迹统计，二次分析，用户交互；分析同行人员的方法步骤包括，提取特征，分析判断，用户交互。本发明通过对已录入的智慧社区信息及其人员信息收集并建立知识图谱，通过关系推理得到人员与社区之间的落脚点可能性和社区住户人员之间的同行可能性。
Description
技术领域
本发明属于知识图谱技术领域，涉及基于知识图谱的社区项目人员落脚点和同行人员分析方法。
背景技术
随着智能化的科技浪潮不断推进，“智慧社区”、“智慧医疗”、“智慧农业”等众多新兴的智能化领域逐渐进入人们的实际生活，成为政府和企业的重点研发项目，其中“智慧社区”中的“智慧警务”领域也受到了较大的影响，发展出了一些强大的智能化监查手段，通过对社区的各个地点24小时不间断监控，以及依靠先进的机器学习技术，可以显著提高对社区的监管力度，对社区人民的生命财产安全提供重要保障。
在“智慧警务”领域内有一个重要的场景，即对目标人物的落脚点和目标人物的同行人员进行分析。对目标人物的落脚点进行分析即通过社区内的摄像头，视频监控目标人物在小区内的活动轨迹，来判断是否是为落脚点；对目标人物的同行人员进行分析即通过相邻的摄像头，判断目标人物周围的人员是否在一定时间内多次出现，来判断是否是同行人员。此场景对于社区安全以及人员轨迹定位等方面都有重大意义。而现存的技术问题为：
（1）社区内人员流动性大，出入社区人员类别众多，分析视频场景复杂，没有合理的依据有效地分析人员落脚点和同行人员是否正确；
（2）大多数的人员落脚点分析和同行人员分析都仅仅基于视频信息，通过提取人脸特征进行比对识别，忽略了社区信息及社区人员的基本信息、关系信息，造成分析准确度低；
（3）现有的技术方法需要分析大量的视频数据，耗费时间长，需要大量的计算资源。
发明内容
本发明为了弥补现有技术的不足，提供了基于知识图谱的社区项目人员落脚点和同行人员分析方法，通过对已录入的智慧社区信息及其人员信息收集并建立知识图谱，通过关系推理得到人员与社区之间的落脚点可能性和社区住户人员之间的同行可能性。本发明是通过如下技术方案实现的：本发明提供了基于知识图谱的社区项目人员落脚点和同行人员分析方法，包括S1构建知识图谱的方法、S2分析人员落脚点的方法和S3分析同行人员的方法；
S1构建知识图谱的方法包括以下步骤，
S1-1知识图谱的定义与存储，利用自底向上的结构构建实体和关系组合，即SPO三元组；其中实体包括社区和人员，关系包括人员之间的关系，人员和社区之间的关系，实体与实体之间用关系连接，所有关系都对应数字权重，并使用图数据库Neo4j进行存储；
S1-2 获取非结构化数据，按类别获取整个智慧社区系统录入的全部非结构化图片和文本信息；
S1-3信息抽取，将步骤S1-2得到的非结构化数据进行实体抽取、关系抽取以及属性抽取；对非结构化数据中所有人员和社区进行实体生成，然后将人员的相关信息和社区信息作为属性添加到对应的实体，最后根据数据中存储的关系将不同的实体建立连接，以图的形式进行存储，建立初步知识图谱；
S1-4 轨迹抽取，将社区内摄像头监控画面进行人脸特征提取，与步骤S1-3产生的初步知识图谱内人脸特征信息进行比对，进行人脸识别；并且记录已识别到的人员的轨迹行为，实时存储在知识图谱内；
S1-5知识加工，对于初步知识图谱，利用基于图的关系推理算法对知识图谱进行数据挖掘，推理出不同实体之间是否存在同行可能，关系越近则同行可能性越大，反之越小；推理出人员实体和社区实体之间是否存在落脚点可能；人员实体和社区实体关系越近则落脚点可能性越大，反之越小；人员关系越近则落脚点一致性越大；接着利用置信度较高的推理信息更新知识图谱，将同行关系、落脚点关系和置信度信息加入知识图谱中，构成完整的知识图谱；
S2分析人员落脚点的方法步骤包括，
S2-1输入查询信息，用户在查询界面输入需要查询分析的目标人物信息和时间段信息；
S2-2知识图谱检索，将步骤S2-1得到的目标人物的信息和时间段送入知识图谱进行检索，检索所有符合时间信息和人物信息的落脚点社区，若检索结果为有至少一个社区符合检索条件，则输出结果；否则进入步骤S2-3，进行进一步的落脚点分析；
S2-3活动轨迹统计，根据目标人物在知识图谱内已经存储的轨迹信息，将所有的用户查询时段内的轨迹信息进行算法统计；
S2-4二分分析，利用步骤S2-3统计得到的轨迹信息进行筛选，排序分析得到目标人物的落脚点，并且根据结果分别进行对应的操作；
S2-5用户交互，显示最终的判断结果给用户，同时用户可人为设定人与社区的落脚点关系，反馈给知识图谱；
S3分析同行人员的方法步骤包括，
S3-1提取特征，首先从高清摄像头捕捉视频画面中提取人脸特征信息，然后与目标人物的人脸特征进行比对，识别确认视频中人物为目标人物，最后提取视频中目标人物的同行人员的人脸特征信息；
S3-2分析判断，将步骤S3-1得到的同行人员和目标人物的人脸特征信息送入知识图谱进行检索，如果检索结果为两者为同行人员，则直接输出结果；否则进行二次分析，通过视频分析判断是否为同行人员，若是则更新知识图谱并输出结果，否则直接输出结果；
S3-3用户交互，显示最终的判断结果给用户，同时用户可人为判定两者的同行关系，反馈给系统，系统更新知识图谱。
本发明的有益效果是：
本发明基于知识图谱的思想，通过对已录入的智慧社区信息及其人员信息收集并建立知识图谱，通过关系推理得到人员与社区之间的落脚点可能性和社区住户人员之间的同行可能性。一方面可以利用知识图谱解决复杂场景下，不同类型的人员的落脚点分析依据和不同类型的同行人员的判断依据，增加算法分析的可靠性；另一方面，由于引入社区及人员的基本信息、关系信息，本发明加入额外的先验知识可以提高算法分析的准确性，并且实时地更新、维护知识图谱，保障了推理的合理性。并且相比于其他现有方法来说，本发明在进行人员落脚点分析时，耗费时间少，消耗资源小，计算速度快，可用于大规模的人员落脚点分析场景。
附图说明
下面结合附图对本发明作进一步的说明。
图1为本发明的知识图谱体系架构图。
图2为本发明的分析人员落脚点的方法流程图。
图3为本发明的分析同行人员的方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
附图为本发明的基于知识图谱的社区项目人员落脚点和同行人员分析方法的具体实施例。该实施例包括S1构建知识图谱的方法、S2分析人员落脚点的方法和S3分析同行人员的方法。
S1构建知识图谱的方法包括以下步骤：
S1-1知识图谱的定义与存储，利用自底向上的结构构建实体和关系组合，即SPO三元组（实体1，实体2，关系）；其中实体包括社区和人员（实体1即社区，实体2即人员），社区用名称和地址代表，人员用身份证号和人脸特征信息代表；关系包括人员之间的关系，包括亲人、朋友、同事等人际关系以及外卖、快递、维修等服务关系；人员和社区之间的关系，社区与人员关系表示社区与人员的连接关系，比如居住、落脚点、临时出入等；实体与实体之间用关系连接，所有关系都对应数字权重，并使用图数据库Neo4j进行存储。
S1-2获取非结构化数据，按类别获取整个智慧社区系统录入的全部非结构化图片和文本信息。文本信息包括社区住户人员的姓名、身份证号、年龄、性别、人脸特征信息及住户家庭成员信息、社区地址、大门位置、社区内建筑物信息；其中人脸特征信息通过住户人员录入的证件照提取得到，其余信息以文本形式获取。非结构化图片包括证件照、社区基本环境照片和社区内快递点照片等。
S1-3信息抽取，将步骤S1-2得到的非结构化数据进行实体抽取、关系抽取以及属性抽取；对非结构化数据中所有人员和社区进行实体生成，然后将人员的相关信息和社区信息作为属性添加到对应的实体，最后根据数据中存储的关系将不同的实体建立连接，社区人员可以建立家庭之间关系、邻居关系、与其他社区人员的朋友关系、办事关系等，以图的形式进行存储，建立初步知识图谱。实体抽取指步骤S1-2获得全部住户人员中将每个人作为一个独立实体，通过身份证号和人脸特征信息区分不同的实体，全部社区信息中将每个社区作为一个独立实体，用名称和地址区分不同实体；属性抽取是指将步骤S1-2获得的社区信息和住户人员信息作为属性添加到对应的实体；关系抽取是指根据步骤S1-2获得数据存储的关系将不同的实体建立连接，多个关系建立多个连接，以图的形式进行存储。
S1-4 轨迹抽取，将社区内摄像头监控画面进行人脸特征提取，与步骤S1-3产生的初步知识图谱内人脸特征信息进行比对，进行人脸识别；并且记录已识别到的人员的轨迹行为，实时存储在知识图谱内。
轨迹抽取包括三个步骤：
（1）从高清摄像头捕捉的视频画面中提取人脸特征信息，此步骤人脸特征信息提取利用深度卷积神经网络模型；
（2）将上一步提取到人脸特征信息与知识图谱中的目标人物的人脸特征信息进行比对，计算相似度高于90%则识别确认视频中人物为目标人物；
（3）最后提取同一视频中目标人物的地点特征，将得到的地点信息和对应的时间信息实时存储在知识图谱内。
S1-5知识加工，对于初步知识图谱，利用基于图的关系推理算法（Graph-basedRelation Inferring Algorithm, GBRI）对知识图谱进行数据挖掘，推理出不同实体之间是否存在同行可能，关系越近则同行可能性越大，反之越小；推理出人员实体和社区实体之间是否存在落脚点可能；人员实体和社区实体关系越近则落脚点可能性越大，反之越小；人员关系越近则落脚点一致性越大；接着利用置信度较高的推理信息更新知识图谱，将同行关系、落脚点关系和置信度信息加入知识图谱中，构成完整的知识图谱。
知识加工使用关系图卷积网络R-GCN的关系推理算法应用到知识图谱的关系网络中，R-GCN输入是one-hot编码的图节点矩阵，以及每个关系的邻接矩阵，输出是嵌入后的节点表示和节点之间同行关系，其中节点对应知识图谱中的实体对象，边对应知识图谱中的关系；R-GCN的前向传播公式为：
R-GCN利用的节点信息和边的类型信息，在使用了多层GCN网络后链接一个SoftMax层用于分类节点之间是否存在同行关系，最后用交叉熵损失函数约束网络。
S2分析人员落脚点的方法步骤包括，
S2-1输入查询信息，用户在查询界面输入需要查询分析的目标人物信息和时间段信息。
S2-2知识图谱检索，将步骤S2-1得到的目标人物的信息和时间段送入知识图谱进行检索，检索所有符合时间信息和人物信息的落脚点社区，若检索结果为有至少一个社区符合检索条件，则输出结果；否则进入步骤S2-3，进行进一步的落脚点分析。
S2-3活动轨迹统计，根据目标人物在知识图谱内已经存储的轨迹信息，将所有的用户查询时段内的轨迹信息进行算法统计；轨迹信息包括人员出入社区的时间信息，得到人员在社区的时间长短，然后将其乘以时间段权重和连续天数得到人员在此社区落脚点分值。
S2-4二分分析，利用步骤S2-3统计得到的轨迹信息进行筛选，排序分析得到目标人物的落脚点，并且根据结果分别进行对应的操作。根据步骤S2-3得到的分值，先进行筛选，将存在服务关系的社区排除；然后对所有分值进行排序，得到目标人物在各个社区的落脚点分值排序；最后将大于阈值分值的社区判定为目标人物的落脚点社区；若分析结果存在至少一个落脚点，则将落脚点信息存储到知识图谱的实体对应关系，更新知识图谱，并且进行知识推理过程；否则，判断无落脚点，输出结果。
S2-5用户交互，显示最终的判断结果给用户，同时用户可人为设定人与社区的落脚点关系，反馈给知识图谱。将步骤S2-4的判断结果输出到终端，并且将识别到的目标人物和社区轨迹地点用矩形框在轨迹视频上标出，展示全部符合条件的目标人物的轨迹视频；并且用户可人为设定人员与社区的落脚点关系，反馈给知识图谱，知识图谱完成更新。
S3分析同行人员的方法步骤包括，
S3-1提取特征，首先从高清摄像头捕捉视频画面中提取人脸特征信息，然后与目标人物的人脸特征进行比对，识别确认视频中人物为目标人物，最后提取视频中目标人物的同行人员的人脸特征信息。
特征提取包括三个步骤：S3-1-1从高清摄像头捕捉视频画面中提取人脸特征信息，此步骤人脸特征提取利用深度卷积神经网络模型；S3-1-2将上一步提取到人脸特征信息与知识图谱中的目标人物的人脸特征信息进行比对，通过欧式距离公式计算两者之间的相似度，若高于90%则识别确认视频中人物为目标人物；S3-1-3提取同一视频中目标人物的旁边人员的人脸特征信息。
S3-2分析判断，将步骤S3-1得到的待判断人员的人脸特征信息和目标人物的人脸特征信息送入知识图谱进行检索，如果检索结果为两者为同行人员，则直接输出结果，判断此人员为目标人物的同行人员；否则进行二次分析，通过视频分析判断是否为同行人员，若是则更新知识图谱并输出结果，否则直接输出结果。二次分析的方法步骤包括：首先获取周围高清摄像头的t时刻前后的视频画面，然后识别选定时间段内待判断人物和目标人物得到人脸特征，判断两者是否至少同时出现两次，若判断结果为是，则判断此人员为目标人物的同行人员，并且将同行关系更新知识图谱，否则判断为非同行人员。若出现偶然情况，同行关系可以由用户人为更正，反馈给系统，或者系统定时清理长时间不同行的人员的同行关系。
S3-3用户交互，显示最终的判断结果输出到系统终端给用户，同时用户可人为判定两者的同行关系，反馈给系统，系统更新知识图谱。并且将识别到的目标人物和待判断人物用矩形框在视频上标出，展示他们的知识图谱内属性信息。
附图1为本实施例的对应整个知识图谱的构建过程，需要经历定义与存储、非结构化数据输入、信息抽取、轨迹抽取以及知识加工五个阶段。为了保证知识图谱的正确性，需要实时动态更新知识图谱，尤其是不同实体之间的关系信息。
该实施例中轨迹抽取过程需要记录所有识别人员每时每刻的社区出入情况和关键位置的出入情况，因此识别功能需要使用轻量级的深度学习神经网络。而知识推理过程也需要随着知识图谱的更新而重复执行，鉴于此过程耗费资源较大，可人为设定每段时间自动一次知识推理，减少资源的消耗。
本发明通过对已录入智慧社区系统的人员信息构建知识图谱，然后用户输入需要分析的人员信息，接着利用已构建的知识图谱对目标人物的落脚点进行分析，在知识图谱中进行检索，若知识图谱内存在目标人物和社区的落脚点关系，则直接确认此社区为目标人物的落脚点，并且从知识图谱内得到此社区的相关信息；若知识图谱内不存在目标人物和社区两者的落脚点关系，则利用知识图谱中存储的目标人物的活动轨迹，在一定时间内，进行算法统计，二次分析计算小区落脚点的概率值；若概率值大于阈值，则判定小区为落脚点并且更新知识图谱；若没有出现则确认为无落脚点。
本发明通过对已录入智慧社区系统的人员信息构建知识图谱，然后基于已构建的知识图谱对目标人物的同行人员进行分析，先利用摄像头拍摄画面提取人脸特征，进行识别确认为目标人物，然后提取目标人物得到同行人员的人脸特征，在知识图谱中进行检索，若知识图谱内存在目标人物和同行人员两者的同行关系，则直接确认此为同行人员，并且从知识图谱内得到此人的相关信息；若知识图谱内不存在两者的同行关系，则利用相邻摄像头的拍摄画面，在一定时间内，识别此人是否和目标人物一同出现，若出现则确认为同行人员，并且更新知识图谱；若没有出现则确认为非同行人员。
分析人员落脚点和同行人员的方法主要依据知识图谱，其包含了大量的社区信息、社区人员信息、关系信息和属性信息，运用庞大的知识图谱信息可以方便快捷准确的判断人员落脚点和同行人员，并且可以根据判断结果实时更新、维护知识图谱，保证其正确性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于，包括S1构建知识图谱的方法、S2分析人员落脚点的方法和S3分析同行人员的方法；
S1构建知识图谱的方法包括以下步骤，
S1-1知识图谱的定义与存储，利用自底向上的结构构建实体和关系组合，即SPO三元组；其中实体包括社区和人员，关系包括人员之间的关系，人员和社区之间的关系，实体与实体之间用关系连接，所有关系都对应数字权重，并使用图数据库Neo4j进行存储；
S1-2 获取非结构化数据，按类别获取整个社区系统录入的全部非结构化图片和文本信息；
S1-3信息抽取，将非结构化数据进行实体抽取、关系抽取以及属性抽取；对非结构化数据中所有人员和社区进行实体生成，将人员信息和社区信息作为属性添加到对应的实体，最后根据数据中存储的关系将不同的实体建立连接，以图的形式进行存储，建立初步知识图谱；
S1-4 轨迹抽取，将监控画面进行人脸特征提取，与初步知识图谱内人脸特征信息进行比对，进行人脸识别；并且记录已识别到的人员的轨迹行为，实时存储在知识图谱内；
S1-5知识加工，利用基于图的关系推理算法对初步知识图谱进行数据挖掘，推理出不同实体之间是否存在同行可能，推理出人员实体和社区实体之间是否存在落脚点可能；接着利用置信度较高的推理信息更新知识图谱，将同行关系、落脚点关系和置信度信息加入知识图谱中，构成完整的知识图谱；
S2分析人员落脚点的方法步骤包括，
S2-1输入查询信息，用户在查询界面输入需要查询分析的目标人物信息和时间段信息；
S2-2知识图谱检索，将目标人物的信息和时间段送入知识图谱进行检索，若检索结果为有落脚点社区，则输出结果；否则进入步骤S2-3；S2-3活动轨迹统计，根据目标人物在知识图谱内已经存储的轨迹信息，将所有的用户查询时段内的轨迹信息进行算法统计；
S2-4二分分析，利用轨迹信息进行筛选，排序分析得到目标人物的落脚点，并且根据结果分别进行对应的操作；
S2-5用户交互，显示最终的判断结果给用户，同时用户可人为设定人与社区的落脚点关系，反馈给知识图谱；
S3分析同行人员的方法步骤包括，
S3-1提取特征，从视频画面中提取人脸特征信息，然后与目标人物的人脸特征进行比对，识别确认视频中人物为目标人物，最后提取视频中目标人物的同行人员的人脸特征信息；
S3-2分析判断，将同行人员和目标人物的人脸特征信息送入知识图谱进行检索，核实是否为同行人员；
S3-3用户交互，显示最终的判断结果给用户，同时用户可人为判定两者的同行关系，反馈给系统，系统更新知识图谱。
2.根据权利要求1所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于：步骤S1-2中文本信息包括社区住户人员的姓名、身份证号、年龄、性别、人脸特征信息及住户家庭成员信息、社区地址、大门位置、社区内建筑物信息；其中人脸特征信息通过住户人员录入的证件照提取得到，其余信息以文本形式获取。
3.根据权利要求2所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于：步骤S1-3中实体抽取指步骤S1-2获得全部住户人员中将每个人作为一个独立实体，通过身份证号和人脸特征信息区分不同的实体，全部社区信息中将每个社区作为一个独立实体，用名称和地址区分不同实体；属性抽取是指将步骤S1-2获得的社区信息和住户人员信息作为属性添加到对应的实体；关系抽取是指根据步骤S1-2获得数据存储的关系将不同的实体建立连接，多个关系建立多个连接，以图的形式进行存储。
4.根据权利要求3所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于，步骤S1-4中轨迹抽取包括三个步骤：
（1）从高清摄像头捕捉的视频画面中提取人脸特征信息，此步骤人脸特征信息提取利用深度卷积神经网络模型；
（2）将上一步提取到人脸特征信息与知识图谱中的目标人物的人脸特征信息进行比对，计算相似度高于90%则识别确认视频中人物为目标人物；
（3）最后提取同一视频中目标人物的地点特征，将得到的地点信息和对应的时间信息实时存储在知识图谱内。
5.根据权利要求1所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于，步骤S2-3中，轨迹信息包括人员出入社区的时间信息，得到人员在社区的时间长短，然后将其乘以时间段权重和连续天数得到人员在此社区落脚点分值。
6.根据权利要求5所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于：步骤S2-4根据步骤S2-3得到的分值，先进行筛选，将存在服务关系的社区排除；然后对所有分值进行排序，得到目标人物在各个社区的落脚点分值排序；最后将大于阈值分值的社区判定为目标人物的落脚点社区；若分析结果存在至少一个落脚点，则将落脚点信息存储到知识图谱的实体对应关系，更新知识图谱，并且进行知识推理过程；否则，判断无落脚点，输出结果。
7.根据权利要求6所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于，步骤S2-5中将步骤S2-4的判断结果输出到终端，并且将识别到的目标人物和社区轨迹地点用矩形框在轨迹视频上标出，展示全部符合条件的目标人物的轨迹视频；并且用户可人为设定人员与社区的落脚点关系，反馈给知识图谱，知识图谱完成更新。
8.根据权利要求1所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于，步骤S3-1特征提取包括三个步骤：S3-1-1从高清摄像头捕捉视频画面中提取人脸特征信息，此步骤人脸特征提取利用深度卷积神经网络模型；S3-1-2将上一步提取到人脸特征信息与知识图谱中的目标人物的人脸特征信息进行比对，通过欧式距离公式计算两者之间的相似度，若高于90%则识别确认视频中人物为目标人物；S3-1-3提取同一视频中目标人物的旁边人员的人脸特征信息。
9.根据权利要求1所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于，步骤S3-2中的二次分析的方法步骤包括：首先获取周围高清摄像头的t时刻前后的视频画面，然后识别选定时间段内待判断人物和目标人物得到人脸特征，判断两者是否至少同时出现两次，若判断结果为是，则判断此人员为目标人物的同行人员，并且将此同行关系保存并更新到知识图谱中，否则判断为非同行人员。
10.根据权利要求1所述的基于知识图谱的社区项目人员落脚点和同行人员分析方法，其特征在于，步骤S1-5中知识加工使用关系图卷积网络R-GCN的关系推理算法应用到知识图谱的关系网络中，利用已构造的图训练R-GCN网络，然后使用训练好的网络推理得到节点之间的关系；R-GCN输入是one-hot编码的图节点矩阵，以及每个关系的邻接矩阵，输出是嵌入后的节点表示和节点之间同行关系，其中节点对应知识图谱中的实体对象，边对应知识图谱中的关系；R-GCN的前向传播公式为：
其中，i是节点，l是网络层数，h是节点的向量表示，
是激活函数，r是关系，c是常量，W是参数矩阵，N是邻居节点的集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210139570.3A CN114491078B (zh) | 2022-02-16 | 2022-02-16 | 基于知识图谱的社区项目人员落脚点和同行人员分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210139570.3A CN114491078B (zh) | 2022-02-16 | 2022-02-16 | 基于知识图谱的社区项目人员落脚点和同行人员分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114491078A true CN114491078A (zh) | 2022-05-13 |
| CN114491078B CN114491078B (zh) | 2022-08-02 |
Family
ID=81481229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210139570.3A Active CN114491078B (zh) | 2022-02-16 | 2022-02-16 | 基于知识图谱的社区项目人员落脚点和同行人员分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114491078B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825883A (zh) * | 2019-10-30 | 2020-02-21 | 杭州叙简科技股份有限公司 | 一种基于知识图谱的混合式团伙发现方法 |
| CN111026874A (zh) * | 2019-11-22 | 2020-04-17 | 海信集团有限公司 | 知识图谱的数据处理方法及服务器 |
| CN111241305A (zh) * | 2020-01-16 | 2020-06-05 | 北京明略软件系统有限公司 | 数据处理方法和装置、电子设备及计算机可读存储介质 |
| CN111241429A (zh) * | 2020-01-15 | 2020-06-05 | 秒针信息技术有限公司 | 一种时空关系的确定方法、装置、电子设备及存储介质 |
| CN111427968A (zh) * | 2019-10-28 | 2020-07-17 | 青岛海信网络科技股份有限公司 | 一种基于知识图谱的重点人员全息档案构建方法及装置 |
| CN111612113A (zh) * | 2020-05-26 | 2020-09-01 | 宁波军鸽防务科技有限公司 | 防疫管控方法、装置、系统、存储介质以及处理器 |
| CN112308001A (zh) * | 2020-11-06 | 2021-02-02 | 江西高创保安服务技术有限公司 | 一种智慧社区的数据分析方法及人员追踪方法、系统 |
| CN112364176A (zh) * | 2020-10-26 | 2021-02-12 | 青岛海信网络科技股份有限公司 | 一种人员行动轨迹的构建方法、设备及系统 |
| WO2021189729A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
| CN113468948A (zh) * | 2021-04-26 | 2021-10-01 | 深圳市安软科技股份有限公司 | 基于视图数据的治安防控方法、模块、设备及存储介质 |
-
2022
- 2022-02-16 CN CN202210139570.3A patent/CN114491078B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111427968A (zh) * | 2019-10-28 | 2020-07-17 | 青岛海信网络科技股份有限公司 | 一种基于知识图谱的重点人员全息档案构建方法及装置 |
| CN110825883A (zh) * | 2019-10-30 | 2020-02-21 | 杭州叙简科技股份有限公司 | 一种基于知识图谱的混合式团伙发现方法 |
| CN111026874A (zh) * | 2019-11-22 | 2020-04-17 | 海信集团有限公司 | 知识图谱的数据处理方法及服务器 |
| CN111241429A (zh) * | 2020-01-15 | 2020-06-05 | 秒针信息技术有限公司 | 一种时空关系的确定方法、装置、电子设备及存储介质 |
| CN111241305A (zh) * | 2020-01-16 | 2020-06-05 | 北京明略软件系统有限公司 | 数据处理方法和装置、电子设备及计算机可读存储介质 |
| WO2021189729A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
| CN111612113A (zh) * | 2020-05-26 | 2020-09-01 | 宁波军鸽防务科技有限公司 | 防疫管控方法、装置、系统、存储介质以及处理器 |
| CN112364176A (zh) * | 2020-10-26 | 2021-02-12 | 青岛海信网络科技股份有限公司 | 一种人员行动轨迹的构建方法、设备及系统 |
| CN112308001A (zh) * | 2020-11-06 | 2021-02-02 | 江西高创保安服务技术有限公司 | 一种智慧社区的数据分析方法及人员追踪方法、系统 |
| CN113468948A (zh) * | 2021-04-26 | 2021-10-01 | 深圳市安软科技股份有限公司 | 基于视图数据的治安防控方法、模块、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| NIKOS SALAMANOS 等: ""Discovering Correlation between Communities and Likes in Facebook"", 《2012 IEEE INTERNATIONAL CONFERENCE ON GREEN COMPUTING AND COMMUNICATIONS》 * |
| 彭雨苏: ""社区治安风险智能防范研究"", 《中国优秀博硕士学位论文全文数据库(硕士)社会科学Ⅰ辑》 * |
| 胡勉宁 等: ""社区治安风险多主体关联分析及预警方法研究"", 《安全》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114491078B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738044B (zh) | 一种基于深度学习行为识别的校园暴力评估方法 | |
| CN112084373B (zh) | 一种基于图嵌入的多源异构网络用户对齐方法 | |
| CN104992223A (zh) | 基于深度学习的密集人数估计方法 | |
| CN107735795A (zh) | 用于社会关系识别的方法和系统 | |
| CN106295565A (zh) | 基于大数据的监控事件识别及实时犯罪预测方法 | |
| CN104636751A (zh) | 基于时间递归神经网络的人群异常检测和定位系统及方法 | |
| CN110222592B (zh) | 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法 | |
| CN111340112B (zh) | 分类方法、装置、服务器 | |
| CN112580902B (zh) | 对象数据处理方法、装置、计算机设备和存储介质 | |
| CN111967729A (zh) | 一种基于数据挖掘的产业化人员画像评价方法 | |
| CN112766119A (zh) | 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法 | |
| CN111582342A (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| CN115148327B (zh) | 一种面向麻醉智能决策的多方协同原型系统及其方法 | |
| CN112241687A (zh) | 一种具有陌生人脸库功能的人脸识别方法及系统 | |
| CN116227624A (zh) | 面向异构模型的联邦知识蒸馏方法和系统 | |
| CN114491078B (zh) | 基于知识图谱的社区项目人员落脚点和同行人员分析方法 | |
| CN116865994A (zh) | 一种基于大数据的网络数据安全预测方法 | |
| CN116545679A (zh) | 一种工业情境安全基础框架及网络攻击行为特征分析方法 | |
| CN115099631B (zh) | 基于异构图注意力网络的文物安防系统风险评估方法 | |
| CN112287996B (zh) | 一种基于机器学习的重大事件关键因子挖掘方法 | |
| CN115293249A (zh) | 一种基于动态时序预测的电力系统典型场景概率预测方法 | |
| CN111860441B (zh) | 基于无偏深度迁移学习的视频目标识别方法 | |
| CN113673299A (zh) | 一种基于深度语义特征提取的配电房小动物检测方法 | |
| CN114612246A (zh) | 对象集合识别方法、装置、计算机设备及存储介质 | |
| CN113076963A (zh) | 一种图像识别方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |