CN114036318A - 面向泛感知数据的基于时序图的公共安全知识图谱生成方法 - Google Patents
面向泛感知数据的基于时序图的公共安全知识图谱生成方法 Download PDFInfo
- Publication number
- CN114036318A CN114036318A CN202111400295.8A CN202111400295A CN114036318A CN 114036318 A CN114036318 A CN 114036318A CN 202111400295 A CN202111400295 A CN 202111400295A CN 114036318 A CN114036318 A CN 114036318A
- Authority
- CN
- China
- Prior art keywords
- entity
- data
- map
- sequence diagram
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
Abstract
本发明公开面向泛感知数据的基于时序图的公共安全知识图谱生成方法。包括原始采集数据预处理：对泛感知数据链路采集到的原始数据信息，提取特征和计算各种属性信息；实体链接：对上述处理后的泛感知数据链路采集信息，在已构建的图谱上检索，判定其真实所属的实体是否存在；知识推理，生成时序图；知识加工，解决冲突；知识图谱，并根据知识图谱再更新知识推理和生成时序图。本发明通过在图谱上引入时间维度，并提供针对特定时间点、顶点、边和附属数据的良好访问性能，从而更有效地做到实时防控。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及面向泛感知数据的基于时序图的公共安全知识图谱生成方法。
背景技术
随着面临日益复杂的治安防控形势，以及公共安全领域的泛感知数据获取技术、人工智能技术的快速发展；迫切需要高效地集成、协调地运作各个公安功能模块，以更有效地实时防控乃至提前预警预报，保障社会稳定运行。
目前，现有技术是选用关系型数据库来存储数据，使用表关联来进行查询。关系型数据库在解决单条数据查询时有良好的表现，但在深度关联查询时效率很低；对关系的实时查询不能提供很好的支持，同时在开发和运行一些图算法时会相当不利。
发明内容
本发明的目的克服现有技术中的不足而提供面向泛感知数据的基于时序图的公共安全知识图谱生成方法；该方法通过在图谱上引入时间维度，并提供针对特定时间点、顶点、边和附属数据的良好访问性能，从而更有效地做到实时防控。
本发明的技术方案如下：
面向泛感知数据的基于时序图的公共安全知识图谱生成方法，步骤如下：
原始采集数据预处理：对泛感知数据链路采集到的原始数据信息，提取特征和计算各种属性信息；
实体链接：对上述处理后的泛感知数据链路采集信息，在已构建的图谱上检索，判定其真实所属的实体是否存在；
知识推理，生成时序图；
知识加工，解决冲突；
知识图谱，并根据知识图谱再更新知识推理和生成时序图。
上述原始采集数据预处理包括行人图像数据预处理，车辆图像数据预处理或RFID、IMSI、MAC感知数据预处理。
上述实体链接步骤中如果判定为存在，则将该条记录打上对应实体的标签，并存入数据库；如果判定为不存在，则会为该采集数据在图谱上建立新的实体，打上标签，并存入数据库。
在上述知识图谱步骤后有实体拆分步骤，所述实体拆分包括对图谱中有新增采集数据的实体，从分配到的采集数据分离出存在不一致的部分，然后各自分配新的实体标签。
上述实体拆分步骤如下：
实体采集数据异常检测：对于实体所属的所有采集数据使用异常检测算法筛选出异常的数据，将其中相似度超过预设阈值的分配到同一个新的实体，标注完实体之后，分别存入图谱和数据库；
实体采集数据进行聚类：对于该实体剩下的采集数据，使用聚类算法，如果能分离出新的样本集，则逐个分配新的实体标签，分别存入图谱和数据库；
分配新的实体标签：在上述算法步骤中，如果产生了新的实体，那么对于每一个历史时间段，生成时序图中的实体，计算出代表性的特征存储到图谱上。
在上述知识图谱步骤后有实体合并步骤，实体合并包括对图谱中的每个实体，根据分配到的采集数据特征，判断出真实描述的是同一本体的实体对，进行合并操作。
上述实体合并具体步骤如下：
实体合并操作：进行合并操作时，随机挑选一个实体作为最终选择，其余的要从图谱中予以剔除，然后更改所有采集数据的实体标签；
实体合并后操作：将所有的采集数据合并到一起，然后对每个历史时间段，使用生成时序图中的实体，计算出代表性的特征，在图谱上进行更新。
上述生成时序图中的实体为每隔一定的时间，对累计的采集数据，归纳和计算出代表性的特征，打上时间标签，存入图谱中；同时时序图上的知识推理分为推理生成时序图同类型实体之间的关系和推理生成时序图中不同类型之前的关系，所述生成时序图中的实体具体步骤如下：
计算实体画像特征：对所要求的时间和范围，提取出期间采集的数据，由于每条数据记录都可能有不同的属性值，对不同的属性使用规则归纳出唯一值，除此之后还能计算总体上的画像特征；
生成实体的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系都加上当前计算的日期；
合并临时图谱：将前一步得到的临时图谱，按照一定规则融入到最终的图谱之中。
上述推理生成时序图中同类型实体之间的关系为每隔一定的时间，对具有同一数据链路类型采集数据的实体，根据采集到的数据特征进行推理，建立关联，存入图谱中；其具体步骤如下：
推理同类型实体关系：在所要求的时间范围，对所有符合要求的实体，提取出相应的记录数据，逐对推理发现新关系；
生成同类型实体关系的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系加上当前计算的日期；
合并临时图谱：将上述得到的临时图谱，按照一定规则融入到最终的图谱中。
上述推理不同类型实体关系为每隔一定的时间，对具有不同数据链路类型采集数据的实体，根据采集到的数据特征，进行推理，建立关联，存入图谱中；其具体的步骤如下：
推理不同类型实体关系：对所要求的时间范围，提取出符合一定要求的历史数据，进行逐步推理是否存在预设的关系；
生成不同类型实体关系的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系都加上当前计算的日期；
合并临时图谱：将上述得到的临时图谱，按照一定规则融入到最终的图谱中。
本发明的有益效果：本发明通过对泛感知数据链路产生的信息进行建模、画像特征以描述采集数据背后对应的实体，充分利用和挖掘了数据的价值。并全面整合、融合及关联各数据链路产生的数据信息，构建了描述治安防控对象的全景图，更全面、更深刻把握住动态特征、演变规律、发展趋势，为社会治理提供动态的、系统的数据依据。
附图说明
图1为面向泛感知数据的基于时序图的公共安全知识图谱生成方法流程图；
图2为实体拆分流程图；
图3为实体合并流程图；
图4为生成时序图中的实体流程图；
图5为节点属性的时序图结构示例图；
图6为节点关系的时序图结构示例图。
具体实施方式
为了更好的说明本发明，现结合实施例及附图作进一步的说明。
如图1所示，面向泛感知数据的基于时序图的公共安全知识图谱生成方法，步骤如下：
S01：原始采集数据预处理：对泛感知数据链路采集到的原始数据信息，提取特征和计算各种属性信息；
具体的，对于行人图像数据预处理：对行人图像数据，提取人脸特征信息，以及计算如衣服和裤子的款式、颜色，年龄，性别，是否佩戴眼镜，头发样式等属性信息；
具体的，对于车辆图像数据预处理：对车辆图像数据，提取特征信息和车牌号，并计算如车辆商标，颜色，类型，型号等属性信息；
具体的，对于RFID、IMSI、MAC等感知数据的预处理：做基本的去重和空值检测处理之后，形成感知数据的时空特征记录；
S02：实体链接：对上述处理后的泛感知数据链路采集信息，在已构建的图谱上检索，判定其真实所属的实体是否存在；如果判定为存在，则将该条记录打上对应实体的标签，并存入数据库；如果判定为不存在，则会为该采集数据在图谱上建立新的实体，打上标签，并存入数据库；
具体的，行人实体链接：对于行人图像数据，使用人脸识别算法寻找出相似概率最大的实体，根据预设阈值来判断是否分到该实体，存入数据库；如果该实体的相似概率大于等于预设阈值，则认为对该行人图像属于该实体，打上对就的实体标签，存入数据库，以待后续处理；如果该实体的相似概率小于预设阈值，则认为该行人图像不属于该实体，生成一个新的实体标签以代表该行人图像，然后将该实体存入图谱，给行人图像附上该实体标签，存入数据库中；
具体的，车辆实体链接：对于车辆图像数据，使用车辆识别算法寻找出相似概率最大的实体，根据预设阈值来判断是否划分到该实体，存入数据库；如果该实体的相似概率大于等于阈值，则认为对该车辆图像属于该实体，打上对应的实体标签，存入数据库，以待后续处理；如果该实体的相似概率小于预设阈值，则认为该车辆图像不属于该实体，生成一个新的实体以代表该车辆图像，然后将该实体存入图谱，给车辆图像附上该实体标签，存入数据库中；
具体的，RFID、IMSI、MAC等感知数据实体链接：对于感知数据，先根据算法规则判断出虚拟号码予以剔除，然后对剩下的真实号码存入图谱中；
S03：知识推理，生成时序图；
S04：知识加工，解决冲突；
S05：知识图谱，并根据知识图谱再更新知识推理和生成时序图。
如图2所示，在上述知识图谱步骤后有实体拆分步骤，实体拆分包括对图谱中有新增采集数据的实体，从分配到的采集数据分离出存在不一致的部分，然后各自分配新的实体标签；其具体步骤如下：
S11：实体采集数据异常检测：对于实体所属的所有采集数据使用异常检测算法筛选出异常的数据，将其中相似度超过预设阈值的分配到同一个新的实体，标注完实体之后，分别存入图谱和数据库；对于正常数据则执行S12，对于异常数据则执行S13；
S12：实体采集数据进行聚类：对于该实体剩下的采集数据，使用聚类算法，如果能分离出新的样本集，则逐个分配新的实体标签，分别存入图谱和数据库；
S13：分配新的实体标签：在上述算法步骤中，如果产生了新的实体，那么对于每一个历史时间段，生成时序图中的实体，计算出代表性的特征存储到图谱上。
如图3所示，在知识图谱步骤后有实体合并步骤，实体合并包括对图谱中的每个实体，根据分配到的采集数据特征，判断出真实描述的是同一本体的实体对，进行合并操作；其具体步骤如下：
S21：判断是否是同类型的实体，如是，则执行S22；如否，则结束；
S22：计算数据特征信息的相似度；
S23：如相似度大于等于预设阈值，则执行S24；如否，则结束；
S24：判断为相似实体，随机挑选一个实体作为最终选择，其余的要从图谱中予以剔除，然后更改所有采集数据的实体标签；将所有的采集数据合并到一起，然后对每个历史时间段，使用生成时序图中的实体，计算出代表性的特征，在图谱上进行更新。
如图4所示，生成时序图中的实体是每隔一定的时间，对累计的采集数据，归纳和计算出代表性的特征，打上时间标签，存入图谱中；同时时序图上的知识推理分为推理生成时序图同类型实体之间的关系和推理生成时序图中不同类型之前的关系；
生成时序图中的实体具体步骤如下：
计算实体画像特征：对所要求的时间和范围，提取出期间采集的数据，由于每条数据记录都可能有不同的属性值，对不同的属性使用规则归纳出唯一值，除此之后还能计算总体上的画像特征，如最常出行时间等。节点属性的时序图结构示例如图5所示；
生成实体的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系都加上当前计算的日期；
合并临时图谱：将前一步得到的临时图谱，按照一定规则融入到最终的图谱之中。
具体的，推理生成时序图中同类型实体之间的关系为每隔一定的时间，对具有同一数据链路类型采集数据的实体，根据采集到的数据特征进行推理，建立关联，存入图谱中；其具体步骤如下：
推理同类型实体关系：在所要求的时间范围，对所有符合要求的实体，提取出相应的记录数据，逐对推理发现新关系；
生成同类型实体关系的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系加上当前计算的日期；
合并临时图谱：将上述得到的临时图谱，按照一定规则融入到最终的图谱中。
具体的，推理不同类型实体关系为每隔一定的时间，对具有不同数据链路类型采集数据的实体，根据采集到的数据特征，进行推理，建立关联，存入图谱中；节点关系的时序图如图6所示。其具体的步骤如下：
推理不同类型实体关系：对所要求的时间范围，提取出符合一定要求的历史数据，进行逐步推理是否存在预设的关系；
生成不同类型实体关系的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系都加上当前计算的日期；
合并临时图谱：将上述得到的临时图谱，按照一定规则融入到最终的图谱中。
以上步骤中合并临时图谱的具体操作：对于临时图谱融入最终图谱的具体方法是需要先建立一个代表计算时间范围的时序节点，然后对推理得到的节点之间的关联信息，建立超图(Hypergraph)，使这些关联的边连接对应的本体节点之处，还要连接到时序节点。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围内。
Claims (10)
1.面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：步骤如下：
原始采集数据预处理：对泛感知数据链路采集到的原始数据信息，提取特征和计算各种属性信息；
实体链接：对上述处理后的泛感知数据链路采集信息，在已构建的图谱上检索，判定其真实所属的实体是否存在；
知识推理，生成时序图；
知识加工，解决冲突；
知识图谱，并根据知识图谱再更新知识推理和生成时序图。
2.根据权利要求1所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：所述原始采集数据预处理包括行人图像数据预处理，车辆图像数据预处理或RFID、IMSI、MAC感知数据预处理。
3.根据权利要求1所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：所述实体链接步骤中如果判定为存在，则将该条记录打上对应实体的标签，并存入数据库；如果判定为不存在，则会为该采集数据在图谱上建立新的实体，打上标签，并存入数据库。
4.根据权利要求1所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：在所述知识图谱步骤后有实体拆分步骤，所述实体拆分包括对图谱中有新增采集数据的实体，从分配到的采集数据分离出存在不一致的部分，然后各自分配新的实体标签。
5.根据权利要求4所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：所述实体拆分步骤如下：
实体采集数据异常检测：对于实体所属的所有采集数据使用异常检测算法筛选出异常的数据，将其中相似度超过预设阈值的分配到同一个新的实体，标注完实体之后，分别存入图谱和数据库；
实体采集数据进行聚类：对于该实体剩下的采集数据，使用聚类算法，如果能分离出新的样本集，则逐个分配新的实体标签，分别存入图谱和数据库；
分配新的实体标签：在上述算法步骤中，如果产生了新的实体，那么对于每一个历史时间段，生成时序图中的实体，计算出代表性的特征存储到图谱上。
6.根据权利要求1所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：在所述知识图谱步骤后有实体合并步骤，所述实体合并包括对图谱中的每个实体，根据分配到的采集数据特征，判断出真实描述的是同一本体的实体对，进行合并操作。
7.根据权利要求6所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：所述实体合并具体步骤如下：
实体合并操作：进行合并操作时，随机挑选一个实体作为最终选择，其余的要从图谱中予以剔除，然后更改所有采集数据的实体标签；
实体合并后操作：将所有的采集数据合并到一起，然后对每个历史时间段，使用生成时序图中的实体，计算出代表性的特征，在图谱上进行更新。
8.根据权利要求1所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：所述生成时序图中的实体为每隔一定的时间，对累计的采集数据，归纳和计算出代表性的特征，打上时间标签，存入图谱中；同时时序图上的知识推理分为推理生成时序图同类型实体之间的关系和推理生成时序图中不同类型之前的关系，所述生成时序图中的实体具体步骤如下：
计算实体画像特征：对所要求的时间和范围，提取出期间采集的数据，由于每条数据记录都可能有不同的属性值，对不同的属性使用规则归纳出唯一值，除此之后还能计算总体上的画像特征；
生成实体的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系都加上当前计算的日期；
合并临时图谱：将前一步得到的临时图谱，按照一定规则融入到最终的图谱之中。
9.根据权利要求8所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：所述推理生成时序图中同类型实体之间的关系为每隔一定的时间，对具有同一数据链路类型采集数据的实体，根据采集到的数据特征进行推理，建立关联，存入图谱中；其具体步骤如下：
推理同类型实体关系：在所要求的时间范围，对所有符合要求的实体，提取出相应的记录数据，逐对推理发现新关系；
生成同类型实体关系的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系加上当前计算的日期；
合并临时图谱：将上述得到的临时图谱，按照一定规则融入到最终的图谱中。
10.根据权利要求8所述面向泛感知数据的基于时序图的公共安全知识图谱生成方法，其特征在于：所述推理不同类型实体关系为每隔一定的时间，对具有不同数据链路类型采集数据的实体，根据采集到的数据特征，进行推理，建立关联，存入图谱中；其具体的步骤如下：
推理不同类型实体关系：对所要求的时间范围，提取出符合一定要求的历史数据，进行逐步推理是否存在预设的关系；
生成不同类型实体关系的临时图谱：对当前得到的结果，可以构建出一个临时图谱，然后对所有的节点和关系都加上当前计算的日期；
合并临时图谱：将上述得到的临时图谱，按照一定规则融入到最终的图谱中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111400295.8A CN114036318A (zh) | 2021-11-22 | 2021-11-22 | 面向泛感知数据的基于时序图的公共安全知识图谱生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111400295.8A CN114036318A (zh) | 2021-11-22 | 2021-11-22 | 面向泛感知数据的基于时序图的公共安全知识图谱生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114036318A true CN114036318A (zh) | 2022-02-11 |
Family
ID=80145295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111400295.8A Pending CN114036318A (zh) | 2021-11-22 | 2021-11-22 | 面向泛感知数据的基于时序图的公共安全知识图谱生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114036318A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114741569A (zh) * | 2022-06-09 | 2022-07-12 | 杭州欧若数网科技有限公司 | 一种在图数据库中支持复合数据类型方法及装置 |
| CN114867052A (zh) * | 2022-06-10 | 2022-08-05 | 中国电信股份有限公司 | 无线网络故障诊断方法、装置、电子设备和介质 |
-
2021
- 2021-11-22 CN CN202111400295.8A patent/CN114036318A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114741569A (zh) * | 2022-06-09 | 2022-07-12 | 杭州欧若数网科技有限公司 | 一种在图数据库中支持复合数据类型方法及装置 |
| CN114741569B (zh) * | 2022-06-09 | 2022-09-13 | 杭州欧若数网科技有限公司 | 一种在图数据库中支持复合数据类型方法及装置 |
| CN114867052A (zh) * | 2022-06-10 | 2022-08-05 | 中国电信股份有限公司 | 无线网络故障诊断方法、装置、电子设备和介质 |
| CN114867052B (zh) * | 2022-06-10 | 2023-11-07 | 中国电信股份有限公司 | 无线网络故障诊断方法、装置、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021189729A1 (zh) | 复杂关系网络的信息分析方法、装置、设备及存储介质 | |
| CN114036318A (zh) | 面向泛感知数据的基于时序图的公共安全知识图谱生成方法 | |
| CN109784270B (zh) | 一种提升人脸图片识别完整性的处理方法 | |
| CN106776856B (zh) | 一种融合颜色特征与词汇树的车辆图像检索方法 | |
| CN112614187A (zh) | 回环检测方法、装置、终端设备和可读存储介质 | |
| CN109426831B (zh) | 图片相似匹配及模型训练的方法、装置及计算机设备 | |
| CN111143838B (zh) | 数据库用户异常行为检测方法 | |
| CN102254012A (zh) | 一种基于外存的图数据存储方法及子图查询方法 | |
| CN114911830B (zh) | 基于时序数据库的索引缓存方法、装置、设备及存储介质 | |
| CN113706100B (zh) | 配电网物联终端设备实时探测识别方法与系统 | |
| CN112925899B (zh) | 排序模型建立方法、案件线索推荐方法、装置及介质 | |
| CN112597399A (zh) | 图数据处理方法、装置、计算机设备和存储介质 | |
| CN112839102A (zh) | 应用于大数据画像推送的业务处理方法及机器学习服务器 | |
| CN112836611A (zh) | 确定身体部位语义图、模型训练和行人重识别方法及设备 | |
| CN111626311B (zh) | 一种异构图数据处理方法和装置 | |
| Wang et al. | Finding uninformative features in binary data | |
| CN115757896A (zh) | 向量检索方法、装置、设备及可读存储介质 | |
| CN105469095A (zh) | 一种基于车型图像的模式集直方图的车型识别方法 | |
| CN106202562B (zh) | 一种降低敏感信息误判率的方法 | |
| CN112784008B (zh) | 案件相似度确定方法及装置、存储介质、终端 | |
| Nguyen-Quoc et al. | Face recognition based on selection approach via canonical correlation analysis feature fusion | |
| CN116032741A (zh) | 一种设备识别方法、装置、电子设备和计算机存储介质 | |
| CN113918762A (zh) | 视频结构化信息的处理方法、装置、设备及存储介质 | |
| CN109934302B (zh) | 新类别识别方法和基于模糊理论和深度学习的机器人系统 | |
| CN112307133A (zh) | 安全防护方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |