CN116738216B - 预警大数据的关联处理方法和装置 - Google Patents

预警大数据的关联处理方法和装置 Download PDF

Info

Publication number
CN116738216B
CN116738216B CN202311021461.2A CN202311021461A CN116738216B CN 116738216 B CN116738216 B CN 116738216B CN 202311021461 A CN202311021461 A CN 202311021461A CN 116738216 B CN116738216 B CN 116738216B
Authority
CN
China
Prior art keywords
data
portrait
early warning
big data
pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311021461.2A
Other languages
English (en)
Other versions
CN116738216A (zh
Inventor
罗熹
史伟奇
鄢喜爱
汤丹
刘典型
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Police Academy
Original Assignee
Hunan Police Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Police Academy filed Critical Hunan Police Academy
Priority to CN202311021461.2A priority Critical patent/CN116738216B/zh
Publication of CN116738216A publication Critical patent/CN116738216A/zh
Application granted granted Critical
Publication of CN116738216B publication Critical patent/CN116738216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种预警大数据的关联处理方法和装置,涉及数据处理技术领域。该方法包括:首先获取待关联的预警大数据并提取多维特征,并通过筛选算力池匹配特征维度。然后,计算特征的第一类型标签和第二类型标签,并构建第一和第二数据画像。最后,利用第二数据画像反向关联修正第一数据画像,构建时间空间关联数据画像,并结合修正数据画像得到关联结果。解决了现有预警数据关联数据离散度较高,颗粒度较大,并且数据关联效率较低的问题。

Description

预警大数据的关联处理方法和装置
技术领域
本发明涉及数据处理技术领域,尤其涉及一种预警大数据的关联处理方法和装置。
背景技术
预警数据关联是指通过分析和处理不同来源、不同类型的预警数据,发现它们之间的关联关系并进行有效的数据集成和联合分析。这样做可以提供更全面、准确的预警信息,支持警务部门的决策制定和应急响应工作。
在现有的预警数据关联方法中,存在以下问题:
数据离散度较高:预警数据可能来自不同的来源和部门,例如不同的相关部门,这些数据往往以不同的格式、结构和标准存储。由于缺乏统一的数据标准和整合机制,数据离散度较高,使得数据集成和关联变得困难。
颗粒度较大:预警数据通常包含丰富的细节和属性,例如案件描述、时间戳、地理位置等。每个属性的取值范围可能较大,使得数据的颗粒度较大。这导致在进行关联时需要处理大量的数据,增加了数据处理和计算的复杂度。
数据关联效率较低:由于数据来源的多样性和数据离散度的高度,传统的数据关联方法往往面临效率低下的问题。在大规模数据集中进行匹配和关联操作需要耗费大量的计算资源和时间,导致数据关联的效率较低。
发明内容
本发明提供了一种预警大数据的关联处理方法和装置,解决了现有预警数据关联数据离散度较高,颗粒度较大,并且数据关联效率较低的问题。
第一方面,本发明实施例提供了.一种预警大数据的关联处理方法,方法包括:
获取待关联的预警大数据,并提取预警大数据的多维特征;
根据多维特征,从多个算力池中筛选出至少一个目标算力池,其中,每个目标算力池匹配一个维度的特征;
在每个目标算力池中计算每个维度的特征的第一类型标签和第二类型标签,其中,第一类型标签为与待关联的预警大数据的匹配度大于预设阈值的标签,第二类型标签为与待关联的预警大数据的匹配度小于或等于预设阈值的标签;
根据每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像;
根据第二数据画像对第一数据画像进行反向关联,获得修正数据画像;
构建待关联的预警大数据的时间空间关联数据画像,并结合根据修正数据画像,以获得待关联的预警大数据的关联结果。
本申请实施例提供的技术方案至少带来以下有益效果:首先获取待关联的预警大数据并提取多维特征并,通过筛选算力池匹配特征维度。然后,计算特征的第一类型标签和第二类型标签,并构建第一和第二数据画像。最后,利用第二数据画像反向关联修正第一数据画像,构建时间空间关联数据画像,并结合修正数据画像得到关联结果。通过提取待关联的预警大数据的多维特征,将数据转化为统一的特征表示形式。这样做可以解决数据来自不同来源、以不同格式存储的问题,降低了数据离散度,使得数据集成和关联更加容易和准确。通过筛选算力池匹配特征维度,可以对特征进行精细化选择和匹配。这样做有助于降低数据的颗粒度,减少冗余信息,提高关联计算的效率。通过构建第一和第二数据画像,并计算特征的第一类型标签和第二类型标签,可以利用预先定义的标签信息来简化数据关联过程。这样可以减少关联计算的复杂性和计算资源的消耗,提高数据关联的效率。通过将第二数据画像中的特征应用于第一数据画像,实现反向关联和修正。这有助于将第一数据画像与第二数据画像进行一致性和关联性的匹配,提高数据关联的准确性和一致性。通过构建时间空间关联数据画像,整合时间和空间信息,从而进一步提高数据关联的质量和准确性。同时,结合修正数据画像可以获得更可靠的关联结果,为预警数据的分析和决策提供更有价值的信息。
在一种可选的实施方式中,根据多维特征,从多个算力池中筛选出至少一个目标算力池,包括:
确定每个维度的特征的算法需求,并根据算法需求与算力池支持的最优的算法的映射关系,确定至少一个初始待选算力池;
计算每个初始待选算力池的当前算力资源,并根据当前算力资源的大小对初始待选算力池进行位次排序;
将位次排序最高的初始待选算力池,确定为目标算力池。
在一种可选的实施方式中,在每个目标算力池中计算每个维度的特征的第一类型标签和第二类型标签,包括:
确定每个维度的特征表征的第一文本属性和标签表征的第二文本属性;
根据第一文本属性与第二文本属性的相似度计算结果,确定标签和待关联的预警大数据的匹配度;
根据标签和待关联的预警大数据的匹配度,确定每个维度的特征的第一类型标签和第二类型标签。
在一种可选的实施方式中,根据第一文本属性与第二文本属性的相似度计算结果,确定标签和待关联的预警大数据的匹配度,包括:
确定第一文本属性对应的第一语义向量和第二文本属性对应的第二语义向量;
根据第一语义向量和第二语义向量,确定相似度计算结果。
在一种可选的实施方式中,根据每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像,包括:
确定每个维度的特征的画像权重,根据画像权重和第一类型标签构建第一数据画像;
根据画像权重和第二类型标签构建第二数据画像。
在一种可选的实施方式中,根据第二数据画像对第一数据画像进行反向关联,获得修正数据画像,包括
确定第一数据画像和第二数据画像的修正区域;
根据第二数据画像在修正区域的反向关联结果,对第一数据画像在修正区域的正向关联结果进行偏差校验;
在偏差校验未通过的情况下,将第一数据画像在修正区域的正向关联结果替换为反向关联结果,以获得修正数据画像。
在一种可选的实施方式中,构建待关联的预警大数据的时间空间关联数据画像,包括:
根据待关联的预警大数据的时间分布特征,构建关联的预警大数据的时间画像;
根据待关联的预警大数据的空间分布特征,构建关联的预警大数据的空间画像;
将时间画像映射到空间画像,以获得时间空间关联数据画像。
在一种可选的实施方式中,结合根据修正数据画像,以获得待关联的预警大数据的关联结果,包括:
将时间空间关联数据画像映射到修正数据画像;
以每个时间空间节点为单位,生成待关联的预警大数据的关联结果。
第二方面,本发明实施例提供了一种预警大数据的关联处理装置,装置包括:
数据输入模块,用于获取待关联的预警大数据,并提取预警大数据的多维特征;
数据处理模块,用于根据多维特征,从多个算力池中筛选出至少一个目标算力池,其中,每个目标算力池匹配一个维度的特征;
数据筛选模块,用于在每个目标算力池中计算每个维度的特征的第一类型标签和第二类型标签,其中,第一类型标签为与待关联的预警大数据的匹配度大于预设阈值的标签,第二类型标签为与待关联的预警大数据的匹配度小于或等于预设阈值的标签;
画像构建模块,用于根据每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像;
画像修正模块,用于根据第二数据画像对第一数据画像进行反向关联,获得修正数据画像;
数据关联模块,用于构建待关联的预警大数据的时间空间关联数据画像,并结合根据修正数据画像,以获得待关联的预警大数据的关联结果。
在一种可选的实施方式中,数据处理模块包括:
确定子模块,用于确定每个维度的特征的算法需求,并根据算法需求与算力池支持的最优的算法的映射关系,确定至少一个初始待选算力池;
排序子模块,用于计算每个初始待选算力池的当前算力资源,并根据当前算力资源的大小对初始待选算力池进行位次排序;
筛选子模块,用于将位次排序最高的初始待选算力池,确定为目标算力池。
本发明实施例第三方面提出一种电子设备,电子设备包括:
至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本发明实施例第一方面提出方法。
本发明实施例第四方面提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例第一方面提出方法。
附图说明
图1为本发明实施例涉及的硬件运行环境的电子设备结构示意图;
图2是本发明实施例提供的一种预警大数据的关联处理方法的步骤流程图;
图3是本发明实施例提供的一种预警大数据的关联处理装置的功能模块示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明的方案进一步说明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示,该电子设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作装置、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中,电子设备通过处理器1001调用存储器1005中存储的预警大数据的关联处理装置,并执行本发明实施例提供的预警大数据的关联处理方法。
参照图2,本发明的实施例提供了一种预警大数据的关联处理方法,具体可以包括以下步骤:
S201:获取待关联的预警大数据,并提取预警大数据的多维特征。
为了揭示数据之间的关联模式和趋势,从而获得更全面、准确的信息,帮助决策者做出更有针对性的决策和行动,需要对预警大数据进行关联,待关联的预警大数据是指需要与其他数据源或数据集进行关联和分析的大规模预警数据集合。这些预警数据通常包含大量的记录,每个记录都描述了不同的预警事件,包括事件的时间、地点、类型、报警方式、处理情况等信息。待关联的预警大数据可以是从相关部门数据源中收集的数据。这些数据通常以结构化形式存储,例如数据库表格或CSV文件,或者以半结构化或非结构化形式存在,例如日志文件、文本文档或社交媒体数据。
多维特征指的用于描述数据样本的多个不同方面或属性的特征。每个特征都代表了数据样本在某个方面的观测或测量。在预警数据分析中,多维特征可以包括各种与事件相关的属性,例如时间、地点、事件类型、报警途径、处理人员等。每个特征可以是数值型、分类型或文本型,用于描述数据样本在不同方面的特点。
S202:根据多维特征,从多个算力池中筛选出至少一个目标算力池。
数据处理和计算任务往往需要使用大量的计算资源和算力。这些计算资源可能分布在多个算力池中,每个算力池具有不同的特征和能力。而为了选择与任务需求相匹配的最合适的算力池,以获得最佳的计算性能和结果,需要为每个维度的特征选择对应的目标算力池,其具体的实现步骤可以为:
S2021:确定每个维度的特征的算法需求,并根据算法需求与算力池支持的最优的算法的映射关系,确定至少一个初始待选算力池。
在本实施方式中,首先,针对每个特征维度,确定与该维度相关的算法需求。这些算法需求是指针对该特征维度的数据处理或计算任务所需要的具体算法方法、技术或功能。例如,对于时间特征,算法需求可能包括时间序列分析、时间窗口聚合、时间相关性计算等。对于地点特征,算法需求可能包括地理信息系统(GIS)分析、空间插值、地理聚类等。然后,根据算法需求与算力池支持的最优算法的映射关系,确定每个特征维度与算力池的关联。这对每个算力池进行分析,了解其支持的算法、技术和功能。比较算法需求与算力池的能力,找到最适合的算力池与特征维度的映射关系。例如,某个算力池可能提供了强大的时序分析能力,适合处理时间特征,而另一个算力池可能专注于地理空间分析,适合处理地点特征。
初始待选算力池是根据算法需求与算力池能力的匹配关系而选择的,可能是最适合处理特定特征维度的算力池。根据具体情况,可以选择一个或多个初始待选算力池,以便后续的进一步筛选和优化。需要注意的是,该过程是基于算法需求和算力池能力的初步匹配,是一个初始筛选的阶段。后续还需要进行更详细的评估和比较,综合考虑各个特征维度的算法需求、算力池的性能指标、资源可用性等因素,进一步缩小待选算力池范围,最终确定最优的算力池或算力资源。
S2022:计算每个初始待选算力池的当前算力资源,并根据当前算力资源的大小对初始待选算力池进行位次排序。
在本实施方式中,在确定初始待选算力池之后针对每个初始待选算力池,需要计算其当前可用的算力资源大小。这些算力资源可以包括计算能力、存储容量、带宽等与数据处理或计算任务相关的资源。这些算力资源的计算可以基于算力池提供的性能指标、硬件规格或资源监测数据进行。在具体计算每个初始待选算力池的当前算力资源时间,需要结合算力池提供的性能指标、资源监测数据或管理接口进行实际操作。需要说明的是,对于分布式和动态变化的算力资源,计算当前算力资源可能需要考虑资源的可用性、动态调度和资源竞争等因素。因此,确保计算准确性和实时性需要结合实际情况进行合理的资源监控和评估。
然后,根据计算得到的当前算力资源大小,对初始待选算力池进行位次排序,以确定它们的优先级或优劣顺序。排序后,可以根据位次排序的结果确定每个算力池的优先级,即排名靠前的算力池具有更高的优先级。通过计算当前算力资源并进行位次排序,可以根据算力池的实际能力和资源情况,将其排序为更合理的顺序。这有助于在后续的算力资源分配和任务调度过程中,更有效地利用可用的算力资源,优先考虑资源丰富、性能强大的算力池,从而提高计算效率和任务执行的质量。
S2022:将位次排序最高的初始待选算力池,确定为目标算力池。
在实施方式中,在对初始待选算力池进行位次排序后,每个算力池都被赋予了一个位次或排名。位次排序最高的算力池在排序结果中排在最前面,表示该算力池具有最高的当前算力资源,或者在某些特定的算力资源方面表现出色。将位次排序最高的初始待选算力池确定为目标算力池的目的是选择具有最优资源和性能的算力池来执行任务。这意味着目标算力池被认为是最适合处理特定任务的算力池,可以提供高效、可靠的计算能力,以满足任务的要求。
需要说明的是,选择位次排序最高的算力池作为目标算力池是在当前已经经过初始筛选和排序的基础上进行的。后续可能还需要进一步的评估和验证,确保所选目标算力池的资源和性能符合实际任务需求,并与任务的时间限制、资源约束等因素相匹配。
S203:在每个目标算力池中计算每个维度的特征的第一类型标签和第二类型标签。
在本实施方式中,第一类型标签为与待关联的预警大数据的匹配度大于预设阈值的标签,通过计算匹配度,可以确定在每个维度上与预警数据高度匹配的特征。第一类型标签的存在可以帮助识别算力池中与预警数据高度相关的特征,从而快速筛选出具有高匹配度的特征。第二类型标签为与待关联的预警大数据的匹配度小于或等于预设阈值的标签。通过计算匹配度,可以确定在每个维度上与预警数据匹配度较低的特征。第二类型标签的存在可以帮助识别算力池中与预警数据匹配度较低的特征,从而排除不太相关的特征。
而其具体的实现步骤包括:
S2031:确定每个维度的特征表征的第一文本属性和标签表征的第二文本属性。
在本实施方式中,第一文本属性是指与第一类型标签相关的文本描述或标识,用于表示该特征在目标算力池中与待关联的预警大数据的匹配度较高的特点。第一文本属性可以是对该特征的准确描述、关键词、标签等,以便在算力池中标识与待关联数据高度匹配的特征。这样的文本属性可以帮助用户或算法在算力池中迅速识别与预警数据匹配度较高的特征。
第二文本属性是用于表征标签的文本属性,描述与特征匹配程度相关的信息。它可以提供关于标签的具体含义、匹配程度的度量或其他相关信息。第二文本属性与特征和匹配度直接相关,用于描述特征与标签之间的关系和匹配程度,帮助理解数据处理和分析的结果。
S2032:根据第一文本属性与第二文本属性的相似度计算结果,确定标签和待关联的预警大数据的匹配度。
在本实施方式中,首先,需要对第一文本属性和第二文本属性进行相似度计算。相似度计算的方法可以根据具体情况选择,如字符串相似度算法(如编辑距离、余弦相似度等)或基于语义的相似度计算(如词嵌入模型)。相似度计算的目的是评估第一文本属性和第二文本属性之间的相似程度,以了解特征和标签之间的关系。基于第一文本属性与第二文本属性的相似度计算结果,可以确定标签和待关联的预警大数据之间的匹配度。匹配度可以是一个数值,表示特征和标签之间的相似程度或匹配程度。常见的匹配度度量包括相似度得分、匹配度百分比等。
S2033:根据标签和待关联的预警大数据的匹配度,确定每个维度的特征的第一类型标签和第二类型标签。
在本实施方式中,基于标签和待关联的预警大数据的匹配度,可以确定每个维度特征的第一类型标签和第二类型标签。第一类型标签表示与待关联的预警大数据的匹配度大于预设阈值的标签,反映特征与数据高度匹配的情况。第二类型标签表示与待关联的预警大数据的匹配度小于或等于预设阈值的标签,反映特征与数据匹配度较低的情况。
S204:根据每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像。
在本实施方式中,第一数据画像是基于特征的第一类型标签构建的,展示与待关联的预警大数据高度匹配的特征。它聚焦于与数据高度相关的特征,并提供关于这些特征的详细信息和洞察。第一数据画像通常以可视化形式呈现,例如柱状图、折线图、饼图、热力图等,以便直观地展示不同特征的数据分布、相关性和模式。第二数据画像是基于特征的第二类型标签构建的,展示与待关联的预警大数据匹配度较低的特征。它专注于匹配度较低的特征,以便更好地了解匹配度较低的数据点、异常情况或潜在的数据问题。第二数据画像的呈现方式可以是散点图、箱线图、异常值检测图、频率分布图等,以可视化的方式显示数据的分布和异常点。第一数据画像和第二数据画像通过可视化数据特征的不同方面,提供了对数据集的更深入的理解。而构建其的具体步骤可以为:
S2041:确定每个维度的特征的画像权重,根据画像权重和第一类型标签构建第一数据画像;
S2042:根据画像权重和第二类型标签构建第二数据画像。
在S2041至S2042的实施方式中,画像权重是衡量特征重要性或贡献度的指标,用于指导数据画像的构建过程。根据不同的应用场景和需求,可以使用不同的方法来确定这些权重。画像权重的确定可以根据具体应用的需求和背景,采用各种方法,如专家知识、统计分析、机器学习算法等。例如根据特征的重要性或对数据集的贡献度,给予不同特征维度一个相应的权重值。将第一类型标签与各个特征维度的权重进行结合,以确定数据画像中各个特征的重要程度。根据特征的权重,对具有较高权重的特征进行突出展示和分析。这可以包括选择特定的图表类型、调整图表的显示比例或颜色等方式,以强调与第一类型标签高度匹配的特征数据。
确定每个维度特征的画像权重:根据特征的重要性或对数据集的贡献度,给予不同特征维度一个相应的权重值。将第二类型标签与各个特征维度的权重进行结合,以确定数据画像中各个特征的重要程度。根据特征的权重,对具有较高权重的特征进行突出展示和分析。这可以包括选择特定的图表类型、调整图表的显示比例或颜色等方式,以突出显示与第二类型标签关联的特征数据,帮助识别匹配度较低的数据点或异常情况。
通过根据画像权重和类型标签的结合,可以在构建数据画像时对不同特征的重要性进行权衡和突出显示。这有助于更加准确地理解数据集,发现关键特征和异常情况,并支持后续的数据分析、模型建立和决策制定。
S205:根据第二数据画像对第一数据画像进行反向关联,获得修正数据画像。
在本实施方式中,反向关联是指利用第二数据画像中关于匹配度较低特征的信息,对第一数据画像进行修正和调整的过程,反向关联通过将第二数据画像中的洞察、异常情况或其他特征的相关信息应用于第一数据画像,以重新评估和调整第一数据画像中特征的重要性、相关性或其他属性。这种关联的目的是通过使用第二数据画像中的信息来更好地理解第一数据画像,从而提供更全面和准确的数据分析结果。
反向关联可以帮助发现第一数据画像中可能存在的遗漏、偏差或其他问题,从而改进数据分析和决策过程中的数据理解。通过结合第二数据画像的分析结果,可以重新评估数据中特征的重要性和相关性,修正第一数据画像中可能存在的缺陷,并生成更准确、更全面的数据画像。
其具体的实现步骤可以为:
S2051:确定第一数据画像和第二数据画像的修正区域;
S2052:根据第二数据画像在修正区域的反向关联结果,对第一数据画像在修正区域的正向关联结果进行偏差校验;
S2053:在偏差校验未通过的情况下,将第一数据画像在修正区域的正向关联结果替换为反向关联结果,以获得修正数据画像。
在S2051至S2053的实施方式中,修正区域是指在第一数据画像和第二数据画像中识别出的需要进行调整和修正的特定部分或特征。通过对第二数据画像的分析,可以确定哪些区域或特征需要在第一数据画像中进行修正。在修正区域中,通过正向关联方法将第二数据画像中的信息应用于第一数据画像。在进行正向关联时,比较第一数据画像在修正区域中的结果与第二数据画像的反向关联结果。
进行偏差校验是为了验证正向关联是否能够准确地捕捉和反映第二数据画像中的修正信息。如果偏差校验通过,则说明正向关联在修正区域的表现良好,不需要进一步的修正。
如果偏差校验未通过,即正向关联在修正区域的结果与反向关联存在明显的偏差或不一致,那么将采用反向关联的结果作为修正的依据。在修正区域内,将第一数据画像的正向关联结果替换为反向关联结果,以获得修正后的数据画像。通过这种方式,利用第二数据画像中的更准确或更可信的信息,对第一数据画像进行修正和调整,以提高数据的准确性和可靠性。通过反向关联和偏差校验,对第一数据画像进行修正,确保画像中的数据更加准确、可靠,并更好地反映真实情况。这种方法可以帮助优化数据分析和决策过程,减少因不准确或不完整的数据而导致的错误或误导。
S206:构建待关联的预警大数据的时间空间关联数据画像,并结合根据修正数据画像,以获得待关联的预警大数据的关联结果。
在本实施方式中,时间和空间是预警数据中两个重要的关联因素。构建时间空间关联数据画像是将预警数据以时间和空间维度为基础进行可视化和分析。时间维度可以涉及事件发生的时间、时段、周期性等,以揭示时间上的趋势和模式。空间维度可以包括事件发生的地点、地区、位置等,以展示地理上的分布和相关性。通过将时间和空间维度的信息结合起来,可以构建出时间空间关联数据画像,用于分析和理解预警数据之间的关联关系。
而其具体的步骤包括:
S2061:根据待关联的预警大数据的时间分布特征,构建关联的预警大数据的时间画像;
S2062:根据待关联的预警大数据的空间分布特征,构建关联的预警大数据的空间画像;
S2063:将时间画像映射到空间画像,以获得时间空间关联数据画像。
在S2061至S2063的实施方式中,首先利用预警数据的时间维度信息来构建时间画像,以展示时间分布的特征和模式。对待关联的预警大数据进行时间分布分析,了解事件发生的时间趋势、周期性、高峰时段等。然后,将时间分布的特征转化为可视化形式,例如折线图、柱状图或热力图等,以呈现预警数据的时间画像。根据预警数据的空间维度信息,构建空间画像,以展示预警在地理上的分布和相关性。首先,对待关联的预警大数据进行空间分布分析,了解事件发生的地点、区域、聚集程度等。然后,将空间分布的特征转化为可视化形式,例如散点图、地图或热力图等,以呈现预警数据的空间画像。通过将时间画像的趋势、模式或分布信息与空间画像的地理位置和聚集程度进行映射和叠加,得到时间空间关联的数据画像。这样的画像可以帮助更好地理解和分析预警数据在时间和空间上的关联性,揭示潜在的时间空间模式、热点区域或其他相关信息。
修正数据画像提供了对第一数据画像的修正和调整。结合修正数据画像的信息,可以进一步改善预警数据的关联结果。通过对修正数据画像中的异常值、匹配度较低的数据点或其他修正信息的分析,可以优化关联算法或方法,并重新计算预警数据之间的关联度。结合修正数据画像可以对关联结果进行更精确的计算和解释,从而提供更准确和可靠的预警数据关联结果。而其具体的步骤包括:
S2064:将时间空间关联数据画像映射到修正数据画像;
S2065:以每个时间空间节点为单位,生成待关联的预警大数据的关联结果。
在S2064至S2065的实施方式中,将时间空间关联数据画像映射到修正数据画像的目的是将时间和空间因素与修正信息相结合,以获得更准确和可靠的数据关联结果。这一步骤可以通过将时间空间节点与修正数据画像中的对应节点进行匹配、对齐和映射的方式来实现。
通过将时间空间关联数据画像与修正数据画像的信息相互补充和整合,可以获得更全面、更准确的数据关联视图。
以每个时间和空间节点为单位,生成待关联的预警大数据的关联结果。时间和空间节点可以根据具体需求和数据特征进行定义,可以是固定的时间段和地理区域,也可以是根据数据的特点动态划分的节点。对于每个时间和空间节点,根据关联算法和方法,结合时间空间关联数据画像和修正数据画像,计算出该节点下待关联的预警大数据的关联度或相关性。这个过程可以包括计算节点内部的数据关联度、节点之间的关联度或其他关联指标,以便提供全局的数据关联结果。
将时间空间关联数据画像与修正数据画像相结合,并以每个时间空间节点为单位,生成待关联的预警大数据的关联结果。这个过程使能够在更精细的时间和空间尺度上分析和理解数据的关联性,从而提供更准确、更有洞察力的关联结果,为后续的数据分析、模型建立和决策提供更有价值的信息。本申请通过从多个算力池中筛选目标算力池,每个目标算力池匹配一个维度的特征,可以针对不同维度的特征选择适合的算力资源,提高计算效率。通过构建第一和第二数据画像,可以直观地展示与待关联预警大数据高匹配度和低匹配度的特征,有助于理解数据的关联性和异常情况。通过第二数据画像对第一数据画像进行反向关联,可以发现第一数据画像中可能存在的问题或偏差,并通过修正提升数据的准确性和可靠性。通过构建时间空间关联数据画像,结合修正数据画像,可以更好地理解和分析数据的时间和空间关联性,提供更全面和准确的关联结果。
本发明实施例还提供了一种预警大数据的关联处理装置,参照图3,示出了本发明一种预警大数据的关联处理装置300的功能模块图,该装置可以包括以下模块:
数据输入模块301,用于获取待关联的预警大数据,并提取预警大数据的多维特征;
数据处理模块302,用于根据多维特征,从多个算力池中筛选出至少一个目标算力池,其中,每个目标算力池匹配一个维度的特征;
数据筛选模块303,用于在每个目标算力池中计算每个维度的特征的第一类型标签和第二类型标签,其中,第一类型标签为与待关联的预警大数据的匹配度大于预设阈值的标签,第二类型标签为与待关联的预警大数据的匹配度小于或等于预设阈值的标签;
画像构建模块304,用于根据每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像;
画像修正模块305,用于根据第二数据画像对第一数据画像进行反向关联,获得修正数据画像;
数据关联模块306,用于构建待关联的预警大数据的时间空间关联数据画像,并结合根据修正数据画像,以获得待关联的预警大数据的关联结果。
在一种可选的实施方式中,数据处理模块302包括:
确定子模块,用于确定每个维度的特征的算法需求,并根据算法需求与算力池支持的最优的算法的映射关系,确定至少一个初始待选算力池;
排序子模块,用于计算每个初始待选算力池的当前算力资源,并根据当前算力资源的大小对初始待选算力池进行位次排序;
筛选子模块,用于将位次排序最高的初始待选算力池,确定为目标算力池。
基于同一发明构思,本发明另一实施例提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信,
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明的预警大数据的关联处理方法。
上述终端提到的通信总线可以是外设部件互联标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述终端与其他设备之间的通信。存储器可以包括随机存取存储器(Random AccessMemory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
此外,为实现上述目的,本发明的实施例还提出了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现本发明实施例的预警大数据的关联处理方法。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用车辆(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例方法、终端设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。“”和/或“”表示可以选择两者之中的任意一个,也可以两者都选择。而且,术语“”包括“”“”包含“”或者其任何其他变体意在涵盖非排他性地包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“”包括一个……“”限定的要素,并不排除在包括要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种预警大数据的关联处理方法,其特征在于,所述方法包括:
获取待关联的预警大数据,并提取所述预警大数据的多维特征,其中,所述预警数据用于表征预警事件的时间、地点、类型、报警方式、处理情况;
根据所述多维特征,从多个算力池中筛选出至少一个目标算力池,其中,每个所述目标算力池匹配一个维度的特征;
在每个所述目标算力池中计算每个维度的特征的第一类型标签和第二类型标签,其中,所述第一类型标签为与所述待关联的预警大数据的匹配度大于预设阈值的标签,所述第二类型标签为与所述待关联的预警大数据的匹配度小于或等于预设阈值的标签;
根据所述每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像;
根据所述第二数据画像对所述第一数据画像进行反向关联,获得修正数据画像;
所述根据所述第二数据画像对所述第一数据画像进行反向关联,获得修正数据画像,包括
确定所述第一数据画像和所述第二数据画像的修正区域;
根据所述第二数据画像在所述修正区域的反向关联结果,对所述第一数据画像在所述修正区域的正向关联结果进行偏差校验;
在所述偏差校验未通过的情况下,将所述第一数据画像在所述修正区域的所述正向关联结果替换为所述反向关联结果,以获得所述修正数据画像;
构建所述待关联的预警大数据的时间空间关联数据画像,并结合根据所述修正数据画像,以获得所述待关联的预警大数据的关联结果。
2.根据权利要求1所述的预警大数据的关联处理方法,其特征在于,所述根据所述多维特征,从多个算力池中筛选出至少一个目标算力池,包括:
确定每个维度的特征的算法需求,并根据所述算法需求与所述算力池支持的最优的算法的映射关系,确定至少一个初始待选算力池;
计算每个所述初始待选算力池的当前算力资源,并根据所述当前算力资源的大小对所述初始待选算力池进行位次排序;
将所述位次排序最高的所述初始待选算力池,确定为所述目标算力池。
3.根据权利要求1所述的预警大数据的关联处理方法,其特征在于,所述在每个所述目标算力池中计算每个维度的特征的第一类型标签和第二类型标签,包括:
确定所述每个维度的特征表征的第一文本属性和所述标签表征的第二文本属性;
根据所述第一文本属性与所述第二文本属性的相似度计算结果,确定所述标签和所述待关联的预警大数据的匹配度;
根据所述标签和所述待关联的预警大数据的匹配度,确定每个维度的特征的所述第一类型标签和所述第二类型标签。
4.根据权利要求3所述的预警大数据的关联处理方法,其特征在于,所述根据所述第一文本属性与所述第二文本属性的相似度计算结果,确定所述标签和所述待关联的预警大数据的匹配度,包括:
确定所述第一文本属性对应的第一语义向量和所述第二文本属性对应的第二语义向量;
根据所述第一语义向量和所述第二语义向量,确定所述相似度计算结果。
5.根据权利要求1所述的预警大数据的关联处理方法,其特征在于,所述根据所述每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像,包括:
确定所述每个维度的特征的画像权重,根据所述画像权重和所述第一类型标签构建所述第一数据画像;
根据所述画像权重和所述第二类型标签构建所述第二数据画像。
6.根据权利要求1所述的预警大数据的关联处理方法,其特征在于,所述构建所述待关联的预警大数据的时间空间关联数据画像,包括:
根据所述待关联的预警大数据的时间分布特征,构建所述关联的预警大数据的时间画像;
根据所述待关联的预警大数据的空间分布特征,构建所述关联的预警大数据的空间画像;
将所述时间画像映射到所述空间画像,以获得所述时间空间关联数据画像。
7.根据权利要求1所述的预警大数据的关联处理方法,其特征在于,所述结合根据所述修正数据画像,以获得所述待关联的预警大数据的关联结果,包括:
将所述时间空间关联数据画像映射到所述修正数据画像;
以每个时间空间节点为单位,生成所述待关联的预警大数据的关联结果。
8.一种预警大数据的关联处理的装置,其特征在于,所述装置包括:
数据输入模块,用于获取待关联的预警大数据,并提取所述预警大数据的多维特征;
数据处理模块,用于根据所述多维特征,从多个算力池中筛选出至少一个目标算力池,其中,每个所述目标算力池匹配一个维度的特征;
数据筛选模块,用于在每个所述目标算力池中计算每个维度的特征的第一类型标签和第二类型标签,其中,所述第一类型标签为与所述待关联的预警大数据的匹配度大于预设阈值的标签,所述第二类型标签为与所述待关联的预警大数据的匹配度小于或等于预设阈值的标签;
画像构建模块,用于根据所述每个维度的特征的第一类型标签构建第一数据画像,根据每个维度的特征的第二类型标签构建第二数据画像;
画像修正模块,用于根据所述第二数据画像对所述第一数据画像进行反向关联,获得修正数据画像;
所述画像修正模块包括:
修正区域确定子模块,用于确定所述第一数据画像和所述第二数据画像的修正区域;
校验子模块,用于根据所述第二数据画像在所述修正区域的反向关联结果,对所述第一数据画像在所述修正区域的正向关联结果进行偏差校验;
修正子模块,用于在所述偏差校验未通过的情况下,将所述第一数据画像在所述修正区域的所述正向关联结果替换为所述反向关联结果,以获得所述修正数据画像;
数据关联模块,用于构建所述待关联的预警大数据的时间空间关联数据画像,并结合根据所述修正数据画像,以获得所述待关联的预警大数据的关联结果。
9.根据权利要求8所述的预警大数据的关联处理的装置,其特征在于,所述数据处理模块包括:
确定子模块,用于确定每个维度的特征的算法需求,并根据所述算法需求与所述算力池支持的最优的算法的映射关系,确定至少一个初始待选算力池;
排序子模块,用于计算每个所述初始待选算力池的当前算力资源,并根据所述当前算力资源的大小对所述初始待选算力池进行位次排序;
筛选子模块,用于将所述位次排序最高的所述初始待选算力池,确定为所述目标算力池。
CN202311021461.2A 2023-08-15 2023-08-15 预警大数据的关联处理方法和装置 Active CN116738216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311021461.2A CN116738216B (zh) 2023-08-15 2023-08-15 预警大数据的关联处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311021461.2A CN116738216B (zh) 2023-08-15 2023-08-15 预警大数据的关联处理方法和装置

Publications (2)

Publication Number Publication Date
CN116738216A CN116738216A (zh) 2023-09-12
CN116738216B true CN116738216B (zh) 2023-12-26

Family

ID=87911833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311021461.2A Active CN116738216B (zh) 2023-08-15 2023-08-15 预警大数据的关联处理方法和装置

Country Status (1)

Country Link
CN (1) CN116738216B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE48056E1 (en) * 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
CN111444368A (zh) * 2020-03-25 2020-07-24 平安科技(深圳)有限公司 构建用户画像的方法、装置、计算机设备及存储介质
US10810107B2 (en) * 2016-03-11 2020-10-20 Splunk Inc. User interface for specifying data stream processing language programs for analyzing instrumented software
EP3786855A1 (en) * 2019-08-30 2021-03-03 Accenture Global Solutions Limited Automated data processing and machine learning model generation
WO2021232591A1 (zh) * 2020-05-22 2021-11-25 平安国际智慧城市科技股份有限公司 基于物联网数据的用户数据分类方法、装置、计算机设备及存储介质
CN115013859A (zh) * 2022-05-27 2022-09-06 浙江英集动力科技有限公司 一种基于用户画像的供热二级网分户调控方法
CN115658801A (zh) * 2022-11-08 2023-01-31 平安银行股份有限公司 基于用户画像的报表展示方法、装置、系统及介质
CN116167441A (zh) * 2023-02-20 2023-05-26 河南金盾信安检测评估中心有限公司 网络安全风险评估的知识图谱及构建方法
CN116304966A (zh) * 2022-09-09 2023-06-23 西安电子科技大学 基于多源数据融合的航迹关联方法
CN116484109A (zh) * 2023-06-21 2023-07-25 九一金融信息服务(北京)有限公司 基于人工智能的客户画像分析系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379475B2 (en) * 2018-10-26 2022-07-05 Splunk Inc. Analyzing tags associated with high-latency and error spans for instrumented software

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE48056E1 (en) * 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10810107B2 (en) * 2016-03-11 2020-10-20 Splunk Inc. User interface for specifying data stream processing language programs for analyzing instrumented software
EP3786855A1 (en) * 2019-08-30 2021-03-03 Accenture Global Solutions Limited Automated data processing and machine learning model generation
CN111444368A (zh) * 2020-03-25 2020-07-24 平安科技(深圳)有限公司 构建用户画像的方法、装置、计算机设备及存储介质
WO2021232591A1 (zh) * 2020-05-22 2021-11-25 平安国际智慧城市科技股份有限公司 基于物联网数据的用户数据分类方法、装置、计算机设备及存储介质
CN115013859A (zh) * 2022-05-27 2022-09-06 浙江英集动力科技有限公司 一种基于用户画像的供热二级网分户调控方法
CN116304966A (zh) * 2022-09-09 2023-06-23 西安电子科技大学 基于多源数据融合的航迹关联方法
CN115658801A (zh) * 2022-11-08 2023-01-31 平安银行股份有限公司 基于用户画像的报表展示方法、装置、系统及介质
CN116167441A (zh) * 2023-02-20 2023-05-26 河南金盾信安检测评估中心有限公司 网络安全风险评估的知识图谱及构建方法
CN116484109A (zh) * 2023-06-21 2023-07-25 九一金融信息服务(北京)有限公司 基于人工智能的客户画像分析系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Alejandro Pastor,et al..Track-to-track association methodology for operational surveilance scenarios with radar with observations.SpringerLink.2022,535-551. *
一种改进的链路预测好友推荐方法;付霞;杜亚军;吴越;孟庆瑞;;西华大学学报(自然科学版)(03);51-56 *
基于标签语义关联的城市社群发现研究;毕崇武;叶光辉;彭泽;李明倩;;现代情报(03);16-25 *
新型红外报警监控技术研究与应用;罗国文 等;科技成果;1-2 *

Also Published As

Publication number Publication date
CN116738216A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN109598095B (zh) 评分卡模型的建立方法、装置、计算机设备和存储介质
JP6402265B2 (ja) 意思決定モデルを構築する方法、コンピュータデバイス及び記憶デバイス
US20190392252A1 (en) Systems and methods for selecting a forecast model for analyzing time series data
US11037080B2 (en) Operational process anomaly detection
Sarlin et al. Visual predictions of currency crises using self-organizing maps
US11842257B2 (en) System and method for predicting and scoring a data model
CN110347561B (zh) 监控告警方法及终端设备
CN110471945B (zh) 活跃数据的处理方法、系统、计算机设备和存储介质
US11687553B2 (en) System and method for generating analytical insights utilizing a semantic knowledge graph
CN110738527A (zh) 一种特征重要性排序方法、装置、设备和存储介质
US20190163549A1 (en) Label rectification and classification/prediction for multivariate time series data
CN111080117A (zh) 设备风险标签的构建方法、装置、电子设备及存储介质
CN112199559B (zh) 数据特征的筛选方法、装置及计算机设备
Tsoukalas et al. Machine learning for technical debt identification
US20190197043A1 (en) System and method for analysis and represenation of data
CN114399321A (zh) 一种业务系统稳定性分析方法、装置和设备
CN113537337A (zh) 训练方法、异常检测方法、装置、设备和存储介质
CN115545103A (zh) 异常数据识别、标签识别方法和异常数据识别装置
US9594757B2 (en) Document management system, document management method, and document management program
Ejnioui et al. A simulation-based fuzzy multi-attribute decision making for prioritizing software requirements
CN111950623B (zh) 数据稳定性监控方法、装置、计算机设备及介质
CN116738216B (zh) 预警大数据的关联处理方法和装置
CN112631889A (zh) 针对应用系统的画像方法、装置、设备及可读存储介质
CN116225848A (zh) 日志监测方法、装置、设备和介质
CN114896024A (zh) 基于核密度估计的虚拟机运行状态检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant