CN115426200B - 一种数据采集处理方法及系统 - Google Patents
一种数据采集处理方法及系统 Download PDFInfo
- Publication number
- CN115426200B CN115426200B CN202211365132.5A CN202211365132A CN115426200B CN 115426200 B CN115426200 B CN 115426200B CN 202211365132 A CN202211365132 A CN 202211365132A CN 115426200 B CN115426200 B CN 115426200B
- Authority
- CN
- China
- Prior art keywords
- acquisition
- data
- terminal
- trust
- acquisition terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000007499 fusion processing Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims description 51
- 238000013499 data model Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 44
- 230000008447 perception Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 235000006629 Prosopis spicigera Nutrition 0.000 description 1
- 240000000037 Prosopis spicigera Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供一种数据采集处理方法及系统,所述方法包括:采集至少一个采集终端的属性信息;根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;采集所述至少一个采集终端的数据信息;按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;将所述融合处理结果上报至密码应用态势感知系统。本发明的方案能有效避免采集终端的数据信息的虚假上报,保证数据一致性和有序性。
Description
技术领域
本发明涉及计算机信息处理技术领域,特别是指一种数据采集处理方法及系统。
背景技术
随着网络信息化的高度发展,网络空间安全的重要性日益突显,而保证网络空间安全的基础与关键技术是密码技术,密码技术应用的主要途径是密码设备,密码设备是保障信息安全的关键设备,密码设备具有用户领域广泛、异构网络复杂的特点,为了确保密码设备安全稳定运行、密码应用的有效性、正确性、合规性,提高实时感知能力,大多选用密码应用态势感知系统来提高密码设备网络安全稳定运行能力,密码应用态势感知系统的数据来源自数据采集系统,采集的密码应用数据分布在各业务应用系统、密码设备中,实际应用中为提高密码设备能效,一台密码设备可应用多个业务系统,一个业务系统应用多种多台密码设备,密码设备具备身份认证、安全通道等功能,数据形态多源异构,传统数据采集方法不能很好的适应此场景,会出现终端的数据信息的虚假上报等问题。
发明内容
本发明要解决的技术问题是如何提供一种数据采集处理方法及系统,能有效避免采集终端的数据信息的虚假上报。
为解决上述技术问题,本发明的技术方案如下:
一种数据采集处理方法,所述方法包括:
采集至少一个采集终端的属性信息;
根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;
采集所述至少一个采集终端的数据信息;
按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;
将所述融合处理结果上报至密码应用态势感知系统。
可选的,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端,包括:
根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值;
根据所述信任值对至少一个采集终端进行分类,得到可信任的采集终端或者不可信任的采集终端。
可选的,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值,包括:
根据所述至少一个采集终端的用户属性向量、终端属性的敏感级别、终端方的信任值、终端方的安全级别中的至少一项,得到所述至少一个采集终端的信任重要程度;
获取所述至少一个采集终端的直接信任值;
根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值。
可选的,根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值,包括:
可选的,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果,包括:
按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息,按相同条件指标选取数据记录;
对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果。
可选的,对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果,包括:
将所述数据记录进行特征值提取,得到至少一个特征值;
将所述至少一个特征值输入融合数据模型进行处理,得到融合处理结果,所述融合数据模型包括:终端、主体、时间、指标、取值、数据标签;所述融合处理结果为以所述融合数据模型的格式形成的数据,其中数据的内容属性通过数据标签进行标记。
可选的,得到融合处理结果后,还包括:
将所述融合处理结果中的格式数据与预设采集策略中选定的数据采集协议的格式数据进行对比,将遗漏数据标签项,采用预置采集的信息或处理的过程信息,进行补全处理,得到目标融合处理结果;
将所述目标整合处理结果上报密码应用态势感知系统。
本发明的实施例还提供一种数据采集处理系统,包括:
信任模块,用于采集至少一个采集终端的属性信息;根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;
数据采集模块,用于采集所述至少一个采集终端的数据信息;
数据融合处理模块,用于按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;
数据报送模块,用于将所述融合处理结果上报至密码应用态势感知系统。
本发明的实施例还提供一种计算设备,包括:处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的方法的步骤。
本发明的实施例还提供一种计算机可读存储介质,存储指令,当所述指令在计算机上运行时,使得计算机执行如上所述的方法。
本发明的上述方案至少包括以下有益效果:
通过采集至少一个采集终端的属性信息;根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;采集所述至少一个采集终端的数据信息;按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;将所述融合处理结果上报至密码应用态势感知系统;从而实现了可信任的采集终端的数据信息的上报,进而能有效避免上传虚假信息,确保采集的信息的不被篡改;另一方面对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;将所述融合处理结果上报至密码应用态势感知系统,解决数据内容异构格式规范问题;保证数据一致性和有序性。
附图说明
图1是本发明实施例的数据采集处理方法的流程示意图;
图2是本发明实施例的数据采集处理系统的整体架构示意图;
图3是本发明实施例的数据采集处理系统的模块架构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,本发明的实施例提供一种数据采集处理方法,所述方法包括:
步骤11,采集至少一个采集终端的属性信息;这里,采集终端可以是交换机、证书系统、密钥管理系统、服务器密码机、签名验签服务器、设备管理系统、安全认证网关、密码应用业务系统以及其它相关安全设备中的至少一种,采集终端的属性信息可以是拥有属性权威签发的属性证书,证书中定义了用户所拥有的所有属性[ɑtt1,ɑtt2,…,ɑttn],并且其对应的属性值分别为[x1,x2,…,xn];
步骤12,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;这里,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到可信任采集终端或者不可信任采集终端(或异常采集终端);
步骤13,采集所述至少一个采集终端的数据信息;
步骤14,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;该步骤中,通过对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果,进而能有效避免上传虚假信息,确保采集的数据信息的不被篡改;
步骤15,将所述融合处理结果上报至密码应用态势感知系统。
本发明的该实施例,通过采集至少一个采集终端的属性信息;根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;采集所述至少一个采集终端的数据信息;按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;将所述融合处理结果上报至密码应用态势感知系统;从而实现了可信任的采集终端的数据信息的上报,进而能有效避免上传虚假信息,确保采集的信息的不被篡改;另一方面对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;将所述融合处理结果上报至密码应用态势感知系统,解决数据内容异构格式规范问题;保证数据一致性和有序性。
本发明的一可选的实施例中,步骤12可以包括:
步骤121,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值;
步骤122,根据所述信任值对至少一个采集终端进行分类,得到可信任的采集终端或者不可信任的采集终端。
其中,步骤121可以包括:
步骤1211,根据所述至少一个采集终端的用户属性向量、终端属性的敏感级别、终端方的信任值、终端方的安全级别中的至少一项,得到所述至少一个采集终端的信任重要程度;
步骤1212,获取所述至少一个采集终端的直接信任值;
步骤1213,根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值。
本发明的该实施例中,步骤121的一具体实现过程如下:
读取采集终端的属性信息,进行信任评估给出信任值;同时可以持续的对采集终端进行动态的身份认证,以持续进行信任评估及阻断虚假信息;
信任值依据终端的属性信息、终端属性的敏感信息、访问时延等综合进行评估获得;
信任值获得过程如下:
获取用户属性信息:拥有属性权威签发的属性证书,证书中定义了用户所拥有的所有属性[ɑtt1,ɑtt2,…,ɑttn],并且其对应的属性值分别为[x1,x2,…,xn]。
获取终端属性的敏感级别:要有效地保护终端的属性,首先要依据敏感程度对这些属性进行分级。将所有属性分为3级,用ATTi(i=1,2,3)表示。1级的敏感度最低,3级的敏感度最高,2级的敏感度介于1级和3级之间。
获取终端方的信任值:用户对希望访问的资源的提供方进行一个信任评估,该评估得到对资源提供方的信任值T∈[0,1],它标识了用户对资源提供方的信任程度。
获取终端方的安全级别G:将资源提供方的安全级别G由低到高分为0,1,2,3级。该安全级别反应用户对相应的资源提供方的信任程度,它同用户对资源提供方的信任值之间存在映射关系f:T→G。
获得信任值的过程包括:
1)信任值为T;
2)信任值的取值区间为(L,H),H>L;默认L=0,H=1;
3)信任值的阈值为M,T高于M为可信任终端,T低于M为异常终端,默认M=0.5;
Td直接信任值定义如下:环境中的每一个实体(如采集终端)都存有一张信任表,记录实体与其他实体交互成功与失败的次数以及最近一次交互的时间。
表1为实体i的信任表:
用θ表示两个实体i和j之间交互成功的概率,α和β分别表示交互成功次数和失败
次数。θ是根据实体i对实体j的次观察结果得出的。由于实体i与实体j的每次
交互都属于独立事件,则实体i对j行为的主观信任值为:
实体首先在信任表中查找想与之交互的目标实体,如果表中有记录那么可根据上式计算出信任值。
可选的,步骤14可以包括:
步骤141,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息,按相同条件指标选取数据记录;
步骤142,对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果。
可选的,步骤142可以包括:
步骤1421,将所述数据记录进行特征值提取,得到至少一个特征值;
步骤1422,将所述至少一个特征值输入融合数据模型进行处理,得到融合处理结果,所述融合数据模型包括:终端、主体、时间、指标、取值、数据标签;所述融合处理结果为以所述融合数据模型的格式形成的数据,其中数据的内容属性通过数据标签进行标记。
该实施例中,步骤141具体实现时,可以包括:
步骤301、生成预设采集策略,配置采集终端采集策略及访问权限;
步骤302、对可信任的采集终端生成采集策略;
步骤303、根据预设采集策略更新采集策略路由信息相应数据;
步骤304、根据预设采集策略执行内容通知相应采集协议的数据采集模块;
步骤305、数据采集模块收到通知,获取并解析对应采集策略;
步骤306、采集模块通过信任模块向可信任的采集终端下发采集策略;
步骤307、采集模块向可信任的采集终端开始周期性采集数据内容;
步骤308、采集模块成功采集可信任的采集终端的数据信息,按相同条件指标选取数据记录,交给数据融合模块处理;
上述步骤302中,预设采集策略的内容包括:策略名称、上级策略ID、数据采集模块名称、数据采集数据块格式、数据采集协议支持内容,通过采集策略的执行实现后续数据采集;
上述步骤304中、采集协议支持密码设备安全通道采集、融合数据模型协议采集、SYSLOG采集、FTP采集、SNMP采集、SSH采集等,此设计可方便扩展采集协议,适应多源异构数据采集应用场景。
上述步骤306中,信任模块通过与可信任的采集终端的交互,持续进行零信任的鉴权。
本发明的该实施例中,步骤142具体实现时,可以包括:
对数据记录按照融合数据模型转换,形成统一格式数据,并进后续行数据融合处理;数据融合处理内容包括数据转换:通过支持的采集协议以及协议约定的采集内容格式,将采集数据转换为融合数据模型,融合数据模型内容包括:终端(endpoint)、主体(subject)、时间(time)、指标(metric)、取值(v)、数据标签(tags);数据的内容属性通过数据标签进行标记;以预设语言进行转换的内容样式表示如下:
{"endpoint":"设备的联合可识别标识",
"subject":"设备的主体",
"time":"数据采集的时间",
"metric":"采集的数据内容标识",
"v":"内容取值",
"tags":"内容属性,可嵌套JSON进行数据标记"}
该实施例中,设采集的相同内容指标的多源数为N个,在相同条件下选取0<M<N个同的相同数据标签的融合数据模型(Y0,Y1,...,YM-1)作为数据的输入,每个数据源的信任值选取其中i=0,1,…,M-1这就构成了样本空间,选择i中信任值最大作为特征向量,选取融合数据模型Mi,作为数据报送的内容;
可以直接将融合处理结果报送至密码应用态势感知系统,也可以进一步地对融合数据处理结果进行数据清洗,再报送。
本发明的一可选的实施例中,得到融合处理结果后,还可以进一步包括:
步骤16,将所述融合处理结果中的格式数据与预设采集策略中选定的数据采集协议的格式数据进行对比,将遗漏数据标签项,采用预置采集的信息或处理的过程信息,进行补全处理,得到目标融合处理结果;
步骤17,将所述目标整合处理结果上报密码应用态势感知系统。
该实施例中,步骤16在具体实现时,将多源异构的数据转换完成后,相同采集终端的数据进行消冗,处理过程如下:
与数据采集策略中选定的数据采集协议数据格式进行对比,将遗漏数据标签项可以通过预置采集的信息或处理的过程信息,补全数据标签项的过程。
下面结合图2和图3所示的系统,说明上述方法的具体实现过程:
步骤101,构建信任模块,对密码应用态势感知系统/平台的采集终端、密码应用业务系统定义为采集终端,通过信任模块对采集终端的属性信息进行采集;并对采集终端的信息进行评估,给出信任值,依据信任值识别可信任采集终端或者异常的采集终端;
步骤102,构建采集策略模块,对采集终端划分为密钥管理系统、证书服务系统、设备管理系统、密码应用系统四类,按照融合数据模型创建采集策略,并对采集策略进行维护、下发、停用、访问控制;
步骤103,构建数据采集模块,对步骤101中的可信任采集终端下发步聚102中的采集策略进行数据采集,数据采集模块根据预设采集策略的内容选择采集协议进行周期性数据采集,从不同采集终端采集结构不同的相同数据集,实现多源异构的数据采集;
步骤104,构建采集融合模块,对步骤103的采集数据进行数据融合处理,按照融合数据模型生成融合处理结果数据;
步骤105,构建数据报送,对步聚104融合处理的结果数据,向数据报送配置的密码应用态势感知系统/平台上报数据,保证数据一致性和有序性,供密码应用态势感知系统/平台后续分析和处理;
其中,所述步骤101中,零信任模块采集终端信息的流程为:读取终端数据、读取规则配置、采集终端信息,进行信任评估给出信任值;同时信任模块持续的对终端进行动态的身份认证,以持续进行信任评估及阻断虚假信息;
信任值是信任模块的核心指标,依据终端的基础属性、终端信息、访问时延等综合进行评估获得;
本发明的上述实施例,面向密码应用态势感知的数据采集不断试验,一方面构建零信任模块,对采集终端、密码应用系统进行先评估后采集,能够精准检测采集终端、有效减少物理攻击、确保数据采集的准确性,另一方面构建数据采集模块支持多种协议及数据格式,可扩展密码设备的种类,能够在数据采集场景下,选择相应采集协议,配置相应采集策略,有效提高数据采集效率,极大提高采集体验,同时,构建采集融合数据模型,将数据融合处理,形成统一数据模型,上传至密码应用态势感知系统/平台,保证数据一致性和有序性,为系统/平台的数据分析和处理提供便利。
如图3所示,本发明的实施例还提供一种数据采集处理系统,包括:
信任模块,用于采集至少一个采集终端的属性信息;根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;
数据采集模块,用于采集所述至少一个采集终端的数据信息;
数据融合处理模块,用于按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;
数据报送模块,用于将所述融合处理结果上报至密码应用态势感知系统。
可选的,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端,包括:
根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值;
根据所述信任值对至少一个采集终端进行分类,得到可信任的采集终端或者不可信任的采集终端。
可选的,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值,包括:
根据所述至少一个采集终端的用户属性向量、终端属性的敏感级别、终端方的信任值、终端方的安全级别中的至少一项,得到所述至少一个采集终端的信任重要程度;
获取所述至少一个采集终端的直接信任值;
根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值。
可选的,根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值,包括:
可选的,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果,包括:
按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息,按相同条件指标选取数据记录;
对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果。
可选的,对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果,包括:
将所述数据记录进行特征值提取,得到至少一个特征值;
将所述至少一个特征值输入融合数据模型进行处理,得到融合处理结果,所述融合数据模型包括:终端、主体、时间、指标、取值、数据标签;所述融合处理结果为以所述融合数据模型的格式形成的数据,其中数据的内容属性通过数据标签进行标记。
可选的,所述数据融合处理模块还用于:将所述融合处理结果中的格式数据与预设采集策略中选定的数据采集协议的格式数据进行对比,将遗漏数据标签项,采用预置采集的信息或处理的过程信息,进行补全处理,得到目标融合处理结果;
所述数据报送模块还用于将所述目标整合处理结果上报密码应用态势感知系统。
本发明的该系统的实施例中,信任模块为零信任模块,主要作用是对密码应用态势感知系统/平台的密码设备、密码应用业务系统定义为采集终端,并对采集终端的属性信息进行采集,并依据属性信息进行信任评分给出信任值,依据信任值对采集终端进行评估,将采集终端划分为密钥管理系统、证书服务系统、设备管理系统、密码应用系统四类,按状态划分为可信任的采集终端、异常的采集终端;
采集策略模块,包括采集策略配置管理、采集策略权限配置,包含采集策略的维护、下发、停用、访问控制;对采集内容按采集终端分类,参照融合数据模型进行分类管理创建采集策略,并管理采集策略及采集权限;
数据采集模块包括密码设备安全通道采集(安全通道参见GM∕T 0050-2016 密码设备管理 设备管理技术规范)、融合数据模型协议采集、SYSLOG采集、FTP采集、SNMP采集、SSH采集等,可扩展采集协议,支撑多源异构的数据采集;
数据融合处理模块包括融合数据模型、数据融合处理;从信任终端通过数据采集模块采集的数据,通过数据融合处理,转换成融合数据模型数据;
数据报送模块包括数据报送配置、数据报送;将数据采集模块采集的数据,通过数据采集融合模块处理,形成统一的融合数据模型格式数据,向数据报送配置的密码应用态势感知系统/平台上报数据;
如图3所示,本发明的上述系统所示的实施例的数据采集的流程包括:
步骤1,配置零信任模块,对密码应用态势感知系统/平台的密码设备、密码应用业务系统定义为采集终端,通过零信任模块对采集终端的信息进行采集;并对采集终端信息评估给出信任值,依据信任值识别可信任的采集终端、异常的采集终端;
步骤2,配置采集策略模块,对采集终端划分为密钥管理系统、证书服务系统、设备管理系统、密码应用系统四类,按照融合数据模型创建采集策略,并对采集策略进行维护、下发、停用、访问控制;
步骤3,运行数据采集模块,对步骤1中的可信任的采集终端下发步聚2中的采集策略进行数据采集,数据采集模块根据采集策略的内容选择采集协议进行周期性数据采集,从不同采集终端采集结构不同的相同数据集,实现多源异构的数据采集;
步骤4,运行数据融合处理模块,对步骤3的采集数据进行数据融合处理,按照融合数据模型生成融合处理结果数据;
步骤5,数据报送,对步聚4融合处理的结果数据,向数据报送配置的密码应用态势感知系统/平台上报数据,保证数据一致性和有序性,供密码应用态势感知系统/平台后续分析和处理。
上述实施例中,密码设备/密码应用系统(采集终端),包括:CA系统、密钥管理系统、服务器密码机、数据存储系统(密码应用系统)、交换机,等采集终端,从中采集数据并上报至密码应用态势感知平台/系统;
如上所述步骤1中,配置零信任模块,对采集终端配置信息及PKI体系统,进行认证及采集信息并持续认证,依据认证及采集成功或失败的次数,进行信任值评估给出信任值;
其中,本步骤所述,采集终端配置信息包括:认证方式(PKI)、属性向量、敏感级别、初始信任值、安全级别,配置以上内容与采集终端建立认证及连接;
该实施例中,信任值评估和上述方法实施例中的相同,在此不再赘述;
如上所述步骤2中,采集策略配置内容包括采集策略名称、基础信息、采集协议、数据指标集、数据指标采集权限;配置好的采集策略下发至数据采集模块;
其中,采集协议配置,服务器密码机,密钥管理系统,配置安全通道采集,采集访问调用记录数据;CA系统配置证书解析、融合数据模型采集,采集访问调用记录数据,数据存储系统、网络交换机配置SYSLOG采集,采集访问调用记录数据;
如上所述步骤3中,周期性采集数据按照采集策略数据指标集的定义,按周期进行数据采集,本实施例中采集调用记录数据的周期为每60秒/次;将不同采集协议的采集到的数据进行采集数据融合处理;
如上所述步骤4中,数据融合处理包括数据转换、数据清洗;
其中,本步骤中,数据融合处理的数据转换,将采集的不同数据源,不同结构的数据转换成融合数据模型;
转换后的数据进行后续数据清先,包括数据消冗、数据补全;
本步骤中,数据消冗,本实施例示例,如选取同时间采集、同采集指标(调用记录)、不同采集终端(交换机、服务器密码机、数据存储系统)、从中选取信任值最高的和数据标签信息最全的服务器密码机为最终数据消冗结果,进行后续的数据补全处理;
其中,本步骤中,数据补全,对融合数据模型中的数据标签内容进行补全,参照采集策略中数据集指标定义的数据标签进行对比,对服务器密码机采集的内容通过关联已采集服务器密码机的基础信息进行补全;生成数据融合处理结果,进行数据报送;
如上所述步骤5中,本实施例中,通过数据报送配置的密码应用态势感知平台/系统安全认证的信息,建立连接通讯,报送融合数据模型格式的处理结果数据,保证数据一致性和有序性,供密码应用态势感知系统/平台后续分析和处理。
本发明的上述实施例,通过零信任模块对密码设备的信息进行采集;并对采集的密码设备信息评估给出信任值,依据信任值识别异常设备,进而能有效避免上传虚假信息,确保采集的信息的不被篡改;另一方面构建数据采集模块支持多种协议或格式对接密码设备进行数据采集,解决数据内容异构格式规范问题;同时构建采集融合数据模型对数据采集模块采集的数据融合处理,处理后按数据模型上报至密码应用态势系统,解决数据多源冗余问题,保证数据一致性和有序性。
本发明的实施例还提供一种计算设备,包括:处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的方法的步骤。
本发明的实施例还提供一种计算机可读存储介质,存储指令,当所述指令在计算机上运行时,使得计算机执行如上所述的方法。上述各方法实施例中的所有实现方式均适用于该实施例中,也能达到相同的技术效果。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外,需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行,某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可 以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种数据采集处理方法,其特征在于,所述方法包括:
采集至少一个采集终端的属性信息;
根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;
采集所述至少一个采集终端的数据信息;
按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;
将所述融合处理结果上报至密码应用态势感知系统;
其中,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端,包括:
根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值;
根据所述信任值对至少一个采集终端进行分类,得到可信任的采集终端或者不可信任的采集终端;
其中,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值,包括:
根据所述至少一个采集终端的用户属性向量、终端属性的敏感级别、终端方的信任值、终端方的安全级别中的至少一项,得到所述至少一个采集终端的信任重要程度;
获取所述至少一个采集终端的直接信任值;
根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值;
其中,根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值,包括:
其中,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果,包括:
按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息,按相同条件指标选取数据记录;
对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果;
其中,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息,按相同条件指标选取数据记录,包括:
生成预设采集策略,配置采集终端采集策略及访问权限;
对可信任的采集终端生成采集策略;
根据预设采集策略更新采集策略路由信息相应数据;
根据预设采集策略执行内容通知相应采集协议的数据采集模块;
数据采集模块收到通知,获取并解析对应采集策略;
采集模块通过信任模块向可信任的采集终端下发采集策略;
采集模块向可信任的采集终端开始周期性采集数据内容;
采集模块成功采集可信任的采集终端的数据信息,按相同条件指标选取数据记录;
其中,对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果,包括:
将所述数据记录进行特征值提取,得到至少一个特征值;
将所述至少一个特征值输入融合数据模型进行处理,得到融合处理结果,所述融合数据模型包括:终端、主体、时间、指标、取值、数据标签;所述融合处理结果为以所述融合数据模型的格式形成的数据,其中数据的内容属性通过数据标签进行标记。
2.根据权利要求1所述的数据采集处理方法,其特征在于,得到融合处理结果后,还包括:
将所述融合处理结果中的格式数据与预设采集策略中选定的数据采集协议的格式数据进行对比,将遗漏数据标签项,采用预置采集的信息或处理的过程信息,进行补全处理,得到目标融合处理结果;
将所述目标整合处理结果上报密码应用态势感知系统。
3.一种数据采集处理系统,其特征在于,包括:
信任模块,用于采集至少一个采集终端的属性信息;根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端;
数据采集模块,用于采集所述至少一个采集终端的数据信息;
数据融合处理模块,用于按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果;
数据报送模块,用于将所述融合处理结果上报至密码应用态势感知系统;
其中,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行分类,得到至少一类别的采集终端,包括:
根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值;
根据所述信任值对至少一个采集终端进行分类,得到可信任的采集终端或者不可信任的采集终端;
其中,根据所述至少一个采集终端的属性信息,对至少一个采集终端进行信任评分,得到信任值,包括:
根据所述至少一个采集终端的用户属性向量、终端属性的敏感级别、终端方的信任值、终端方的安全级别中的至少一项,得到所述至少一个采集终端的信任重要程度;
获取所述至少一个采集终端的直接信任值;
根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值;
其中,根据所述信任重要程度和直接信任值,对至少一个采集终端进行信任评分,得到信任值,包括:
其中,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息进行融合处理,得到融合处理结果,包括:
按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息,按相同条件指标选取数据记录;
对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果;
其中,按照预设采集策略,对所述至少一类别的采集终端中可信任的至少一个采集终端的数据信息,按相同条件指标选取数据记录,包括:
生成预设采集策略,配置采集终端采集策略及访问权限;
对可信任的采集终端生成采集策略;
根据预设采集策略更新采集策略路由信息相应数据;
根据预设采集策略执行内容通知相应采集协议的数据采集模块;
数据采集模块收到通知,获取并解析对应采集策略;
采集模块通过信任模块向可信任的采集终端下发采集策略;
采集模块向可信任的采集终端开始周期性采集数据内容;
采集模块成功采集可信任的采集终端的数据信息,按相同条件指标选取数据记录;
其中,对所述数据记录按照融合数据模型进行融合转换处理,得到融合处理结果,包括:
将所述数据记录进行特征值提取,得到至少一个特征值;
将所述至少一个特征值输入融合数据模型进行处理,得到融合处理结果,所述融合数据模型包括:终端、主体、时间、指标、取值、数据标签;所述融合处理结果为以所述融合数据模型的格式形成的数据,其中数据的内容属性通过数据标签进行标记。
4.一种计算设备,其特征在于,包括:处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至2任一项所述的方法的步骤。
5.一种计算机可读存储介质,其特征在于,存储指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至2任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211365132.5A CN115426200B (zh) | 2022-11-03 | 2022-11-03 | 一种数据采集处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211365132.5A CN115426200B (zh) | 2022-11-03 | 2022-11-03 | 一种数据采集处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115426200A CN115426200A (zh) | 2022-12-02 |
CN115426200B true CN115426200B (zh) | 2023-03-03 |
Family
ID=84207406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211365132.5A Active CN115426200B (zh) | 2022-11-03 | 2022-11-03 | 一种数据采集处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115426200B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109660526A (zh) * | 2018-12-05 | 2019-04-19 | 国网江西省电力有限公司信息通信分公司 | 一种应用于信息安全领域的大数据分析方法 |
CN112118102A (zh) * | 2020-10-21 | 2020-12-22 | 国网天津市电力公司 | 一种电力专用的零信任网络系统 |
WO2021137684A1 (en) * | 2019-12-31 | 2021-07-08 | Mimos Berhad | System and method for integrating digital identity verification to authentication platform |
CN114584405A (zh) * | 2022-05-07 | 2022-06-03 | 国网浙江省电力有限公司电力科学研究院 | 一种电力终端安全防护方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150281278A1 (en) * | 2014-03-28 | 2015-10-01 | Southern California Edison | System For Securing Electric Power Grid Operations From Cyber-Attack |
US11411958B2 (en) * | 2019-01-18 | 2022-08-09 | Cisco Technology, Inc. | Machine learning-based application posture for zero trust networking |
US11558423B2 (en) * | 2019-09-27 | 2023-01-17 | Stealthpath, Inc. | Methods for zero trust security with high quality of service |
CN112966245A (zh) * | 2021-04-07 | 2021-06-15 | 中国南方电网有限责任公司 | 一种基于信息度量的电网信息系统访问控制方法和系统 |
CN114117447A (zh) * | 2021-11-24 | 2022-03-01 | 上海派拉软件股份有限公司 | 基于贝叶斯网络的态势感知方法、装置、设备及存储介质 |
-
2022
- 2022-11-03 CN CN202211365132.5A patent/CN115426200B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109660526A (zh) * | 2018-12-05 | 2019-04-19 | 国网江西省电力有限公司信息通信分公司 | 一种应用于信息安全领域的大数据分析方法 |
WO2021137684A1 (en) * | 2019-12-31 | 2021-07-08 | Mimos Berhad | System and method for integrating digital identity verification to authentication platform |
CN112118102A (zh) * | 2020-10-21 | 2020-12-22 | 国网天津市电力公司 | 一种电力专用的零信任网络系统 |
CN114584405A (zh) * | 2022-05-07 | 2022-06-03 | 国网浙江省电力有限公司电力科学研究院 | 一种电力终端安全防护方法及系统 |
Non-Patent Citations (2)
Title |
---|
一种基于零信任的威胁感知访问控制方法;丁睿等;《网络空间安全》;20211231;全文 * |
基于零信任的网络安全模型架构与应用研究;李欢欢等;《科技资讯》;20210613;第19卷(第17期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115426200A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11349947B1 (en) | Proxying hypertext transfer protocol (HTTP) requests for microservices | |
US11902316B2 (en) | Real-time cybersecurity status system with event ticker | |
US11269859B1 (en) | Correlating different types of data of a distributed ledger system | |
US9767291B2 (en) | Systems and methods for security and risk assessment and testing of applications | |
US10769006B2 (en) | Ensemble risk assessment method for networked devices | |
US10002144B2 (en) | Identification of distinguishing compound features extracted from real time data streams | |
US11038905B2 (en) | Identifying attack behavior based on scripting language activity | |
TWI711938B (zh) | 用於使用無監督式機器學習和優先權演算法的高速威脅性情報管理的系統及方法 | |
JP5108155B2 (ja) | データ記憶アクセスの制御方法 | |
US20140095866A1 (en) | System and method for verification of digital certificates | |
US11507562B1 (en) | Associating data from different nodes of a distributed ledger system | |
US20210112101A1 (en) | Data set and algorithm validation, bias characterization, and valuation | |
TW202009765A (zh) | 用於產生可疑事件時序圖的可疑事件研判裝置與相關的電腦程式產品 | |
EP3742700B1 (en) | Method, product, and system for maintaining an ensemble of hierarchical machine learning models for detection of security risks and breaches in a network | |
US11144939B2 (en) | Cross-device consumer identification and device type determination | |
CN107409134A (zh) | 法证分析 | |
CN111917747A (zh) | 一种校园网络安全态势感知系统及方法 | |
EP3794481A1 (en) | Creation and verification of behavioral baselines for the detection of cybersecurity anomalies using machine learning techniques | |
CN116112194A (zh) | 用户行为分析方法、装置、电子设备及计算机存储介质 | |
CN113127904B (zh) | 一种访问控制策略智能优化系统及方法 | |
CN115426200B (zh) | 一种数据采集处理方法及系统 | |
KR102311997B1 (ko) | 인공지능 행위분석 기반의 edr 장치 및 방법 | |
KR102403881B1 (ko) | 이벤트의 인과관계 가시화 장치 및 그 방법 | |
CN113949578A (zh) | 基于流量的越权漏洞自动检测方法、装置及计算机设备 | |
Wurzenberger et al. | Automatic attack pattern mining for generating actionable CTI applying alert aggregation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 100000 901, Floor 9, Building 7, Yard 8, Auto Museum East Road, Fengtai District, Beijing Patentee after: BEIJING SHUDUN INFORMATION TECHNOLOGY CO.,LTD. Address before: 100094 room 101-502, 5th floor, building 10, yard 3, fengxiu Middle Road, Haidian District, Beijing Patentee before: BEIJING SHUDUN INFORMATION TECHNOLOGY CO.,LTD. |
|
CP02 | Change in the address of a patent holder |