CN116488938B - 一种基于大数据行为分析的数据检测方法及系统 - Google Patents
一种基于大数据行为分析的数据检测方法及系统 Download PDFInfo
- Publication number
- CN116488938B CN116488938B CN202310687212.0A CN202310687212A CN116488938B CN 116488938 B CN116488938 B CN 116488938B CN 202310687212 A CN202310687212 A CN 202310687212A CN 116488938 B CN116488938 B CN 116488938B
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- received
- detection
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 179
- 238000004458 analytical method Methods 0.000 title claims abstract description 154
- 238000007405 data analysis Methods 0.000 claims abstract description 89
- 238000005457 optimization Methods 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims description 47
- 238000012797 qualification Methods 0.000 claims description 27
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000007621 cluster analysis Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于大数据行为分析的数据检测方法及系统,涉及数据安全技术领域,该方法包括数据获取模块获取终端的待接收数据;数据检测模块对所述待接收数据进行源检测和数据量检测;数据分析模块对经所述源检测和数据量检测的所述待接收数据确定分析方式;并根据复杂度差值确定对所述分析方式的优化方式;通过对终端待接收数据进行源检测和数据量检测,并根据上述检测结果确定对数据分析时的分析方式,保证了数据来源的安全可靠性,并通过对待接收数据进行编码复杂度分析,在对应编码复杂度处于不同水平对确定的分析方式进行优化以保证对待接收数据分析时的精确性,降低了用户数据被破坏的风险。
Description
技术领域
本发明涉及数据安全技术领域,尤其涉及一种基于大数据行为分析的数据检测方法及系统。
背景技术
自进入网络时代以来,计算机入侵事件就从未被完全杜绝,黑客恶意攻击是各个行业信息数据安全的关键威胁,而恶意攻击的表现形式非常之多,对于大型企业来说,由于其网络安全架构的建设较为完善,能够规避大多数网络入侵,但对于中小型企业,缺少这方面的资金和人员投入,很难及时感知入侵事件的发生,因此容易给企业造成不可挽回的损失。
现有的网络入侵检测系统已基本能够针对大多数常见的网络病毒进行处理和规避,但依然不能对渗透在数据中的网络入侵进行识别和处理。
中国专利公开号:CN114338221A公开了一种基于大数据分析的网络检测系统,包括网络接口、网络管理模块、检测模块、安防模块、分析模块、处理模块、预警模块和处理器,检测模块对网络接口和网络管理模块的状态进行检测,以获取网络通信信道的状态数据;安防模块用于对网络接口的传输数据进行过滤,以对网络通信的数据进行主动防护;分析模块基于用户访问端接收的数据,并对所述数据进行分析;处理模块用于对网络的异常进行处理,并将异常的数据向用户访问端进行提示;预警模块用于对网络传输信道的通断状态进行预警,以实现对网络状态的交互反馈提示。该发明通过分析单元对各个网络接口数据进行过滤,以实现对风险的主动防护;由此可见,所述基于大数据分析的网络检测系统存在以下问题:
对数据进行分析时,通过分析模块对网络管理模块所接收的安全状态数据和操作状态数据进行分析,并在安全状态数据和操作状态数据存在漏洞时触发安防模块对漏洞的处理;由于现如今网络入侵隐秘性较强,因此上述方法已不能满足对网络入侵的精准检测和分析,易给用户造成数据丢失和数据破坏的风险。
发明内容
为此,本发明提供一种基于大数据行为分析的数据检测方法及系统,用以克服现有技术中不能满足对网络入侵的精准检测和分析,易给用户造成数据丢失和数据破坏的风险的问题。
为实现上述目的,本发明一方面提供一种基于大数据行为分析的数据检测方法,包括:
步骤S1、数据获取模块获取终端的待接收数据;
步骤S2、数据检测模块对所述待接收数据进行源检测和数据量检测;
步骤S3、数据分析模块的分析方式确定单元对经所述源检测和数据量检测的所述待接收数据进行分析以确定对所述待接收数据分析时的分析方式;
步骤S4、所述数据分析模块的编码分析单元对所述待接收数据的编码复杂度进行分析,以确定编码复杂度所处复杂度水平;
步骤S5、所述编码分析单元在编码复杂度处于第二复杂度水平时,所述数据分析模块的分析方式优化单元根据复杂度差值确定对所述分析方式的优化方式。
进一步地,当所述数据检测模块对所述待接收数据进行源检测时,数据检测模块的源检测单元对所述待接收数据的源IP的若干数据发送特征进行统计,以根据统计结果确定所述待接收数据的发送合格率,所述数据检测模块根据所述发送合格率确定所述待接收数据是否通过所述源检测。
进一步地,当所述数据检测模块对所述待接收数据进行数据量检测时,所述数据检测模块在所述待接收数据的数据量与发送端的发送数据量不相等时确定所述待接收数据未通过所述数据量检测。
进一步地,当所述数据分析模块对经所述源检测和数据量检测的所述待接收数据进行分析时,所述数据分析模块根据所述源检测和数据量检测结果确定对所述待接收数据进行分析时的分析方式;
当所述检测模块确定所述待接收数据通过所述源检测且通过所述数据量检测时,所述数据分析模块确定以第一分析方式对所述待接收数据进行分析;
当所述检测模块确定所述待接收数据未通过所述源检测或所述数据量检测时,所述数据分析模块确定以第二分析方式对所述待接收数据进行分析;
当所述检测模块确定所述待接收数据均未通过所述源检测和所述数据量检测时,所述数据分析模块确定以第三分析方式对所述待接收数据进行分析。
进一步地,当所述数据分析模块确定以第一分析方式对所述待接收数据进行分析时,所述数据分析模块计算所述终端的历史数据异常率Y,以根据历史数据异常率Y确定分析所述待接收数据时的数据粒度,设定其中,Rn为所述终端的历史数据中第i个异常指标的异常值,R0为所述终端的历史数据中发送总数据量,n为异常指标的个数。
进一步地,当所述数据分析模块确定以第二分析方式对所述待接收数据进行分析时,所述数据分析模块计算所述发送合格率和发送合格率标准的合格率差值,以根据该合格率差值确定从待接收数据中截取数据时的字节数间隔;
或,所述数据分析模块计算所述待接收数据的数据量与发送端的发送数据量的数据量差值,以根据该数据量差值确定从待接收数据中截取数据时的字节数间隔。
进一步地,当所述数据分析模块确定所述分析方式完成时,所述数据分析模块在所述待接收数据的编码复杂度处于第二复杂度水平时确定对所述分析方式进行优化;
当所述数据分析模块确定对所述分析方式进行优化时,根据所述编码复杂度和复杂度阈值的复杂度差值确定对所述分析方式的优化方式,优化方式包括对相应分析方式下的分析参数进行调节的第一优化方式和在对应分析方式下增加对所述待接收数据的聚类分析,并在聚类分析时根据各类数据的数量确定是否对相应分析方式下的分析参数进行调节的第二优化方式。
进一步地,当所述数据分析模块确定所述优化方式为第一优化方式时,根据所述复杂度差值和预设复杂度差值确定对所述参数进行调节时的调节系数K,设定
其中,C为所述编码复杂度差值,C0为预设复杂度差值。
进一步地,当所述数据分析模块确定所述优化方式为第二优化方式时,将聚类分析后的所述各类数据与入侵规则库进行比对,确定所述各类数据与入侵规则库中若干入侵规则的相似度并统计相似度大于预设相似度的入侵规则的数量,并根据该数量计算对相应分析方式下的分析参数进行调节的调节系数Z,设定Z=1+(Uz-U)/Uz,其中,U为所述相似度大于预设相似度的入侵规则的数量,Uz为入侵规则库中入侵规则的总数量。
本发明另一方面提供一种应用上述基于大数据行为分析的数据检测方法的系统,包括:
数据获取模块,其用以获取终端的待接收数据;
数据检测模块,其与所述数据获取模块连接,该数据检测模块包括用以对所述待接收数据进行源检测的源检测单元和用以对所述待接收数据进行数据量检测的数据量检测单元;
数据分析模块,其与所述数据检测模块连接,该数据分析模块包括用以对经所述源检测和数据量检测的所述待接收数据进行分析以确定所述待接收数据的分析方式的分析方式确定单元,对所述待接收数据的编码复杂度进行分析,以确定编码复杂度所处复杂度水平的编码分析单元,以及用以根据复杂度差值确定对所述分析方式进行优化的分析方式优化单元。
与现有技术相比,本发明的有益效果在于,本发明通过对终端待接收数据进行源检测和数据量检测,并根据上述检测结果确定对数据分析时的分析方式,保证了数据来源的安全可靠性,并通过对待接收数据进行编码复杂度分析,在对应编码复杂度处于不同水平对确定的分析方式进行优化以保证对待接收数据分析时的精确性,降低了用户数据被破坏的风险。
进一步地,本发明源检测单元通过统计所述待接收数据的源IP的若干数据发送特征并计算所述待接收数据的发送合格率,以根据发送合格率与发送合格率标准的比对结果确定待接收数据是否通过源检测,保证待接收数据在源IP中被发送时就应当不被篡改或源IP本身不存在入侵,进一步提高了对待接收数据分析时的精确性,保证了数据传输的安全。
进一步地,本发明数据量检测单元对通过对待接收数据的数据量和发送端的发送数据量进行比对,以确定发送和待接收的数据量的一致性,在数据分析前提高对数据进行提前检测,保证精准对待接收数据进行分析。
进一步地,本发明通过对待接收数据根据源检测和数据量的结果设置多个不同的分析方式以进行分析,具有一定的灵活性,并且通过确定不同的分析方式,可以进一步提高对数据分析的准确性。
进一步地,本发明通过在第一分析方式下计算终端的历史数据异常率,以确定终端在过去一定时期内发送数据时,是否存在被入侵,并根据异常率表征该被入侵情况,并在异常率处于不同状态时以不同的数据粒度分析待接收数据,提高了对数据分析过程的分析精度。
进一步地,本发明通过在第二分析方式下对未通过源检测或数据量检测的待接收数据分别设置不同运算方式以确定对待接收数据进行分析时截取数据的字节数间隔,以使数据分析方式更加灵活,进一步提高了对数据分析过程的精准程度,降低用户数据被篡改和破坏的风险。
附图说明
图1为本发明实施例基于大数据行为分析的数据检测方法的流程图;
图2为本发明实施例应用基于大数据行为分析的数据检测方法的系统的结构示意图;
图3为本发明实施例应用基于大数据行为分析的数据检测方法的系统中数据检测模块的结构示意图;
图4为本发明实施例应用基于大数据行为分析的数据检测方法的系统中数据分析模块的结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,其为本发明实施例基于大数据行为分析的数据检测方法的流程图。
本发明实施例基于大数据行为分析的数据检测方法,包括:
步骤S1、数据获取模块获取终端的待接收数据;
步骤S2、数据检测模块对所述待接收数据进行源检测和数据量检测;
步骤S3、数据分析模块的分析方式确定单元对经所述源检测和数据量检测的所述待接收数据进行分析以确定对所述待接收数据分析时的分析方式;
步骤S4、所述数据分析模块的编码分析单元对所述待接收数据的编码复杂度进行分析,以确定编码复杂度所处复杂度水平;
步骤S5、所述编码分析单元在编码复杂度处于第二复杂度水平时,所述数据分析模块的分析方式优化单元根据复杂度差值确定对所述分析方式的优化方式。
具体而言,本发明通过对终端待接收数据进行源检测和数据量检测,并根据上述检测结果确定对数据分析时的分析方式,保证了数据来源的安全可靠性,并通过对待接收数据进行编码复杂度分析,在对应编码复杂度处于不同水平对确定的分析方式进行优化以保证对待接收数据分析时的精确性,降低了用户数据被破坏的风险。
具体而言,当所述数据检测模块对所述待接收数据进行源检测时,数据检测模块的源检测单元对所述待接收数据的源IP的若干数据发送特征进行统计,以根据统计结果确定所述待接收数据的发送合格率F,设定
F=U/Uz
其中,U为所述源IP的若干数据发送特征中与源IP一致的数据发送特征的数量,Uz为若干所述数据发送特征的总数量。
本发明实施例中,若干数据发送特征包括发送数据时的通道、通道容量、发送方式、数据传输协议、通道带宽和数据发送速率。
具体而言,当所述数据检测模块确定所述发送合格率完成时,将所述发送合格率F与发送合格率标准F0进行比对,以根据比对结果确定所述待接收数据是否通过所述源检测;
当F≥F0时,所述源检测单元确定所述待接收数据通过所述源检测;
当F<F0时,所述源检测单元确定所述待接收数据未通过所述源检测。
本发明实施例中,发送合格率标准的取值为0.96,该发送合格率标准为待接收数据在被发送时,仅可容许通道带宽或数据发送速率不一致,其与数据发送特征均应当一致,对于上述发送合格率标准的取值,本领域技术人员也可根据实际分析的数据所需安全性进行自行设置,本申请对此不作限定。
具体而言,当所述数据检测模块对所述待接收数据进行数据量检测时,所述数据检测模块的数据量检测单元将所述待接收数据的数据量G与发送端的发送数据量G1进行比对,以根据比对结果确定所述待接收数据是否通过所述数据量检测;
当G=G1时,所述数据量检测单元确定所述待接收数据通过所述数据量检测;
当G≠G1时,所述数据量检测单元确定所述待接收数据未通过所述数据量检测。
具体而言,本发明源检测单元通过统计所述待接收数据的源IP的若干数据发送特征并计算所述待接收数据的发送合格率,以根据发送合格率与发送合格率标准的比对结果确定待接收数据是否通过源检测,保证待接收数据在源IP中被发送时就应当不被篡改或源IP本身不存在入侵,进一步提高了对待接收数据分析时的精确性,保证了数据传输的安全。
具体而言,本发明数据量检测单元对通过对待接收数据的数据量和发送端的发送数据量进行比对,以确定发送和待接收的数据量的一致性,在数据分析前提高对数据进行提前检测,保证精准对待接收数据进行分析。
具体而言,当所述数据分析模块对经所述源检测和数据量检测的所述待接收数据进行分析时,所述数据分析模块根据所述源检测和数据量检测结果确定对所述待接收数据进行分析时的分析方式;
当所述检测模块确定所述待接收数据通过所述源检测且通过所述数据量检测时,所述数据分析模块确定以第一分析方式对所述待接收数据进行分析;
当所述检测模块确定所述待接收数据未通过所述源检测或所述数据量检测时,所述数据分析模块确定以第二分析方式对所述待接收数据进行分析;
当所述检测模块确定所述待接收数据均未通过所述源检测和所述数据量检测时,所述数据分析模块确定以第三分析方式对所述待接收数据进行分析。
具体而言,本发明通过对待接收数据根据源检测和数据量的结果设置多个不同的分析方式以进行分析,具有一定的灵活性,并且通过确定不同的分析方式,可以进一步提高对数据分析的准确性。
具体而言,当所述数据分析模块确定以第一分析方式对所述待接收数据进行分析时,所述数据分析模块计算所述终端的历史数据异常率Y,以根据历史数据异常率Y与预设异常率阈值Y0的比对结果确定分析所述待接收数据时的数据粒度,设定其中,Rn为所述终端的历史数据中第i个异常指标的异常值,R0为所述终端的历史数据中发送总数据量,n为异常指标的个数;
当Y≤Y0,所述数据分析模块确定以第一数据粒度E1分析所述待接收数据;
当Y>Y0,所述数据分析模块确定以第二数据粒度E2分析所述待接收数据;
其中,E1>E2。
本发明实施例中,对于根据异常率与预设异常率阈值确定分析所述待接收数据是的数据粒度中,数据粒度为多维粒度,包括以时间线、数据量、空间线及数据类型,其中,第一数据粒度E1对应的时间线中以0.8秒为间隔标准截取数据,数据量中以相对数据总量的1%的数据量获取数据,空间线中以相对总行数的5%的行数获取数据,数据类型中若单个数据类型的数据量大于55%的数据总量,则获取该单个数据类型的数据;第二数据粒度E2对应的时间线中以0.5秒为间隔标准截取数据,数据量中以相对数据总量的2%的数据量获取数据,空间线中以相对总行数的10%的行数获取数据,数据类型中若单个数据类型的数据量大于30%的数据总量,则获取该单个数据类型的数据。
具体而言,本发明通过在第一分析方式下计算终端的历史数据异常率,以确定终端在过去一定时期内发送数据时,是否存在被入侵,并根据异常率表征该被入侵情况,并在异常率处于不同状态时以不同的数据粒度分析待接收数据,提高了对数据分析过程的分析精度。
本发明实施例中,预设异常率阈值的取值为0.15,该预设异常率阈值为所述终端可接受的数据误差率;其中,第i个异常指标的异常值为该异常指标对应的数据中异常数据量与该数据的数据量的比值。
具体而言,当所述数据分析模块确定以第二分析方式对所述待接收数据进行分析时,所述数据分析模块计算所述发送合格率F和发送合格率标准F0的合格率差值δ,设定δ=F0-F,以根据该合格率差值δ与预设合格率差值阈值δ0的比对结果确定从待接收数据中截取数据时的字节数间隔W,设定
W=(δ/δ0)×B1
其中,B1为第一字节数间隔标准;或,
所述数据分析模块计算所述待接收数据的数据量G与发送端的发送数据量G1的数据量差值α,设定α=|G-G1|,以根据该数据量差值α和预设数据量差值α0的比对结果确定从待接收数据中截取数据时的字节数间隔W,设定
W=(α/α0)×B2
其中,B2为第二字节数间隔标准。
本发明实施例中,预设合格率差值阈值δ0的取值为0.15,B1的取值为100Byte,B2的取值为200Byte。
具体而言,本发明通过在第二分析方式下对未通过源检测或数据量检测的待接收数据分别设置不同运算方式以确定对待接收数据进行分析时截取数据的字节数间隔,以使数据分析方式更加灵活,进一步提高了对数据分析过程的精准程度,降低用户数据被篡改和破坏的风险。
具体而言,当所述数据分析模块确定以第三分析方式对所述待接收数据进行分析时,所述分析模块遍历所述待接收数据。
具体而言,当所述数据分析模块确定所述分析方式完成时,所述数据分析模块根据所述待接收数据的编码复杂度所处复杂度水平确定是否对所述分析方式进行调整;
当所述编码复杂度处于第一复杂度水平,所述数据分析模块确定不对所述分析方式进行优化;
当所述编码复杂度处于第二复杂度水平,所述数据分析模块确定对所述分析方式进行优化;
其中,第一复杂度水平满足所述编码复杂度≤复杂度阈值,第二复杂度水平满足所述编码复杂度>复杂度阈值。
本发明实施例中,复杂度阈值的取值根据待接收数据的重要性确定,本实施例中,数据分析模块中设有若干数据重要性指数对应的复杂度阈值,本实施方式中设置有若干重要性指数对应的复杂度阈值,复杂度阈值为对应重要性指数的二分之一,数据重要性指数设置为Z,设定Z=Gn/Gz,其中,Gn为与所述待接收数据关联的节点数量,Gz为与所述终端关联的节点数量。
具体而言,当所述数据分析模块确定对所述分析方式进行优化时,根据所述编码复杂度和复杂度阈值的复杂度差值C确定对所述分析方式的优化方式,
若C≤C0,所述数据分析模块确定所述优化方式为第一优化方式;
若C>C0,所述数据分析模块确定所述优化方式为第二优化方式;
其中,C0为预设复杂度差值,所述第一优化方式为对相应分析方式下的分析参数进行调节,第二优化方式在对应分析方式下增加对所述待接收数据的聚类分析,并在聚类时根据各类数据的数量确定是否对相应分析方式下的分析参数进行调节。
本发明实施例中,预设复杂度差值的取值为1.5。
具体而言,本发明通过设置预设复杂度差值,并在根据编码复杂度确定需对分析方式进行优化时,通过计算复杂度差值并与预设复杂度差值进行比对以选取对分析方式的优化方式,进一步提高了对数据分析过程的控制的精确性。
具体而言,当所述数据分析模块确定所述优化方式为第一优化方式时,根据所述复杂度差值和预设复杂度差值确定对所述参数进行调节时的调节系数K,设定
其中,C为所述编码复杂度差值,C0为预设复杂度差值。
具体而言,当所述数据分析模块确定所述优化方式为第二优化方式时,将聚类分析后的各类数据与入侵规则库进行比对,确定各类数据与入侵规则库中若干入侵规则的相似度并统计相似度大于预设相似度的入侵规则的数量,并根据该数量计算对相应分析方式下的分析参数进行调节的调节系数Z,设定Z=1+(Uz-U)/Uz,其中,U为所述相似度大于预设相似度的入侵规则的数量,Uz为入侵规则库中入侵规则的总数量。
具体而言,本发明通过在对应优化方式下,通过不同的计算方式计算对相应分析方式下的调节系数以分别对相应分析方式的分析参数进行调节,加大在数据分析过程中对渗透在数据中的网络入侵的检测和分析力度,且通过上述调节系数对相应分析方式下的分析参数进行调节,提高了对分析过程的控制精度,从而进一步保障了用户数据的安全性。
具体而言,当所述数据分析模块计算各调节系数完成时,将相应分析方式下的分析参数与调节系数相乘得到优化后的分析参数,并以优化后的分析参数对所述待接收数据进行分析。
请参阅图2-图4所示,图2为本发明实施例应用基于大数据行为分析的数据检测方法的系统的结构示意图;图3为本发明实施例应用基于大数据行为分析的数据检测方法的系统中数据检测模块的结构示意图;图4为本发明实施例应用基于大数据行为分析的数据检测方法的系统中数据分析模块的结构示意图。
本发明实施例应用基于大数据行为分析的数据检测方法的系统,包括:
数据获取模块,其用以获取终端的待接收数据;
数据检测模块,其与所述数据获取模块连接,该数据检测模块包括用以对所述待接收数据进行源检测的源检测单元和用以对所述待接收数据进行数据量检测的数据量检测单元;
数据分析模块,其与所述数据检测模块连接,该数据分析模块包括用以对经所述源检测和数据量检测的所述待接收数据进行分析以确定所述待接收数据的分析方式的分析方式确定单元,对所述待接收数据的编码复杂度进行分析,以确定编码复杂度所处复杂度水平的编码分析单元,以及用以根据复杂度差值确定对所述分析方式进行优化的分析方式优化单元。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于大数据行为分析的数据检测方法,其特征在于,包括:
步骤S1、数据获取模块获取终端的待接收数据;
步骤S2、数据检测模块对所述待接收数据进行源检测和数据量检测;
步骤S3、数据分析模块的分析方式确定单元对经所述源检测和数据量检测的所述待接收数据进行分析以确定对所述待接收数据分析时的分析方式;
步骤S4、所述数据分析模块的编码分析单元对所述待接收数据的编码复杂度进行分析,以确定编码复杂度所处复杂度水平;
步骤S5、所述编码分析单元在编码复杂度处于第二复杂度水平时,所述数据分析模块的分析方式优化单元根据复杂度差值确定对所述分析方式的优化方式,
其中,所述分析方式包括在所述源检测和所述数据量检测均通过时根据所述终端历史数据异常率确定分析所述待接收数据时的数据粒度的第一分析方式,在所述源检测或所述数据量检测未通过时确定分析所述待接收数据时截取数据的字节数间隔的第二分析方式,以及在所述源检测和所述数据量检测均未通过时对所述待接收数据进行遍历分析的第三分析方式;
当所述数据检测模块对所述待接收数据进行源检测时,所述数据检测模块的源检测单元对所述待接收数据的源IP的若干数据发送特征进行统计,以根据统计结果确定所述待接收数据的发送合格率,所述源检测单元根据所述发送合格率确定所述待接收数据是否通过所述源检测;
当所述数据检测模块对所述待接收数据进行数据量检测时,所述数据检测模块的数据量检测单元在所述待接收数据的数据量与发送端的发送数据量不相等时确定所述待接收数据未通过所述数据量检测;
当所述数据分析模块确定以第一分析方式对所述待接收数据进行分析时,所述数据分析模块计算所述终端的历史数据异常率Y,以根据历史数据异常率Y确定分析所述待接收数据时的数据粒度,设定其中,Rn为所述终端的历史数据中第i个异常指标的异常值,R0为所述终端的历史数据中发送总数据量,n为异常指标的个数;
当所述数据分析模块确定以第二分析方式对所述待接收数据进行分析时,所述数据分析模块计算所述发送合格率和发送合格率标准的合格率差值,以根据该合格率差值确定从待接收数据中截取数据时的字节数间隔;
或,所述数据分析模块计算所述待接收数据的数据量与发送端的发送数据量的数据量差值,以根据该数据量差值确定从待接收数据中截取数据时的字节数间隔;
当所述数据分析模块确定所述分析方式完成时,所述数据分析模块在所述待接收数据的编码复杂度处于第二复杂度水平时确定对所述分析方式进行优化;
当所述数据分析模块确定对所述分析方式进行优化时,根据所述编码复杂度和复杂度阈值的复杂度差值确定对所述分析方式的优化方式,优化方式包括对相应分析方式下的分析参数进行调节的第一优化方式和在对应分析方式下增加对所述待接收数据的聚类分析,并在聚类分析时根据各类数据的数量确定是否对相应分析方式下的分析参数进行调节的第二优化方式;
当所述数据分析模块确定所述优化方式为第一优化方式时,根据所述复杂度差值和预设复杂度差值确定对所述参数进行调节时的调节系数K,设定
其中,C为所述编码复杂度差值,C0为预设复杂度差值。
2.根据权利要求1所述的基于大数据行为分析的数据检测方法,其特征在于,当所述数据分析模块对经所述源检测和数据量检测的所述待接收数据进行分析时,所述数据分析模块根据所述源检测和数据量检测结果确定对所述待接收数据进行分析时的分析方式;
当所述检测模块确定所述待接收数据通过所述源检测且通过所述数据量检测时,所述数据分析模块确定以第一分析方式对所述待接收数据进行分析;
当所述检测模块确定所述待接收数据未通过所述源检测或所述数据量检测时,所述数据分析模块确定以第二分析方式对所述待接收数据进行分析;
当所述检测模块确定所述待接收数据均未通过所述源检测和所述数据量检测时,所述数据分析模块确定以第三分析方式对所述待接收数据进行分析。
3.根据权利要求2所述的基于大数据行为分析的数据检测方法,其特征在于,当所述数据分析模块确定所述优化方式为第二优化方式时,将聚类分析后的所述各类数据与入侵规则库进行比对,确定所述各类数据与入侵规则库中若干入侵规则的相似度并统计相似度大于预设相似度的入侵规则的数量,并根据该数量计算对相应分析方式下的分析参数进行调节的调节系数Z,设定Z=1+(Uz-U)/Uz,其中,U为所述相似度大于预设相似度的入侵规则的数量,Uz为入侵规则库中入侵规则的总数量。
4.一种应用权利要求1-3任一项所述的基于大数据行为分析的数据检测方法的系统,其特征在于,包括:
数据获取模块,其用以获取终端的待接收数据;
数据检测模块,其与所述数据获取模块连接,该数据检测模块包括用以对所述待接收数据进行源检测的源检测单元和用以对所述待接收数据进行数据量检测的数据量检测单元;
数据分析模块,其与所述数据检测模块连接,该数据分析模块包括用以对经所述源检测和数据量检测的所述待接收数据进行分析以确定所述待接收数据的分析方式的分析方式确定单元,对所述待接收数据的编码复杂度进行分析,以确定编码复杂度所处复杂度水平的编码分析单元,以及用以根据复杂度差值确定对所述分析方式进行优化的分析方式优化单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310687212.0A CN116488938B (zh) | 2023-06-12 | 2023-06-12 | 一种基于大数据行为分析的数据检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310687212.0A CN116488938B (zh) | 2023-06-12 | 2023-06-12 | 一种基于大数据行为分析的数据检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116488938A CN116488938A (zh) | 2023-07-25 |
CN116488938B true CN116488938B (zh) | 2024-01-30 |
Family
ID=87221685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310687212.0A Active CN116488938B (zh) | 2023-06-12 | 2023-06-12 | 一种基于大数据行为分析的数据检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116488938B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7610624B1 (en) * | 2004-01-12 | 2009-10-27 | Novell, Inc. | System and method for detecting and preventing attacks to a target computer system |
KR20140039527A (ko) * | 2012-09-24 | 2014-04-02 | 주식회사 좋은친구 | 네트워크에 연결된 단말기의 해킹 감시 방법, 해킹 감시용 프로그램이 기록된 기록 매체, 및 해킹 감시용 프로그램이 설치된 단말기 |
KR20150076613A (ko) * | 2013-12-27 | 2015-07-07 | 호서대학교 산학협력단 | Apt 공격 분석을 위한 의심파일 및 추적정보 수집 방법 |
WO2015120752A1 (zh) * | 2014-02-17 | 2015-08-20 | 北京奇虎科技有限公司 | 网络威胁处理方法及设备 |
CN105262712A (zh) * | 2014-05-27 | 2016-01-20 | 腾讯科技(深圳)有限公司 | 网络入侵检测方法及装置 |
CN108540473A (zh) * | 2018-04-09 | 2018-09-14 | 华北理工大学 | 一种数据分析方法及数据分析装置 |
CN109302419A (zh) * | 2018-11-21 | 2019-02-01 | 贵州电网有限责任公司 | 一种基于行为分析的网络应用流异常检测方法 |
EP3782345A1 (fr) * | 2018-04-17 | 2021-02-24 | Renault S.A.S. | Procédé de filtrage de flux d'attaque visant un module de connectivité |
CN112671701A (zh) * | 2020-11-03 | 2021-04-16 | 北京航空航天大学合肥创新研究院 | 基于车载网络异常行为特征驱动的车载终端入侵检测方法 |
WO2022221389A1 (en) * | 2021-04-14 | 2022-10-20 | The Curators Of The University Of Missouri | Method and system for intelligent and scalable misbehavior detection of heterogeneous iot devices at network edge |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11539724B2 (en) * | 2019-12-17 | 2022-12-27 | Upstream Security, Ltd. | Centralized detection techniques for cyber-attacks directed at connected vehicles |
-
2023
- 2023-06-12 CN CN202310687212.0A patent/CN116488938B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7610624B1 (en) * | 2004-01-12 | 2009-10-27 | Novell, Inc. | System and method for detecting and preventing attacks to a target computer system |
KR20140039527A (ko) * | 2012-09-24 | 2014-04-02 | 주식회사 좋은친구 | 네트워크에 연결된 단말기의 해킹 감시 방법, 해킹 감시용 프로그램이 기록된 기록 매체, 및 해킹 감시용 프로그램이 설치된 단말기 |
KR20150076613A (ko) * | 2013-12-27 | 2015-07-07 | 호서대학교 산학협력단 | Apt 공격 분석을 위한 의심파일 및 추적정보 수집 방법 |
WO2015120752A1 (zh) * | 2014-02-17 | 2015-08-20 | 北京奇虎科技有限公司 | 网络威胁处理方法及设备 |
CN105262712A (zh) * | 2014-05-27 | 2016-01-20 | 腾讯科技(深圳)有限公司 | 网络入侵检测方法及装置 |
CN108540473A (zh) * | 2018-04-09 | 2018-09-14 | 华北理工大学 | 一种数据分析方法及数据分析装置 |
EP3782345A1 (fr) * | 2018-04-17 | 2021-02-24 | Renault S.A.S. | Procédé de filtrage de flux d'attaque visant un module de connectivité |
CN109302419A (zh) * | 2018-11-21 | 2019-02-01 | 贵州电网有限责任公司 | 一种基于行为分析的网络应用流异常检测方法 |
CN112671701A (zh) * | 2020-11-03 | 2021-04-16 | 北京航空航天大学合肥创新研究院 | 基于车载网络异常行为特征驱动的车载终端入侵检测方法 |
WO2022221389A1 (en) * | 2021-04-14 | 2022-10-20 | The Curators Of The University Of Missouri | Method and system for intelligent and scalable misbehavior detection of heterogeneous iot devices at network edge |
Non-Patent Citations (5)
Title |
---|
Can Link Analysis Be Applied to Identify Behavioral Patterns in Train Recorder Data?;Ailsa, Strathie;Guy H, Walker;Human factors;全文 * |
Wireless sensor network intrusion detection system based on MK-ELM;Wenjie Zhang;Dezhi Han;Kuan-Ching Li;Francisco Isidro Massetto;Soft Computing;第24卷(第16期);全文 * |
改进网络入侵信号监控系统的设计与应用;睢丹;黄永灿;;科技创新导报(第02期);全文 * |
校园网入侵检测系统的研究和设计;樊雷;;福建电脑(第05期);全文 * |
针对HTTPS的HEIST攻击及检测技术研究;胡悦;刘嘉勇;黄诚;;网络安全技术与应用(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116488938A (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8418247B2 (en) | Intrusion detection method and system | |
US7409716B2 (en) | System for intrusion detection | |
CN111092862B (zh) | 一种用于对电网终端通信流量异常进行检测的方法及系统 | |
US9948678B2 (en) | Method and system for gathering and contextualizing multiple events to identify potential security incidents | |
JP3968724B2 (ja) | ネットワーク保安システム及びその動作方法 | |
US8156553B1 (en) | Systems and methods for correlating log messages into actionable security incidents and managing human responses | |
US20170142133A1 (en) | Ineffective network equipment identification | |
US7594014B2 (en) | Abnormality detection system, abnormality management apparatus, abnormality management method, probe and program | |
US20130167219A1 (en) | Apparatus and method for cyber-attack prevention | |
CN112291107B (zh) | 网络分析程序、网络分析装置以及网络分析方法 | |
EA031992B1 (ru) | Система анализа записей | |
US9736187B2 (en) | Data processing method and system | |
CN112385196A (zh) | 用于报告计算机安全事故的系统和方法 | |
CN114189361B (zh) | 防御威胁的态势感知方法、装置及系统 | |
CN117240526A (zh) | 基于人工智能的网络攻击自动化防御系统 | |
CN117201188B (zh) | 基于大数据的it安全运行风险预测方法、系统和介质 | |
CN116488938B (zh) | 一种基于大数据行为分析的数据检测方法及系统 | |
Hassanzadeh et al. | Intrusion detection with data correlation relation graph | |
CN112637118A (zh) | 基于内外网引流异常的流量分析实现方法 | |
CN116561773B (zh) | 一种智能漏洞检测及验证方法 | |
CN116208431B (zh) | 一种工控网络流量异常检测方法、系统、装置和可读介质 | |
CN117390707B (zh) | 一种基于数据存储设备的数据安全检测系统及检测方法 | |
KR101498647B1 (ko) | 보안관리 시스템 및 이를 이용한 보안 관리 방법 | |
CN116010999B (zh) | 基于人工智能算法的互联网数据安全保护方法及系统 | |
Malikovich et al. | Issues in functioning efficiency of security monitoring systems in infocommunication systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |