CN104618343B - 一种基于实时日志的网站威胁检测的方法及系统 - Google Patents
一种基于实时日志的网站威胁检测的方法及系统 Download PDFInfo
- Publication number
- CN104618343B CN104618343B CN201510004956.3A CN201510004956A CN104618343B CN 104618343 B CN104618343 B CN 104618343B CN 201510004956 A CN201510004956 A CN 201510004956A CN 104618343 B CN104618343 B CN 104618343B
- Authority
- CN
- China
- Prior art keywords
- real
- time
- daily record
- record data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于实时日志的网站威胁检测方法，该方法包括：实时采集监控网站日志服务器的日志数据；对日志数据进行转换与实时分发；对日志数据进行实时处理与检测；对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警。本发明还提供了一种基于实时日志的网站威胁检测系统，该系统日志数据实时采集单元、日志数据实时转换与分发单元、日志数据实时处理与检测单元及日志数据实时监控单元。本发明能够提高日志数据的处理能力及时效性，提高网站威胁检测与反应的及时性，降低网站运行的风险，为网络的信息安全提供有力的保障。
Description
技术领域
本发明涉及计算机信息安全技术领域，具体涉及一种基于实时日志的网站威胁检测的方法及系统。
背景技术
随着互联网技术的快速发展，网络安全问题显得尤为重要，网络空间的安全问题也已上升到国家战略。一些政府、学校机关单位及中小企业建立了自己的网络站点，由于缺乏信息安全专业技术人员，系统在遭受攻击后不能及时发现而导致恶劣的影响。网络攻击手段多种多样，如分布式拒绝服务(Distributed Denial of Service，简称DDoS)攻击、0day漏洞攻击等，越早发现系统或网络的异常及威胁，积极采取防范应对措施，损失才会越小。
现有的基于日志的网站威胁分析检测方法及系统，大多采取将日志数据归一化转化为结构化数据存储在数据库表中，这种处理方式中日志数据的读写较为复杂，性能较低，无法满足网站威胁的实时检测及分析，且大多采取基于数据库的事后检测方式处理效率低、缺乏时效性，不能在攻击产生时立即采取有效措施。同时传统的日志分析的架构不能做到存储性能的线性扩展，当存储的日志数据达到一定量的时候，数据的读写性能受到严重的影响，而且对海量日志数据的存储和分析的时间很长，随着网站日志数据的快速增长，时效性越来越差，成本也越来越高，更难以多维度快速地检测出网站的威胁并及时地采取有效措施。
发明内容
针对现有技术的缺陷，本发明提供一种基于实时日志的网站威胁检测方法及系统，能够提高日志数据的处理能力及时效性，提高网站威胁检测与反应的及时性，降低网站运行的风险，为网络的信息安全提供有力的保障。
第一方面，本发明提供了一种基于实时日志的网站威胁检测方法，所述方法包括：
实时采集监控网站日志服务器的日志数据；
对日志数据进行转换与实时分发；
对日志数据进行实时处理与检测；
对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警。
优选地，所述实时采集监控网站日志服务器的日志数据，包括：
实时监控网站日志服务器上的日志文件，当检测到日志文件内容发生变化时，对变化的数据进行增量采集；
并将采集到的数据进行整合，添加网站名称及日志名称；
其中，所述日志文件内容包括：来访用户的IP地址、目的地址、目的端口、访问时间、请求内容、访问次数、访问深度、访问宽度及get文件访问比例。
优选地，所述对日志数据进行转换与实时分发，包括：
将采集到的日志数据转换为消息队列，分别发送给历史数据存储集群及实时计算集群；
将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理。
优选地，所述对日志数据进行实时处理与检测，包括：
对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项；
利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配；
将实时匹配计算的结果保存在内存数据库中；
其中，所述规则知识库支持对规则的增加、删除、修改及查询的操作；利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。
优选地，所述网站威胁包括：结构化查询语言SQL注入攻击、跨站脚本攻击、可疑的网站后门工具Webshell访问、异常对象访问、缓冲区溢出、目录遍历、敏感路径猜测、管理后台访问、密码暴力尝试、越权访问、非法大量下载、频繁登陆、参数异常。
优选地，所述对所述网站威胁检测结果进行展示，并根据所述检测结果的严重程度进行预警的步骤后，所述方法还包括：
根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式推送给系统或管理员。
第二方面，本发明提供了一种基于实时日志的网站威胁检测系统，该系统包括：
日志数据实时采集单元，用于实时采集监控网站日志服务器上的日志数据；
日志数据实时转换与分发单元，用于对日志数据进行转换与实时分发；
日志数据实时处理与检测单元，用于对日志数据进行实时处理与检测；
日志数据实时监控单元，用于对所述网站威胁检测结果进行展示，并根据所述检测结果的严重程度进行预警。
优选地，所述日志数据实时采集单元，具体用于：
实时监控网站日志服务器上的日志文件，当检测到日志文件发生变化时，对变化的数据进行增量采集；
并将采集到的数据进行整合，添加网站名称及日志名称；
通过数据传输接口，将数据发送给数据实时分发单元。
优选地，所述日志数据实时转换与分发单元，包括：
数据实时传输模块，用于将采集到的日志数据转换为消息队列，并对所述日志数据进行分发；
数据备份模块，用于将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理。
优选地，所述日志数据实时处理与检测单元，包括：
日志数据实时加工单元，用于对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项；
网站威胁实时匹配单元，用于利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配；
实时计算结果存储单元，用于将实时匹配计算的结果保存在内存数据库中；
规则库维护单元，用于支持对规则的增加、删除、修改及查询的操作；
历史数据学习单元，用于利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。
优选地，所述日志数据实时监控单元，包括：
数据结果实时展示单元，用于实时查询、显示威胁检测计算得到的关键指标数据；
实时预警单元，用于对出现的威胁根据严重程度进行实时预警；根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式推送给系统或管理员。
由上述技术方案可知，本发明提供一种基于实时日志的网站威胁检测方法及系统，通过实时采集网站日志数据、将日志数据实时分发、对日志数据实时分析和检测，发现网站运行过程中的异常及遭遇到的攻击，将检测结果实时反馈来进行实时监测与控制。本发明能够提高日志数据的处理能力及时效性，提高网站威胁检测与反应的及时性，降低网站运行的风险，为网络的信息安全提供有力的保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的基于实时日志的网站威胁检测方法的流程示意图；
图2是本发明一实施例提供的基于实时日志的网站威胁检测方法的部分流程示意图；
图3是本发明一实施例提供的基于实时日志的网站威胁检测方法的部分流程示意图；
图4是本发明另一实施例提供的基于实时日志的网站威胁检测方法的示意图；
图5是本发明一实施例提供的基于实时日志的网站威胁检测系统的结构示意图；
图6是本发明一实施例提供的日志数据实时转换与分发单元的结构示意图；
图7是本发明一实施例提供的日志数据实时处理与检测单元的结构示意图；
图8是本发明一实施例提供的日志数据实时监控单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明一实施例提供的基于实时日志的网站威胁检测方法，该方法包括如下步骤：
101、实时采集监控网站日志服务器的日志数据。
102、对日志数据进行转换与实时分发。
103、对日志数据进行实时处理与检测。
104、对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警。
其中，检测结果的展示可以通过网络Web端或手机应用程序App展示。
具体来说，步骤101包括：
实时监控网站日志服务器上的日志文件，当检测到日志文件发生变化时，对变化的数据进行增量采集。其中，日志文件发生变化是指日志文件的内容发生变化，而日志文件内容包括：来访用户的IP地址、目的地址、目的端口、访问时间、请求内容、访问次数、访问深度、访问宽度及get文件访问比例。并将采集到的数据进行整合，添加网站名称及日志名称。
需要说明的是，该方法能够从多个网站同时并行采集多个日志数据，也能够从一个网站的多个服务器上并行采集日志数据。且实时采集时，可以控制采集的时机与数据传输的速率，以减小对原服务器的压力。
本实施例中，如图2所示，步骤102具体包括如下步骤：
1021、将采集到的日志数据转换为消息队列，分别发送给历史数据存储集群及实时计算集群。
1022、将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理。
其中，利用分布式消息系统实时接收日志数据，将日志数据转换为消息队列后，进行数据实时分发：一方面将日志数据写入分布式文件系统，数据以Key-Value形式，如分布式文件系统(Hadoop Distributed File System，HDFS)文件进行存储；另一方面将日志数据发送给实时计算集群。为了提高数据的发送效率，分布式消息系统可以采取小批量的方式发送消息队列中的数据，如每100条数据发送一次，当超过系统设定的时间，不到100条也强行发送。
本实施例中，如图3所示，步骤103中根据网站ID和日志名称来区分日志数据，并通过如下步骤对日志数据进行计算：
1031、对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项。
1032、利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配。
1033、将实时匹配计算的结果保存在内存数据库中。
1034、规则知识库支持对规则的增加、删除、修改及查询的操作。
1035、利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。
其中，历史数据为步骤1021中历史数据存储集群中所存储的日志数据。
其中，网站威胁规则包括：(1)已知的网站威胁规则知识库，该规则知识库支持对规则的增加、删除、修改、查询等操作；(2)根据存储的历史日志数据，利用数据挖掘技术如频繁项挖掘的方式，提取出用户异常行为特征来完善规则知识库。
其中，网站威胁包括：结构化查询语言(Structured Query Language，SQL)注入攻击、跨站脚本攻击、可疑的网站后门工具Webshell访问、异常对象访问、缓冲区溢出、目录遍历、敏感路径猜测、管理后台访问、密码暴力尝试、越权访问、非法大量下载、频繁登陆及参数异常等常见网站攻击和异常操作行为。
本实施例中，步骤104后还包括如下步骤：
根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式推送给系统或管理员。
本实施例提供了一种基于实时日志的网站威胁检测方法，通过实时采集网站日志数据、将日志数据实时分发、对日志数据实时分析和检测，发现网站运行过程中遇到的攻击和异常威胁，并将检测结果实时反馈来进行实时监测与控制。通过上述方法能够提高日志数据的处理能力及时效性，提高网站威胁检测与反应的及时性，降低网站运行的风险，为网络的信息安全提供有力的保障。
下面，通过一个更为具体的实施例来说明基于实时日志的网站威胁检测方法，如图4所示，该方法包括：
(1)网站日志数据的实时采集
本实施例中，日志数据的实时采集优先采用Flume-Ng组件，Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。在网站后台日志服务器上部署一个或多个Flume-Ng的Agent。实时采集网站的访问、请求等日志数据，如来访用户的IP源地址、源端口，目的地址，目的端口，访问时间、请求内容等数据，访问次数，访问深度，访问宽度，Get文件访问比例等信息。Flume-Ng可以根据网站的实际情况，控制采集的时机及数据传输的速率，尽可能减小对原网站服务器的压力。
(2)日志数据的实时传输
本实施例中，分布式消息系统优先选择Kafka组件，其中Kafka是一种高吞吐量的分布式分布订阅消息系统，可以支持每秒几十万条消息的传输。可以根据网站的特点和日志分析的需求对Kafka的数据主题和分片数量进行设置，通过Kafka的数据生产接口，可以实现实时将数据传送给Kafka集群进行处理，其中数据生产接口为Kafka的Producer接口。Flume-Ng将数据传输给Kafka集群，Kafka Producer将收集到的Flume-ng Agent的日志数据进行实时分发。
日志数据实时采集进入Kafka集群后，Kafka broker对数据进行了分片和备份。Kafka集群数据分别分发给Hadoop集群和Storm集群。Hadoop集群保存历史数据，利用MapReduce分布式并行计算的方式批量的清洗、转换、提取特征向量，再利用频繁项挖掘的方式获取威胁的行为特征，从而发现新的规则，不断更新完善规则知识库。
(3)日志数据的实时分析处理
本实施例中，日志数据的实时计算优先采用Storm集群，Storm是一种分布式、高可靠、低延时、易扩展的实时计算平台。每接收到一条数据，Storm集群能做到实时的响应，进行日志数据的清洗、加工和整合，特征值提取，生成检测向量，利用规则知识库中的规则进行实时匹配，从实时的日志数据中发现网站中的威胁。规则匹配采用正则表达式的方式。Storm集群采用Spout-Bolts程序编写形式，或者Storm Trident程序完成相应的处理与计算。将实时计算的结果保存在内存数据库中，优先选用Redis，便于后续的实时查询与展示。
(4)实时监测与控制
具体来说，数据的实时监测与控制用于将数据实时计算的结果反馈与展示，数据实时监测采用Web浏览器的方式展示或者手机APP的方式，重要信息提供短信、邮件的方式推送到系统或相关网站管理员。实时控制，对于一些威胁情况采取事先设定的规则，机器直接自动执行，如直接暂停网站服务等。还有些威胁状况需要人工干预处理以最终判定。
本实施例中，分布式可靠协调系统优先选用Zookeeper，其中Zookeeper是一种针对大型分布式系统的可靠协调系统，主要提供配置维护、名字服务、分布式同步等服务。Kafka集群、Storm集群都需要Zookeeper来维护。
如图5所示，为本发明一实施例提供的基于实时日志的网站威胁检测系统的结构示意图，该系统包括日志数据实时采集单元501、日志数据实时转换与分发单元502、日志数据实时处理与检测单元503及日志数据实时监控单元504。
其中，日志数据实时采集单元501，用于实时采集监控网站日志服务器上的日志数据。
日志数据实时转换与分发单元502，用于对日志数据进行转换与实时分发。
日志数据实时处理与检测单元503，用于对日志数据进行实时处理与检测。
日志数据实时监控单元504，用于对所述网站威胁检测结果进行展示，并根据所述检测结果的严重程度进行预警。
本实施例中，日志数据实时采集单元501，具体用于：
(1)实时监控网站日志服务器上的日志文件，当检测到日志文件发生变化时，对变化的数据进行增量采集。
(2)将采集到的数据进行整合，添加网站名称及日志名称。
(3)通过数据传输接口，将数据发送给数据实时分发单元。
本实施例中，如图6所示，日志数据实时转换与分发单元502，包括数据实时传输模块601及数据备份模块602。
其中，数据实时传输模块601，用于将采集到的日志数据转换为消息队列，并对所述消息队列中的数据进行分发。
数据备份模块602，用于将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理。
本实施例中，如图7所示，日志数据实时处理与检测单元503，包括日志数据实时加工模块701、网站威胁实时匹配模块702、实时计算结果存储模块703、规则库维护模块704及历史数据学习模块705。
其中，日志数据实时加工模块701，用于对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项。
网站威胁实时匹配模块702，用于利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配。
实时计算结果存储模块703，用于将实时匹配计算的结果保存在内存数据库中。
规则库维护模块704，用于支持对规则的增加、删除、修改及查询的操作。
历史数据学习模块705，用于利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。
本实施例中，如图8所示，日志数据实时监控单元504，包括数据结果实时展示模块801及实时预警模块802。
其中，数据结果实时展示模块801，用于实时查询、显示威胁检测计算得到的关键指标数据。
实时预警模块802，用于对出现的威胁根据严重程度进行实时预警；根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式推送给系统或管理员。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于实时日志的网站威胁检测方法，其特征在于，所述方法包括：
实时采集监控网站日志服务器的日志数据；
对日志数据进行转换与实时分发；
对日志数据进行实时处理与检测；
对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警；
所述对日志数据进行转换与实时分发，包括：
将采集到的日志数据转换为消息队列，分别发送给历史数据存储集群及实时计算集群；
将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理；
所述对日志数据进行实时处理与检测，包括：
对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项；
利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配；
将实时匹配计算的结果保存在内存数据库中；
规则知识库支持对规则的增加、删除、修改及查询的操作；
利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。
2.根据权利要求1所述的方法，其特征在于，所述实时采集监控网站日志服务器的日志数据，包括：
实时监控网站日志服务器上的日志文件，当检测到日志文件内容发生变化时，对变化的数据进行增量采集；
将采集到的数据进行整合，添加网站名称及日志名称；
其中，所述日志文件内容包括：来访用户的IP地址、目的地址、目的端口、访问时间、请求内容、访问次数、访问深度、访问宽度及get文件访问比例。
3.根据权利要求1所述的方法，其特征在于，所述网站威胁包括：结构化查询语言SQL注入攻击、跨站脚本攻击、可疑的网站后门工具Webshell访问、异常对象访问、缓冲区溢出、目录遍历、敏感路径猜测、管理后台访问、密码暴力尝试、越权访问、非法大量下载、频繁登陆、参数异常。
4.根据权利要求1所述的方法，其特征在于，所述对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警的步骤后，所述方法还包括：
根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式实时推送给系统或管理员。
5.一种基于实时日志的网站威胁检测系统，其特征在于，该系统包括：
日志数据实时采集单元，用于实时采集监控网站日志服务器上的日志数据；
日志数据实时转换与分发单元，用于对日志数据进行转换与实时分发；
日志数据实时处理与检测单元，用于对日志数据进行实时处理与检测；
日志数据实时监控单元，用于对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警；
所述日志数据实时转换与分发单元，包括：
数据实时传输模块，用于将采集到的日志数据转换为消息队列，并对所述日志数据进行分发；
数据备份模块，用于将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理；
所述日志数据实时处理与检测单元，包括：
日志数据实时加工模块，用于对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项；
网站威胁实时匹配模块，用于利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配；
实时计算结果存储模块，用于将实时匹配计算的结果保存在内存数据库中；
规则库维护模块，用于支持对规则的增加、删除、修改及查询的操作；
历史数据学习模块，用于利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。
6.根据权利要求5所述的系统，其特征在于，所述日志数据实时采集单元，具体用于：
实时监控网站日志服务器上的日志文件，当检测到日志文件发生变化时，对变化的数据进行增量采集；
将采集到的数据进行整合，添加网站名称及日志名称；
通过数据传输接口，将数据发送给数据实时分发单元。
7.根据权利要求5所述的系统，其特征在于，所述日志数据实时监控单元，包括：
数据结果实时展示模块，用于实时查询、显示威胁检测计算得到的关键指标数据；
实时预警模块，用于对出现的威胁根据严重程度进行实时预警；根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式推送给系统或管理员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510004956.3A CN104618343B (zh) | 2015-01-06 | 2015-01-06 | 一种基于实时日志的网站威胁检测的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510004956.3A CN104618343B (zh) | 2015-01-06 | 2015-01-06 | 一种基于实时日志的网站威胁检测的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104618343A CN104618343A (zh) | 2015-05-13 |
| CN104618343B true CN104618343B (zh) | 2018-11-09 |
Family
ID=53152618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510004956.3A Active CN104618343B (zh) | 2015-01-06 | 2015-01-06 | 一种基于实时日志的网站威胁检测的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104618343B (zh) |
Families Citing this family (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106301845A (zh) * | 2015-05-30 | 2017-01-04 | 四川泰瑞创通讯技术股份有限公司 | 交换机日志记录模块 |
| CN104967616A (zh) * | 2015-06-05 | 2015-10-07 | 北京安普诺信息技术有限公司 | 一种Web服务器中的WebShell文件的检测方法 |
| CN104935464B (zh) * | 2015-06-12 | 2018-07-06 | 北京奇虎科技有限公司 | 一种网站系统的故障预警方法和装置 |
| CN104935601B (zh) * | 2015-06-19 | 2018-11-09 | 北京奇安信科技有限公司 | 基于云的网站日志安全分析方法、装置及系统 |
| CN104901975B (zh) * | 2015-06-30 | 2018-05-01 | 北京奇安信科技有限公司 | 网站日志安全分析方法、装置及网关 |
| CN105046149A (zh) * | 2015-08-01 | 2015-11-11 | 北京洋浦伟业科技发展有限公司 | 一种基于大数据分析的动态加固方法 |
| CN105069113A (zh) * | 2015-08-11 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 一种数据流量实时可视化的方法及系统 |
| CN105577422A (zh) * | 2015-11-11 | 2016-05-11 | 江苏瑞中数据股份有限公司 | 一种能源互联网的实时数据分析系统及其方法 |
| CN105933268B (zh) * | 2015-11-27 | 2019-05-10 | 中国银联股份有限公司 | 一种基于全量访问日志分析的网站后门检测方法及装置 |
| WO2017092615A1 (zh) | 2015-11-30 | 2017-06-08 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断系统及方法 |
| CN106815125A (zh) * | 2015-12-02 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种日志审计方法及平台 |
| CN105512297A (zh) * | 2015-12-10 | 2016-04-20 | 中国测绘科学研究院 | 一种基于分布式流式计算的空间数据处理方法与系统 |
| CN109714346B (zh) * | 2015-12-15 | 2021-06-25 | 北京奇虎科技有限公司 | 后门文件的查杀方法及装置 |
| CN105631026B (zh) * | 2015-12-30 | 2020-01-21 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
| CN106095658A (zh) * | 2016-06-12 | 2016-11-09 | 北京奇虎科技有限公司 | 对系统日志实现规整的方法及装置 |
| CN106209455A (zh) * | 2016-07-11 | 2016-12-07 | 税友软件集团股份有限公司 | 一种跨系统弱耦合的关联业务故障定位方法及系统 |
| CN106340161A (zh) * | 2016-08-25 | 2017-01-18 | 山东联科云计算科技有限公司 | 一种基于大数据的公共安全预警系统 |
| CN107979477A (zh) * | 2016-10-21 | 2018-05-01 | 苏宁云商集团股份有限公司 | 一种业务监控的方法及系统 |
| CN106528847A (zh) * | 2016-11-24 | 2017-03-22 | 北京集奥聚合科技有限公司 | 一种海量数据的多维度处理方法及系统 |
| CN106936640A (zh) * | 2016-12-08 | 2017-07-07 | 环球智达科技（北京）有限公司 | 一种基于Kafka和Zabbix的日志分析监控系统 |
| CN108206802B (zh) | 2016-12-16 | 2020-11-17 | 华为技术有限公司 | 检测网页后门的方法和装置 |
| CN106657108A (zh) * | 2016-12-30 | 2017-05-10 | 中电长城网际系统应用有限公司 | 实时攻击回放方法和实时攻击回放系统 |
| CN106951464A (zh) * | 2017-02-27 | 2017-07-14 | 江苏徐工信息技术股份有限公司 | 基于storm面向用户个性化预警机制大数据计算方法 |
| CN107025270A (zh) * | 2017-03-09 | 2017-08-08 | 珠海昊星自动化系统有限公司 | 一种分布式高性能高并发大数据系统 |
| CN107357809B (zh) * | 2017-05-27 | 2021-05-07 | 国家电网公司 | 海量平台海迅实时库量测数据接入系统 |
| CN107315655B (zh) * | 2017-06-02 | 2020-05-19 | 北京潘达互娱科技有限公司 | 一种实时统计的排行榜数据恢复方法与装置 |
| CN109213815B (zh) * | 2017-06-29 | 2020-11-03 | 北京京东尚科信息技术有限公司 | 控制执行次数的方法、装置、服务器终端以及可读介质 |
| CN107517131A (zh) * | 2017-08-31 | 2017-12-26 | 四川长虹电器股份有限公司 | 一种基于日志采集的分析预警方法 |
| CN107579975A (zh) * | 2017-09-05 | 2018-01-12 | 合肥丹朋科技有限公司 | 网站信息实时监控系统 |
| CN107679626A (zh) * | 2017-10-10 | 2018-02-09 | 上海优刻得信息科技有限公司 | 机器学习方法、装置、系统、存储介质及设备 |
| CN107786565A (zh) * | 2017-11-02 | 2018-03-09 | 江苏物联网研究发展中心 | 一种分布式实时入侵检测方法及检测系统 |
| CN107943942B (zh) * | 2017-11-23 | 2020-08-28 | 苏州优圣美智能系统有限公司 | 一种基于事件驱动的多轮转文件采集系统 |
| CN108228417B (zh) * | 2017-11-30 | 2022-01-28 | 北京九五智驾信息技术股份有限公司 | 车联网日志处理方法及处理装置 |
| CN107872465A (zh) * | 2017-12-05 | 2018-04-03 | 全球能源互联网研究院有限公司 | 一种分布式网络安全监测方法及系统 |
| CN108153828A (zh) * | 2017-12-12 | 2018-06-12 | 顺丰科技有限公司 | 一种实时数据的持久化方法、装置及设备、存储介质 |
| CN107943668B (zh) * | 2017-12-15 | 2019-02-26 | 江苏神威云数据科技有限公司 | 计算机服务器集群日志监控方法及监控平台 |
| CN108205587A (zh) * | 2017-12-28 | 2018-06-26 | 北京九章云极科技有限公司 | 一种日志监测方法及系统 |
| CN108573156A (zh) * | 2018-04-25 | 2018-09-25 | 杭州闪捷信息科技股份有限公司 | 一种基于sql序列的数据库风险检测的方法 |
| CN108874908B (zh) * | 2018-05-28 | 2019-05-17 | 苏州玩友时代科技股份有限公司 | 一种实时游戏业务告警方法 |
| CN108924095A (zh) * | 2018-06-11 | 2018-11-30 | 武汉般若互动科技有限公司 | 一种政府网站安全监控报警平台 |
| CN108880890A (zh) * | 2018-06-26 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种数据中心日志统一收集方法及系统 |
| CN110750562B (zh) * | 2018-07-20 | 2023-10-27 | 宿迁市公安局 | 基于Storm的实时数据比对预警方法及系统 |
| CN109726209A (zh) * | 2018-09-07 | 2019-05-07 | 网联清算有限公司 | 日志聚合方法及装置 |
| CN110941823B (zh) * | 2018-09-21 | 2022-06-21 | 武汉安天信息技术有限责任公司 | 威胁情报获取方法及装置 |
| CN109657459A (zh) * | 2018-10-11 | 2019-04-19 | 平安科技（深圳）有限公司 | 网页后门检测方法、设备、存储介质及装置 |
| CN110213238A (zh) * | 2019-05-06 | 2019-09-06 | 北京奇安信科技有限公司 | 数据的威胁检测方法及装置、存储介质、计算机设备 |
| CN111953636B (zh) * | 2019-05-15 | 2023-01-31 | 北京数安鑫云信息技术有限公司 | 内网威胁检测方法、装置、计算机可读存储介质和计算机设备 |
| CN110493848B (zh) * | 2019-08-20 | 2021-04-16 | 赛尔网络有限公司 | 用户终端路由ip变化的监测方法、装置、系统及介质 |
| CN110851840B (zh) * | 2019-11-13 | 2022-03-11 | 杭州安恒信息技术股份有限公司 | 基于网站漏洞的web后门检测方法及装置 |
| CN111404909B (zh) * | 2020-03-10 | 2022-05-31 | 上海豌豆信息技术有限公司 | 一种基于日志分析的安全检测系统及方法 |
| CN111914252A (zh) * | 2020-06-28 | 2020-11-10 | 新浪网技术(中国)有限公司 | 文件安全性的检测方法、装置和电子设备 |
| CN111858782A (zh) * | 2020-07-07 | 2020-10-30 | Oppo（重庆）智能科技有限公司 | 基于信息安全的数据库构建方法、装置、介质与设备 |
| CN111814143B (zh) * | 2020-07-10 | 2021-07-09 | 厦门靠谱云股份有限公司 | 一种动态监测sql注入的方法及系统 |
| CN112291225A (zh) * | 2020-10-23 | 2021-01-29 | 翼集分电子商务(上海)有限公司 | 一种应用于积分系统的大数据异常流量检测方法和系统 |
| CN112100139B (zh) * | 2020-11-12 | 2021-02-09 | 北京云真信科技有限公司 | 基于大数据的数据质量自动检测系统 |
| CN112988811B (zh) * | 2021-03-09 | 2023-06-06 | 重庆可兰达科技有限公司 | 对app广告内容合规性的检测方法、系统、终端及介质 |
| CN113919799B (zh) * | 2021-09-09 | 2022-04-22 | 广州鲁邦通智能科技有限公司 | 一种云管理平台审计控制器集群数据的方法及系统 |
| CN114884686B (zh) * | 2022-03-17 | 2024-03-08 | 新华三信息安全技术有限公司 | 一种php威胁识别方法及装置 |
| CN115460214B (zh) * | 2022-11-10 | 2023-02-07 | 北京天元特通科技有限公司 | 一种分布式网络通联日志存储检索方法及装置 |
| CN118250295B (zh) * | 2024-05-28 | 2024-07-23 | 北京科杰科技有限公司 | 一种多网络环境的访问对象存储方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102111285A (zh) * | 2009-12-24 | 2011-06-29 | 北京云快线软件服务有限公司 | 一种日志信息管理方法及系统 |
| CN102663052A (zh) * | 2012-03-29 | 2012-09-12 | 奇智软件（北京）有限公司 | 一种提供搜索引擎搜索结果的方法及装置 |
| CN102739647A (zh) * | 2012-05-23 | 2012-10-17 | 国家计算机网络与信息安全管理中心 | 基于高交互蜜罐的网络安全系统及实现方法 |
| CN104144063A (zh) * | 2013-05-08 | 2014-11-12 | 朱烨 | 基于日志分析和防火墙安全矩阵的网站安全监控报警系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030206100A1 (en) * | 2002-05-04 | 2003-11-06 | Lawrence Richman | Method and protocol for real time security system |
-
2015
- 2015-01-06 CN CN201510004956.3A patent/CN104618343B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102111285A (zh) * | 2009-12-24 | 2011-06-29 | 北京云快线软件服务有限公司 | 一种日志信息管理方法及系统 |
| CN102663052A (zh) * | 2012-03-29 | 2012-09-12 | 奇智软件（北京）有限公司 | 一种提供搜索引擎搜索结果的方法及装置 |
| CN102739647A (zh) * | 2012-05-23 | 2012-10-17 | 国家计算机网络与信息安全管理中心 | 基于高交互蜜罐的网络安全系统及实现方法 |
| CN104144063A (zh) * | 2013-05-08 | 2014-11-12 | 朱烨 | 基于日志分析和防火墙安全矩阵的网站安全监控报警系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104618343A (zh) | 2015-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104618343B (zh) | 一种基于实时日志的网站威胁检测的方法及系统 | |
| US20220368727A1 (en) | Collaborative database and reputation management in adversarial information environments | |
| CN105243159B (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫系统 | |
| Hanguang et al. | Intrusion detection technology research based on apriori algorithm | |
| CN113486351A (zh) | 一种民航空管网络安全检测预警平台 | |
| CN108769048A (zh) | 一种安全可视化与态势感知平台系统 | |
| CN109842628A (zh) | 一种异常行为检测方法及装置 | |
| CN106778253A (zh) | 基于大数据的威胁情景感知信息安全主动防御模型 | |
| CN106487596A (zh) | 分布式服务跟踪实现方法 | |
| CN103561012B (zh) | 一种基于关联树的web后门检测方法及系统 | |
| CN108197261A (zh) | 一种智慧交通操作系统 | |
| US11968239B2 (en) | System and method for detection and mitigation of data source compromises in adversarial information environments | |
| CN108985068A (zh) | 漏洞快速感知、定位及验证的方法与系统 | |
| WO2015020922A1 (en) | Dynamic collection analysis and reporting of telemetry data | |
| CN106815125A (zh) | 一种日志审计方法及平台 | |
| CN111488420B (zh) | 去中心微服务化区域洪水预警水信息系统及其集成方法 | |
| Wang et al. | A centralized HIDS framework for private cloud | |
| Camiña et al. | Towards building a masquerade detection method based on user file system navigation | |
| Singh et al. | A survey on different phases of web usage mining for anomaly user behavior investigation | |
| CN105242873B (zh) | 云计算系统的性能数据的采集与存储方法及装置 | |
| Kim et al. | Design of a cyber threat information collection system for cyber attack correlation | |
| Wu et al. | Research on data sharing architecture for ecological monitoring using Iot streaming data | |
| CN103902725A (zh) | 搜索引擎优化信息的获取方法和装置 | |
| CN113852676A (zh) | 一种海事水文信息监控服务系统 | |
| CN107579975A (zh) | 网站信息实时监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |