CN110618977B - 登录异常检测方法、装置、存储介质和计算机设备 - Google Patents

登录异常检测方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN110618977B
CN110618977B CN201910866519.0A CN201910866519A CN110618977B CN 110618977 B CN110618977 B CN 110618977B CN 201910866519 A CN201910866519 A CN 201910866519A CN 110618977 B CN110618977 B CN 110618977B
Authority
CN
China
Prior art keywords
data
login
field
log data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910866519.0A
Other languages
English (en)
Other versions
CN110618977A (zh
Inventor
朱锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910866519.0A priority Critical patent/CN110618977B/zh
Publication of CN110618977A publication Critical patent/CN110618977A/zh
Application granted granted Critical
Publication of CN110618977B publication Critical patent/CN110618977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种登录异常检测方法、装置、存储介质和计算机设备，所述方法包括：接收实时登录日志数据；获取实时登录日志数据的基本字段数据以及扩展字段数据；根据基本字段数据以及扩展字段数据，获得实时登录数据对应的字段组合数据；根据预设字段组合数据与统计特征数据之间的对应关系，获得与字段组合数据对应的统计特征数据；基于获得的统计特征数据生成登录异常指数，将登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。本申请提供的方案可以实现对互联网数据中心的内网服务器之间登录时间进行异常检测，提升高级入侵威胁在横向移动中的有效感知能力，扩大高级入侵威胁检测的覆盖范围，显著增强安全防护效果。

Description

登录异常检测方法、装置、存储介质和计算机设备
技术领域
本申请涉及网络通信技术领域，特别是涉及一种登录异常检测方法、装置、存储介质和计算机设备。
背景技术
随着互联网技术的高速发展，互联网与人们的生产生活紧密相连，互联网+的各种服务依赖于服务器、云计算等基础设施。用户的个人数据和商业数据存储于服务器或各自的云环境中，因此，保证内网服务器和云计算环境的安全非常重要。
而网络攻击时时刻刻都在发生，攻击者使用各种各样的方法对公司网络、服务器发起攻击，从应用层、软件层、硬件层发起攻击。攻击者初步攻击成功即相当于找到内部网络入口，此时可以进一步进行渗透、横向移动、翻找等相应的行为，从而达到入侵的目的。渗透、横向移动、翻找、拖库等行为都需要登录服务器，登录服务器是一个操作，是指机器当前控制者从网络中的一台机器依据某种协议跳转至另一台机器，从而获得机器的部分权限。一次登录服务器的操作称之为一次登录事件，登录事件每时每刻都在发生，量级可达百万至亿。
因此，有必要对登录事件进行异常检测。而传统的异常登录检测一般通过获取用户的登录数据和属性，比如当前登录地点、历史登录地点和当前登录时间等，根据历史登录地点数据和登录地点异常阈值等，判断用户当前登录地点是否异常。而这样无法准确对互联网数据中心的内网海量服务器之间的异常登录进行检测。
发明内容
基于此，有必要针对现有技术无法准确对互联网数据中心的内网海量服务器之间的异常登录进行异常检测的技术问题，提供一种登录异常检测方法、装置、存储介质和计算机设备。
一种登录异常检测方法，包括：
接收实时登录日志数据；
获取所述实时登录日志数据的基本字段数据以及扩展字段数据；
根据所述基本字段数据以及扩展字段数据，获得所述实时登录数据对应的字段组合数据；
根据预设字段组合数据与统计特征数据之间的对应关系，获得与所述字段组合数据对应的统计特征数据；
基于获得的统计特征数据生成登录异常指数，将所述登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
一种登录异常检测装置，所述装置包括：
数据获取模块，用于接收实时登录日志数据，获取所述实时登录日志数据的基本字段数据以及扩展字段数据；
字段组合模块，用于根据所述基本字段数据以及扩展字段数据，获得所述实时登录数据对应的字段组合数据；
统计特征数据获取模块，用于根据预设字段组合数据与统计特征数据之间的对应关系，获得与所述字段组合数据对应的统计特征数据；
登录异常检测模块，用于基于获得的统计特征数据生成登录异常指数，将所述登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
接收实时登录日志数据；
获取所述实时登录日志数据的基本字段数据以及扩展字段数据；
根据所述基本字段数据以及扩展字段数据，获得所述实时登录数据对应的字段组合数据；
根据预设字段组合数据与统计特征数据之间的对应关系，获得与所述字段组合数据对应的统计特征数据；
基于获得的统计特征数据生成登录异常指数，将所述登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
接收实时登录日志数据；
获取所述实时登录日志数据的基本字段数据以及扩展字段数据；
根据所述基本字段数据以及扩展字段数据，获得所述实时登录数据对应的字段组合数据；
根据预设字段组合数据与统计特征数据之间的对应关系，获得与所述字段组合数据对应的统计特征数据；
基于获得的统计特征数据生成登录异常指数，将所述登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
上述登录异常检测方法、装置、存储介质和计算机设备，通过接收实时登录日志数据以及字段组合数据与统计特征数据之间的对应关系，对实时登录日志数据进行处理，获得实时登录数据的基本字段数据和扩展字段数据，基于基本字段数据和扩展字段数据，获得实时登录数据对应的字段组合数据，根据对应关系获得与字段组合数据对应的统计特征数据，基于获得的统计特征数据生成登录异常指数，将登录异常指数大于预设阈值的实时登录日志数据作为异常登录日志数据，这样可以准确实现对互联网数据中心的内网服务器之间登录时间进行异常检测，提升高级入侵威胁在横向移动中的有效感知能力，扩大高级入侵威胁检测的覆盖范围，显著增强安全防护效果。
附图说明
图1为一个实施例中登录异常检测方法的应用环境图；
图2为一个实施例中计算平台的数据处理流程示意图；
图3为一个实施例中登录异常检测方法的流程示意图；
图4为一个实施例中统计特征的设计示意图；
图5为一个实施例中对应关系建立步骤的流程示意图；
图6为一个实施例中登录异常检测装置的结构框图；
图7为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中登录异常检测方法的应用环境图。参照图1，该应用场景包括端点agent102、数据湖104、计算平台106以及工单系统108。通过端点agent102采集登录日志数据，将采集到的海量登录日志数据存储至数据湖104，采集到的登录日志数据包括互联网数据中心机器之间登录成功的日志数据和登录失败的日志数据。将数据湖104的登录日志数据分别发往计算平台106中的离线计算平台和实时计算平台，离线计算平台具体可以是HIVE、SPARK等开源技术平台，实时计算平台具体可以是STORM、Flink等技术平台。离线计算平台分析过往一个月或不等长时间的历史登录日志数据，并提取字段特征和统计特征，将登录日志的特征数据由离线计算平台导出存储至数据库中，以便实时计算平台进行实时分析时使用。计算平台106用于分析此时此刻产生的实时登录日志数据，其数据处理流程如图2所示。首选对获取到的登录日志数据进行初步处理，包括获取实时登录日志数据的基本字段数据以及扩展字段数据，根据基本字段数据以及扩展字段数据，获得实时登录数据对应的字段组合数据。再关联离线计算平台导出的统计特征数据，即根据预设字段组合数据与统计特征数据之间的对应关系，获得与字段组合数据对应的统计特征数据。然后过滤运维批量操作对应的登录日志数据，基于获得的统计特征数据，通过量化的算法，比如通过实时计算打分对一次登录事件进行判断，即生成实时登录日志数据的登录异常指数，将登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。通过量化的算法对一次登录事件进行判断，筛选出疑似异常登录的实时登录日志数据发往工单系统108。疑似异常登录的实时登录日志数据被渲染至web页面中形成安全工单，发送至管理员或机器所归属的用户。
本申请的登录异常检测方法，针对互联网数据中心内网服务器之间的登录异常检测，适用于windows系统、Linux系统的服务器，用于进行大规模服务器节点的安全防护。除了服务器的应用场景，本申请的登录异常检测可平滑地推广到云服务应用场景或IOT(Internet of Thing，物联网)应用场景。其中，在云服务应用场景中，比如基于agent的云租户安全防护，可通过agent部署在云商户机器集群，将记录的运行数据上报至数据分析中心，从而监控并发现云商户机器集群内部的登录情况。在IOT物联网应用场景中，比如基于agent的IOT设备安全防护，可通过将agent部署于IOT设备中，实现对IOT设备的健康度的实时监控，对于IOT设备之间的登录行为进行审计。
如图3所示，在一个实施例中，提供了一种登录异常检测方法。本实施例主要以该方法应用于上述图1中的计算平台106来举例说明。参照图3，该方法具体包括如下步骤：
步骤302，接收实时登录日志数据。
实时登录日志数据是指互联网数据中心内网服务器之间的登录日志数据，由日志采集agent采集到的此时此刻产生的登录日志数据。可以通过服务器上的端点agent监控服务器上的登录日志数据变动，比如Linux服务器中，通过监控/var/log/secure文件中内容的变动，而在windows服务器中，通过监控控制面板->系统和安全->查看事件日志->事件查看器->windows日志->安全文件中内容的变动。一旦监控到新增登录日志数据，采集新增的登录日志数据，并上报至数据湖。由数据湖将采集到的登录日志数据发往实时计算平台，实时计算平台接收实时登录日志数据。具体地，接收实时登录日志数据之后还包括：对所述实时登录日志数据进行去重和过滤乱码处理，获得处理后的实时登录日志数据，以保证后续进行登录异常检测的登录日志数据的数据质量和数据有效性，从而进一步提升登录异常检测的精度和准确度。
步骤304，获取实时登录日志数据的基本字段数据以及扩展字段数据。
按照预设的基本字段对实时登录日志数据进行提取，获得实时登录数据的基本字段数据。其中，基本字段包括来源IP(Internet Protocol，互联网协议地址)字段、目的IP字段、登录方式字段、登录时间字段、登录账号字段和上报时间字段。基于实时登录日志数据进行扩展处理，获得实时登录日志数据的扩展字段数据。扩展字段包括登录状态字段、内网地址标签字段、源机器所属部门字段、源机器所属项目字段、源机器所属员工字段、目的机器所属部门字段、目的机器所属项目字段和目的机器所属员工字段。比如，将登录成功的日志数据和登录失败的日志数据分别设置不同的标签，具体可以是“1”代表登录成功的日志数据，“0”代表登录失败的日志数据；区分登录日志数据中的来源IP是否是内部网络IP地址，具体可以是“1”代表来源IP是内部网络IP，“0”代表来源IP不是内部网络IP；将登录日志数据关联机器的业务信息，业务信息具体可以是公司员工在申请机器资源时登记的信息，比如xx部门xx项目xx负责人等。
步骤306，根据基本字段数据以及扩展字段数据，获得实时登录数据对应的字段组合数据。
比如，以来源IP字段-登录账户字段-目的IP字段作为一个字段组合，以来源IP-目的机器部门作为一个字段组合，以来源IP-目的机器项目作为其中一个字段组合，以来源机器部门-目的机器部门作为其中一个字段组合，以来源机器项目-目的机器部门作为其中一个字段组合，以来源机器项目-目的IP作为其中一个字段组合，以来源机器部门-目的IP作为其中一个字段组合，以来源机器项目-目的机器项目作为其中一个字段组合，以来源机器部门-目的机器项目作为其中一个字段组合，等等。
步骤308，根据预设字段组合数据与统计特征数据之间的对应关系，获得与字段组合数据对应的统计特征数据。
在预设字段组合数据与统计特征数据之间的对应关系中，每一个字段组合数据对应不同的统计特征数据。根据获得的实时登录数据对应的字段组合数据以及对应关系，获得与字段组合数据对应的统计特征数据。具体地，如图4所示，统计特征包括登录次数、登录成功次数、登录成功天数、最老登录时间、最新登录时间、最老最新登录时间间隔、登录不同的账号个数、登录不同的IP个数、登录不同的部门个数、登录不同的项目个数中的至少一种。
实时登录数据对应的字段组合数据分别与预设对应关系中的统计特征数据进行关联处理，能够与对应关系关联的字段组合数据，根据对应关系获得各自的统计特征值，关联不上的字段组合数据将其统计特征值设为0。这样进行关联处理之后，每一条登录日志数据除了已有的字段数据，还会增加上述的统计特征数据。
步骤310，基于获得的统计特征数据生成登录异常指数，将登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
基于获得的统计特征数据，根据预设规则或预设评分算法，计算实时登录日志数据的登录异常指数。登录异常指数具体可以是对基于统计特征数据对实时登录日志数据的评分，该评分可以用来衡量该实时登录日志数据对应的登录事件的可疑程度和风险大小，当评分大于预设阈值时，将该条实时登录日志数作为异常登录日志数据，发往工单系统。除了通过预设规则或预设评分算法来计算实时登录日志数据的得分，还可以对统计特征数据进行进一步归一化处理，通过无监督学习算法对统计特征数据进行聚类检测，以实现对异常登录日志数据的判断。
上述登录异常检测方法，通过接收实时登录日志数据以及字段组合数据与统计特征数据之间的对应关系，对实时登录日志数据进行处理，获得实时登录数据的基本字段数据和扩展字段数据，基于基本字段数据和扩展字段数据，获得实时登录数据对应的字段组合数据，根据对应关系获得与字段组合数据对应的统计特征数据，基于获得的统计特征数据生成登录异常指数，将登录异常指数大于预设阈值的实时登录日志数据作为异常登录日志数据，这样可以实现对互联网数据中心的内网服务器之间登录时间进行异常检测，提升高级入侵威胁在横向移动中的有效感知能力，扩大高级入侵威胁检测的覆盖范围，显著增强安全防护效果。
在一个实施例中，将登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据之前，还包括：以来源IP字段-登录方式字段-目的IP字段作为目标字段组合，基于对应关系中的字段组合数据，获取预设时间范围内与目标字段组合对应的目标字段组合数据；根据对应关系，获得与目标字段组合数据对应的统计特征数据中登录成功次数，删除登录成功次数大于预设值对应的实时登录日志数据，获得非运维批量登录日志数据；将登录异常指数大于预设值的实时登录日志数据作为异常登录日志数据，包括：将登录异常指数大于预设值的非运维批量登录日志数据作为异常登录日志数据。由于登录日志数据中可能存在运维批量操作数据，而运维批量操作数据不属于本申请登录异常检测的有效对象数据，因此有必要避免运维批量操作数据带来的干扰和影响。具体可以利用实时计算平台中的groupby函数，以来源IP字段-登录方式字段-目的IP字段作为目标字段组合，基于对应关系中的字段组合数据，获取预设时间范围内与目标字段组合对应的目标字段组合数据，根据对应关系，获得与目标字段组合数据对应的统计特征数据中登录成功次数，删除登录成功次数大于预设值对应的实时登录日志数据，获得非运维批量登录日志数据。其中，预设时间范围内的来源IP字段-登录方式字段-目的IP字段数据具体可以是4分钟时间窗内的该字段组合数据。
在一个实施例中，如图5所示，登录异常检测方法还包括：步骤502，接收历史登录日志数据，按照预设的基本字段对历史登录日志数据进行提取，获得历史登录数据的基本字段数据；步骤504，基于历史登录日志数据进行扩展处理，获得历史登录日志数据的扩展字段数据；步骤506，基于基本字段数据和扩展字段数据进行字段组合处理，获得字段组合数据；步骤508，对每个字段组合数据聚合分析统计特征，获得各个字段组合数据的统计特征数据，建立字段组合数据与统计特征数据之间的对应关系。接收历史登录日志数据，对历史登录日志数据进行去重和过滤乱码处理，获得脏数据处理后的历史登录日志数据，以保证后续建立对应关系的数据源的数据质量和数据有效性，提升对应关系建立的精准性，进而提升登录异常检测的精度和准确度。按照预设的基本字段对脏数据处理后的历史登录日志数据进行提取，获得历史登录数据的基本字段数据。其中，基本字段包括来源IP(Internet Protocol，互联网协议地址)字段、目的IP字段、登录方式字段、登录时间字段、登录账号字段和上报时间字段。基于脏数据处理后的历史登录日志数据进行扩展处理，获得历史登录日志数据的扩展字段数据。扩展字段包括登录状态字段、内网地址标签字段、源机器所属部门字段、源机器所属项目字段、源机器所属员工字段、目的机器所属部门字段、目的机器所属项目字段和目的机器所属员工字段。比如，将登录成功的日志数据和登录失败的日志数据分别设置不同的标签，具体可以是“1”代表登录成功的日志数据，“0”代表登录失败的日志数据；区分登录日志数据中的来源IP是否是内部网络IP地址，具体可以是“1”代表来源IP是内部网络IP，“0”代表来源IP不是内部网络IP；将登录日志数据关联机器的业务信息，业务信息具体可以是公司员工在申请机器资源时登记的信息，比如xx部门xx项目xx负责人等。
在对登录日志数据初步处理后，登录日志数据记录的字段除了基本字段外，新添拓展字段。以这些字段中的某些字段作为聚合字段，进行聚合计算，获得对应的组合字段特征数据以及统计特征数据。预先设计统计特征，具体地，统计特征包括登录次数、登录成功次数、登录成功天数、最老登录时间、最新登录时间、最老最新登录时间间隔、登录不同的账号个数、登录不同的IP个数、登录不同的部门个数、登录不同的项目个数中的至少一种。对每一个字段组合数据都执行聚合统计操作，统计操作具体可以通过Hive sql中的聚合统计函数实现，比如函数count()、sum()、avg()等。比如，以来源IP字段-登录账户字段-目的IP字段为一个字段组合，基于统计特征进行聚合统计。除此之外，还可以是以来源IP-目的机器部门作为一个字段组合，以来源IP-目的机器项目作为其中一个字段组合，以来源机器部门-目的机器部门作为其中一个字段组合，以来源机器项目-目的机器部门作为其中一个字段组合，以来源机器项目-目的IP作为其中一个字段组合，以来源机器部门-目的IP作为其中一个字段组合，以来源机器项目-目的机器项目作为其中一个字段组合，以来源机器部门-目的机器项目作为其中一个字段组合，等等。分别基于上述各个字段组合进行聚合统计，形成对应的统计特征数据。由此，每一个字段组合数据对应不同的统计特征数据，即得到了字段组合数据与统计特征数据之间的对应关系，将该对应关系存储至MySQLDB中，以便实时计算平台调用。具体地，每一个字段组合数据及其对应的统计特征数据以一张表的形式导出，存储于数据库MySQLDB中。
在一个实施例中，登录异常检测方法还包括：获取与异常登录日志数据对应的查询字段组合数据；当在预设字段组合数据与统计特征数据之间的对应关系中不存在查询字段组合数据时，对异常登录日志数据进行渲染处理。实时计算平台将异常登录日志数据发往工单系统，工单系统接收到实时计算平台发来的异常登录日志数据，根据某组字段组合数据，比如来源IP-目的IP字段组合数据，查询数据库MySQLDB中是否存在相同的字段组合数据。如果查询到存在相同的字段组合数据，那么该异常登录日志数据不会被渲染成工单页面；如果数据库中不存在相同的字段组合数据，那么对该异常登录日志数据进行渲染处理，该异常登录日志数据被渲染成工单页面，并将工单发给管理员或者机器负责人，起到误报的消除作用。
在一个实施例中，登录异常检测方法还包括：获取与异常登录日志数据对应的查询字段组合数据，并统计实时登录日志数据判定为异常登录日志数据的次数；当在预设字段组合数据与统计特征数据之间的对应关系中存在查询字段组合数据，且实时登录日志数据判定为异常登录日志数据的次数小于或等于预设次数时，对异常登录日志数据进行渲染处理。实时计算平台将异常登录日志数据发往工单系统，工单系统接收到实时计算平台发来的异常登录日志数据，根据某组字段组合数据，比如来源IP-目的IP字段组合数据，查询数据库MySQLDB中是否存在相同的字段组合数据。在查询到存在相同的字段组合数据的情况下，统计实时登录日志数据判定为异常登录日志数据的次数，当统计到的次数大于预设次数时，那么该异常登录日志数据不会被渲染成工单页面；当统计到的次数小于或等于预设次数时，对该异常登录日志数据进行渲染处理，该异常登录日志数据被渲染成工单页面，并将工单发给管理员或者机器负责人，这样同一字段组合数据对应的登录事件工单不会被发送多次，形成了压制效果。工单页面包括但不限于以下信息：事件时间；业务信息，如机器负责人、所属区域、对应IP等；告警原因与具体解释，比如从哪台机器登录到哪台机器；此次事件的判断结果及风险大小；登录的账号；及登录后执行的命令。如果安全工单确认为入侵，则进行应急响应流程；如果安全工单确认为正常误报，则管理员或用户可以选择不用关注。
应该理解的是，虽然图3、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于与上述方法相同的思想，图6示出了一个实施例的登录异常检测装置的结构示意图，该实施例是以设置在计算平台106为例进行说明。
如图6所示，该实施例中的登录异常检测装置包括：
数据获取模块602，用于接收实时登录日志数据，获取实时登录日志数据的基本字段数据以及扩展字段数据；
字段组合模块604，用于根据基本字段数据以及扩展字段数据，获得实时登录数据对应的字段组合数据；
统计特征数据获取模块606，用于根据预设字段组合数据与统计特征数据之间的对应关系，获得与字段组合数据对应的统计特征数据；
登录异常检测模块608，用于基于获得的统计特征数据生成登录异常指数，将登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
在一个实施例中，登录异常检测模块之前还包括运维数据处理模块，以来源IP字段-登录方式字段-目的IP字段作为目标字段组合，基于对应关系中的字段组合数据，获取预设时间范围内与目标字段组合对应的目标字段组合数据；根据对应关系，获得与目标字段组合数据对应的统计特征数据中登录成功次数，删除登录成功次数大于预设值对应的实时登录日志数据，获得非运维批量登录日志数据；登录异常检测模块还用于将登录异常指数大于预设值的非运维批量登录日志数据作为异常登录日志数据。
在一个实施例中，数据获取模块之后还包括脏数据处理模块，用于对实时登录日志数据进行去重和过滤乱码处理，获得处理后的实时登录日志数据。
在一个实施例中，登录异常检测装置还包括对应关系建立模块，用于接收历史登录日志数据，按照预设的基本字段对历史登录日志数据进行提取，获得历史登录数据的基本字段数据；基于历史登录日志数据进行扩展处理，获得历史登录日志数据的扩展字段数据；基于基本字段数据和扩展字段数据进行字段组合处理，获得字段组合数据；对每个字段组合数据聚合分析统计特征，获得各个字段组合数据的统计特征数据，建立字段组合数据与统计特征数据之间的对应关系。
在一个实施例中，统计特征包括登录次数、登录成功次数、登录成功天数、最老登录时间、最新登录时间、最老最新登录时间间隔、登录不同的账号个数、登录不同的IP个数、登录不同的部门个数、登录不同的项目个数中的至少一种。
在一个实施例中，登录异常检测装置还包括防误报模块，用于获取与异常登录日志数据对应的查询字段组合数据；当在预设字段组合数据与统计特征数据之间的对应关系中不存在查询字段组合数据时，对异常登录日志数据进行渲染处理。
在一个实施例中，登录异常检测装置还包括登录事件压抑模块，用于获取与异常登录日志数据对应的查询字段组合数据，并统计实时登录日志数据判定为异常登录日志数据的次数；当在预设字段组合数据与统计特征数据之间的对应关系中存在查询字段组合数据，且实时登录日志数据判定为异常登录日志数据的次数小于或等于预设次数时，对异常登录日志数据进行渲染处理。
图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算平台106。如图7所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现登录异常检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的登录异常检测装置可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该登录异常检测装置的各个程序模块，比如，图6所示的数据获取模块、字段组合模块、统计特征数据获取模块和登录异常检测模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的登录异常检测的方法中的步骤。
例如，图7所示的计算机设备可以通过如图6所示的登录异常检测装置中的数据获取模块执行接收实时登录日志数据，获取实时登录日志数据的基本字段数据以及扩展字段数据。计算机设备可通过字段组合模块执行根据基本字段数据以及扩展字段数据，获得实时登录数据对应的字段组合数据。计算机设备可通过统计特征数据获取模块执行根据预设字段组合数据与统计特征数据之间的对应关系，获得与字段组合数据对应的统计特征数据。计算机设备可通过登录异常检测模块执行基于获得的统计特征数据生成登录异常指数，将登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述登录异常检测方法的步骤。此处登录异常检测方法的步骤可以是上述各个实施例的登录异常检测方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述登录异常检测方法的步骤。此处登录异常检测方法的步骤可以是上述各个实施例的登录异常检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种登录异常检测方法，其特征在于，包括：
接收实时登录日志数据；
获取所述实时登录日志数据的基本字段数据，并基于所述实时登录日志数据中的字段进行扩展处理，得到所述实时登录日志数据的扩展字段数据；
根据所述基本字段数据以及扩展字段数据，获得所述实时登录日志数据对应的字段组合数据；所述字段组合数据包括所述基本字段数据或所述扩展字段数据中的至少一部分字段；
根据预设字段组合数据与统计特征数据之间的对应关系，获得与所述字段组合数据对应的统计特征数据；所述对应关系基于多个历史字段组合数据的统计特征数据建立；所述历史字段组合数据，通过对历史登录日志数据的基本字段数据和扩展字段数据进行字段组合处理后得到；所述历史字段组合数据的统计特征数据，通过对所述历史字段组合数据聚合分析统计特征得到；
基于获得的统计特征数据生成登录异常指数，将所述登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
2.根据权利要求1所述的方法，其特征在于，所述将所述登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据之前，还包括：
以来源IP字段-登录方式字段-目的IP字段作为目标字段组合，基于所述对应关系中的字段组合数据，获取预设时间范围内与所述目标字段组合对应的目标字段组合数据；
根据所述对应关系，获得与所述目标字段组合数据对应的统计特征数据中登录成功次数，删除所述登录成功次数大于预设值对应的实时登录日志数据，获得非运维批量登录日志数据；
所述将所述登录异常指数大于预设值的实时登录日志数据作为异常登录日志数据，包括：
将所述登录异常指数大于预设值的非运维批量登录日志数据作为异常登录日志数据。
3.根据权利要求1所述的方法，其特征在于，所述接收实时登录日志数据之后，还包括：
对所述实时登录日志数据进行去重和过滤乱码处理，获得处理后的实时登录日志数据。
4.根据权利要求1所述的方法，其特征在于，还包括：
接收历史登录日志数据，按照预设的基本字段对所述历史登录日志数据进行提取，获得所述历史登录日志数据的历史基本字段数据；
基于所述历史登录日志数据进行扩展处理，获得所述历史登录日志数据的历史扩展字段数据；
基于所述历史基本字段数据和所述历史扩展字段数据进行字段组合处理，获得历史字段组合数据；
对每个所述历史字段组合数据聚合分析统计特征，获得各个所述历史字段组合数据的统计特征数据，建立字段组合数据与统计特征数据之间的对应关系。
5.根据权利要求4所述的方法，其特征在于，所述统计特征包括登录次数、登录成功次数、登录成功天数、最老登录时间、最新登录时间、最老最新登录时间间隔、登录不同的账号个数、登录不同的IP个数、登录不同的部门个数、登录不同的项目个数中的至少一种。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取与所述异常登录日志数据对应的查询字段组合数据；
当在所述预设字段组合数据与统计特征数据之间的对应关系中不存在所述查询字段组合数据时，对所述异常登录日志数据进行渲染处理。
7.根据权利要求1所述的方法，其特征在于，还包括：
获取与所述异常登录日志数据对应的查询字段组合数据，并统计所述实时登录日志数据判定为异常登录日志数据的次数；
当在所述预设字段组合数据与统计特征数据之间的对应关系中存在所述查询字段组合数据、且所述实时登录日志数据判定为异常登录日志数据的次数小于或等于预设次数时，对所述异常登录日志数据进行渲染处理。
8.一种登录异常检测装置，其特征在于，所述装置包括：
数据获取模块，用于接收实时登录日志数据，获取所述实时登录日志数据的基本字段数据，并基于所述实时登录日志数据中的字段进行扩展处理，得到所述实时登录日志数据的扩展字段数据；
字段组合模块，用于根据所述基本字段数据以及扩展字段数据，获得所述实时登录日志数据对应的字段组合数据；所述字段组合数据包括所述基本字段数据或所述扩展字段数据中的至少一部分字段；
统计特征数据获取模块，用于根据预设字段组合数据与统计特征数据之间的对应关系，获得与所述字段组合数据对应的统计特征数据；所述对应关系基于多个历史字段组合数据的统计特征数据建立；所述历史字段组合数据，通过对历史登录日志数据的基本字段数据和扩展字段数据进行字段组合处理后得到；所述历史字段组合数据的统计特征数据，通过对所述历史字段组合数据聚合分析统计特征得到；
登录异常检测模块，用于基于获得的统计特征数据生成登录异常指数，将所述登录异常指数大于预设阈值对应的实时登录日志数据作为异常登录日志数据。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括运维数据处理模块，用于：
以来源IP字段-登录方式字段-目的IP字段作为目标字段组合，基于所述对应关系中的字段组合数据，获取预设时间范围内与所述目标字段组合对应的目标字段组合数据；
根据所述对应关系，获得与所述目标字段组合数据对应的统计特征数据中登录成功次数，删除所述登录成功次数大于预设值对应的实时登录日志数据，获得非运维批量登录日志数据；
所述登录异常检测模块还用于：
将所述登录异常指数大于预设值的非运维批量登录日志数据作为异常登录日志数据。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括脏数据处理模块，用于：
对所述实时登录日志数据进行去重和过滤乱码处理，获得处理后的实时登录日志数据。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括对应关系建立模块，用于：
接收历史登录日志数据，按照预设的基本字段对所述历史登录日志数据进行提取，获得所述历史登录日志数据的历史基本字段数据；
基于所述历史登录日志数据进行扩展处理，获得所述历史登录日志数据的历史扩展字段数据；
基于所述历史基本字段数据和所述历史扩展字段数据进行字段组合处理，获得历史字段组合数据；
对每个所述历史字段组合数据聚合分析统计特征，获得各个所述历史字段组合数据的统计特征数据，建立字段组合数据与统计特征数据之间的对应关系。
12.根据权利要求11所述的装置，其特征在于，所述统计特征包括登录次数、登录成功次数、登录成功天数、最老登录时间、最新登录时间、最老最新登录时间间隔、登录不同的账号个数、登录不同的IP个数、登录不同的部门个数、登录不同的项目个数中的至少一种。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括防误报模块，用于：
获取与所述异常登录日志数据对应的查询字段组合数据；
当在所述预设字段组合数据与统计特征数据之间的对应关系中不存在所述查询字段组合数据时，对所述异常登录日志数据进行渲染处理。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7任一项所述方法的步骤。
CN201910866519.0A 2019-09-12 2019-09-12 登录异常检测方法、装置、存储介质和计算机设备 Active CN110618977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866519.0A CN110618977B (zh) 2019-09-12 2019-09-12 登录异常检测方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866519.0A CN110618977B (zh) 2019-09-12 2019-09-12 登录异常检测方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN110618977A CN110618977A (zh) 2019-12-27
CN110618977B true CN110618977B (zh) 2023-10-31

Family

ID=68923252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866519.0A Active CN110618977B (zh) 2019-09-12 2019-09-12 登录异常检测方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN110618977B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881686A (zh) * 2020-07-20 2020-11-03 杭州安恒信息技术股份有限公司 新出现实体的检测方法、装置、电子装置和存储介质
CN113296991B (zh) * 2020-11-16 2024-02-13 阿里巴巴集团控股有限公司 异常检测方法以及装置
CN113285962B (zh) * 2021-07-21 2021-12-17 南方电网数字电网研究院有限公司 在线操作监测方法与系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9231962B1 (en) * 2013-11-12 2016-01-05 Emc Corporation Identifying suspicious user logins in enterprise networks
CN107046550A (zh) * 2017-06-14 2017-08-15 微梦创科网络科技（中国）有限公司 一种异常登录行为的检测方法及装置
CN107172104A (zh) * 2017-07-17 2017-09-15 顺丰科技有限公司 一种登录异常检测方法、系统及设备
CN107276982A (zh) * 2017-05-08 2017-10-20 微梦创科网络科技（中国）有限公司 一种异常登录检测方法及装置
CN108989150A (zh) * 2018-07-19 2018-12-11 新华三信息安全技术有限公司 一种登录异常检测方法及装置
CN109828920A (zh) * 2019-01-18 2019-05-31 深圳市买买提信息科技有限公司 一种日志分析方法、装置及计算机可读存储介质
CN110209562A (zh) * 2019-05-13 2019-09-06 深圳前海微众银行股份有限公司 一种日志分析方法及分析服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9231962B1 (en) * 2013-11-12 2016-01-05 Emc Corporation Identifying suspicious user logins in enterprise networks
CN107276982A (zh) * 2017-05-08 2017-10-20 微梦创科网络科技（中国）有限公司 一种异常登录检测方法及装置
CN107046550A (zh) * 2017-06-14 2017-08-15 微梦创科网络科技（中国）有限公司 一种异常登录行为的检测方法及装置
CN107172104A (zh) * 2017-07-17 2017-09-15 顺丰科技有限公司 一种登录异常检测方法、系统及设备
CN108989150A (zh) * 2018-07-19 2018-12-11 新华三信息安全技术有限公司 一种登录异常检测方法及装置
CN109828920A (zh) * 2019-01-18 2019-05-31 深圳市买买提信息科技有限公司 一种日志分析方法、装置及计算机可读存储介质
CN110209562A (zh) * 2019-05-13 2019-09-06 深圳前海微众银行股份有限公司 一种日志分析方法及分析服务器

Also Published As

Publication number Publication date
CN110618977A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
US10296739B2 (en) Event correlation based on confidence factor
TWI595375B (zh) 使用適應性行爲輪廓之異常檢測技術
CN111404909B (zh) 一种基于日志分析的安全检测系统及方法
CN103563302B (zh) 网络资产信息管理
Hu et al. A simple and efficient hidden Markov model scheme for host-based anomaly intrusion detection
Cao et al. Machine learning to detect anomalies in web log analysis
CN110618977B (zh) 登录异常检测方法、装置、存储介质和计算机设备
US9967169B2 (en) Detecting network conditions based on correlation between trend lines
US11258825B1 (en) Computer network monitoring with event prediction
CN112073389A (zh) 云主机安全态势感知系统、方法、设备及存储介质
US9961047B2 (en) Network security management
CN108255996A (zh) 基于Apriori算法的安全日志分析方法
WO2019035120A1 (en) SYSTEM AND METHOD FOR DETECTING CYBER-THREATS
Pecchia et al. Filtering security alerts for the analysis of a production saas cloud
CN113364745A (zh) 一种日志收集与分析处理方法
CN112668005A (zh) webshell文件的检测方法及装置
CN113645215A (zh) 异常网络流量数据的检测方法、装置、设备及存储介质
US10404730B1 (en) High-volume network threat trace engine
CN112272176A (zh) 一种基于大数据平台的网络安全防护方法及系统
CN117376030B (zh) 流量异常检测方法、装置、计算机设备及可读存储介质
US11956255B1 (en) Recognizing successful cyberattacks based on subsequent benign activities of an attacker
Wang et al. Adaptive feature-weighted alert correlation system applicable in cloud environment
Mihailescu et al. Unveiling Threats: Leveraging User Behavior Analysis for Enhanced Cybersecurity
CN117609990B (zh) 一种基于场景关联分析引擎的自适应安全防护方法及装置
Patil et al. Multidimensional data mining for anomaly extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018642

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant