CN113992451A - 一种资产数据处理方法及装置 - Google Patents

一种资产数据处理方法及装置 Download PDF

Info

Publication number
CN113992451A
CN113992451A CN202111625784.3A CN202111625784A CN113992451A CN 113992451 A CN113992451 A CN 113992451A CN 202111625784 A CN202111625784 A CN 202111625784A CN 113992451 A CN113992451 A CN 113992451A
Authority
CN
China
Prior art keywords
asset
data
host
database
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111625784.3A
Other languages
English (en)
Other versions
CN113992451B (zh
Inventor
熊天翼
赵林林
薛锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ThreatBook Technology Co Ltd
Original Assignee
Beijing ThreatBook Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ThreatBook Technology Co Ltd filed Critical Beijing ThreatBook Technology Co Ltd
Priority to CN202111625784.3A priority Critical patent/CN113992451B/zh
Publication of CN113992451A publication Critical patent/CN113992451A/zh
Application granted granted Critical
Publication of CN113992451B publication Critical patent/CN113992451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种资产数据处理方法及装置,包括:采集主机资产采集数据、流量分析数据以及互联网资产探测数据;根据预设的资产数据库对主机资产采集数据进行基于主机地址的比对处理将主机资产采集数据添加至资产数据库中得到第一更新数据库;根据第一更新数据库对流量分析数据进行基于采集设备标识和主机地址的比对处理将流量分析数据添加至第一更新数据库中得到第二更新数据库;根据第二更新数据库对互联网资产探测数据进行基于域名和端口信息的比对处理将互联网资产探测数据添加至第二更新数据库中得到第三更新数据库;根据第三更新数据库生成目标组织的资产台账信息,能够全面获取各种类型的资产数据并对其进行整合,从而得到完整的资产台账信息。

Description

一种资产数据处理方法及装置
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种资产数据处理方法及装置。
背景技术
目前,网络资产和攻击面梳理是目标组织安全建设的基石。全面、准确、及时的网络资产梳理能帮助目标组织安全团队摸清家底,了解当前网络安全建设的薄弱环节,维护网络资产安全。现有的资产数据处理方法,通常通过监听被动流量以进行流量分析,提取出流量中包含的相关资产数据。然而,实践中发现,现有方法获取资产数据及处理方法,数据来源过于片面,且无法对于同一主机的资产进行整合,导致无法获取完整的资产台账信息。
发明内容
本申请实施例的目的在于提供一种资产数据处理方法及装置,能够全面获取各种类型的资产数据并对其进行整合,从而得到完整的资产台账信息。
本申请实施例第一方面提供了一种资产数据处理方法,包括:
采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据;
根据预设的资产数据库对所述主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果,并根据所述第一处理结果将所述主机资产采集数据添加至所述资产数据库中,得到第一更新数据库;
根据所述第一更新数据库对所述流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果,并根据所述第二处理结果将所述流量分析数据添加至所述第一更新数据库中,得到第二更新数据库;
根据所述第二更新数据库对所述互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果,并根据所述第三处理结果将所述互联网资产探测数据添加至所述第二更新数据库中,得到第三更新数据库;
根据所述第三更新数据库生成所述目标组织的资产台账信息。
在上述实现过程中,先采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据;然后根据预设的资产数据库对主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果,并根据第一处理结果将主机资产采集数据添加至资产数据库中,得到第一更新数据库;以及根据第一更新数据库对流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果,并根据第二处理结果将流量分析数据添加至第一更新数据库中,得到第二更新数据库;以及根据第二更新数据库对互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果,并根据第三处理结果将互联网资产探测数据添加至第二更新数据库中,得到第三更新数据库;最后根据第三更新数据库生成目标组织的资产台账信息。可见,该方法能够全面获取各种类型的资产数据并对其进行整合,从而得到完整的资产台账信息。
进一步地,所述采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据,包括:
通过设置于目标组织中主机上的资产采集装置,获取所述目标组织中各个主机的运行数据,并根据所述运行数据收集主机资产采集数据,其中,所述运行数据包括主机活动进程、软件包安装目录、系统服务设置、系统配置文件中的一种或者多种;
通过预先部署的核心交换机获取所述目标组织的镜像网络流量,并对所述镜像网络流量进行深度包解析处理,得到流量分析数据;
通过预先部署于所述目标组织外部的资产探测装置,探测所述目标组织能被互联网直接访问的互联网资产探测数据。
进一步地,所述主机资产采集数据包括用于唯一标记单台主机的采集装置标识、与所述采集装置标识对应的第一主机地址、与所述采集装置标识对应的主机基础信息、与所述采集装置标识对应的主机安装运行的服务应用信息中的一种或者多种;其中,所述采集装置标识为所述第一主机地址对应主机上设置的资产采集装置的标识;
所述流量分析数据包括各个主机的第二主机地址、与所述第二主机地址对应的网络开放状态、所述第二主机地址对应主机使用的网络协议、所述第二主机地址对应主机使用的使用网络服务、所述第二主机地址对应主机使用的应用信息、所述第二主机地址对应主机使用的框架信息以及与所述第二主机地址对应的组织负载均衡代理转发关系中的一种或者多种;
所述互联网资产探测数据包括域名端口信息、所述域名端口信息与第三主机地址的对应关系、所述目标组织能被互联网直接访问的服务端地址、所述第三主机地址对应主机开放的服务端口、所述第三主机地址对应主机使用的网络服务、所述第三主机地址对应主机使用的应用和所述第三主机地址对应主机使用的组件中的一种或者多种。
进一步地,根据所述第一处理结果将所述主机资产采集数据添加至所述资产数据库中,得到第一更新数据库,包括:
根据所述第一处理结果判断所述资产数据库中是否存在与所述采集装置标识相匹配的资产数据;
当判断出存在与所述采集装置标识相匹配的资产数据,则从所述资产数据库中确定与所述采集装置标识相匹配的第一资产数据,并将所述主机资产采集数据与所述第一资产数据进行合并存储至所述资产数据库中,得到第一更新数据库;
当判断出不存在与所述采集装置标识相匹配的资产数据,则根据所述第一处理结果判断所述资产数据库中是否存在与所述第一主机地址相匹配的资产数据;
当判断出存在与所述第一主机地址相匹配的资产数据,则从所述资产数据库中确定与所述第一主机地址相匹配的第一资产数据,并将所述主机资产采集数据与所述第一资产数据合并存储至所述资产数据库中,得到第一更新数据库;
当判断出不存在与所述第一主机地址相匹配的资产数据,则将所述第一主机地址、所述第一资产数据以及所述主机资产采集数据进行一一对应关联,得到第一关联数据,并将所述第一关联数据存储至所述资产数据库中,得到第一更新数据库。
进一步地,根据所述第二处理结果将所述流量分析数据添加至所述第一更新数据库中,得到第二更新数据库,包括:
根据所述第二处理结果判断所述第一更新数据库中是否存在与所述第二主机地址相匹配的资产数据;
如果是,则从所述第一更新数据库中确定与所述第二主机地址相匹配的第二资产数据,并将所述流量分析数据与所述第二资产数据合并存储至所述第一更新数据库中,得到第二更新数据库;
如果否,则将所述第二主机地址与所述流量分析数据进行关联,得到第二关联数据,并将所述第二关联数据存储至所述第一更新数据库中,得到第二更新数据库。
进一步地,根据所述第三处理结果将所述互联网资产探测数据添加至所述第二更新数据库中,得到第三更新数据库,包括:
根据所述第三处理结果判断所述第二更新数据库中是否存在与所述域名端口信息相匹配的资产数据;
如果是,则从所述第二更新数据库中确定与所述域名端口信息相匹配的第三资产数据,并将所述互联网资产探测数据与所述第三资产数据合并存储至所述第二更新数据库中,得到第三更新数据库;
如果否,则丢弃所述互联网资产探测数据。
本申请实施例第二方面提供了一种资产数据处理装置,所述资产数据处理装置包括:
采集单元,用于采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据;
第一处理单元,用于根据预设的资产数据库对所述主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果;
第一更新单元,用于根据所述第一处理结果将所述主机资产采集数据添加至所述资产数据库中,得到第一更新数据库;
第二处理单元,用于根据所述第一更新数据库对所述流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果;
第二更新单元,用于根据所述第二处理结果将所述流量分析数据添加至所述第一更新数据库中,得到第二更新数据库;
第三处理单元,用于根据所述第二更新数据库对所述互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果;
第三更新单元,用于根据所述第三处理结果将所述互联网资产探测数据添加至所述第二更新数据库中,得到第三更新数据库;
生成单元,用于根据所述第三更新数据库生成所述目标组织的资产台账信息。
在上述实现过程中,采集单元先采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据;然后第一处理单元根据预设的资产数据库对主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果,第一更新单元根据第一处理结果将主机资产采集数据添加至资产数据库中,得到第一更新数据库;以及第二处理单元根据第一更新数据库对流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果,第二更新单元根据第二处理结果将流量分析数据添加至第一更新数据库中,得到第二更新数据库;以及第三处理单元根据第二更新数据库对互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果,第三更新单元根据第三处理结果将互联网资产探测数据添加至第二更新数据库中,得到第三更新数据库;最后生成单元根据第三更新数据库生成目标组织的资产台账信息。可见,该装置能够全面获取各种类型的资产数据并对其进行整合,从而得到完整的资产台账信息。
进一步地,所述采集单元,具体用于通过设置于目标组织中主机上的资产采集装置,获取所述目标组织中各个主机的运行数据,并根据所述运行数据收集主机资产采集数据,其中,所述运行数据包括主机活动进程、软件包安装目录、系统服务设置、系统配置文件中的一种或者多种;以及通过预先部署的核心交换机获取所述目标组织的镜像网络流量,并对所述镜像网络流量进行深度包解析处理,得到流量分析数据;以及通过预先部署于所述目标组织外部的资产探测装置,探测所述目标组织能被互联网直接访问的互联网资产探测数据。
本申请实施例第三方面提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的资产数据处理方法。
本申请实施例第四方面提供了一种计算机可读存储介质,其存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行本申请实施例第一方面中任一项所述的资产数据处理方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种资产数据处理方法的流程示意图;
图2为本申请实施例提供的一种资产数据处理装置的结构示意图;
图3是本申请实施例提供的一种资产数据处理方法的整体流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1
请参看图1,图1为本申请实施例提供了一种资产数据处理方法的流程示意图。其中,该资产数据处理方法包括:
S101、通过设置于目标组织中主机上的资产采集装置,获取目标组织中各个主机的运行数据,并根据运行数据收集主机资产采集数据。
本申请实施例中,运行数据包括主机活动进程、软件包安装目录、系统服务设置、系统配置文件中的一种或者多种,对此本申请实施例不作限定。
本申请实施例中,主机资产采集数据包括用于唯一标记单台主机的采集装置标识、与采集装置标识对应的第一主机地址、与采集装置标识对应的主机基础信息、与采集装置标识对应的主机安装运行的服务应用信息中的一种或者多种,对此本申请实施例不作限定。
本申请实施例中,主机基础信息包括硬件信息、操作系统、系统账号、端口、路由、网卡、防火墙、安装包、依赖库、内核模块、计划任务、环境变量、启动项等,对此本申请实施例不作限定。
本申请实施例中,服务应用信息包括Web资产(包括Web服务、Web框架、Web应用)、数据库服务、登录服务、邮件服务、代理服务、文件共享服务、DNS服务、账号认证服务、虚拟化平台服务、容器资产等,对此本申请实施例不作限定。
本申请实施例中,资产采集装置可深入主机内部采集基础信息及主机安装运行的服务和应用。
本申请实施例中,资产采集装置具体可以为主机上设置的资产采集装置Agent等,对此本申请实施例不作限定。
本申请实施例中,采集装置标识为第一主机地址对应主机上设置的资产采集装置的标识。同时,每台主机安装有资产采集装置,在采集到主机资产采集数据时,会生成相应的Agent ID用于唯一标记单台主机,资产采集装置在上传主机资产采集数据时会带上此Agent ID,标识该主机资产采集数据来源于特定主机。
本申请实施例中,该方法的执行主体可以为计算机、服务器等计算装置,对此本实施例中不作任何限定。
在本申请实施例中,该方法的执行主体还可以为智能手机、平板电脑等智能设备,对此本实施例中不作任何限定。
本申请实施例中,资产采集装置具体可以为主机上设置的资产采集装置Agent,对此本申请实施例不作限定。
S102、通过预先部署的核心交换机获取目标组织的镜像网络流量,并对镜像网络流量进行深度包解析处理,得到流量分析数据。
本申请实施例中,流量分析数据包括各个主机的第二主机地址、与第二主机地址对应的网络开放状态、第二主机地址对应主机使用的网络协议、第二主机地址对应主机使用的使用网络服务、第二主机地址对应主机使用的应用信息、第二主机地址对应主机使用的框架信息以及与第二主机地址对应的组织负载均衡代理转发关系中的一种或者多种,对此本申请实施例不作限定。
本申请实施例中,该主机地址具体可以为IP地址。
本申请实施例中,网络开放状态包括端口、协议、是否可访问互联网、是否可被互联网访问等,对此本申请实施例不作限定。
本申请实施例中,当镜像网络流量为HTTP流量时,还可通过对镜像网络流量进行HTTP协议头分析,提取X-forwarded-for字段,梳理目标组织负载均衡代理转发关系等,对此本申请实施例不作限定。
在步骤S102之后,还包括以下步骤:
S103、通过预先部署于目标组织外部的资产探测装置,探测目标组织能被互联网直接访问的互联网资产探测数据。
本申请实施例中,互联网资产探测数据包括域名端口信息、域名端口信息与第三主机地址的对应关系、目标组织能被互联网直接访问的服务端地址、第三主机地址对应主机开放的服务端口、第三主机地址对应主机使用的网络服务、第三主机地址对应主机使用的应用和第三主机地址对应主机使用的组件中的一种或者多种,对此本申请实施例不作限定。
本申请实施例中,资产探测装置立足于互联网视角,探测目标组织能被互联网直接访问的服务器地址、网站域名与主机IP地址的对应关系、主机开放的端口服务、使用的CDN、应用和组件等,得到互联网资产探测数据。
本申请实施例中,实施上述步骤S101~步骤S103,能够采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据。
本申请实施例中,可以通过资产采集装置采集主机资产采集数据,通过网络流量分析装置采集流量分析数据,通过资产探测装置采集互联网资产探测数据,资产采集装置、网络流量分析装置以及资产探测装置以各自的视角对同一个组织内的资产信息进行采集,会将采集的信息上传至资产整合中心,由资产整合中心完成进一步整理和汇总。
请一并参阅图3,图3是本申请实施例提供的一种资产数据处理方法的整体流程示意图。如图3所示,资产采集装置Agent安装在主机操作系统中,可以独立存在或作为主机安全管理工具或运维管理工具的一部分,该Agent能执行预定义的资产采集程序,通过主机活动进程,软件包安装目录,系统服务设置,系统配置文件等收集资产信息。
如图3所示,可以在目标组织外部部署网络流量分析系统,通过部署在目标组织网络核心交换位置的核心交换机,通过镜像方式接收并分析网络流量,对网络流量包进行深度包解析操作,提取流量中通信的网络地址,使用的网络协议,分析流量载荷识别网络资产及开放的端口服务、应用。
如图3所示,可以在目标组织外部部署资产探测装置,以目标组织已知开放的互联网服务为起点,通过扫描和已知网络测绘数据关联拓线的方式,探测目标组织能被互联网直接访问的服务器地址,开放的端口服务,使用的应用和组件等。
如图3所示,资产整合中心即能够应用本实施例提供的资产数据处理方法,汇总接收来自资产采集装置、网络流量分析系统和资产探测装置各自获取的资产结果,并进行关联整合对资产数据库进行更新,最终产出完整的资产台账信息,供用户查询分析,或开放接口给上层应用使用。
如图3所示,资产整合中心维护完整的资产数据库,资产数据库中的每条记录对应一台资产。在实际应用场景中,资产整合中心将持续收到主机资产采集数据、流量分析数据以及互联网资产探测数据,当收到不同类型数据时,资产整合中心执行步骤S104~步骤S118将执行对应的处理逻辑,更新资产数据库。
在步骤S103之后,还包括以下步骤:
S104、根据预设的资产数据库对主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果。
S105、根据第一处理结果判断资产数据库中是否存在与采集装置标识相匹配的资产数据,如果是,则执行步骤S106以及步骤S110~步骤S111;如果否,执行步骤S107。
S106、从资产数据库中确定与采集装置标识相匹配的第一资产数据,并将主机资产采集数据与第一资产数据进行合并存储至资产数据库中,得到第一更新数据库,并执行步骤S1100~步骤S111。
S107、根据第一处理结果判断资产数据库中是否存在与第一主机地址相匹配的资产数据,如果是,执行步骤S108以及步骤S110~步骤S111;如果否,执行步骤S109~步骤S111。
S108、从资产数据库中确定与第一主机地址相匹配的第一资产数据,并将主机资产采集数据与第一资产数据合并存储至资产数据库中,得到第一更新数据库,并执行步骤S110。
S109、将第一主机地址、第一资产数据以及主机资产采集数据进行一一对应关联,得到第一关联数据,并将第一关联数据存储至资产数据库中,得到第一更新数据库,并执行步骤S110。
本申请实施例中,实施上述步骤S104~步骤S109,能够根据第一处理结果将主机资产采集数据添加至资产数据库中,得到第一更新数据库。
本申请实施例中,收到主机资产采集数据后,先提取主机资产采集数据中的AgentID和主机IP地址,并使用Agent ID与已有资产数据库比对,如果存在相同Agent ID的资产,则将主机资产采集数据与对应资产数据合并。如果没有相同Agent ID资产,则使用主机IP地址与已有的资产数据库比对,如果存在相同IP地址资产,则将主机资产采集数据与已有资产合并;如果不存在相同IP地址资产则将主机资产采集数据作为一条新的资产记录添加至已有资产数据库中。
S110、根据第一更新数据库对流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果。
S111、根据第二处理结果判断第一更新数据库中是否存在与第二主机地址相匹配的资产数据,如果是,执行步骤S112以及步骤S114~步骤S115;如果否,执行步骤S113~步骤S115。
S112、从第一更新数据库中确定与第二主机地址相匹配的第二资产数据,并将流量分析数据与第二资产数据合并存储至第一更新数据库中,得到第二更新数据库,并执行步骤S114~步骤S115。
S113、将第二主机地址与流量分析数据进行关联,得到第二关联数据,并将第二关联数据存储至第一更新数据库中,得到第二更新数据库,并执行步骤S114~步骤S115。
本申请实施例中,实施上述步骤S110~步骤S113,能够根据第二处理结果将流量分析数据添加至第一更新数据库中,得到第二更新数据库。
本申请实施例中,收到流量分析数据后,提取流量分析数据中的主机IP地址,并与已有资产数据库比对,如果存在资产数据与N的主机IP地址相同,则流量分析数据与对应的资产数据合并。如果没有,则将N记录为一条新的资产记录添加至已有资产数据库中。
S114、根据第二更新数据库对互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果。
S115、根据第三处理结果判断第二更新数据库中是否存在与域名端口信息相匹配的资产数据,如果是,执行步骤S116以及步骤S118;如果否,执行步骤S117~步骤S118。
S116、从第二更新数据库中确定与域名端口信息相匹配的第三资产数据,并将互联网资产探测数据与第三资产数据合并存储至第二更新数据库中,得到第三更新数据库,并执行步骤S118。
S117、丢弃互联网资产探测数据,并将第二更新数据库确定为第三更新数据库,并执行步骤S118。
本申请实施例中,收到互联网资产探测数据后,提取互联网资产探测数据的域名和端口信息,并使用域名和端口信息与已有的资产数据库比对,如果存在相同关联域名和端口信息的资产,则将互联网资产探测数据中的公网IP地址与已有资产信息合并,如果没有,则丢弃本条互联网资产探测数据。
本申请实施例中,实施上述步骤S114~步骤S117,能够根据第三处理结果将互联网资产探测数据添加至第二更新数据库中,得到第三更新数据库。
S118、根据第三更新数据库生成目标组织的资产台账信息。
本申请实施例中,该方法主要解决互联网资产主动探测、被动流量监听、主机Agent采集等三种不同途径获取的资产信息关联整合成单一资产台账的问题。能够解决“资产掌握不全面,不准确,不及时”的痛点,提供整理全面、细致的资产库,帮助目标组织摸清家底、及时准确掌握资产暴露面和风险。从而极大的降低客户在安全运营进行资产治理的门槛,从容应对突发事件、攻防演练等场景。
本申请实施例中,该方法实现了多源资产数据整合的问题。通过对不同类型的数据进行整合,能将不同途径采集到的资产信息进行准确的关联和整合,勾勒资产全貌,帮助目标组织安全团队更好的“知己”,全面掌握目标组织资产信息和攻击面,为后续目标组织安全建设奠定了良好的数据基础。
本申请实施例中,在实际应用中,可以接收到主机资产采集数据、流量分析数据、互联网资产探测数据三者中其中一种数据,或者其中两种,或者全部三种数据的组合,对于其中的主机资产采集数据,可以通过步骤S104~步骤S109,根据主机资产数据对当前最新的资产数据库进行更新;对于其中的流量分析数据,可以通过步骤S110~步骤S113,根据流量分析数据对当前最新的资产数据库进行更新;对于其中的互联网资产探测数据,可以通过步骤S114~步骤S117,根据互联网资产探测数据对当前最新的资产数据库进行更新。
本申请实施例步骤S104~步骤S117仅给出接收到全部三种数据的组合情况下,进行资产数据处理,以对已有的资产数据库进行更新,且对于三种数据的处理顺序,即步骤S104~步骤S109、步骤S110~步骤S113、步骤S114~步骤S117可以并行处理,也可以串行处理,都是对当前最新的资产数据库进行更新,本申请仅给出其中一种处理顺序,对此本申请实施例不作限定。
可见,实施本实施例所描述的资产数据处理方法,能够全面获取各种类型的资产数据并对其进行整合,从而得到完整的资产台账信息。
实施例2
请参看图2,图2为本申请实施例提供的一种资产数据处理装置的结构示意图。如图2所示,该资产数据处理装置包括:
采集单元210,用于采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据;
第一处理单元220,用于根据预设的资产数据库对主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果;
第一更新单元230,用于根据第一处理结果将主机资产采集数据添加至资产数据库中,得到第一更新数据库;
第二处理单元240,用于根据第一更新数据库对流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果;
第二更新单元250,用于根据第二处理结果将流量分析数据添加至第一更新数据库中,得到第二更新数据库;
第三处理单元260,用于根据第二更新数据库对互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果;
第三更新单元270,用于根据第三处理结果将互联网资产探测数据添加至第二更新数据库中,得到第三更新数据库;
生成单元280,用于根据第三更新数据库生成目标组织的资产台账信息。
作为一种可选的实施方式,采集单元210,具体用于通过设置于目标组织中主机上的资产采集装置,获取目标组织中各个主机的运行数据,并根据运行数据收集主机资产采集数据,其中,运行数据包括主机活动进程、软件包安装目录、系统服务设置、系统配置文件中的一种或者多种;以及通过预先部署的核心交换机获取目标组织的镜像网络流量,并对镜像网络流量进行深度包解析处理,得到流量分析数据;以及通过预先部署于目标组织外部的资产探测装置,探测目标组织能被互联网直接访问的互联网资产探测数据。
本申请实施例中,主机资产采集数据包括用于唯一标记单台主机的采集装置标识、与采集装置标识对应的第一主机地址、与采集装置标识对应的主机基础信息、与采集装置标识对应的主机安装运行的服务应用信息中的一种或者多种,对此本申请实施例不作限定。
本申请实施例中,采集装置标识为第一主机地址对应主机上设置的资产采集装置的标识。
本申请实施例中,流量分析数据包括各个主机的第二主机地址、与第二主机地址对应的网络开放状态、第二主机地址对应主机使用的网络协议、第二主机地址对应主机使用的使用网络服务、第二主机地址对应主机使用的应用信息、第二主机地址对应主机使用的框架信息以及与第二主机地址对应的组织负载均衡代理转发关系中的一种或者多种,对此本申请实施例不作限定。
本申请实施例中,互联网资产探测数据包括域名端口信息、域名端口信息与第三主机地址的对应关系、目标组织能被互联网直接访问的服务端地址、第三主机地址对应主机开放的服务端口、第三主机地址对应主机使用的网络服务、第三主机地址对应主机使用的应用和第三主机地址对应主机使用的组件中的一种或者多种,对此本申请实施例不作限定。
作为一种可选的实施方式,第一更新单元230包括:
第一判断子单元231,用于根据第一处理结果判断资产数据库中是否存在与采集装置标识相匹配的资产数据;
第一确定子单元232,用于当判断出存在与采集装置标识相匹配的资产数据,则从资产数据库中确定与采集装置标识相匹配的第一资产数据,并将主机资产采集数据与第一资产数据进行合并存储至资产数据库中,得到第一更新数据库;
第一判断子单元231,还用于当判断出不存在与采集装置标识相匹配的资产数据,则根据第一处理结果判断资产数据库中是否存在与第一主机地址相匹配的资产数据;
第一确定子单元232,还用于当判断出存在与第一主机地址相匹配的资产数据,则从资产数据库中确定与第一主机地址相匹配的第一资产数据,并将主机资产采集数据与第一资产数据合并存储至资产数据库中,得到第一更新数据库;以及当判断出不存在与第一主机地址相匹配的资产数据,则将第一主机地址、第一资产数据以及主机资产采集数据进行一一对应关联,得到第一关联数据,并将第一关联数据存储至资产数据库中,得到第一更新数据库。
作为一种可选的实施方式,第二更新单元250包括:
第二判断子单元251,用于根据第二处理结果判断第一更新数据库中是否存在与第二主机地址相匹配的资产数据;
第二确定子单元252,用于当判断出存在与第二主机地址相匹配的资产数据时,则从第一更新数据库中确定与第二主机地址相匹配的第二资产数据,并将流量分析数据与第二资产数据合并存储至第一更新数据库中,得到第二更新数据库;以及当判断出不存在与第二主机地址相匹配的资产数据时,则将第二主机地址与流量分析数据进行关联,得到第二关联数据,并将第二关联数据存储至第一更新数据库中,得到第二更新数据库。
作为一种可选的实施方式,第三更新单元270包括:
第三判断子单元271,用于根据第三处理结果判断第二更新数据库中是否存在与域名端口信息相匹配的资产数据;
第三确定单元272,用于当判断出存在与域名端口信息相匹配的资产数据时,则从第二更新数据库中确定与域名端口信息相匹配的第三资产数据,并将互联网资产探测数据与第三资产数据合并存储至第二更新数据库中,得到第三更新数据库;以及当判断出不存在与域名端口信息相匹配的资产数据时,则丢弃互联网资产探测数据。
本申请实施例中,对于资产数据处理装置的解释说明可以参照实施例1中的描述,对此本实施例中不再多加赘述。
可见,实施本实施例所描述的资产数据处理装置,能够全面获取各种类型的资产数据并对其进行整合,从而得到完整的资产台账信息。
本申请实施例提供了一种电子设备,包括存储器以及处理器,存储器用于存储计算机程序,处理器运行计算机程序以使电子设备执行本申请实施例1中的资产数据处理方法。
本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行本申请实施例1中的资产数据处理方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种资产数据处理方法,其特征在于,包括:
采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据;
根据预设的资产数据库对所述主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果,并根据所述第一处理结果将所述主机资产采集数据添加至所述资产数据库中,得到第一更新数据库;
根据所述第一更新数据库对所述流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果,并根据所述第二处理结果将所述流量分析数据添加至所述第一更新数据库中,得到第二更新数据库;
根据所述第二更新数据库对所述互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果,并根据所述第三处理结果将所述互联网资产探测数据添加至所述第二更新数据库中,得到第三更新数据库;
根据所述第三更新数据库生成所述目标组织的资产台账信息。
2.根据权利要求1所述的资产数据处理方法,其特征在于,所述采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据,包括:
通过设置于目标组织中主机上的资产采集装置,获取所述目标组织中各个主机的运行数据,并根据所述运行数据收集主机资产采集数据,其中,所述运行数据包括主机活动进程、软件包安装目录、系统服务设置、系统配置文件中的一种或者多种;
通过预先部署的核心交换机获取所述目标组织的镜像网络流量,并对所述镜像网络流量进行深度包解析处理,得到流量分析数据;
通过预先部署于所述目标组织外部的资产探测装置,探测所述目标组织能被互联网直接访问的互联网资产探测数据。
3.根据权利要求1所述的资产数据处理方法,其特征在于,所述主机资产采集数据包括用于唯一标记单台主机的采集装置标识、与所述采集装置标识对应的第一主机地址、与所述采集装置标识对应的主机基础信息、与所述采集装置标识对应的主机安装运行的服务应用信息中的一种或者多种;其中,所述采集装置标识为所述第一主机地址对应主机上设置的资产采集装置的标识;
所述流量分析数据包括各个主机的第二主机地址、与所述第二主机地址对应的网络开放状态、所述第二主机地址对应主机使用的网络协议、所述第二主机地址对应主机使用的使用网络服务、所述第二主机地址对应主机使用的应用信息、所述第二主机地址对应主机使用的框架信息以及与所述第二主机地址对应的组织负载均衡代理转发关系中的一种或者多种;
所述互联网资产探测数据包括域名端口信息、所述域名端口信息与第三主机地址的对应关系、所述目标组织能被互联网直接访问的服务端地址、所述第三主机地址对应主机开放的服务端口、所述第三主机地址对应主机使用的网络服务、所述第三主机地址对应主机使用的应用和所述第三主机地址对应主机使用的组件中的一种或者多种。
4.根据权利要求3所述的资产数据处理方法,其特征在于,根据所述第一处理结果将所述主机资产采集数据添加至所述资产数据库中,得到第一更新数据库,包括:
根据所述第一处理结果判断所述资产数据库中是否存在与所述采集装置标识相匹配的资产数据;
当判断出存在与所述采集装置标识相匹配的资产数据,则从所述资产数据库中确定与所述采集装置标识相匹配的第一资产数据,并将所述主机资产采集数据与所述第一资产数据进行合并存储至所述资产数据库中,得到第一更新数据库;
当判断出不存在与所述采集装置标识相匹配的资产数据,则根据所述第一处理结果判断所述资产数据库中是否存在与所述第一主机地址相匹配的资产数据;
当判断出存在与所述第一主机地址相匹配的资产数据,则从所述资产数据库中确定与所述第一主机地址相匹配的第一资产数据,并将所述主机资产采集数据与所述第一资产数据合并存储至所述资产数据库中,得到第一更新数据库;
当判断出不存在与所述第一主机地址相匹配的资产数据,则将所述第一主机地址、所述第一资产数据以及所述主机资产采集数据进行一一对应关联,得到第一关联数据,并将所述第一关联数据存储至所述资产数据库中,得到第一更新数据库。
5.根据权利要求3所述的资产数据处理方法,其特征在于,根据所述第二处理结果将所述流量分析数据添加至所述第一更新数据库中,得到第二更新数据库,包括:
根据所述第二处理结果判断所述第一更新数据库中是否存在与所述第二主机地址相匹配的资产数据;
如果是,则从所述第一更新数据库中确定与所述第二主机地址相匹配的第二资产数据,并将所述流量分析数据与所述第二资产数据合并存储至所述第一更新数据库中,得到第二更新数据库;
如果否,则将所述第二主机地址与所述流量分析数据进行关联,得到第二关联数据,并将所述第二关联数据存储至所述第一更新数据库中,得到第二更新数据库。
6.根据权利要求3所述的资产数据处理方法,其特征在于,根据所述第三处理结果将所述互联网资产探测数据添加至所述第二更新数据库中,得到第三更新数据库,包括:
根据所述第三处理结果判断所述第二更新数据库中是否存在与所述域名端口信息相匹配的资产数据;
如果是,则从所述第二更新数据库中确定与所述域名端口信息相匹配的第三资产数据,并将所述互联网资产探测数据与所述第三资产数据合并存储至所述第二更新数据库中,得到第三更新数据库;
如果否,则丢弃所述互联网资产探测数据。
7.一种资产数据处理装置,其特征在于,所述资产数据处理装置包括:
采集单元,用于采集目标组织的主机资产采集数据、流量分析数据以及互联网资产探测数据;
第一处理单元,用于根据预设的资产数据库对所述主机资产采集数据进行基于主机地址的比对处理,得到第一处理结果;
第一更新单元,用于根据所述第一处理结果将所述主机资产采集数据添加至所述资产数据库中,得到第一更新数据库;
第二处理单元,用于根据所述第一更新数据库对所述流量分析数据进行基于采集设备标识和主机地址的比对处理,得到第二处理结果;
第二更新单元,用于根据所述第二处理结果将所述流量分析数据添加至所述第一更新数据库中,得到第二更新数据库;
第三处理单元,用于根据所述第二更新数据库对所述互联网资产探测数据进行基于域名和端口信息的比对处理,得到第三处理结果;
第三更新单元,用于根据所述第三处理结果将所述互联网资产探测数据添加至所述第二更新数据库中,得到第三更新数据库;
生成单元,用于根据所述第三更新数据库生成所述目标组织的资产台账信息。
8.根据权利要求7所述的资产数据处理装置,其特征在于,所述采集单元,具体用于通过设置于目标组织中主机上的资产采集装置,获取所述目标组织中各个主机的运行数据,并根据所述运行数据收集主机资产采集数据,其中,所述运行数据包括主机活动进程、软件包安装目录、系统服务设置、系统配置文件中的一种或者多种;以及通过预先部署的核心交换机获取所述目标组织的镜像网络流量,并对所述镜像网络流量进行深度包解析处理,得到流量分析数据;以及通过预先部署于所述目标组织外部的资产探测装置,探测所述目标组织能被互联网直接访问的互联网资产探测数据。
9.一种电子设备,其特征在于,所述电子设备包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至6中任一项所述的资产数据处理方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行权利要求1至6任一项所述的资产数据处理方法。
CN202111625784.3A 2021-12-29 2021-12-29 一种资产数据处理方法及装置 Active CN113992451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111625784.3A CN113992451B (zh) 2021-12-29 2021-12-29 一种资产数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111625784.3A CN113992451B (zh) 2021-12-29 2021-12-29 一种资产数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113992451A true CN113992451A (zh) 2022-01-28
CN113992451B CN113992451B (zh) 2022-04-22

Family

ID=79734798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111625784.3A Active CN113992451B (zh) 2021-12-29 2021-12-29 一种资产数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113992451B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823162A (zh) * 2023-06-27 2023-09-29 上海螣龙科技有限公司 一种网络资产扫描任务管理方法、系统及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107579876A (zh) * 2017-09-15 2018-01-12 中国移动通信集团广东有限公司 一种资产增量自动探测分析方法及装置
CN108769064A (zh) * 2018-06-26 2018-11-06 广东电网有限责任公司信息中心 实现漏洞治理的分布式资产识别及变更感知方法与系统
CN109327461A (zh) * 2018-11-12 2019-02-12 广东省信息安全测评中心 分布式资产识别及变更感知方法与系统
CN112039853A (zh) * 2020-08-11 2020-12-04 深信服科技股份有限公司 局域网的资产识别方法及装置、设备和可读存储介质
CN112260861A (zh) * 2020-10-13 2021-01-22 上海奇甲信息科技有限公司 一种基于流量感知的网络资产拓扑识别方法
CN112261175A (zh) * 2020-10-26 2021-01-22 深信服科技股份有限公司 一种资产信息的更新方法、装置、设备和介质
CN112468364A (zh) * 2020-11-25 2021-03-09 杭州安恒信息技术股份有限公司 Cip资产的探测方法、装置、计算机设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107579876A (zh) * 2017-09-15 2018-01-12 中国移动通信集团广东有限公司 一种资产增量自动探测分析方法及装置
CN108769064A (zh) * 2018-06-26 2018-11-06 广东电网有限责任公司信息中心 实现漏洞治理的分布式资产识别及变更感知方法与系统
CN109327461A (zh) * 2018-11-12 2019-02-12 广东省信息安全测评中心 分布式资产识别及变更感知方法与系统
CN112039853A (zh) * 2020-08-11 2020-12-04 深信服科技股份有限公司 局域网的资产识别方法及装置、设备和可读存储介质
CN112260861A (zh) * 2020-10-13 2021-01-22 上海奇甲信息科技有限公司 一种基于流量感知的网络资产拓扑识别方法
CN112261175A (zh) * 2020-10-26 2021-01-22 深信服科技股份有限公司 一种资产信息的更新方法、装置、设备和介质
CN112468364A (zh) * 2020-11-25 2021-03-09 杭州安恒信息技术股份有限公司 Cip资产的探测方法、装置、计算机设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823162A (zh) * 2023-06-27 2023-09-29 上海螣龙科技有限公司 一种网络资产扫描任务管理方法、系统及计算机设备
CN116823162B (zh) * 2023-06-27 2024-04-09 上海螣龙科技有限公司 一种网络资产扫描任务管理方法、系统及计算机设备

Also Published As

Publication number Publication date
CN113992451B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN100399750C (zh) 便于在网络上识别计算机的系统与方法
CN110677384B (zh) 钓鱼网站的检测方法及装置、存储介质、电子装置
CN104205774B (zh) 网络地址储存库管理
CN111586033A (zh) 一种数据中心的资产数据中台
JP6408395B2 (ja) ブラックリストの管理方法
CN110210213B (zh) 过滤恶意样本的方法及装置、存储介质、电子装置
BRPI0811048B1 (pt) Método para criar uma lista de informação, nó de rede para executar instruções e meio portador
CN109446276B (zh) 基于关系数据模型的订单拦截方法、装置、设备及介质
CN104639391A (zh) 一种生成网络流量记录的方法及相应的流量检测设备
CN113706100B (zh) 配电网物联终端设备实时探测识别方法与系统
CN110648172B (zh) 一种融合多种移动设备的身份识别方法和系统
WO2021056731A1 (zh) 基于日志数据分析的行为检测方法、装置、设备及介质
CN113992451B (zh) 一种资产数据处理方法及装置
CN114095274A (zh) 一种攻击研判方法及装置
CN110313161A (zh) 对数据库上的放大攻击的基于ipfix的检测
CN110891071A (zh) 一种网络流量信息获取方法、装置及其相关设备
US20170054742A1 (en) Information processing apparatus, information processing method, and computer readable medium
CN109688236B (zh) Sinkhole域名处理方法及服务器
CN113938314B (zh) 一种加密流量的检测方法及装置、存储介质
CN113849810B (zh) 风险操作行为的识别方法、装置、设备及存储介质
CN106411879B (zh) 一种软件识别特征的获取方法和装置
CN113852625A (zh) 一种弱口令监测方法、装置、设备及存储介质
CN108667685B (zh) 移动应用网络流量聚类装置
CN110034977B (zh) 一种设备安全性监测方法及安全性监测设备
KR102399524B1 (ko) 개인 식별정보 수집 및 임치 관리 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant