CN116821156A - 一种网络资产数据存储、查询和可视化方法、装置及介质 - Google Patents

Abstract

本申请公开了一种网络资产数据存储、查询和可视化方法、装置及介质，包括存储于关系数据库的第一数据和存储于图数据库的第二数据，第一数据包括属性数据，第二数据包括具有层次关系和/或连接关系的图数据，第一数据和所述第二数据根据预设的同步机制进行同步。第一节点部署有Elasticsearch搜索引擎，Elasticsearch搜索引擎内设有索引数据库，索引数据库中的索引数据用于指向关系数据库中的第一数据和/或图数据库中的第二数据。第一节点查询到目标网络资产数据后，对所述目标网络资产数据解析并生成资产拓扑图。本申请提高了数据存储的效率和灵活性，优化了查询过程，提供了清晰、直观的拓扑结构视图，帮助用户更好地理解和分析网络资产。

Description

一种网络资产数据存储、查询和可视化方法、装置及介质

技术领域

本申请涉及网络资产数据存储技术领域，尤其是涉及一种网络资产数据存储、查询和可视化方法、装置及介质。

背景技术

在网络资产汇总存储、查询和展示领域，存在的一些现有的方法，比如许多网络资产管理系统使用传统的关系型数据库来存储和管理网络资产数据。这些数据库通常采用表格结构存储数据，使用SQL查询语言进行数据检索。然而，对于拓扑关系和大规模网络资产数据的存储和查询，传统数据库可能存在性能和效率方面的限制；另外一些网络资产管理系统采用纯粹的图数据库来存储和管理网络资产数据。这种方法将网络资产的拓扑结构以图的形式存储，其中节点表示网络资产，边表示网络资产之间的关系。通过图数据库的优势，如高效的图查询和导航能力，这种方法能够更好地处理网络资产之间复杂的拓扑关系。

目前，传统的关系型数据库在处理网络资产的拓扑关系和大规模数据方面存在一些限制。由于关系型数据库的表格结构和SQL查询语言的设计，它们在处理复杂的网络拓扑关系和执行大规模网络资产查询时可能出现性能瓶颈；纯粹使用图数据库存储网络资产数据也存在一些缺陷。由于图数据库的数据模型和查询语言的特点，它们更适合处理网络资产的拓扑关系和图查询操作。然而，对于一些非拓扑属性数据的存储和查询，纯图数据库可能不够灵活。此外，图数据库的可扩展性和性能可能在处理大规模网络资产数据时面临挑战。

发明内容

针对上述问题，本发明的目的是提供一种网络资产数据存储、查询和可视化方法、装置及介质，能够提高数据存储和查询的效率和灵活性，生成更清晰、直观的拓扑结构视图。

第一方面，本申请提供一种网络资产数据存储方法，包括：存储于关系数据库的第一数据和存储于图数据库的第二数据，所述第一数据包括属性数据，所述第二数据包括具有层次关系和/或连接关系的图数据，所述第一数据和所述第二数据根据预设的同步机制进行同步。

进一步地，上述关系数据库和所述图数据库通过第一节点连接，所述第一节点响应于外部节点发送的网络资产数据，将接收到的所述网络资产数据根据数据特征进行分割，得到所述第一数据和所述第二数据。

进一步地，关系数据库和所述图数据库内部署有第一触发器，所述第一触发器响应于所述关系数据库和/或所述图数据库中的数据变更，检索除发生数据变更的数据库之外的数据库中是否存在需要变更的数据并进行变更，以使所述第一数据和所述第二数据保持一致性。

第二方面，本申请提供一种网络资产数据查询方法，应用上述的网络资产数据存储方法，所述第一节点部署有Elasticsearch搜索引擎，所述Elasticsearch搜索引擎内设有索引数据库，所述索引数据库中的索引数据用于指向所述关系数据库中的第一数据和/或所述图数据库中的第二数据。

进一步地，上述关系数据库和所述图数据库内部署有第二触发器，所述第二触发器响应于所述关系数据库和/或所述图数据库中的数据变更，将变更数据对应的索引数据同步至Elasticsearch搜索引擎。

第三方面，本申请提供一种网络资产数据可视化方法，应用上述的网络资产数据查询方法，所述第一节点查询到目标网络资产数据后，对所述目标网络资产数据解析并生成资产拓扑图。

进一步地，上述资产拓扑图包括资产节点和资产边，所述资产边表示所述目标网络资产数据的连接关系，所述资产节点表示所述目标网络资产数据中的目标网络资产，所述资产节点的样式、颜色和大小通过预设规则表示所述目标网络资产的属性信息。

第四方面，本申请提供一种网络资产数据库，包括：

存储模块，用于存储关系数据库的第一数据和存储图数据库的第二数据，及对所述第一数据和所述第二数据进行同步；

查询模块，用于查询存储于关系数据库的所述第一数据和存储于图数据库的所述第二数据；

可视化模块，用于将查询到的所述第一数据和所述第二数据通过拓扑图展示。

第五方面，本申请提供一种计算机设备，采用如下的技术方案：

一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面、第二方面和第三方面所述的方法。

第六方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面、第二方面和第三方面中任一种方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

本申请提供了一种网络资产数据存储、查询和可视化方法、装置及介质，一方面，通过将网络资产的拓扑数据存储在图数据库中，而将非拓扑数据存储在关系型数据库中，从而提高数据存储的效率和灵活性；另一方面，对查询进行优化，提高网络资产数据的检索速度和准确性，从而满足快速查询的需求；同时，通过拓扑图形式将网络资产数据直观地展示给用户，提供更清晰、直观的拓扑结构视图，帮助用户更好地理解和分析网络资产。

附图说明

图1是本发明实施方式中存储、查询和可视化方法流程示意图。

图2是本发明实施方式中网络资产数据结构示意图。

图3是本发明实施方式中数据库数据关系结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施方式提供了一种网络资产数据存储、查询和可视化方法、装置及介质，主要用于网络资产数据的汇总存储和展示，使用了混合数据库存储结构，具体包括了图数据库和关系型数据库。

图数据库是以点、边为基础存储单元，以高效存储、查询图数据为设计原理的数据管理系统，“点”表示实体，“边”表示实体间的关系。在图数据库中，数据间的关系和数据本身同样重要，它们被作为数据的一部分存储起来。这样的架构使图数据库能够快速响应复杂关联查询，因为实体间的关系已经提前存储到了数据库中。图数据库可以直观地可视化关系，是存储、查询、分析高度互联数据的最优办法，常见的图数据库包括如Neo4j、Galaxybase、GraphDB等。

关系型数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。主流的关系型数据库包括Oracle、DB2、MySQL、Microsoft SQLServer、Microsoft Access等。

如图2所示，网络资产数据整体上来说是具有层次关系和连接关系的图数据，例如:”域名->子域名->IP->组件”这样的一个数据，每个域名拥有多个子域名，每个子域名拥有对应的IP而每个IP代表的主机中拥有着不同的组件，这些域名、子域名等数据都可以称之为网络资产，网络资产自建拥有着层次关系，可以构建出这些网络资产之间的拓扑关系图，这些拓扑关系图数据是非常适合存储在图数据库中的，因为图数据库可以有效地表示和查询这种拓扑结构。

如图3所示，除了拓扑关系之外，网络资产还可能有其他属性，例如资产所有者、创建时间、更新时间、资产描述、安全漏洞信息、访问控制策略等。这些属性数据可以存储在关系型数据库中。关系型数据库适合存储结构化数据，并提供更灵活的查询和数据管理功能。我们可以使用关系型数据库来存储和查询这些属性数据。

参照图1，本申请实施例公开了一种网络资产数据存储方法，包括：存储于关系数据库的第一数据和存储于图数据库的第二数据，所述第一数据包括属性数据，所述第二数据包括具有层次关系和/或连接关系的图数据，所述第一数据和所述第二数据根据预设的同步机制进行同步。

在本实施方式中，混合数据库，即关系数据库和图数据库，存储结构将网络资产的数据根据其特征和用途进行分割和存储。拓扑数据部分存储在图数据库中，以图的形式表示网络资产之间的关系和拓扑结构。非拓扑数据部分存储在关系型数据库中，以表格的形式存储属性数据。这种数据分割和存储方式充分利用了图数据库和关系型数据库的优势，提高了数据存储的效率和灵活性。同时为了保证两个数据库数据的一致性，我们设置了同步机制和约束机制，当一个数据库中的数据发生改变时，会同步检查另外的一个数据库中的数据是否要进行对应的变化，比如在图数据库中删除一个域名节点，那么在关系型数据库中的与该节点有关的资产描述、安全漏洞信息等数据也会同步更新删除，确保了两个数据库中的数据保持一致性。

在本发明的其中一种实施方式中，关系数据库和所述图数据库通过第一节点连接，所述第一节点响应于外部节点发送的网络资产数据，将接收到的所述网络资产数据根据数据特征进行分割，得到所述第一数据和所述第二数据。

具体地，对收到的网络资产数据进行解析和处理，系统识别域名与子域名之间的关联，以及子域名与IP地址之间的关联等，构建网络资产的拓扑结构。将这些拓扑结构存储在图数据库中，同时将资产所有者、创建时间、更新时间、资产描述、安全漏洞信息、访问控制策略等非拓扑数据存储到关系型数据库中。

在本实施方式中，第一节点可以是监控数据库，也可以是Debezium等可以捕捉数据更改的CDC平台。

在本发明的其中一种实施方式中，关系数据库和所述图数据库内部署有第一触发器，所述第一触发器响应于所述关系数据库和/或所述图数据库中的数据变更，检索除发生数据变更的数据库之外的数据库中是否存在需要变更的数据并进行变更，以使所述第一数据和所述第二数据保持一致性。

在本实施方式中，触发器（trigger）是SQL server 提供给程序员和数据分析员来保证数据完整性的一种方法，它是与表事件相关的特殊的存储过程，它的执行不是由程序调用，也不是手工启动，而是由事件来触发，比如当对一个表进行操作（ insert，delete，update）时就会激活它执行。触发器经常用于加强数据的完整性约束和业务规则等。 触发器可以从 DBA_TRIGGERS ，USER_TRIGGERS 数据字典中查到。SQL3的触发器是一个能由系统自动执行对数据库修改的语句。系统可以通过第一触发器实时监测和维护混合数据库中的数据一致性。当有新的网络资产数据添加或更新时，系统确保相关的拓扑数据和非拓扑数据在图数据库和关系型数据库之间保持一致。

如图1所示，本申请实施例还公开了一种网络资产数据查询方法，应用上述的网络资产数据存储方法，所述第一节点部署有Elasticsearch搜索引擎，所述Elasticsearch搜索引擎内设有索引数据库，所述索引数据库中的索引数据用于指向所述关系数据库中的第一数据和/或所述图数据库中的第二数据。

在本实施方式中，通过将混合数据库与Elasticsearch (ES) 相结合，使用ES作为查询引擎，来优化我们数据的查询。Elasticsearch (ES) 是一种开源的分布式搜索和分析引擎，以全文搜索为核心，可以处理大量文本数据，并提供丰富的搜索功能，包括分词、模糊搜索、短语搜索、近似搜索等。它还支持多语言搜索和复杂查询。它专注于实时数据的存储、搜索和分析。ES建立在Apache Lucene搜索引擎库之上，并提供了简单易用的API，使得开发者能够轻松地构建快速、可扩展和强大的搜索应用。系统使用Elasticsearch作为查询引擎，通过对查询进行优化，提高网络资产数据的检索速度和准确性。使用ES有效地处理大规模的网络资产数据，并提供快速的查询响应。

在本发明的其中一种实施方式中，关系数据库和所述图数据库内部署有第二触发器，所述第二触发器响应于所述关系数据库和/或所述图数据库中的数据变更，将变更数据对应的索引数据同步至Elasticsearch搜索引擎。

在本实施方式中，在数据库中设置第二触发器，当数据库中的数据发生变化时，第二触发器将触发相应的操作，将变更的数据实时导入到ES中，通过这种方式，可以实现将关系数据库和图数据库中的数据实时导入到ES中，以保持ES索引的实时性和准确性。这样可以确保在查询时能够获取到最新的数据，并且利用ES的搜索和分析功能进行高效的查询和分析。

如图1所示，本申请实施例还公开了一种网络资产数据可视化方法，应用上述的网络资产数据查询方法，所述第一节点查询到目标网络资产数据后，对所述目标网络资产数据解析并生成资产拓扑图。资产拓扑图包括资产节点和资产边，所述资产边表示所述目标网络资产数据的连接关系，所述资产节点表示所述目标网络资产数据中的目标网络资产，所述资产节点的样式、颜色和大小通过预设规则表示所述目标网络资产的属性信息。

在本实施方式中，本申请可以将查询到的资产数据解析，自动生成拓扑图展示给用户，根据资产之间的关系和连接，构建网络拓扑结构。例如，通过域名和子域名的关联、子域名和IP地址的关联，系统能够识别资产之间的层次结构和连接关系。最后将这些拓扑关系转化成拓扑图，节点代表网络资产，边代表资产之间的连接关系。节点的样式、颜色和大小可以根据不同的资产属性进行自定义配置，以便更好地呈现和区分不同类型的资产。我们的拓扑图展示也支持用户的对图进行交互与操作，例如，用户可以放大缩小图形、拖动节点、点击节点以查看详细信息等。这些交互功能增强了用户对网络资产拓扑的探索和分析能力。

本申请实施例还公开了一种网络资产数据库，包括：

存储模块，用于存储关系数据库的第一数据和存储图数据库的第二数据，及对所述第一数据和所述第二数据进行同步；

查询模块，用于查询存储于关系数据库的所述第一数据和存储于图数据库的所述第二数据；

可视化模块，用于将查询到的所述第一数据和所述第二数据通过拓扑图展示。

本申请实施例的网络资产数据库能够实现上述网络资产数据存储、查询和可视化方法的任一种方法，且网络资产数据库中各个模块的具体工作过程可参考上述方法实施例中的对应过程。

在本申请所提供的几个实施例中，应该理解到，所提供的方法和系统，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本申请实施例还公开一种计算机设备。

计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的xx方法。

本申请实施例还公开一种计算机可读存储介质。

计算机可读存储介质，存储有能够被处理器加载并执行如上述的xx方法中任一种方法的计算机程序。

其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

由上可见，与传统的单一数据库存储相比，本申请利用混合数据库存储结构，将网络资产的拓扑数据存储在图数据库中，而将非拓扑数据存储在关系型数据库中。图数据库适用于存储和处理拓扑结构数据，能够快速导航和遍历网络资产之间的关系，提供高效的拓扑查询。关系型数据库适用于存储和处理非拓扑数据，提供了更灵活的数据模型和查询功能。这种混合结构充分发挥了图数据库和关系型数据库的优势，提高了数据存储和查询的效率和灵活性，提升了网络资产管理和分析的能力。同时本申请采用Elasticsearch作为查询引擎，通过对查询进行优化，提高了网络资产数据的检索速度和准确性。优化了查询过程，加速了网络资产数据的检索，使用户能够更快地获取所需的数据，提高了工作效率。本申请还通过拓扑图形式将网络资产数据直观地展示给用户，使用户能够更清楚地了解网络资产之间的关系和拓扑结构。拓扑图以节点和边的形式展示网络资产及其连接关系，通过直观的图形和颜色表示不同类型的资产和连接。这种可视化展示方式使用户能够快速理解网络资产的拓扑结构，帮助他们进行更准确和全面的网络资产管理和分析。

实施例：

S101：获取数据：采集用于存储和展示的网络资产数据；

S102：数据解析与处理：对收到的网络资产数据进行解析和处理，系统识别域名与子域名之间的关联，以及子域名与IP地址之间的关联等，构建网络资产的拓扑结构。将这些拓扑结构存储在图数据库中，同时将资产所有者、创建时间、更新时间、资产描述、安全漏洞信息、访问控制策略等非拓扑数据存储到关系型数据库中。

S103：数据一致性维护：实时监测和维护混合数据库中的数据一致性。当有新的网络资产数据添加或更新时，确保相关的拓扑数据和非拓扑数据在图数据库和关系型数据库之间保持一致。

S104：查询优化：使用Elasticsearch作为查询引擎，通过对查询进行优化，提高网络资产数据的检索速度和准确性。使用ES有效地处理大规模的网络资产数据，并提供快速的查询响应。

S105：拓扑图可视化展示：根据解析后的网络资产数据生成拓扑图，并以图形化形式呈现网络资产的关系和拓扑结构。拓扑图具有交互功能，用户可以通过放大、缩小、拖动节点等操作与图进行交互。

需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种网络资产数据存储方法，其特征在于，包括：存储于关系数据库的第一数据和存储于图数据库的第二数据，所述第一数据包括属性数据，所述第二数据包括具有层次关系和/或连接关系的图数据，所述第一数据和所述第二数据根据预设的同步机制进行同步。

2.根据权利要求1所述的网络资产数据存储方法，其特征在于：所述关系数据库和所述图数据库通过第一节点连接，所述第一节点响应于外部节点发送的网络资产数据，将接收到的所述网络资产数据根据数据特征进行分割，得到所述第一数据和所述第二数据。

3.根据权利要求2所述的网络资产数据存储方法，其特征在于：关系数据库和所述图数据库内部署有第一触发器，所述第一触发器响应于所述关系数据库和/或所述图数据库中的数据变更，检索除发生数据变更的数据库之外的数据库中是否存在需要变更的数据并进行变更，以使所述第一数据和所述第二数据保持一致性。

4.一种网络资产数据查询方法，其特征在于，应用如权利要求1-3中任一项所述的网络资产数据存储方法，第一节点部署有Elasticsearch搜索引擎，所述Elasticsearch搜索引擎内设有索引数据库，所述索引数据库中的索引数据用于指向所述关系数据库中的第一数据和/或所述图数据库中的第二数据。

5.根据权利要求4所述的网络资产数据查询方法，其特征在于：所述关系数据库和所述图数据库内部署有第二触发器，所述第二触发器响应于所述关系数据库和/或所述图数据库中的数据变更，将变更数据对应的索引数据同步至Elasticsearch搜索引擎。

6.一种网络资产数据可视化方法，其特征在于，应用如权利要求4-5中任一项所述的网络资产数据查询方法，所述第一节点查询到目标网络资产数据后，对所述目标网络资产数据解析并生成资产拓扑图。

7.根据权利要求6所述的网络资产数据可视化方法，其特征在于：所述资产拓扑图包括资产节点和资产边，所述资产边表示所述目标网络资产数据的连接关系，所述资产节点表示所述目标网络资产数据中的目标网络资产，所述资产节点的样式、颜色和大小通过预设规则表示所述目标网络资产的属性信息。

8.一种网络资产数据库，其特征在于，包括：

存储模块，用于存储关系数据库的第一数据和存储图数据库的第二数据，及对所述第一数据和所述第二数据进行同步；

查询模块，用于查询存储于关系数据库的所述第一数据和存储于图数据库的所述第二数据；

可视化模块，用于将查询到的所述第一数据和所述第二数据通过拓扑图展示。

9.一种计算设备，其特征在于：包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1到7任一项所述方法。

10.一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行如权利要求1到7中任一项所述方法的计算机程序。