CN105786845B - 一种提供网络资产数据的方法及装置 - Google Patents
一种提供网络资产数据的方法及装置 Download PDFInfo
- Publication number
- CN105786845B CN105786845B CN201410811242.9A CN201410811242A CN105786845B CN 105786845 B CN105786845 B CN 105786845B CN 201410811242 A CN201410811242 A CN 201410811242A CN 105786845 B CN105786845 B CN 105786845B
- Authority
- CN
- China
- Prior art keywords
- data
- batch
- query
- network
- queried
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了一种提供网络资产数据的方法及装置,其中,提供网络资产数据的方法包括:获取网络资产数据中待查询的数据项;根据预设数据存储MAP中的缓存数据,通过网管查询接口对所述待查询的数据项进行查询,得到查询结果报文,其中所述MAP中的缓存数据包括:全网中指定类型网元的基本信息;根据所述查询结果报文,得到输出结果;将所述输出结果保存至输出文件。本发明保证了网络资产数据库的安全性和保证了对上层软件提供的资产数据的统一性。
Description
技术领域
本发明涉及网络管理系统领域,尤其是涉及一种提供网络资产数据的方法及装置。
背景技术
随着通信技术的不断发展,网络规模的不断增大,运营商对于网络运行维护能力的要求越来越高,对于使用人工手段分析网络的各方面数据、性能的难度也越来越高,针对新一代网络管理要求,各种针对运营商管理网络的性能、安全方面的检测、分析软件相继产生。这类服务软件具有强大的统计分析和大数据处理能力,能够支持丰富的报表和视图功能,直接帮助客户提升管理效率,降低运维成本。
但是,任何分析系统的分析基础,都是建立在各专业网资产的基础上的,对于专业网资产数据的提供需要遵循几个规则:第一,保证专业网自身数据的访问安全性;第二,保证专业网提供的资产数据对上层分析软件的统一性;第三,保证专业网数据提供时,对自身专业网网络管理不造成影响。
现有的专业网资产数据的提供方式主要采用以下的方法:直接开放专业网的网络管理系统数据库,通过建立视图来向上层系统提供需要的数据。但是通过此方式提供数据,因为暴露了数据库接口,首先不能保证专业网数据库的安全性;其次,由于上层软件需要的资产数据的统一性,必定会对原始资产数据进行计算,可能会引入复杂的算法,使用单纯的sql语句,可能并不能满足算法的要求。
发明内容
为了保证网络数据库的安全性和保证对上层软件提供的资产数据的统一性,本发明提供了一种提供网络资产数据的方法及装置。
为了实现上述目的,本发明提供了一种提供网络资产数据的方法,该方法包括:
获取网络资产数据中待查询的数据项;根据预设数据存储MAP中的缓存数据,通过网管查询接口对所述待查询的数据项进行查询,得到查询结果报文,其中所述MAP中的缓存数据包括:全网中指定类型网元的基本信息;对所述查询结果报文进行预设算法处理,得到输出结果,其中,所述预设算法为根据所述待查询的数据项的信息匹配得到的;将所述输出结果保存至输出文件。
可选的,所述待查询的数据项包括需要分批查询的数据项和不需要分批查询的数据项,相应地,根据预设数据存储MAP中的缓存数据,通过网管查询接口对所述待查询的数据项进行查询,得到查询结果报文,具体包括:根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述需要分批查询的数据项中每批查询的数据项的网元名称集;通过所述网管查询接口对所述每批查询的数据项的网元名称集中的网元下发报文,得到所述每批查询的数据项的查询结果报文,并将所述每批查询的数据项的查询结果报文缓存到所述MAP中;相应地,所述对所述查询结果报文进行预设算法处理,得到输出结果,具体包括:根据需要分批查询的数据项信息,匹配得到第一预设算法,其中,所述需要分批查询的数据项信息包括:所述需要分批查询的数据项名称和所述需要分批查询的数据项所需要的输出结果;对所述MAP中缓存的每批查询的数据项的查询结果报文进行第一预设算法处理,得到所述每批查询的数据项的输出结果;相应地,将所述输出结果保存至输出文件,具体包括:将所述每批查询的数据项的输出结果保存至输出文件;根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述不需要分批查询的数据项的网元名称集;通过所述网管查询接口对所述不需要分批查询的数据项的网元名称集中的网元下发报文,得到所述不需要分批查询的数据项的查询结果报文,并将所述不需要分批查询的数据项的查询结果报文缓存到所述MAP中;根据不需要分批查询的数据项信息,匹配得到第二预设算法,其中,所述不需要分批查询的数据项信息包括:所述不需要分批查询的数据项名称和所述不需要分批查询的数据项所需要的输出结果;对所述MAP中缓存的所述不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到所述不需要分批查询的数据项的输出结果;将所述不需要分批查询的数据项的输出结果保存至输出文件。
可选的,所述得到所述每批查询的数据项的输出结果之后,所述方法还包括:清除所述MAP中缓存的每批查询的数据项的查询结果报文。
可选的,所述得到所述不需要分批查询的数据项的输出结果之后,所述方法还包括:清除所述MAP中缓存的所述不需要分批查询的数据项的查询结果报文。
可选的,在获取网络资产数据中待查询的数据项之前,所述方法还包括:建立预设数据存储MAP;对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息;将所述全网中指定类型网元的基本信息缓存到所述MAP中,其中所述基本信息的存储主键名称为数据项名称,值存储为结果链表,所述结果链表为报文结果链表或字符串链表。
可选的,所述将所述全网中指定类型网元的基本信息缓存到所述MAP中,具体包括:判断所述基本信息的结果链表所占用的存储量是否小于所述MAP的存储量;若所述基本信息的结果链表所占用的存储量小于所述MAP的存储量,则直接将所述基本信息的报文结果链表缓存到所述MAP中;若所述基本信息的结果链表所占用的存储量不小于所述MAP的存储量,则对所述指定类型的网元数据进行分批全网数据查询,得到分批全网中指定类型网元的基本信息的报文结果链表,将所述分批全网中指定类型网元的基本信息的报文结果链表生成字符串链表,将所述字符串链表缓存到所述MAP中。
可选的,根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述需要分批查询的数据项的网元名称集,具体包括:获取所述基本信息的结果链表,解析所述结果链表中所有的网元名称;确定所述需要分批查询的数据项中每批查询的数据项的网元数目;根据所述网元数目,得出所述每批查询的数据项的网元名称集。
可选的,所述将所述输出结果保存至输出文件之后,所述方法还包括:清除所述MAP中所缓存的所有数据;将所述输出文件进行压缩,生成压缩文件。
依据本发明的另一个方面,本发明还提供了一种用于提供网络资产数据的装置,包括:获取单元,用于获取网络资产数据中待查询的数据项;数据查询单元,用于根据预设数据存储MAP中的缓存数据,通过网管查询接口对所述待查询的数据项进行查询,得到查询结果报文,其中所述MAP中的缓存数据包括:全网中指定类型网元的基本信息;数据处理算法单元,用于对所述查询结果报文进行预设算法处理,得到输出结果,其中,所述预设算法为根据所述待查询的数据项的信息匹配得到的;数据输出单元,用于将所述输出结果保存至输出文件。
可选的,所述数据查询单元包括分批数据查询单元和不分批数据查询单元,相应地,所述分批查询单元用于根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述需要分批查询的数据项中每批查询的数据项的网元名称集;通过所述网管查询接口对所述每批查询的数据项的网元名称集中的网元下发报文,得到所述每批查询的数据项的查询结果报文,并将所述每批查询的数据项的查询结果报文缓存到所述MAP中;相应地,数据处理算法单元进一步用于根据需要分批查询的数据项信息,匹配得到第一预设算法,其中,所述需要分批查询的数据项信息包括:所述需要分批查询的数据项名称和所述需要分批查询的数据项所需要的输出结果;对所述MAP中缓存的每批查询的数据项的查询结果报文进行第一预设算法处理,得到所述每批查询的数据项的输出结果;相应地,所述数据输出单元进一步用于将所述每批查询的数据项的输出结果保存至输出文件;相应地,所述不分批数据查询单元用于根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述不需要分批查询的数据项的网元名称集;通过所述网管查询接口对所述不需要分批查询的数据项的网元名称集中的网元下发报文,得到所述不需要分批查询的数据项的查询结果报文,并将所述不需要分批查询的数据项的查询结果报文缓存到所述MAP中;相应地,数据处理算法单元进一步用于根据不需要分批查询的数据项信息,匹配得到第二预设算法,其中,所述不需要分批查询的数据项信息包括:所述不需要分批查询的数据项名称和所述不需要分批查询的数据项所需要的输出结果;对所述MAP中缓存的所述不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到所述不需要分批查询的数据项的输出结果;相应地,数据输出单元进一步用于将所述不需要分批查询的数据项的输出结果保存至输出文件。
可选的,所述装置还包括数据缓存单元,所述数据缓存单元用于建立预设数据存储MAP;所述数据查询单元还包括准备数据查询单元,所述准备数据查询单元用于对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息;将所述全网中指定类型网元的基本信息缓存到所述MAP中,其中所述基本信息的存储主键名称为数据项名称,值存储为结果链表,所述结果链表为报文结果链表或字符串链表。
可选的,所述准备数据查询单元进一步用于,判断所述基本信息的结果链表所占用的存储量是否小于所述MAP的存储量;若所述基本信息的结果链表所占用的存储量小于所述MAP的存储量,则直接将所述基本信息的报文结果链表缓存到所述MAP中;若所述基本信息的结果链表所占用的存储量不小于所述MAP的存储量,则对所述指定类型的网元数据进行分批全网数据查询,得到分批全网中指定类型网元的基本信息的报文结果链表,将所述分批全网中指定类型网元的基本信息的报文结果链表生成字符串链表,将所述字符串链表缓存到所述MAP中。
可选的,所述分批数据查询单元进一步用于,获取所述基本信息的结果链表,解析所述结果链表中所有的网元名称;确定所述需要分批查询的数据项中每批查询的数据项的网元数目;根据所述网元数目,得出所述每批查询的数据项的网元名称集。
可选的,所述装置还包括数据压缩单元,其中,所述数据缓存单元进一步用于清除所述MAP中所缓存的所用数据;所述数据压缩单元用于将所述输出文件进行压缩,生成压缩文件。
本发明的有益效果是:
本发明通过网管查询接口对全网资产数据中待查询的数据项进行查询,保证了网络数据库的安全性;另外,通过对需要分批查询的数据项的查询结果报文进行第一预设算法处理,得到每批查询的数据项的输出结果;通过对不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到不需要分批查询的数据项的输出结果,在此过程中,通过引入第一预设算法和第二预设算法,保证了上层软件需要的资产数据的统一性。
附图说明
图1表示本发明的实施例中提供网络资产数据的方法的主要步骤流程图;
图2表示本发明的实施例中提供网络资产数据的方法的步骤流程图;
图3表示本发明的实施例中用于提供网络资产数据的装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,为本发明的实施例中提供网络资产数据的方法的主要步骤流程图,主要包括如下步骤:
步骤S101,获取网络资产数据中待查询的数据项。
在本实施例中,获取的网络资产数据中待查询的数据项包括需要分批查询的数据项和不需要分批查询的数据项,其中,当某个待查询的数据项所要查询的数据量较大时,为了保证存储量和效率要求,则需要对该待查询的数据项进行分批查询,则该数据项即为需要分批查询的数据项;当某个待查询的数据项的数据量较小时,一次查询所用的存储量和查询效率所受影响较小,则该数据项只需下发一次报文查询即可,则该数据项为不需要分批查询的数据项。
步骤S102,根据预设数据存储MAP中的缓存数据,通过网管查询接口对待查询的数据项进行查询,得到查询结果报文。
在本实施例中,首先需要对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息,并将该全网中指定类型网元的基本信息缓存到预设数据存储MAP中,并根据该全网中指定类型网元的基本信息得到待查询的数据项的网元名称集。然后根据待查询的数据项的网元名称集,通过网管查询接口对待查询的数据项的网元名称集中的网元进行查询,得到查询结果报文。
在此举例进行说明。
假设对指定类型的网元数据进行全网数据查询,得到的网元个数为100个,得到该100个网元的网元名称集。假设待查询的数据项的名称为“系统信息”,则通过网管查询接口对该网元名称集下的100个网元下发查询报文,得到该100个网元的系统信息的查询结果报文。
步骤S103,对查询结果报文进行预设算法处理,得到输出结果。
在本实施例中,对查询结果报文进行预设算法处理,得到输出结果,其中,该预设算法是根据待查询的数据项的信息匹配得到的,优选的,待查询的数据项的信息包括待查询的数据项名称和待查询的数据项所需要得到的输出结果。
在此举例进行说明。
例如,“隧道信息”数据项的处理,每次查询10个指定类型的网元的隧道信息报文,得到隧道查询结果报文;然后,若需要得到隧道信息中的“隧道数目”输出结果,即计算出每次查询的网元中所有的隧道数目,则必须用到累加算法,因此,根据“隧道信息”数据项所需要的输出结果所匹配得到的预设算法为累加算法;然后将隧道查询结果报文进行累加算法处理,得到输出结果。
步骤S104,将输出结果保存至输出文件。
在本实施例中,每得到一个输出结果,则将输出结果保存至输出文件。
如图2所示,为本发明的实施例中提供网络资产数据的方法的步骤流程图,包括如下步骤:
步骤S201,建立预设数据存储MAP。
在本实施例中,首先需要建立预设数据存储MAP,该预设数据存储MAP可用于缓存在得到全网网络资产数据的过程中所需要的所有数据。
步骤S202,对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息。
在本实施例中,对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息,并将全网中指定类型网元的基本信息缓存到预设数据存储MAP中。其中,全网中指定类型网元的基本信息的存储主键名称为数据项名称,值存储为结果链表,在MAP中缓存的值存储结果链表可以为报文结果链表,也可以为字符串链表。优选的,全网中指定类型网元的基本信息包括网元名称、网元类型、软件版本及硬件版本等信息。
步骤S203,判断基本信息的结果链表所占用的存储量是否小于MAP的存储量。
在本实施例中,由于需要将全网中指定类型网元的基本信息的结果链表缓存到MAP中,因此需要判断全网中指定类型网元的基本信息的结果链表所占用的存储量是否小于MAP的存储量。
步骤S204,若基本信息的结果链表所占用的存储量小于MAP的存储量,则直接将基本信息的报文结果链表缓存到MAP中。
在本实施例中,若全网中指定类型网元的基本信息的结果链表所占用的存储量小于MAP的存储量,则说明MAP的存储量足够容纳直接查询的报文结果链表,则直接将全网中指定类型网元的基本信息的报文结果链表缓存到MAP中。
下面举例进行说明。
如全网网元信息查询,通过调用专业网网管网元查询接口获取全网网元的基本信息,将全网网元基本信息缓存到MAP中,主键名称为ME,存储值是网元报文链表ManagedElementList_T。其中,ManagedElementList_T中主要包含了网元名称、网元类型、软件版本和硬件版本等信息。
步骤S205,若基本信息的结果链表所占用的存储量不小于MAP的存储量,则对指定类型的网元数据进行分批全网数据查询,得到分批全网中指定类型网元的基本信息的报文结果链表,将分批全网中指定类型网元的基本信息的报文结果链表生成字符串链表,将字符串链表缓存到MAP中。
在本实施例中,若对指定类型的网元数据进行全网数据查询,一次性查询的结果报文链表所占用的存储量大于MAP的存储量。则对指定类型的网元数据进行分批全网数据查询,得到分批全网中指定类型网元的基本信息的报文结果链表,将分批全网中指定类型网元的基本信息的报文结果链表缓存到MAP中后,将分批全网中指定类型网元的基本信息的报文链表生成字符串链表,并将字符串链表缓存到MAP中,最后清除MAP中的分批全网中指定类型网元的基本信息的报文结果链表。
以下举例进行说明。
全网MEG数据查询,由于数据量过大,则每次按照2000条数据的粒度进行分批查询,即每次查询2000条MEG,得到一次报文结果链表;将该报文结果链表缓存到MAP中后,对该报文结果链表进行简化,即保留有用字段以字符串链表的形式进行缓存;当将字符串链表缓存到MAP中后,将报文结果链表从MAP中清除。
步骤S206,根据MAP中缓存的全网中指定类型网元的基本信息,获取需要分批查询的数据项中的每批查询的数据项的网元名称集。
在本实施例中,由于MAP中缓存的全网中指定类型网元的基本信息包括了网元名称、网元类型、软件版本和硬件版本等信息,因此可以从该基本信息中获取到需要分批查询的数据项中每批查询的数据项的网元名称集。优选的,获取需要分批查询的数据项中每批查询的数据项的网元名称集的过程可以包括:首先获取该基本信息的结果链表,解析该结果链表,得到结果链表中所有的网元名称;然后根据分批规则,确定需要分批查询的数据项中每批查询的数据项的网元数目;最后,根据该网元数目,得出每批查询的数据项的网元名称集。
步骤S207,通过网管查询接口对每批查询的数据项的网元名称集中的网元下发报文,得到每批查询的数据项的查询结果报文,并将每批查询的数据项的查询结果报文缓存到MAP中。
在本实施例中,通过网管查询接口,对需要分批查询的数据项中每批查询的数据项的网元名称集中的网元下发报文,得到每批查询的数据项的查询结果报文,并将每批查询的数据项的查询结果报文缓存到MAP中。
在此举例进行说明。
例如全网中指定类型网元共有1000个,根据MAP存储量和查询效率的要求,要求每批查询的网元数目为10个,即需要分100批次进行查询。
例如“隧道信息”数据项的查询,通过网管查询接口,每批对网元名称集下的10个网元下发报文,得到每批查询的10个网元的隧道查询结果报文,将每批查询得到的10个网元的隧道查询结果报文缓存到MAP中。
步骤S208,根据需要分批查询的数据项信息,匹配得到第一预设算法。
在本实施例中,根据需要分批查询的数据项信息,匹配得到第一预设算法,其中,需要分批查询的数据项信息包括:需要分批查询的数据项的名称和需要分批查询的数据项所需要的输出结果。
在此举例进行说明。
继续以步骤S207中“隧道信息”数据项为例,若需要得到隧道信息中的“隧道数目”输出结果,即计算出每次查询的网元中所有的隧道数目,则必须用到累加算法,因此,根据“隧道信息”数据项所需要的输出结果所匹配得到的预设算法为累加算法。
步骤S209,对MAP中缓存的每批查询的数据项的查询结果报文进行第一预设算法处理,得到每批查询的数据项的输出结果。
在本实施例中,对MAP中缓存的每批查询的数据项的查询结果报文进行第一预设算法处理,得到每批查询的数据项的输出结果。
在此举例进行说明。
继续以步骤S207和步骤S208中的“隧道信息”数据项为例,当根据“隧道信息”数据项所需要的输出结果匹配得到累加算法后,将得到的每批查询的10个网元的隧道查询结果报文进行累加算法计算,得到输出结果。
步骤S210,将每批查询的数据项的输出结果保存至输出文件。
在本实施例中,当得到需要分批查询的数据项中每批查询的数据项的输出结果后,则将每批查询的数据项的输出结果保存至输出文件。优选的,在将每批查询的数据项的输出结果保存至输出文件的同时,将每批查询的数据项的输出结果缓存到MAP中,以便其他与该数据项有所关联的数据项在得到输出结果的过程中使用。例如,若需要计算“端口信息”输出文件中的“端口承载隧道数目”,则需要“隧道信息”数据项的输出结果,此时可以将“隧道信息”数据项的输出结果缓存到MAP中,以便计算端口承载隧道数目时使用。
步骤S211,清除MAP中缓存的每批查询的数据项的查询结果报文。
在本实施例中,优选的,在得到输出结果后,将每批查询的数据项的查询结果报文从MAP中清除,以节省MAP的剩余存储量。
步骤S212,根据MAP中缓存的全网中指定类型网元的基本信息,获取不需要分批查询的数据项的网元名称集。
在本实施例中,由于MAP中缓存的全网中指定类型网元的基本信息包括了网元名称、网元类型、软件版本和硬件版本等信息,因此可以从该基本信息中获取不需要分批查询的数据项的网元名称集。
步骤S213,通过网管查询接口对不需要分批查询的数据项的网元名称集中的网元下发报文,得到不需要分批查询的数据项的查询结果报文,并将不需要分批查询的数据项的查询结果报文缓存到MAP中。
在本实施例中,通过网管查询接口对不需要分批查询的数据项的网元名称集中的网元下发报文,得到不需要分批查询的数据项的查询结果报文,并将不需要分批查询的数据项的查询结果报文缓存到MAP中。
在此举例进行说明。
例如“系统信息”数据项,由于该数据项中的数据量较小,对该数据项一次查询的效率和查询后的查询结果报文所占用的MAP存储量都不会有影响,因此下发一次查询报文即可。
假设网元名称集中的网元数目共有100个,则通过网管查询接口对该网元名称集下的100个网元进行查询,得到系统信息的查询结果报文,并将该系统信息的查询结果报文缓存到MAP中。
步骤S214,根据不需要分批查询的数据项信息,匹配得到第二预设算法。
在本实施例中,根据不需要分批查询的数据项信息可以匹配得到第二预设算法,其中,不需要分批查询的数据项信息包括:不需要分批查询的数据项的名称和不需要分批查询的数据项所需要的输出结果。
步骤S215,对MAP中缓存的不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到不需要分批查询的数据项的输出结果。
在本实施例中,对MAP中缓存的不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到不需要分批查询的数据项的输出结果。
步骤S216,将不需要分批查询的数据项的输出结果保存至输出文件。
在本实施例中,当得到不需要分批查询的数据项的输出结果后,则将不需要分批查询的数据项的输出结果保存至输出文件。优选的,在将不需要分批查询的数据项的输出结果保存至输出文件的同时,将不需要分批查询的数据项的输出结果缓存到MAP中,以便其他与该数据项有所关联的数据项在得到输出结果的过程中使用。
步骤S217,清除MAP中缓存的不需要分批查询的数据项的查询结果报文。
在本实施例中,优选的,在得到不需要分批查询的数据项的输出结果后,将不需要分批查询的数据项的查询结果报文从MAP中清除,以节省MAP的剩余存储量。
步骤S218,清除MAP中所缓存的所有数据。
在本实施例中,当将需要分批查询的数据项的输出结果和不需要分批查询的数据项的输出结果都保存至输出文件后,即全网所有资产数据都输出完毕后,清除MAP中所缓存的所有数据。
步骤S219,将输出文件进行压缩,生成压缩文件。
在本实施例中,在生成压缩文件的过程中,需要读取压缩策略,确定输出文件是否压缩,如果输出文件已经压缩,则确定压缩的格式。
如图3所示,为本发明的实施例中用于提供网络资产数据的装置的结构框图,装置300包括:
获取单元310,用于获取网络资产数据中待查询的数据项;数据查询单元320,用于根据预设数据存储MAP中的缓存数据,通过网管查询接口对待查询的数据项进行查询,得到查询结果报文,其中MAP中的缓存数据包括:全网中指定类型网元的基本信息;数据处理算法单元340,用于对查询结果报文进行预设算法处理,得到输出结果,其中,预设算法为根据所述待查询的数据项的信息匹配得到的;数据输出单元350,用于将输出结果保存至输出文件。
可选的,数据查询单元320包括分批数据查询单元322和不分批数据查询单元323,相应地,分批查询单元322用于根据MAP中缓存的全网中指定类型网元的基本信息,获取需要分批查询的数据项中每批查询的数据项的网元名称集;通过网管查询接口对每批查询的数据项的网元名称集中的网元下发报文,得到每批查询的数据项的查询结果报文,并将每批查询的数据项的查询结果报文缓存到MAP中;相应地,数据处理算法单元340进一步用于根据需要分批查询的数据项信息,匹配得到第一预设算法,其中,需要分批查询的数据项信息包括:需要分批查询的数据项名称和需要分批查询的数据项所需要的输出结果;对MAP中缓存的每批查询的数据项的查询结果报文进行第一预设算法处理,得到每批查询的数据项的输出结果;相应地,数据输出单元350进一步用于将每批查询的数据项的输出结果保存至输出文件;相应地,不分批数据查询单元323用于根据MAP中缓存的全网中指定类型网元的基本信息,获取不需要分批查询的数据项的网元名称集;通过网管查询接口对不需要分批查询的数据项的网元名称集中的网元下发报文,得到不需要分批查询的数据项的查询结果报文,并将不需要分批查询的数据项的查询结果报文缓存到MAP中;相应地,数据处理算法单元340进一步用于根据不需要分批查询的数据项信息,匹配得到第二预设算法,其中,不需要分批查询的数据项信息包括:不需要分批查询的数据项名称和不需要分批查询的数据项所需要的输出结果;对MAP中缓存的不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到不需要分批查询的数据项的输出结果;相应地,数据输出单元350进一步用于将不需要分批查询的数据项的输出结果保存至输出文件。
可选的,装置还包括数据缓存单元330,数据缓存单元330用于建立预设数据存储MAP;数据查询单元320还包括准备数据查询单元321,准备数据查询单元321用于对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息;将全网中指定类型网元的基本信息缓存到MAP中,其中基本信息的存储主键名称为数据项名称,值存储为结果链表,结果链表为报文结果链表或字符串链表。
可选的,准备数据查询单元321进一步用于,判断基本信息的结果链表所占用的存储量是否小于MAP的存储量;若基本信息的结果链表所占用的存储量小于MAP的存储量,则直接将基本信息的报文结果链表缓存到MAP中;若基本信息的结果链表所占用的存储量不小于MAP的存储量,则对指定类型的网元数据进行分批全网数据查询,得到分批全网中指定类型网元的基本信息的报文结果链表,将分批全网中指定类型网元的基本信息的报文结果链表生成字符串链表,将字符串链表缓存到MAP中。
可选的,分批数据查询单元322进一步用于,获取基本信息的结果链表,解析结果链表中所有的网元名称;确定需要分批查询的数据项中每批查询的数据项的网元数目;根据网元数目,得出每批查询的数据项的网元名称集。
可选的,装置300还包括数据压缩单元360,其中,数据缓存单元330进一步用于清除MAP中所缓存的所用数据;数据压缩单元360用于将输出文件进行压缩,生成压缩文件。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。
Claims (14)
1.一种提供网络资产数据的方法,其特征在于,包括:
获取网络资产数据中待查询的数据项;
根据预设数据存储MAP中的缓存数据,得到待查询的数据项的网元名称集,通过网管查询接口对所述待查询的数据项的网元名称集中的网元下发查询报文,得到查询结果报文,其中所述MAP中的缓存数据包括:全网中指定类型网元的基本信息,所述全网中指定类型网元的基本信息是预先在全网数据中查询得到的;
对所述查询结果报文进行预设算法处理,得到输出结果,其中,所述预设算法为根据所述待查询的数据项的信息匹配得到的;
将所述输出结果保存至输出文件。
2.如权利要求1所述的方法,其特征在于,所述待查询的数据项包括需要分批查询的数据项和不需要分批查询的数据项,相应地,
根据预设数据存储MAP中的缓存数据,通过网管查询接口对所述待查询的数据项进行查询,得到查询结果报文,具体包括:
根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述需要分批查询的数据项中每批查询的数据项的网元名称集;
通过所述网管查询接口对所述每批查询的数据项的网元名称集中的网元下发查询报文,得到所述每批查询的数据项的查询结果报文,并将所述每批查询的数据项的查询结果报文缓存到所述MAP中;
相应地,所述对所述查询结果报文进行预设算法处理,得到输出结果,具体包括:
根据需要分批查询的数据项信息,匹配得到第一预设算法,其中,所述需要分批查询的数据项信息包括:所述需要分批查询的数据项名称和所述需要分批查询的数据项所需要的输出结果;
对所述MAP中缓存的每批查询的数据项的查询结果报文进行第一预设算法处理,得到所述每批查询的数据项的输出结果;
相应地,将所述输出结果保存至输出文件,具体包括:
将所述每批查询的数据项的输出结果保存至输出文件;
根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述不需要分批查询的数据项的网元名称集;
通过所述网管查询接口对所述不需要分批查询的数据项的网元名称集中的网元下发查询报文,得到所述不需要分批查询的数据项的查询结果报文,并将所述不需要分批查询的数据项的查询结果报文缓存到所述MAP中;
根据不需要分批查询的数据项信息,匹配得到第二预设算法,其中,所述不需要分批查询的数据项信息包括:所述不需要分批查询的数据项名称和所述不需要分批查询的数据项所需要的输出结果;
对所述MAP中缓存的所述不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到所述不需要分批查询的数据项的输出结果;
将所述不需要分批查询的数据项的输出结果保存至输出文件。
3.如权利要求2所述的方法,其特征在于,所述得到所述每批查询的数据项的输出结果之后,所述方法还包括:
清除所述MAP中缓存的每批查询的数据项的查询结果报文。
4.如权利要求2所述的方法,其特征在于,所述得到所述不需要分批查询的数据项的输出结果之后,所述方法还包括:
清除所述MAP中缓存的所述不需要分批查询的数据项的查询结果报文。
5.如权利要求2所述的方法,其特征在于,在获取网络资产数据中待查询的数据项之前,所述方法还包括:
建立预设数据存储MAP;
对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息;
将所述全网中指定类型网元的基本信息缓存到所述MAP中,其中所述基本信息的存储主键名称为数据项名称,值存储为结果链表,所述结果链表为报文结果链表或字符串链表。
6.如权利要求5所述的方法,其特征在于,所述将所述全网中指定类型网元的基本信息缓存到所述MAP中,具体包括:
判断所述基本信息的结果链表所占用的存储量是否小于所述MAP的存储量;若所述基本信息的结果链表所占用的存储量小于所述MAP的存储量,则直接将所述基本信息的报文结果链表缓存到所述MAP中;
若所述基本信息的结果链表所占用的存储量不小于所述MAP的存储量,则对所述指定类型的网元数据进行分批全网数据查询,得到分批全网中指定类型网元的基本信息的报文结果链表,将所述分批全网中指定类型网元的基本信息的报文结果链表生成字符串链表,将所述字符串链表缓存到所述MAP中。
7.如权利要求6所述的方法,其特征在于,根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取所述需要分批查询的数据项的网元名称集,具体包括:
获取所述基本信息的结果链表,解析所述结果链表中所有的网元名称;
确定所述需要分批查询的数据项中每批查询的数据项的网元数目;
根据所述网元数目,得出所述每批查询的数据项的网元名称集。
8.如权利要求7所述的方法,其特征在于,所述将所述输出结果保存至输出文件之后,所述方法还包括:
清除所述MAP中所缓存的所有数据;
将所述输出文件进行压缩,生成压缩文件。
9.一种用于提供网络资产数据的装置,其特征在于,包括:
获取单元,用于获取网络资产数据中待查询的数据项;
数据查询单元,用于根据预设数据存储MAP中的缓存数据,得到待查询的数据项的网元名称集,通过网管查询接口对所述待查询的数据项的网元名称集中的网元下发查询报文,得到查询结果报文,其中所述MAP中的缓存数据包括:全网中指定类型网元的基本信息,所述全网中指定类型网元的基本信息是预先在全网数据中查询得到的;
数据处理算法单元,用于对所述查询结果报文进行预设算法处理,得到输出结果,其中,所述预设算法为根据所述待查询的数据项的信息匹配得到的;
数据输出单元,用于将所述输出结果保存至输出文件。
10.如权利要求9所述的装置,其特征在于,所述数据查询单元包括分批数据查询单元和不分批数据查询单元,
相应地,所述分批数据查询单元用于根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取需要分批查询的数据项中每批查询的数据项的网元名称集;
通过所述网管查询接口对所述每批查询的数据项的网元名称集中的网元下发查询报文,得到所述每批查询的数据项的查询结果报文,并将所述每批查询的数据项的查询结果报文缓存到所述MAP中;
相应地,数据处理算法单元进一步用于根据需要分批查询的数据项信息,匹配得到第一预设算法,其中,所述需要分批查询的数据项信息包括:所述需要分批查询的数据项名称和所述需要分批查询的数据项所需要的输出结果;对所述MAP中缓存的每批查询的数据项的查询结果报文进行第一预设算法处理,得到所述每批查询的数据项的输出结果;
相应地,所述数据输出单元进一步用于将所述每批查询的数据项的输出结果保存至输出文件;
相应地,所述不分批数据查询单元用于根据所述MAP中缓存的所述全网中指定类型网元的基本信息,获取不需要分批查询的数据项的网元名称集;通过所述网管查询接口对所述不需要分批查询的数据项的网元名称集中的网元下发查询报文,得到所述不需要分批查询的数据项的查询结果报文,并将所述不需要分批查询的数据项的查询结果报文缓存到所述MAP中;
相应地,数据处理算法单元进一步用于根据不需要分批查询的数据项信息,匹配得到第二预设算法,其中,所述不需要分批查询的数据项信息包括:所述不需要分批查询的数据项名称和所述不需要分批查询的数据项所需要的输出结果;对所述MAP中缓存的所述不需要分批查询的数据项的查询结果报文进行第二预设算法处理,得到所述不需要分批查询的数据项的输出结果;
相应地,数据输出单元进一步用于将所述不需要分批查询的数据项的输出结果保存至输出文件。
11.如权利要求10所述的装置,其特征在于,所述装置还包括数据缓存单元,所述数据缓存单元用于建立预设数据存储MAP;
所述数据查询单元还包括准备数据查询单元,所述准备数据查询单元用于对指定类型的网元数据进行全网数据查询,得到全网中指定类型网元的基本信息;将所述全网中指定类型网元的基本信息缓存到所述MAP中,其中所述基本信息的存储主键名称为数据项名称,值存储为结果链表,所述结果链表为报文结果链表或字符串链表。
12.如权利要求11所述的装置,其特征在于,所述准备数据查询单元进一步用于,判断所述基本信息的结果链表所占用的存储量是否小于所述MAP的存储量;若所述基本信息的结果链表所占用的存储量小于所述MAP的存储量,则直接将所述基本信息的报文结果链表缓存到所述MAP中;若所述基本信息的结果链表所占用的存储量不小于所述MAP的存储量,则对所述指定类型的网元数据进行分批全网数据查询,得到分批全网中指定类型网元的基本信息的报文结果链表,将所述分批全网中指定类型网元的基本信息的报文结果链表生成字符串链表,将所述字符串链表缓存到所述MAP中。
13.如权利要求12所述的装置,其特征在于,所述分批数据查询单元进一步用于,获取所述基本信息的结果链表,解析所述结果链表中所有的网元名称;确定所述需要分批查询的数据项中每批查询的数据项的网元数目;根据所述网元数目,得出所述每批查询的数据项的网元名称集。
14.如权利要求13所述的装置,其特征在于,所述装置还包括数据压缩单元,其中,所述数据缓存单元进一步用于清除所述MAP中所缓存的所用数据;所述数据压缩单元用于将所述输出文件进行压缩,生成压缩文件。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410811242.9A CN105786845B (zh) | 2014-12-23 | 2014-12-23 | 一种提供网络资产数据的方法及装置 |
PCT/CN2015/081470 WO2016101557A1 (zh) | 2014-12-23 | 2015-06-15 | 一种提供网络资产数据的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410811242.9A CN105786845B (zh) | 2014-12-23 | 2014-12-23 | 一种提供网络资产数据的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105786845A CN105786845A (zh) | 2016-07-20 |
CN105786845B true CN105786845B (zh) | 2020-03-31 |
Family
ID=56149120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410811242.9A Active CN105786845B (zh) | 2014-12-23 | 2014-12-23 | 一种提供网络资产数据的方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105786845B (zh) |
WO (1) | WO2016101557A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101110083A (zh) * | 2006-07-19 | 2008-01-23 | 株式会社理光 | 文档检索装置、文档检索方法、文档检索程序及记录介质 |
CN102279849A (zh) * | 2010-06-09 | 2011-12-14 | 中兴通讯股份有限公司 | 一种大数据查询的方法及系统 |
CN102521405A (zh) * | 2011-12-26 | 2012-06-27 | 中国科学院计算技术研究所 | 支持高速加载的海量结构化数据存储、查询方法和系统 |
CN102982495A (zh) * | 2012-12-04 | 2013-03-20 | 深圳中兴网信科技有限公司 | 自适应的数据处理装置和数据处理方法 |
CN104135737A (zh) * | 2014-05-20 | 2014-11-05 | 浙江明讯网络技术有限公司 | 一种lte网络基站网元配置数据获取方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6754832B1 (en) * | 1999-08-12 | 2004-06-22 | International Business Machines Corporation | Security rule database searching in a network security environment |
US8380692B2 (en) * | 2008-01-25 | 2013-02-19 | Nuance Communications, Inc. | Fast index with supplemental store |
JP4621747B2 (ja) * | 2008-02-15 | 2011-01-26 | 株式会社東芝 | 通信制御装置および情報処理装置 |
-
2014
- 2014-12-23 CN CN201410811242.9A patent/CN105786845B/zh active Active
-
2015
- 2015-06-15 WO PCT/CN2015/081470 patent/WO2016101557A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101110083A (zh) * | 2006-07-19 | 2008-01-23 | 株式会社理光 | 文档检索装置、文档检索方法、文档检索程序及记录介质 |
CN102279849A (zh) * | 2010-06-09 | 2011-12-14 | 中兴通讯股份有限公司 | 一种大数据查询的方法及系统 |
CN102521405A (zh) * | 2011-12-26 | 2012-06-27 | 中国科学院计算技术研究所 | 支持高速加载的海量结构化数据存储、查询方法和系统 |
CN102982495A (zh) * | 2012-12-04 | 2013-03-20 | 深圳中兴网信科技有限公司 | 自适应的数据处理装置和数据处理方法 |
CN104135737A (zh) * | 2014-05-20 | 2014-11-05 | 浙江明讯网络技术有限公司 | 一种lte网络基站网元配置数据获取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105786845A (zh) | 2016-07-20 |
WO2016101557A1 (zh) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101408876B (zh) | 一种电子文档全文检索的方法及系统 | |
CN101853287B (zh) | 数据压缩快速检索文件系统及其方法 | |
CN105049287A (zh) | 日志处理方法及装置 | |
CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
CN111382146A (zh) | 数据存储控制方法、装置、设备以及存储介质 | |
CN107844488B (zh) | 数据查询方法和装置 | |
CN110795315A (zh) | 监控业务的方法和装置 | |
WO2015024476A1 (en) | A method, server, and computer program product for managing ip address attributions | |
CN110851477B (zh) | 流数据处理方法、装置、计算机设备和存储介质 | |
CN107871055B (zh) | 一种数据分析方法和装置 | |
CN114398520A (zh) | 数据检索方法、系统、装置、电子设备及存储介质 | |
CN110737820A (zh) | 用于生成事件信息的方法和装置 | |
CN113377789A (zh) | 数据库变更数据的处理方法、装置、计算机设备和介质 | |
CN105786845B (zh) | 一种提供网络资产数据的方法及装置 | |
CN115277678B (zh) | 文件下载方法、装置、计算机设备及存储介质 | |
CN116204428A (zh) | 一种测试用例生成方法和装置 | |
CN113297583B (zh) | 漏洞风险分析方法、装置、设备及存储介质 | |
CN107092529B (zh) | Olap服务方法、装置及系统 | |
CN118210811A (zh) | 一种业务处理方法、装置、电子设备及计算机可读介质 | |
US20210173729A1 (en) | Systems and methods of application program interface (api) parameter monitoring | |
CN112988857A (zh) | 一种业务数据的处理方法和装置 | |
CN113138943A (zh) | 一种处理请求的方法和装置 | |
CN106408199B (zh) | 信息处理方法和装置 | |
CN113778909B (zh) | 一种缓存数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |