CN116761177A - 基于5g网关的数据采集方法及其相关装置 - Google Patents
基于5g网关的数据采集方法及其相关装置 Download PDFInfo
- Publication number
- CN116761177A CN116761177A CN202311047845.1A CN202311047845A CN116761177A CN 116761177 A CN116761177 A CN 116761177A CN 202311047845 A CN202311047845 A CN 202311047845A CN 116761177 A CN116761177 A CN 116761177A
- Authority
- CN
- China
- Prior art keywords
- transmission
- data
- target
- gateway
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims abstract description 245
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 238000004891 communication Methods 0.000 claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 238000013210 evaluation model Methods 0.000 claims abstract description 15
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 5
- 238000007621 cluster analysis Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/12—Detection or prevention of fraud
- H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及通信技术领域，公开了一种基于5G网关的数据采集方法及其相关装置，用于提高数据采集的稳定性以及数据分析的准确性。方法包括：对多个目标数据包进行传输状态监测，得到传输状态信息集合，并对传输状态信息集合进行风险等级分析，得到传输风险等级；根据每个目标数据包对应的传输风险等级和评估模型，分别计算多个目标数据包的稳定性评价指标；查询第二数据系统中的多个预设存储区域，并构建多个预设存储区域与稳定性评价指标之间的映射关系；根据映射关系匹配至少一个目标存储区域，并查询至少一个目标存储区域与5G网关之间的至少一个传输通道；基于至少一个传输通道，将每个目标数据包传输至至少一个目标存储区域进行数据存储。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种基于5G网关的数据采集方法及其相关装置。
背景技术
5G网关是多个网络间提供数据转换服务的计算机系统或设备，在使用不同的通信协议、数据格式或语言时，甚至体系结构完全不同的两种系统之间，通信网关就是一个翻译器，是不同网之间的连接器，是数据要从一个网到另外一个网时要经过“协商”的设备。
随着社会进入数字时代，数据传输量爆炸式增长，传统的通信网关越来越无法满足数据高速传输要求，即现有方案的数据采集和传输的稳定性较差。
发明内容
本发明提供了一种基于5G网关的数据采集方法及其相关装置，用于提高数据采集的稳定性以及数据分析的准确性。
本发明第一方面提供了一种基于5G网关的数据采集方法，所述基于5G网关的数据采集方法包括：
获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据对所述第一数据系统和预置的5G网关建立通信连接，以及对所述5G网关进行数据采集，得到多个目标数据包；
对所述多个目标数据包进行传输状态监测，得到传输状态信息集合，并对所述传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级；
根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算所述多个目标数据包的稳定性评价指标；
查询预置第二数据系统中的多个预设存储区域，并构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系；
根据所述映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道；
基于所述至少一个传输通道，将每个目标数据包传输至对应的所述至少一个目标存储区域进行数据存储。
结合第一方面，在本发明第一方面的第一实施方式中，所述获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据对所述第一数据系统和预置的5G网关建立通信连接，以及对所述5G网关进行数据采集，得到多个目标数据包，包括：
获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据构建对应的数据传输策略；
对所述第一数据系统和预置的5G网关建立通信连接，并获取通信连接状态；
根据所述通信连接状态和所述数据传输策略，对所述5G网关进行数据采集，得到多个初始数据包；
对所述多个初始数据包进行数据格式转换，得到多个目标数据包。
结合第一方面，在本发明第一方面的第二实施方式中，所述对所述多个目标数据包进行传输状态监测，得到传输状态信息集合，并对所述传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级，包括：
对所述多个目标数据包进行传输状态监测，得到每个目标数据包对应的传输状态信息；
根据每个目标数据包对应的传输状态信息生成传输状态信息集合；
对所述传输状态信息集合进行状态特征提取，得到多个状态特征，其中，所述多个状态特征包括：传输时间、传输量以及传输流程；
对所述多个状态特征进行特征聚类分析，得到目标聚类结果；
根据所述目标聚类结果，对所述多个目标数据包进行传输风险等级划分，得到每个目标数据包对应的传输风险等级。
结合第一方面，在本发明第一方面的第三实施方式中，所述根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算所述多个目标数据包的稳定性评价指标，包括：
根据每个目标数据包对应的传输风险等级，获取稳定性评价系数；
将所述稳定性评价系数和所述多个目标数据包输入预置的评估模型进行传输稳定性评估，得到目标传输耗时和目标传输成功率；
根据所述目标传输耗时和所述目标传输成功率生成所述多个目标数据包的稳定性评价指标。
结合第一方面，在本发明第一方面的第四实施方式中，所述查询预置第二数据系统中的多个预设存储区域，并构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系，包括：
查询预置第二数据系统中的多个预设存储区域；
获取所述多个预设存储区域的存储层级以及存储量；
根据所述存储层级和所述存储量，构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系。
结合第一方面，在本发明第一方面的第五实施方式中，所述根据所述映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道，包括：
根据所述映射关系，对每个目标数据包进行数据量大小排序，得到数据量排序结果；
根据所述数据量排序结果，匹配每个目标数据包对应的至少一个目标存储区域；
查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道。
本发明第二方面提供了一种基于5G网关的数据采集装置，所述基于5G网关的数据采集装置包括：
获取模块，用于获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据对所述第一数据系统和预置的5G网关建立通信连接，以及对所述5G网关进行数据采集，得到多个目标数据包；
分析模块，用于对所述多个目标数据包进行传输状态监测，得到传输状态信息集合，并对所述传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级；
计算模块，用于根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算所述多个目标数据包的稳定性评价指标；
构建模块，用于查询预置第二数据系统中的多个预设存储区域，并构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系；
查询模块，用于根据所述映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道；
存储模块，用于基于所述至少一个传输通道，将每个目标数据包传输至对应的所述至少一个目标存储区域进行数据存储。
本发明第三方面提供了一种基于5G网关的数据采集设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于5G网关的数据采集设备执行上述的基于5G网关的数据采集方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于5G网关的数据采集方法。
本发明提供的技术方案中，对多个目标数据包进行传输状态监测，得到传输状态信息集合，并对传输状态信息集合进行风险等级分析，得到传输风险等级；根据每个目标数据包对应的传输风险等级和评估模型，分别计算多个目标数据包的稳定性评价指标；查询第二数据系统中的多个预设存储区域，并构建多个预设存储区域与稳定性评价指标之间的映射关系；根据映射关系匹配至少一个目标存储区域，并查询至少一个目标存储区域与5G网关之间的至少一个传输通道；基于至少一个传输通道，将每个目标数据包传输至至少一个目标存储区域进行数据存储，本发明通过对5G网关的传输状态进行分析，然后对目标数据包进行传输稳定性分析，进而使得目标数据包的传输和存储更加稳定，本发明提高了数据采集的稳定性以及数据分析的准确性。
附图说明
图1为本发明实施例中基于5G网关的数据采集方法的一个实施例示意图；
图2为本发明实施例中风险等级分析的流程图；
图3为本发明实施例中计算稳定性评价指标的流程图；
图4为本发明实施例中构建映射关系的流程图；
图5为本发明实施例中基于5G网关的数据采集装置的一个实施例示意图；
图6为本发明实施例中基于5G网关的数据采集设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于5G网关的数据采集方法及其相关装置，用于提高数据采集的稳定性以及数据分析的准确性。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于5G网关的数据采集方法的一个实施例包括：
S101、获取预置的第一数据系统对应的传输负载数据，并根据传输负载数据对第一数据系统和预置的5G网关建立通信连接，以及对5G网关进行数据采集，得到多个目标数据包；
可以理解的是，本发明的执行主体可以为基于5G网关的数据采集装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，服务器确定第一数据系统的数据传输方式和协议，例如FTP、HTTP、MQTT等，根据数据传输方式和协议，使用相应的工具或API连接第一数据系统，配置连接参数，包括数据源地址、端口号、用户名、密码等，以确保连接成功，遍历第一数据系统的数据仓库，查找需要传输的数据。确认需要传输的数据的格式和大小，并按照传输负载数据的规范进行编码和打包。启动数据传输，将编码和打包后的传输负载数据通过网络传输到目标系统。确认传输完成，并进行必要的数据验证和校验，以确保传输成功和数据完整性，进一步的，服务器根据传输负载数据对第一数据系统和预置的5G网关建立通信连接，以及对5G网关进行数据采集，得到多个目标数据包。
S102、对多个目标数据包进行传输状态监测，得到传输状态信息集合，并对传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级；
具体的，服务器确定需要监测的目标数据包，包括数据源、目标系统、数据量等信息，根据目标数据包的传输方式和协议，使用相应的监测工具或API进行监测，配置监测参数，包括监测周期、监测阈值、监测报警等，以确保监测的准确性和及时性，启动监测程序，对目标数据包进行传输状态监测。对监测结果进行分析和处理，包括异常数据包的识别、传输延迟的计算、传输速率的评估等，根据分析和处理的结果，生成传输状态信息集合，包括数据包传输的状态、传输延迟、传输速率等信息，并记录到日志中。根据传输状态信息集合，进行数据传输的优化和调整，以提高传输效率和可靠性，并对传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级。
S103、根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算多个目标数据包的稳定性评价指标；
需要说明的是，确定每个目标数据包对应的传输风险等级，包括高、中、低三个等级，并将其转化为相应的数值，在本发明实施例中，服务器根据预置的评估模型，确定每个传输风险等级对应的稳定性评价指标，例如传输延迟、传输丢失率、传输速率等。对每个目标数据包进行稳定性评估，将其稳定性评价指标计算出来，并转化为相应的数值，得到目标传输耗时以及目标传输成功率，最终，服务器根据计算得到目标传输耗时以及目标传输成功率确定稳定性评价指标。
S104、查询预置第二数据系统中的多个预设存储区域，并构建多个预设存储区域与稳定性评价指标之间的映射关系；
具体的，确定需要查询的预设存储区域，包括存储区域的名称、容量、位置等信息，根据预置的第二数据系统的存储架构和组织方式，使用相应的查询工具或API进行查询，配置查询参数，包括查询条件、查询范围、查询结果格式等，以确保查询的准确性和及时性，对预设存储区域进行查询，并将查询结果记录到日志中。根据查询结果，构建预设存储区域与稳定性评价指标之间的映射关系，例如将存储区域的容量映射为传输速率、将存储区域的位置映射为传输延迟等。
S105、根据映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询至少一个目标存储区域与5G网关之间的至少一个传输通道；
具体的，服务器根据目标数据包的信息，使用预设的映射关系，匹配每个目标数据包对应的至少一个目标存储区域，其中，服务器根据匹配结果，查询目标存储区域与5G网关之间的至少一个传输通道，包括通道的类型、速率、带宽等信息，配置查询参数，包括查询条件、查询范围、查询结果格式等，以确保查询的准确性和及时性，启动查询程序，对目标存储区域与5G网关之间的至少一个传输通道进行查询，并将查询结果记录到日志中。
S106、基于至少一个传输通道，将每个目标数据包传输至对应的至少一个目标存储区域进行数据存储。
具体的，首先需要确定传输通道的类型，例如可以选择网络传输通道或者物理传输通道，然后将每个目标数据包进行标识和分类，以便确定其应该被传输到哪一目标存储区域。进而，服务器针对每个目标存储区域，需要确定至少一个合适的传输路径，并将目标数据包通过该路径进行传输。在传输过程中，需要对数据包进行有效的传输控制和错误处理，以确保数据包能够完整、准确地到达目标存储区域。最后，需要对传输的数据包进行验证，确保它们在目标存储区域中得到了正确的存储。
本发明实施例中，对多个目标数据包进行传输状态监测，得到传输状态信息集合，并对传输状态信息集合进行风险等级分析，得到传输风险等级；根据每个目标数据包对应的传输风险等级和评估模型，分别计算多个目标数据包的稳定性评价指标；查询第二数据系统中的多个预设存储区域，并构建多个预设存储区域与稳定性评价指标之间的映射关系；根据映射关系匹配至少一个目标存储区域，并查询至少一个目标存储区域与5G网关之间的至少一个传输通道；基于至少一个传输通道，将每个目标数据包传输至至少一个目标存储区域进行数据存储，本发明通过对5G网关的传输状态进行分析，然后对目标数据包进行传输稳定性分析，进而使得目标数据包的传输和存储更加稳定，本发明提高了数据采集的稳定性以及数据分析的准确性。
在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：
（1）获取预置的第一数据系统对应的传输负载数据，并根据传输负载数据构建对应的数据传输策略；
（2）对第一数据系统和预置的5G网关建立通信连接，并获取通信连接状态；
（3）根据通信连接状态和数据传输策略，对5G网关进行数据采集，得到多个初始数据包；
（4）对多个初始数据包进行数据格式转换，得到多个目标数据包。
具体的，服务器获取预置的第一数据系统对应的传输负载数据，并根据传输负载数据构建对应的数据传输策略，确认5G网关的IP地址和端口号，在第一数据系统中，使用相应的网络协议（如HTTP、TCP等）创建一个与5G网关的网络连接，在网络连接成功建立后，可以通过向5G网关发送相应的指令或数据包，来进行通信和数据传输。获取通信连接状态，可以通过以下方法实现：在第一数据系统中，使用相应的网络协议（如HTTP、TCP等）发送一个查询指令给5G网关，以获取当前通信连接的状态，5G网关接收到查询指令后，将相应的状态信息发送回第一数据系统，第一数据系统接收到状态信息后，即可对通信连接状态进行判断和处理，进一步的，确认通信连接状态正常，可以开始进行数据采集，根据数据传输策略，在第一数据系统中设置相应的数据采集参数，并向5G网关发送数据采集指令，5G网关接收到数据采集指令后，开始采集数据，并将采集的数据打包成多个初始数据包进行传输，第一数据系统接收到初始数据包后，对数据包进行解包和处理，提取其中的有效信息，并将其存储到相应的存储区域中，重复以上步骤，直到完成所需的数据采集任务。需要说明的是，在数据采集过程中需要对数据包进行有效的传输控制和错误处理，以确保数据包能够完整、准确地到达第一数据系统。同时，对于大规模的数据采集任务，需要采用分布式数据采集和处理方案，以提高数据采集和处理的效率，最终，服务器对多个初始数据包进行数据格式转换，得到多个目标数据包。
在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：
S201、对多个目标数据包进行传输状态监测，得到每个目标数据包对应的传输状态信息；
S202、根据每个目标数据包对应的传输状态信息生成传输状态信息集合；
S203、对传输状态信息集合进行状态特征提取，得到多个状态特征，其中，多个状态特征包括：传输时间、传输量以及传输流程；
S204、对多个状态特征进行特征聚类分析，得到目标聚类结果；
S205、根据目标聚类结果，对多个目标数据包进行传输风险等级划分，得到每个目标数据包对应的传输风险等级。
具体的，服务器确认需要监测的目标数据包，并记录其相关信息，如数据包的标识、存储位置、传输路径等，在传输过程中，对每个目标数据包进行状态监测，记录传输过程中出现的任何错误或异常情况，在目标数据包传输完成后，整理传输状态信息，并将其存储到相应的存储区域中，进一步的，服务器根据每个目标数据包对应的传输状态信息生成传输状态信息集合，同时，进而对传输状态信息集合进行状态特征提取，得到多个状态特征，其中，多个状态特征包括：传输时间、传输量以及传输流程，其中，服务器记录目标数据包从开始传输到传输完成所需的时间，以毫秒或秒为单位。记录目标数据包在传输过程中所传输的数据量，以字节或位为单位。记录目标数据包在传输过程中所经过的传输路径和传输节点，以及传输过程中出现的错误或异常情况。通过对多个目标数据包的传输状态信息进行特征提取，可以得到一系列可量化、可比较的状态特征，为后续的数据传输监控和管理提供有效的依据。在实际应用中，还可以根据实际需要，对传输状态信息进行更加细致和全面的特征提取和分析，以提高数据传输效率和质量，最终，服务器对多个状态特征进行特征聚类分析，得到目标聚类结果，根据目标聚类结果，对多个目标数据包进行传输风险等级划分，得到每个目标数据包对应的传输风险等级。
在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：
S301、根据每个目标数据包对应的传输风险等级，获取稳定性评价系数；
S302、将稳定性评价系数和多个目标数据包输入预置的评估模型进行传输稳定性评估，得到目标传输耗时和目标传输成功率；
S303、根据目标传输耗时和目标传输成功率生成多个目标数据包的稳定性评价指标。
需要说明的是，确定每个目标数据包对应的传输风险等级，包括高、中、低三个等级，并将其转化为相应的数值，在本发明实施例中，服务器根据预置的评估模型，确定每个传输风险等级对应的稳定性评价指标，例如传输延迟、传输丢失率、传输速率等。对每个目标数据包进行稳定性评估，将其稳定性评价指标计算出来，并转化为相应的数值，得到目标传输耗时以及目标传输成功率，最终，服务器根据计算得到目标传输耗时以及目标传输成功率确定稳定性评价指标。
在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：
S401、查询预置第二数据系统中的多个预设存储区域；
S402、获取多个预设存储区域的存储层级以及存储量；
S403、根据存储层级和存储量，构建多个预设存储区域与稳定性评价指标之间的映射关系。
具体的，服务器进入第二数据系统的管理界面，确认当前用户拥有查询预设存储区域的权限，查找第二数据系统的存储管理功能，进入存储管理界面，在存储管理界面中，查找预设存储区域相关的选项或功能，例如“预设存储区域”、“预设数据库”等，选择需要查询的预设存储区域，查看其相关信息，如存储容量、存储路径、存储类型等，进而服务器获取多个预设存储区域的存储层级以及存储量，根据存储层级和存储量，构建多个预设存储区域与稳定性评价指标之间的映射关系。
在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：
（1）根据映射关系，对每个目标数据包进行数据量大小排序，得到数据量排序结果；
（2）根据数据量排序结果，匹配每个目标数据包对应的至少一个目标存储区域；
（3）查询至少一个目标存储区域与5G网关之间的至少一个传输通道。
具体的，服务器确认需要排序的目标数据包，并获取其数据量信息，可以通过查看数据包的属性信息或使用相关工具获取，通过映射关系，将数据包的数据量信息转换为相应的存储区域存储容量信息，将转换后的存储容量信息进行排序，可以使用现有的排序算法或工具进行排序，如快速排序、归并排序等。获取排序结果，根据排序结果对原始的目标数据包进行排序，得到数据量排序结果。需要说明的是，在进行数据量排序时，需要考虑到数据量的单位和精度问题，确保排序结果的准确性和可比性。同时，还需要注意到存储区域的容量限制和使用情况，以充分利用存储资源，提高数据存储效率，最终，服务器根据数据量排序结果，匹配每个目标数据包对应的至少一个目标存储区域，查询至少一个目标存储区域与5G网关之间的至少一个传输通道。
上面对本发明实施例中基于5G网关的数据采集方法进行了描述，下面对本发明实施例中基于5G网关的数据采集装置进行描述，请参阅图5，本发明实施例中基于5G网关的数据采集装置一个实施例包括：
获取模块501，用于获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据对所述第一数据系统和预置的5G网关建立通信连接，以及对所述5G网关进行数据采集，得到多个目标数据包；
分析模块502，用于对所述多个目标数据包进行传输状态监测，得到传输状态信息集合，并对所述传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级；
计算模块503，用于根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算所述多个目标数据包的稳定性评价指标；
构建模块504，用于查询预置第二数据系统中的多个预设存储区域，并构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系；
查询模块505，用于根据所述映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道；
存储模块506，用于基于所述至少一个传输通道，将每个目标数据包传输至对应的所述至少一个目标存储区域进行数据存储。
通过上述各个组成部分的协同合作，对多个目标数据包进行传输状态监测，得到传输状态信息集合，并对传输状态信息集合进行风险等级分析，得到传输风险等级；根据每个目标数据包对应的传输风险等级和评估模型，分别计算多个目标数据包的稳定性评价指标；查询第二数据系统中的多个预设存储区域，并构建多个预设存储区域与稳定性评价指标之间的映射关系；根据映射关系匹配至少一个目标存储区域，并查询至少一个目标存储区域与5G网关之间的至少一个传输通道；基于至少一个传输通道，将每个目标数据包传输至至少一个目标存储区域进行数据存储，本发明通过对5G网关的传输状态进行分析，然后对目标数据包进行传输稳定性分析，进而使得目标数据包的传输和存储更加稳定，本发明提高了数据采集的稳定性以及数据分析的准确性。
上面图5从模块化功能实体的角度对本发明实施例中的基于5G网关的数据采集装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于5G网关的数据采集设备进行详细描述。
图6是本发明实施例提供的一种基于5G网关的数据采集设备的结构示意图，该基于5G网关的数据采集设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于5G网关的数据采集设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于5G网关的数据采集设备600上执行存储介质630中的一系列指令操作。
基于5G网关的数据采集设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OSX，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于5G网关的数据采集设备结构并不构成对基于5G网关的数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于5G网关的数据采集设备，所述基于5G网关的数据采集设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于5G网关的数据采集方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于5G网关的数据采集方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（randomacceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于5G网关的数据采集方法，其特征在于，所述基于5G网关的数据采集方法包括：
获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据对所述第一数据系统和预置的5G网关建立通信连接，以及对所述5G网关进行数据采集，得到多个目标数据包；
对所述多个目标数据包进行传输状态监测，得到传输状态信息集合，并对所述传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级；
根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算所述多个目标数据包的稳定性评价指标；
查询预置第二数据系统中的多个预设存储区域，并构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系；
根据所述映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道；
基于所述至少一个传输通道，将每个目标数据包传输至对应的所述至少一个目标存储区域进行数据存储。
2.根据权利要求1所述的基于5G网关的数据采集方法，其特征在于，所述获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据对所述第一数据系统和预置的5G网关建立通信连接，以及对所述5G网关进行数据采集，得到多个目标数据包，包括：
获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据构建对应的数据传输策略；
对所述第一数据系统和预置的5G网关建立通信连接，并获取通信连接状态；
根据所述通信连接状态和所述数据传输策略，对所述5G网关进行数据采集，得到多个初始数据包；
对所述多个初始数据包进行数据格式转换，得到多个目标数据包。
3.根据权利要求1所述的基于5G网关的数据采集方法，其特征在于，所述对所述多个目标数据包进行传输状态监测，得到传输状态信息集合，并对所述传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级，包括：
对所述多个目标数据包进行传输状态监测，得到每个目标数据包对应的传输状态信息；
根据每个目标数据包对应的传输状态信息生成传输状态信息集合；
对所述传输状态信息集合进行状态特征提取，得到多个状态特征，其中，所述多个状态特征包括：传输时间、传输量以及传输流程；
对所述多个状态特征进行特征聚类分析，得到目标聚类结果；
根据所述目标聚类结果，对所述多个目标数据包进行传输风险等级划分，得到每个目标数据包对应的传输风险等级。
4.根据权利要求1所述的基于5G网关的数据采集方法，其特征在于，所述根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算所述多个目标数据包的稳定性评价指标，包括：
根据每个目标数据包对应的传输风险等级，获取稳定性评价系数；
将所述稳定性评价系数和所述多个目标数据包输入预置的评估模型进行传输稳定性评估，得到目标传输耗时和目标传输成功率；
根据所述目标传输耗时和所述目标传输成功率生成所述多个目标数据包的稳定性评价指标。
5.根据权利要求1所述的基于5G网关的数据采集方法，其特征在于，所述查询预置第二数据系统中的多个预设存储区域，并构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系，包括：
查询预置第二数据系统中的多个预设存储区域；
获取所述多个预设存储区域的存储层级以及存储量；
根据所述存储层级和所述存储量，构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系。
6.根据权利要求1所述的基于5G网关的数据采集方法，其特征在于，所述根据所述映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道，包括：
根据所述映射关系，对每个目标数据包进行数据量大小排序，得到数据量排序结果；
根据所述数据量排序结果，匹配每个目标数据包对应的至少一个目标存储区域；
查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道。
7.一种基于5G网关的数据采集装置，其特征在于，所述基于5G网关的数据采集装置包括：
获取模块，用于获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据对所述第一数据系统和预置的5G网关建立通信连接，以及对所述5G网关进行数据采集，得到多个目标数据包；
分析模块，用于对所述多个目标数据包进行传输状态监测，得到传输状态信息集合，并对所述传输状态信息集合进行风险等级分析，得到每个目标数据包对应的传输风险等级；
计算模块，用于根据每个目标数据包对应的传输风险等级和预置的评估模型，分别计算所述多个目标数据包的稳定性评价指标；
构建模块，用于查询预置第二数据系统中的多个预设存储区域，并构建所述多个预设存储区域与所述稳定性评价指标之间的映射关系；
查询模块，用于根据所述映射关系匹配每个目标数据包对应的至少一个目标存储区域，并查询所述至少一个目标存储区域与所述5G网关之间的至少一个传输通道；
存储模块，用于基于所述至少一个传输通道，将每个目标数据包传输至对应的所述至少一个目标存储区域进行数据存储。
8.根据权利要求7所述的基于5G网关的数据采集装置，其特征在于，所述获取模块具体用于：
获取预置的第一数据系统对应的传输负载数据，并根据所述传输负载数据构建对应的数据传输策略；
对所述第一数据系统和预置的5G网关建立通信连接，并获取通信连接状态；
根据所述通信连接状态和所述数据传输策略，对所述5G网关进行数据采集，得到多个初始数据包；
对所述多个初始数据包进行数据格式转换，得到多个目标数据包。
9.一种基于5G网关的数据采集设备，其特征在于，所述基于5G网关的数据采集设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于5G网关的数据采集设备执行如权利要求1-6中任一项所述的基于5G网关的数据采集方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的基于5G网关的数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311047845.1A CN116761177B (zh) | 2023-08-21 | 2023-08-21 | 基于5g网关的数据采集方法及其相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311047845.1A CN116761177B (zh) | 2023-08-21 | 2023-08-21 | 基于5g网关的数据采集方法及其相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116761177A true CN116761177A (zh) | 2023-09-15 |
| CN116761177B CN116761177B (zh) | 2023-10-20 |
Family
ID=87961292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311047845.1A Active CN116761177B (zh) | 2023-08-21 | 2023-08-21 | 基于5g网关的数据采集方法及其相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116761177B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019237523A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 安全风险评估方法、装置、计算机设备和存储介质 |
| CN111047279A (zh) * | 2019-11-20 | 2020-04-21 | 深圳市柚子智慧科技发展有限公司 | 一种基于能效信息网关的能效管理云平台网络信息系统 |
| WO2021189729A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
| WO2022028033A1 (zh) * | 2020-08-01 | 2022-02-10 | 广西大学 | 一种基于分级映射的Ceph存储系统自动均衡存储方法 |
| US20220058554A1 (en) * | 2020-08-18 | 2022-02-24 | Nb Ventures, Inc. Dba Gep | Risk management |
| CN115469796A (zh) * | 2021-06-11 | 2022-12-13 | 深圳市金泰克半导体有限公司 | 数据存储方法、装置、设备及存储介质 |
-
2023
- 2023-08-21 CN CN202311047845.1A patent/CN116761177B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019237523A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 安全风险评估方法、装置、计算机设备和存储介质 |
| CN111047279A (zh) * | 2019-11-20 | 2020-04-21 | 深圳市柚子智慧科技发展有限公司 | 一种基于能效信息网关的能效管理云平台网络信息系统 |
| WO2021189729A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
| WO2022028033A1 (zh) * | 2020-08-01 | 2022-02-10 | 广西大学 | 一种基于分级映射的Ceph存储系统自动均衡存储方法 |
| US20220058554A1 (en) * | 2020-08-18 | 2022-02-24 | Nb Ventures, Inc. Dba Gep | Risk management |
| CN115469796A (zh) * | 2021-06-11 | 2022-12-13 | 深圳市金泰克半导体有限公司 | 数据存储方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周超;潘平;杨丽;潘俊宇;: "大数据系统安全风险评估指标体系与方法探析", 安顺学院学报, no. 05 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116761177B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112235326B (zh) | 物联网设备数据的解析方法、装置和电子设备 | |
| CN101075911B (zh) | 统计信息收集系统及统计信息收集装置 | |
| CN107634848A (zh) | 一种采集分析网络设备信息的系统和方法 | |
| CN115562879B (zh) | 算力感知方法、装置、电子设备和存储介质 | |
| CN116980284B (zh) | 一种基于物联网的光缆分纤箱运维信息传输方法和系统 | |
| KR102580364B1 (ko) | 스마트 네트워크 퍼징의 자동화를 위한 퍼징 전처리 장치 및 방법 | |
| CN114116172A (zh) | 一种流量数据采集方法、装置、设备及存储介质 | |
| CN112532614A (zh) | 一种用于电网终端的安全监测方法和系统 | |
| CN113676526A (zh) | 一种工业数据接入管理系统及方法 | |
| CN117527479B (zh) | 软总线组网连接方法、装置、设备及存储介质 | |
| CN116761177B (zh) | 基于5g网关的数据采集方法及其相关装置 | |
| CN107733716A (zh) | 分布式文件系统日志分析方法、系统、设备及存储介质 | |
| US20150036515A1 (en) | High Efficiency Network Monitoring System and Methods | |
| CN113452576A (zh) | 网络环境的监控方法及装置、存储介质、电子装置 | |
| CN115913730B (zh) | 基于物联网设备的信息处理方法、装置、设备及存储介质 | |
| CN112181929A (zh) | 云管平台日志处理方法、装置、电子装置和存储介质 | |
| CN111064729B (zh) | 报文的处理方法及装置、存储介质和电子装置 | |
| CN111278022A (zh) | 一种物联网WiFi模块性能测试方法及系统 | |
| CN113162960A (zh) | 一种数据处理方法、装置、设备及介质 | |
| CN110989537A (zh) | 生产数据处理方法、设备、介质及系统 | |
| EP4020887B1 (en) | Method and apparatus for detecting anomalies of a dns traffic | |
| CN114143385A (zh) | 一种网络流量数据的识别方法、装置、设备和介质 | |
| US20120102086A1 (en) | Processing node selection system, information processing node, processing execution method and program | |
| CN116938934B (zh) | 一种基于报文的任务切换控制方法及系统 | |
| CN115001993B (zh) | 一种流量集成化采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |