CN116578586A - 一种基于大数据的动态数据查询系统 - Google Patents
一种基于大数据的动态数据查询系统 Download PDFInfo
- Publication number
- CN116578586A CN116578586A CN202310505845.5A CN202310505845A CN116578586A CN 116578586 A CN116578586 A CN 116578586A CN 202310505845 A CN202310505845 A CN 202310505845A CN 116578586 A CN116578586 A CN 116578586A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- access
- transmission
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 116
- 238000012795 verification Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000004806 packaging method and process Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 238000002955 isolation Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/25—Mapping addresses of the same type
- H04L61/2503—Translation of Internet protocol [IP] addresses
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于大数据的动态数据查询系统，涉及数据处理技术领域，包括指令验证模块、数据中心以及传输管理模块；指令验证模块用于对数据查询指令进行溯源处理，验证数据查询指令是否合法；若合法，则允许访问；数据中心接收到数据查询指令后，解析数据查询指令内容并将数据查询指令发送至对应目标数量的查询节点；减少了数据查询次数和时间，有效降低了数据查询的延迟；查询节点用于结合数据查询指令内容进行识别检索，工作得到目标数据；数据中心用于将目标数据打包成数据包，并利用传输管理模块确定此时数据包的数据传输方式为目标传输方式；通过数据传输模块将数据包通过目标传输方式传输至用户终端，提高数据传输效率。
Description
技术领域
本发明涉及数据处理技术领域，具体是一种基于大数据的动态数据查询系统。
背景技术
伴随着数据中心技术、通信技术、互联网技术的发展，数据积累的越来越多。面对激增的数据，人们希望能够挖掘出有价值的信息，从而可以更好地利用这些数据为人们服务，其中，Top-K查询在搜索引擎、电子商务等领域有着广泛的应用，而Top-K查询是从海量数据中返回最符合需求的前K个结果；由于数据量的急剧增长，实际应用中多采用分布式存储系统，包括多个数据缓存节点和一个数据查询节点，在进行分布式Top-K查询的过程中，将各个数据缓存节点的数据传输至数据查询节点，以便于数据查询节点从中选出最符合需求的前K个结果；
然而数据缓存节点和数据查询节点之间的传输带宽是有一定限制的，在数据传输总量较大的情况下，数据传输效率较低，影响了数据查询效率；同时也无法根据通信偏离指数合理选取对应传输方式进行数据传输，严重影响通信质量和通信效率；基于以上不足，本发明提出一种基于大数据的动态数据查询系统。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于大数据的动态数据查询系统。
为实现上述目的，根据本发明的第一方面的实施例提出一种基于大数据的动态数据查询系统，包括数据库、数据中心、数据查询模块、指令验证模块、节点监测模块和传输管理模块；
所述数据查询模块用于用户通过智能终端向数据中心发送数据查询指令；所述指令验证模块与数据中心相连接，用于对数据查询指令进行溯源处理，验证所述数据查询指令是否合法；若合法，则允许访问；
所述数据中心接收到数据查询指令后，解析数据查询指令内容并将所述数据查询指令发送至对应目标数量的查询节点；所述查询节点用于结合数据查询指令内容进行识别检索，工作得到目标数据并反馈至数据中心；
其中，所述数据中心的具体解析步骤为：
获取数据查询指令中的查询等级为D1；所述数据库内存储有查询等级范围与节点数量阈值的对照表，根据对照表，确定与查询等级D1对应的节点数量阈值，并标记为目标数量N1；
自动从云平台获取各个查询节点的状态系数ZX，将查询节点按照状态系数ZX大小进行排序；根据查询节点的排序选取前N1个查询节点为目标节点；所述数据中心用于将所述数据查询指令发送至目标节点；
所述数据中心用于将目标数据打包成数据包，并利用传输管理模块确定此时数据包的数据传输方式为目标传输方式；通过数据传输模块将所述数据包通过所述目标传输方式传输至用户终端。
进一步地，所述传输管理模块用于实时验证数据传输模块的通信状态，并辅助确定对应数据传输方式；具体步骤为：
传输管理模块按照预设验证周期发送验证配置消息至数据传输模块的FPGA主控，其中验证配置消息中包括第一信号质量门限；
响应于接收到验证配置消息，由数据传输模块的FPGA主控发送第二同步信号至传输管理模块，计算得到信号损耗指数SH；
建立信号损耗指数SH随时间变化的曲线图；将信号损耗指数SH与预设损耗阈值相比较；若SH大于预设损耗阈值，则在对应的曲线图中截取对应的曲线段进行标注，记为偏离曲线段；
在预设时间段内，统计偏离曲线段的数量为Pz；将所有的偏离曲线段对时间进行积分得到偏离参考面积M1；利用公式Cs＝Pz×a3+M1×a4计算得到通信偏离指数Cs，其中a3、a4均为系数因子；
根据通信偏离指数Cs辅助确定对应数据传输方式，具体为：
所述数据库中存储有通信偏离指数范围与数据传输方式的映射关系表；根据所述映射关系表，确定与通信偏离指数Cs对应的数据传输方式，并标记为目标传输方式。
进一步地，所述节点监测模块用于监测各个查询节点的状态参数，并进行状态系数ZX分析，具体分析步骤为：
每间隔R2时间采集查询节点的状态参数，所述状态参数包括CPU负载率、带宽负载率、实时网络速率以及丢包率；将CPU负载率、带宽负载率、实时网络速率以及丢包率依次标记为Q1、Q2、Q3、Q4；
利用公式ZX＝(Q3×b3)/(Q1×b1+Q2×b2+Q4×b4)计算得到所述查询节点的状态系数ZX，其中b1、b2、b3、b4为系数因子；所述节点监测模块用于将查询节点的状态系数ZX打上时间戳存储至云平台。
进一步地，信号损耗指数SH的具体计算方法为：
由传输管理模块确定第二同步信号的信号质量，并将第二同步信号的信号质量与第一信号质量门限进行对比，得到对应的质量差值ZC；
将传输管理模块发送验证配置消息的时刻与传输管理模块再次监听到第二同步信号的时刻进行时间差计算得到响应时长XT；利用公式SH＝ZC×a1+XT×a2计算得到信号损耗指数SH，其中a1、a2均为系数因子。
进一步地，所述数据传输方式包括并行传输、串行传输、异步传输、同步传输、单工数据传输、半双工数据传输以及全双工数据传输。
进一步地，所述指令验证模块的具体验证过程如下：
获取所述智能终端的IP网络地址并标记为访问IP；若该访问IP在白名单范围内，且权限允许，则判定该数据查询指令合法；
若该访问IP不在白名单范围内，则判断访问IP是否在恶意IP组库内；若该访问IP在恶意IP组库内，则拒绝访问且查询获取该访问IP地址，追踪用户网络服务痕迹，利用数据隔离模块隔离数据中心的内部数据并生成报警指令，用于提示数据中心的内部数据信息遭遇非法入侵。
进一步地，若该访问IP不在恶意IP组库内，则调取所述访问IP的访问记录；若所述访问IP的访问频率大于预设频率阈值，则允许访问。
进一步地，所述数据库用于根据数据中心访问的具体环境，设定允许访问该数据中心的网络IP及其拥有的访问权限，生成该数据中心特有的网络访问白名单；并对已有的数据中心网络访问IP进行时间、空间特性和恶意性分析，并最终生成恶意IP组库。
与现有技术相比，本发明的有益效果是：
1、本发明中所述指令验证模块用于对数据查询指令进行溯源处理，即获取发送数据查询指令的智能终端的IP网络地址；验证所述数据查询指令是否合法；若合法，则允许访问；提高了数据中心内部数据信息面向对象的安全性；若该访问IP在恶意IP组库内，则拒绝访问且查询获取该访问IP地址，追踪用户网络服务痕迹；并利用数据隔离模块隔离数据中心的内部数据并生成报警指令，为数据信息提供了安全的运行环境；
2、本发明中所述节点监测模块用于监测各个查询节点的状态参数，并进行状态系数ZX分析；所述数据中心接收到数据查询指令后，解析数据查询指令内容，并根据查询等级确定对应的节点数量阈值为N1；将查询节点按照状态系数ZX大小进行排序，将所述数据查询指令发送至排序前N1个查询节点；所述查询节点用于结合数据查询指令内容进行识别检索，工作得到目标数据并反馈至数据中心，减少了数据查询次数和时间，有效的降低了数据查询的延迟；
3、本发明中所述传输管理模块用于实时验证数据传输模块的通信状态，计算得到通信偏离指数Cs并辅助确定对应数据传输方式；所述数据中心用于将目标数据打包成数据包，并利用所述数据传输模块将所述数据包通过所述目标传输方式传输至用户终端，提高数据传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于大数据的动态数据查询系统的系统框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于大数据的动态数据查询系统，包括数据库、数据中心、数据查询模块、指令验证模块、数据隔离模块、节点监测模块、云平台、传输管理模块以及数据传输模块；
数据库用于根据数据中心访问的具体环境，设定允许访问该数据中心的网络IP及其拥有的访问权限，生成该数据中心特有的网络访问白名单；并对已有的数据中心网络访问IP进行时间、空间特性和恶意性分析，并最终生成恶意IP组库；
数据查询模块用于用户通过智能终端向数据中心发送数据查询指令；数据查询指令携带有查询等级、用户标识和数据属性标识；
指令验证模块与数据中心相连接，用于对数据查询指令进行溯源处理，验证数据查询指令是否合法；若合法，则允许访问；否则，拒绝访问；其中，溯源处理表示为获取发送数据查询指令的智能终端的IP网络地址；指令验证模块的具体验证过程如下：
获取智能终端的IP网络地址并标记为访问IP；首先对访问IP进行白名单验证；若该访问IP在白名单范围内，且权限允许，则判定该数据查询指令合法；
若该访问IP不在白名单范围内，则判断访问IP是否存在非法入侵网站行为，即比对校验访问IP是否在恶意IP组库内；
若该访问IP在恶意IP组库内，则拒绝访问且查询获取该访问IP地址，追踪用户网络服务痕迹；数据隔离模块用于隔离数据中心的内部数据并生成报警指令，用于提示数据中心的内部数据信息遭遇非法入侵；为数据信息提供了安全的运行环境；
若该访问IP不在恶意IP组库内，则调取访问IP的访问记录；在预设时间段内，若访问IP的访问频率大于预设频率阈值，则允许访问；提高了数据中心内部数据信息面向对象的安全性；
数据中心接收到数据查询指令后，解析数据查询指令内容并将数据查询指令发送至对应目标数量的查询节点；查询节点用于结合数据查询指令内容进行识别检索，工作得到目标数据并反馈至数据中心；
数据中心的具体解析步骤为：
获取数据查询指令中的查询等级为D1；数据库内存储有查询等级范围与节点数量阈值的对照表，根据对照表，确定与查询等级D1对应的节点数量阈值，并标记为目标数量N1；
自动从云平台获取各个查询节点的状态系数ZX，将查询节点按照状态系数ZX大小进行排序，根据查询节点的排序选取前N1个查询节点为目标节点；数据中心用于将数据查询指令发送至目标节点；
在本实施例中，用户终端可以只发出一次数据查询指令，就可以从多个查询节点中获取数据信息，并且能够根据状态系数ZX选取对应的目标节点，减少了数据查询次数和时间，有效的降低了数据查询的延迟；
节点监测模块用于监测各个查询节点的状态参数，并进行状态系数ZX分析，具体分析步骤为：
每间隔R2时间采集查询节点的状态参数，状态参数包括CPU负载率、带宽负载率、实时网络速率以及丢包率；
将CPU负载率、带宽负载率、实时网络速率以及丢包率依次标记为Q1、Q2、Q3、Q4；利用公式ZX＝(Q3×b3)/(Q1×b1+Q2×b2+Q4×b4)计算得到查询节点的状态系数ZX，其中b1、b2、b3、b4为系数因子；节点监测模块用于将查询节点的状态系数ZX打上时间戳存储至云平台；
数据中心用于将目标数据打包成数据包，并利用传输管理模块确定此时数据包的数据传输方式；传输管理模块用于实时验证数据传输模块的通信状态，并辅助确定对应数据传输方式；具体步骤为：
传输管理模块按照预设验证周期发送验证配置消息至数据传输模块的FPGA主控，其中验证配置消息中包括第一信号质量门限；
响应于接收到由传输管理模块发送的验证配置消息，由数据传输模块的FPGA主控发送第二同步信号至传输管理模块；由传输管理模块确定第二同步信号的信号质量，并将第二同步信号的信号质量与第一信号质量门限进行对比，得到对应的质量差值ZC；
将传输管理模块发送验证配置消息的时刻与传输管理模块再次监听到第二同步信号的时刻进行时间差计算得到响应时长XT；利用公式SH＝ZC×a1+XT×a2计算得到信号损耗指数SH，其中a1、a2均为系数因子
建立信号损耗指数SH随时间变化的曲线图，将信号损耗指数SH与预设损耗阈值相比较；若SH大于预设损耗阈值，则在对应的曲线图中截取对应的曲线段进行标注，记为偏离曲线段；
在预设时间段内，统计偏离曲线段的数量为Pz；将所有的偏离曲线段对时间进行积分得到偏离参考面积M1；利用公式Cs＝Pz×a3+M1×a4计算得到通信偏离指数Cs，其中a3、a4均为系数因子；
根据通信偏离指数Cs辅助确定对应数据传输方式，具体为：
数据库中存储有通信偏离指数范围与数据传输方式的映射关系表；根据映射关系表，确定与通信偏离指数Cs对应的数据传输方式，并标记为目标传输方式；数据传输方式包括并行传输、串行传输、异步传输、同步传输、单工数据传输、半双工数据传输以及全双工数据传输；
传输管理模块用于将目标传输方式发送至数据传输模块；数据传输模块用于将数据包通过目标传输方式传输至用户终端，提高数据传输效率。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
本发明的工作原理：
一种基于大数据的动态数据查询系统，在工作时，数据查询模块用于用户通过智能终端向数据中心发送数据查询指令；指令验证模块用于对数据查询指令进行溯源处理，获取发送数据查询指令的智能终端的IP网络地址，验证数据查询指令是否合法；若合法，则允许访问；否则，拒绝访问；提高了数据中心内部数据信息面向对象的安全性；若该访问IP在恶意IP组库内，则拒绝访问且查询获取该访问IP地址，追踪用户网络服务痕迹；利用数据隔离模块隔离数据中心的内部数据并生成报警指令，为数据信息提供了安全的运行环境；
节点监测模块用于监测各个查询节点的状态参数，并进行状态系数ZX分析；数据中心接收到数据查询指令后，解析数据查询指令内容，并根据查询等级确定对应的节点数量阈值为N1；自动从云平台获取各个查询节点的状态系数ZX，将查询节点按照状态系数ZX大小进行排序，将数据查询指令发送至排序前N1个查询节点；查询节点用于结合数据查询指令内容进行识别检索，工作得到目标数据并反馈至数据中心，减少了数据查询次数和时间，有效的降低了数据查询的延迟；
传输管理模块用于实时验证数据传输模块的通信状态，计算得到通信偏离指数Cs并辅助确定对应数据传输方式；数据中心用于将目标数据打包成数据包，并利用数据传输模块将数据包通过目标传输方式传输至用户终端，提高数据传输效率。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种基于大数据的动态数据查询系统，其特征在于，包括数据库、数据中心、数据查询模块、指令验证模块、节点监测模块和传输管理模块；
所述数据查询模块用于用户通过智能终端向数据中心发送数据查询指令；所述指令验证模块与数据中心相连接，用于对数据查询指令进行溯源处理，验证所述数据查询指令是否合法；若合法，则允许访问；
所述数据中心接收到数据查询指令后，解析数据查询指令内容并将所述数据查询指令发送至对应目标数量的查询节点；所述查询节点用于结合数据查询指令内容进行识别检索，工作得到目标数据并反馈至数据中心；
其中，所述数据中心的具体解析步骤为：
获取数据查询指令中的查询等级为D1；所述数据库内存储有查询等级范围与节点数量阈值的对照表，根据对照表，确定与查询等级D1对应的节点数量阈值，并标记为目标数量N1；
自动从云平台获取各个查询节点的状态系数ZX，将查询节点按照状态系数ZX大小进行排序；根据查询节点的排序选取前N1个查询节点为目标节点；所述数据中心用于将所述数据查询指令发送至目标节点；
所述数据中心用于将目标数据打包成数据包，并利用传输管理模块确定此时数据包的数据传输方式为目标传输方式；通过数据传输模块将所述数据包通过所述目标传输方式传输至用户终端。
2.根据权利要求1所述的一种基于大数据的动态数据查询系统，其特征在于，所述传输管理模块用于实时验证数据传输模块的通信状态，并辅助确定对应数据传输方式；具体步骤为：
传输管理模块按照预设验证周期发送验证配置消息至数据传输模块的FPGA主控，其中验证配置消息中包括第一信号质量门限；
响应于接收到验证配置消息，由数据传输模块的FPGA主控发送第二同步信号至传输管理模块，计算得到信号损耗指数SH；
建立信号损耗指数SH随时间变化的曲线图；将信号损耗指数SH与预设损耗阈值相比较；若SH大于预设损耗阈值，则在对应的曲线图中截取对应的曲线段进行标注，记为偏离曲线段；
在预设时间段内，统计偏离曲线段的数量为Pz；将所有的偏离曲线段对时间进行积分得到偏离参考面积M1；利用公式Cs＝Pz×a3+M1×a4计算得到通信偏离指数Cs，其中a3、a4均为系数因子；
根据通信偏离指数Cs辅助确定对应数据传输方式，具体为：
所述数据库中存储有通信偏离指数范围与数据传输方式的映射关系表；根据所述映射关系表，确定与通信偏离指数Cs对应的数据传输方式，并标记为目标传输方式。
3.根据权利要求1所述的一种基于大数据的动态数据查询系统，其特征在于，所述节点监测模块用于监测各个查询节点的状态参数，并进行状态系数ZX分析，具体分析步骤为：
每间隔R2时间采集查询节点的状态参数，所述状态参数包括CPU负载率、带宽负载率、实时网络速率以及丢包率；将CPU负载率、带宽负载率、实时网络速率以及丢包率依次标记为Q1、Q2、Q3、Q4；
利用公式ZX＝(Q3×b3)/(Q1×b1+Q2×b2+Q4×b4)计算得到所述查询节点的状态系数ZX，其中b1、b2、b3、b4为系数因子；所述节点监测模块用于将查询节点的状态系数ZX打上时间戳存储至云平台。
4.根据权利要求2所述的一种基于大数据的动态数据查询系统，其特征在于，信号损耗指数SH的具体计算方法为：
由传输管理模块确定第二同步信号的信号质量，并将第二同步信号的信号质量与第一信号质量门限进行对比，得到对应的质量差值ZC；
将传输管理模块发送验证配置消息的时刻与传输管理模块再次监听到第二同步信号的时刻进行时间差计算得到响应时长XT；利用公式SH＝ZC×a1+XT×a2计算得到信号损耗指数SH，其中a1、a2均为系数因子。
5.根据权利要求2所述的一种基于大数据的动态数据查询系统，其特征在于，所述数据传输方式包括并行传输、串行传输、异步传输、同步传输、单工数据传输、半双工数据传输以及全双工数据传输。
6.根据权利要求1所述的一种基于大数据的动态数据查询系统，其特征在于，所述指令验证模块的具体验证过程如下：
获取所述智能终端的IP网络地址并标记为访问IP；若该访问IP在白名单范围内，且权限允许，则判定该数据查询指令合法；
若该访问IP不在白名单范围内，则判断访问IP是否在恶意IP组库内；若该访问IP在恶意IP组库内，则拒绝访问且查询获取该访问IP地址，追踪用户网络服务痕迹，利用数据隔离模块隔离数据中心的内部数据并生成报警指令，用于提示数据中心的内部数据信息遭遇非法入侵。
7.根据权利要求6所述的一种基于大数据的动态数据查询系统，其特征在于，若该访问IP不在恶意IP组库内，则调取所述访问IP的访问记录；若所述访问IP的访问频率大于预设频率阈值，则允许访问。
8.根据权利要求6所述的一种基于大数据的动态数据查询系统，其特征在于，所述数据库用于根据数据中心访问的具体环境，设定允许访问该数据中心的网络IP及其拥有的访问权限，生成该数据中心特有的网络访问白名单；并对已有的数据中心网络访问IP进行时间、空间特性和恶意性分析，并最终生成恶意IP组库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310505845.5A CN116578586B (zh) | 2023-05-06 | 2023-05-06 | 一种基于大数据的动态数据查询系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310505845.5A CN116578586B (zh) | 2023-05-06 | 2023-05-06 | 一种基于大数据的动态数据查询系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116578586A true CN116578586A (zh) | 2023-08-11 |
| CN116578586B CN116578586B (zh) | 2023-11-17 |
Family
ID=87540637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310505845.5A Active CN116578586B (zh) | 2023-05-06 | 2023-05-06 | 一种基于大数据的动态数据查询系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578586B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003198416A (ja) * | 2001-12-27 | 2003-07-11 | Sony Corp | 通信システム、通信装置、通信方法、ならびにプログラムとその記録媒体 |
| WO2007107065A1 (fr) * | 2006-03-20 | 2007-09-27 | Zte Corporation | Système d'optimisation de puissance de la couche de multiplexage optique et procédé correspondant |
| CN106304377A (zh) * | 2015-06-04 | 2017-01-04 | 电信科学技术研究院 | 一种进行调度的方法和设备 |
| CN106716421A (zh) * | 2016-12-30 | 2017-05-24 | 深圳前海达闼云端智能科技有限公司 | 数据查询方法、装置及节点设备 |
| CN107656980A (zh) * | 2017-09-07 | 2018-02-02 | 北京神州绿盟信息安全科技股份有限公司 | 应用于分布式数据库系统中的方法及分布式数据库系统 |
| CN110929130A (zh) * | 2019-10-14 | 2020-03-27 | 上海辰锐信息科技公司 | 一种基于分布式调度的公安部级审计数据查询方法 |
| CN111628847A (zh) * | 2020-05-06 | 2020-09-04 | 上海幻电信息科技有限公司 | 数据传输方法及装置 |
| CN111639907A (zh) * | 2020-05-13 | 2020-09-08 | 广州国音智能科技有限公司 | 流程管理方法、装置、设备及计算机存储介质 |
| CN113112354A (zh) * | 2021-03-04 | 2021-07-13 | 卓尔智联(武汉)研究院有限公司 | 一种区块链网络的交易处理方法、区块链网络及存储介质 |
| CN113301096A (zh) * | 2020-12-16 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 内容分发网络中节点间数据传输方法、系统及节点设备 |
| CN113722600A (zh) * | 2021-09-06 | 2021-11-30 | 阿波罗智联(北京)科技有限公司 | 应用于大数据的数据查询方法、装置、设备及产品 |
| CN113762900A (zh) * | 2021-11-08 | 2021-12-07 | 江苏荣泽信息科技股份有限公司 | 一种基于区块链预言机的供应链管理系统及方法 |
| CN113992472A (zh) * | 2021-10-29 | 2022-01-28 | 西安微电子技术研究所 | 一种FlexRay总线IP核的工作方法及系统 |
| CN113987002A (zh) * | 2021-09-26 | 2022-01-28 | 陈文艳 | 基于海量数据分析平台的数据交换方法 |
| US20220095332A1 (en) * | 2019-01-10 | 2022-03-24 | Apple Inc. | Low-latency uplink scheduling requests |
| CN114500010A (zh) * | 2022-01-11 | 2022-05-13 | 合肥盈帆网络科技有限公司 | 区块链数据提取方法 |
| CN115102747A (zh) * | 2022-06-17 | 2022-09-23 | 江西武大扬帆科技有限公司 | 基于数字孪生的互联网管理平台 |
| CN115208562A (zh) * | 2022-07-07 | 2022-10-18 | 安徽省极光智能科技有限公司 | 基于量子加密技术的运维保障系统 |
| CN115617860A (zh) * | 2022-12-19 | 2023-01-17 | 廊坊奎达信息技术有限公司 | 一种基于大数据的智能查询方法及系统 |
-
2023
- 2023-05-06 CN CN202310505845.5A patent/CN116578586B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003198416A (ja) * | 2001-12-27 | 2003-07-11 | Sony Corp | 通信システム、通信装置、通信方法、ならびにプログラムとその記録媒体 |
| WO2007107065A1 (fr) * | 2006-03-20 | 2007-09-27 | Zte Corporation | Système d'optimisation de puissance de la couche de multiplexage optique et procédé correspondant |
| CN106304377A (zh) * | 2015-06-04 | 2017-01-04 | 电信科学技术研究院 | 一种进行调度的方法和设备 |
| CN106716421A (zh) * | 2016-12-30 | 2017-05-24 | 深圳前海达闼云端智能科技有限公司 | 数据查询方法、装置及节点设备 |
| CN107656980A (zh) * | 2017-09-07 | 2018-02-02 | 北京神州绿盟信息安全科技股份有限公司 | 应用于分布式数据库系统中的方法及分布式数据库系统 |
| US20220095332A1 (en) * | 2019-01-10 | 2022-03-24 | Apple Inc. | Low-latency uplink scheduling requests |
| CN110929130A (zh) * | 2019-10-14 | 2020-03-27 | 上海辰锐信息科技公司 | 一种基于分布式调度的公安部级审计数据查询方法 |
| CN111628847A (zh) * | 2020-05-06 | 2020-09-04 | 上海幻电信息科技有限公司 | 数据传输方法及装置 |
| CN111639907A (zh) * | 2020-05-13 | 2020-09-08 | 广州国音智能科技有限公司 | 流程管理方法、装置、设备及计算机存储介质 |
| CN113301096A (zh) * | 2020-12-16 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 内容分发网络中节点间数据传输方法、系统及节点设备 |
| CN113112354A (zh) * | 2021-03-04 | 2021-07-13 | 卓尔智联(武汉)研究院有限公司 | 一种区块链网络的交易处理方法、区块链网络及存储介质 |
| CN113722600A (zh) * | 2021-09-06 | 2021-11-30 | 阿波罗智联(北京)科技有限公司 | 应用于大数据的数据查询方法、装置、设备及产品 |
| CN113987002A (zh) * | 2021-09-26 | 2022-01-28 | 陈文艳 | 基于海量数据分析平台的数据交换方法 |
| CN113992472A (zh) * | 2021-10-29 | 2022-01-28 | 西安微电子技术研究所 | 一种FlexRay总线IP核的工作方法及系统 |
| CN113762900A (zh) * | 2021-11-08 | 2021-12-07 | 江苏荣泽信息科技股份有限公司 | 一种基于区块链预言机的供应链管理系统及方法 |
| CN114500010A (zh) * | 2022-01-11 | 2022-05-13 | 合肥盈帆网络科技有限公司 | 区块链数据提取方法 |
| CN115102747A (zh) * | 2022-06-17 | 2022-09-23 | 江西武大扬帆科技有限公司 | 基于数字孪生的互联网管理平台 |
| CN115208562A (zh) * | 2022-07-07 | 2022-10-18 | 安徽省极光智能科技有限公司 | 基于量子加密技术的运维保障系统 |
| CN115617860A (zh) * | 2022-12-19 | 2023-01-17 | 廊坊奎达信息技术有限公司 | 一种基于大数据的智能查询方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| ZHIHAN LV 等: "Big Data Processing on Volunteer Computing", 《ACM TRANSACTIONS ON INTERNET TECHNOLOGY》, vol. 21, no. 4, pages 1 - 20, XP058627722, DOI: 10.1145/3409801 * |
| 田坤: "助航灯光健康状态监控与预测的研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 01, pages 031 - 372 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116578586B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110324313B (zh) | 基于蜜罐系统的恶意用户的识别方法及相关设备 | |
| CN111245793A (zh) | 网络数据的异常分析方法及装置 | |
| CN101610174B (zh) | 一种日志事件关联分析系统与方法 | |
| CN107579956B (zh) | 一种用户行为的检测方法和装置 | |
| CN103179132B (zh) | 一种检测和防御cc攻击的方法及装置 | |
| CN104113519A (zh) | 网络攻击检测方法及其装置 | |
| CN111278014A (zh) | 一种防诈骗系统、方法、服务器及存储介质 | |
| CN107770174A (zh) | 一种面向sdn网络的入侵防御系统和方法 | |
| CN106534146A (zh) | 一种安全监测系统及方法 | |
| CN113612763B (zh) | 基于网络安全恶意行为知识库的网络攻击检测装置和方法 | |
| CN114363064B (zh) | 一种物联网业务适配的动态数据加密策略系统 | |
| CN113987002A (zh) | 基于海量数据分析平台的数据交换方法 | |
| CN115102747B (zh) | 基于数字孪生的互联网管理平台 | |
| CN115022352B (zh) | 基于端边云融合的分片侧链数据采集与存储系统 | |
| CN113704830A (zh) | 一种智能化网站数据防篡改系统及方法 | |
| CN115378711A (zh) | 一种工控网络的入侵检测方法和系统 | |
| CN102271331B (zh) | 一种检测业务提供商sp站点可靠性的方法及系统 | |
| CN110798353A (zh) | 基于行为特征大数据分析的网络行为风险感知及防御方法 | |
| CN116578586B (zh) | 一种基于大数据的动态数据查询系统 | |
| CN112019546B (zh) | 一种防护策略调整方法、系统、设备及计算机存储介质 | |
| CN114500122B (zh) | 一种基于多源数据融合的特定网络行为分析方法和系统 | |
| CN110457897A (zh) | 一种基于通信协议与sql语法的数据库安全检测方法 | |
| CN105631579A (zh) | 一种业务流程自动监管辅助决策的实现方法 | |
| CN112839029B (zh) | 一种僵尸网络活跃度的分析方法与系统 | |
| CN116451191A (zh) | 信息审核方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |