CN116414917A - 基于Myhouse数据库的数据传输方法、装置、设备及存储介质 - Google Patents
基于Myhouse数据库的数据传输方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116414917A CN116414917A CN202310401289.7A CN202310401289A CN116414917A CN 116414917 A CN116414917 A CN 116414917A CN 202310401289 A CN202310401289 A CN 202310401289A CN 116414917 A CN116414917 A CN 116414917A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- preset
- time period
- hot spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000005540 biological transmission Effects 0.000 title claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 238000003780 insertion Methods 0.000 claims abstract description 26
- 230000037431 insertion Effects 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004321 preservation Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 3
- 230000010485 coping Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- WVCHIGAIXREVNS-UHFFFAOYSA-N 2-hydroxy-1,4-naphthoquinone Chemical compound C1=CC=C2C(O)=CC(=O)C(=O)C2=C1 WVCHIGAIXREVNS-UHFFFAOYSA-N 0.000 description 1
- 241000533950 Leucojum Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理技术领域，公开了一种基于Myhouse数据库的数据传输方法、装置、设备及存储介质，所述方法包括基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成目标服务请求对应的目标数据；对目标服务端进行预配置，并将目标数据中的热点数据写入目标服务端；将目标数据中超出所述预设时间段内的数据写入并存储至大数据库中，并通过大数据库提供读写接口以实现数据插入。本申请通过对目标服务请求进行语法分析后，将热点数据将预设时间段内的数据直接写入至目标服务端，将预设时间段外的目标数据写入至分布式大数据库，通过大数据库提供读写接口以实现数据插入，提高了数据传输过程中应对高并发的能力。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于Myhouse数据库的数据传输方法、装置、设备及存储介质。
背景技术
数据库技术可以分为事务型查询处理(on-line transaction processing，OLTP)和分析型查询处理(on-line analytical processing，OLAP)两种主要类型，其中，事务型查询处理主要是对数据库中数据的增加、删除、修改操作，事务执行时间短，需要满足产ACID(原子性、一致性、隔离性、持久性)特性，需要通过复杂的并发控制机制保证事务执行的正确性；分析型查询处理主要以采用多维存储模型(星形模型或雪花形模型)的数据仓库中的多维分析处理为代表，需要通过事实表与多个维表之间的连接操作完成分组聚集计算，是一种只读的长程(long-running query)执行事务。目前企业发展所设计的新型数据库，主要为了解决高并发，大数据的实时查询和统计功能。目前大多公司选择mysql数据库，但是这个数据库缺不支持大数据库OLAP，特别是大数据统计。因此，如何提高数据传输过程中应对高并发的能力成为亟待解决的技术问题。
发明内容
本申请提供了一种基于Myhouse数据库的数据传输方法、装置、设备及存储介质，以提高数据传输过程中应对高并发的能力。
第一方面，本申请提供了一种基于Myhouse数据库的数据传输方法，所述基于Myhouse数据库的数据传输方法包括：
基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；
对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；
将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
进一步地，基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据之前，包括：
基于Java数据库链接JDBC，建立目标客户端与Serve层中的预设连接器的连接。
进一步地，对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据之前，包括：
基于各历史服务请求中，确定各所述历史服务请求的热点数据对应的各历史热点保存时间段；
基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段。
进一步地，基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段之后，包括：
基于所述平均热点保存时间段，对所述目标服务请求对应的数据写入过程进行检测，以确定所述平均热点保存时间段是否足以保存所述目标服务请求对应的所述热点数据；
若所述平均热点保存时间段不足以保存所述热点数据，则根据所述热点数据延长所述平均热点保存时间段。
进一步地，将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入，包括：
基于超出所述预设时间段内的数据对应的数据长度，并通过预设公式计算所述大数据库中对应的预设列式存储引擎的数量，所述预设公式如下：
其中，L为超出所述预设时间段内的数据对应的数据长度，S为单个所述预设列式存储引擎的容量，N为所述预设列式存储引擎的数量，n为不小于1的冗余数量。
进一步地，基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据之前，还包括：
在所述目标服务端中对所述目标服务请求进行匹配；
若所述目标服务端中存在与所述目标服务请求相匹配的待匹配服务请求，则将所述待匹配服务请求传输至所述大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
第二方面，本申请还提供了一种基于Myhouse数据库的数据传输装置，所述装置包括：
语法分析模块，用于基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；
热点数据写入模块，用于对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；
分布式存储模块，用于将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
第三方面，本申请还提供了一种设备，所述设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的基于Myhouse数据库的数据传输方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的基于Myhouse数据库的数据传输方法。
本申请公开了一种基于Myhouse数据库的数据传输方法、装置、设备及存储介质，所述基于Myhouse数据库的数据传输方法包括基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。本申请通过对目标服务请求进行语法分析后，将热点数据将预设时间段内的数据直接写入至目标服务端，将预设时间段外的目标数据写入至分布式大数据库，通过大数据库提供读写接口以实现数据插入，提高了数据传输过程中应对高并发的能力。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的第一实施例提供的一种基于Myhouse数据库的数据传输方法的示意流程图；
图2为本申请的第二实施例提供的一种基于Myhouse数据库的数据传输方法的示意流程图；
图3为本申请提供的一种基于Myhouse数据库的数据传输方法的场景示意图；
图4为本申请的实施例提供的一种基于Myhouse数据库的数据传输装置的示意性框图；
图5为本申请的实施例提供的一种设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种基于Myhouse数据库的数据传输方法、装置、设备及存储介质。其中，该基于Myhouse数据库的数据传输方法可以应用于服务器中，通过对目标服务请求进行语法分析后，将热点数据将预设时间段内的数据直接写入至目标服务端，将预设时间段外的目标数据写入至分布式大数据库，通过大数据库提供读写接口以实现数据插入，提高了数据传输过程中应对高并发的能力。其中，该服务器可以为独立的服务器，也可以为服务器集群。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请的第一实施例提供的一种基于Myhouse数据库的数据传输方法的示意流程图。该基于Myhouse数据库的数据传输方法可应用于服务器中，用于通过对目标服务请求进行语法分析后，将热点数据将预设时间段内的数据直接写入至目标服务端，将预设时间段外的目标数据写入至分布式大数据库，通过大数据库提供读写接口以实现数据插入，提高了数据传输过程中应对高并发的能力。
如图1所示，该基于Myhouse数据库的数据传输方法具体包括步骤S10至步骤S30。
步骤S10、基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；
步骤S20、对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；
步骤S30、将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
具体实施例中，本实施例通过OLAP和OLTP适配所有场景业务。
Mysql现有的问题如下：
1.count(*)，和自带的函数，消耗CPU且性能不行，动不动就cpu打爆
2.数据量大的情况下，扩容问题，导致硬件成本成本增加，通常每次扩容成本是原来的一倍
3.高并发读写的情况。传输效率比较低，特别是高并发写入性能
4.大数据量加字段，容易对业务造成影响，通常加个字段修改动作。有可能导致数据库奔溃和业务崩溃
5.无法实时加字段。和修改表结构
Clickhouse现有的问题如下：
1.目前数据库不支持事务。意味着数据库有丢失的风险
2.使用的列式架构导致。Update和delete的操作特别低效。消耗大量的cpu和内存
3.索引设计不合理。通常无法后期通过索引查看性能情况
4.无法高并发实时更新和删除
5.没有完整事务
6.缺少高频率，低延迟的修改或删除已存在数据的能力。仅能用于批量删除或修改数据
7.稀疏索引使得Clickhouse不适合通过其键检索单行的点查询。
如图2所示，图2为本申请场景流程示意图，其中，各模块如下所示：
Myhouse-dashboard：集群管理工具。支持myhouse-proxty的添加，删除，和数据迁移，在集群发生改变的时候。Myhouse-dashboard可以维护myhouse-proxy的状态一致。实现高并发，高性能，高可用。
Myhouse-proxy：提供对外的数据库端口和服务；一个proxy认定为一个服务。3个服务意味着。可以运行两台服务器宕机，myhouse-proxy。插入的数据库自动根据时间插入到my-server。
My-server：主要承建高并发的数据库。且只保存热点数据,支持高并发。Jdbc协议。可以配置数据保持时间。
比如说数据保持6个月，那么myserver中的数据库。就报错最近6个月。多出的数据存放到bigdata-house中，my-server采取的和mysql一样的数据库存储算法BTREE架构。所以支持事务和所有jdbc的协议。因此理论上是可以无缝接入系统。以为数据量一直是设定的量(6个月)所以my-server层的数据一直是有限的。
Bigdata-house：列式存储引擎。保持超过时间的数据。自带分布式存储。可以实现分布式扩容。切上亿的数据量可以秒级响应。因为存储是通过列式架构。所有适合数据分析和查询，因此上亿数据在列式存储效率也是很快。
本实施例公开了一种基于Myhouse数据库的数据传输方法、装置、设备及存储介质，所述基于Myhouse数据库的数据传输方法包括基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。本申请通过对目标服务请求进行语法分析后，将热点数据将预设时间段内的数据直接写入至目标服务端，将预设时间段外的目标数据写入至分布式大数据库，通过大数据库提供读写接口以实现数据插入，提高了数据传输过程中应对高并发的能力。
基于图1所示实施例，本实施例中，所示步骤S10之前，包括：
基于Java数据库链接JDBC，建立目标客户端与Serve层中的预设连接器的连接。
具体地，在一些列式数据库管理系统中(例如：InfiniDB CE和MonetDB)并没有使用数据压缩。但是,若想达到比较优异的性能，数据压缩确实起到了至关重要的作用。
除了在磁盘空间和CPU消耗之间进行不同权衡的高效通用压缩编解码器之外，Myhouse还提供针对特定类型数据的专用编解码器，这使得Myhouse能够与更小的数据库(如时间序列数据库)竞争并超越它们。
许多的列式数据库(如SAP HANA,Google PowerDrill)只能在内存中工作，这种方式会造成比实际更多的设备预算。Myhouse被设计用于工作在传统磁盘上的系统，它提供每GB更低的存储成本，但如果可以使用SSD和内存，它也会合理的利用这些资源。
多核心并行处理Myhouse会使用服务器上一切可用的资源，从而以最自然的方式并行处理大型查询。
请参阅图2，图2是本申请的第二实施例提供的一种基于Myhouse数据库的数据传输方法的示意流程图。该基于Myhouse数据库的数据传输方法可应用于服务器中，用于通过对目标服务请求进行语法分析后，将热点数据将预设时间段内的数据直接写入至目标服务端，将预设时间段外的目标数据写入至分布式大数据库，通过大数据库提供读写接口以实现数据插入，提高了数据传输过程中应对高并发的能力。
如图2所示，所述步骤S20之前，包括步骤S11至步骤S12。
步骤S11、基于各历史服务请求中，确定各所述历史服务请求的热点数据对应的各历史热点保存时间段；
步骤S12、基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段。
具体实施例中，如图3所示，图3为本申请提供的一种基于Myhouse数据库的数据传输方法的场景示意图，其中，各模块如下所示：
Myhouse-dashboard：集群管理工具。支持myhouse-proxty的添加，删除，和数据迁移，在集群发生改变的时候。Myhouse-dashboard可以维护myhouse-proxy的状态一致。实现高并发，高性能，高可用。
Myhouse-proxy：提供对外的数据库端口和服务；一个proxy认定为一个服务。3个服务意味着。可以运行两台服务器宕机，myhouse-proxy。插入的数据库自动根据时间插入到my-server。
My-server：主要承建高并发的数据库。且只保存热点数据,支持高并发。Jdbc协议。可以配置数据保持时间。
比如说数据保持6个月，那么myserver中的数据库。就报错最近6个月。多出的数据存放到bigdata-house中，my-server采取的和mysql一样的数据库存储算法BTREE架构。所以支持事务和所有jdbc的协议。因此理论上是可以无缝接入系统。以为数据量一直是设定的量(6个月)所以my-server层的数据一直是有限的。
Bigdata-house：列式存储引擎。保持超过时间的数据。自带分布式存储。可以实现分布式扩容。切上亿的数据量可以秒级响应。因为存储是通过列式架构。所有适合数据分析和查询，因此上亿数据在列式存储效率也是很快。
本实施例公开了一种基于Myhouse数据库的数据传输方法、装置、设备及存储介质，所述基于Myhouse数据库的数据传输方法包括基于各历史服务请求中，确定各所述历史服务请求的热点数据对应的各历史热点保存时间段；基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段。本申请通过对目标服务请求进行语法分析后，将热点数据将预设时间段内的数据直接写入至目标服务端，将预设时间段外的目标数据写入至分布式大数据库，通过大数据库提供读写接口以实现数据插入，提高了数据传输过程中应对高并发的能力。
基于图2所述实施例，本实施例中，所述步骤S12之后，包括：
基于所述平均热点保存时间段，对所述目标服务请求对应的数据写入过程进行检测，以确定所述平均热点保存时间段是否足以保存所述目标服务请求对应的所述热点数据；
若所述平均热点保存时间段不足以保存所述热点数据，则根据所述热点数据延长所述平均热点保存时间段。
基于上述实施例，本实施例中，所述步骤S30包括：
基于超出所述预设时间段内的数据对应的数据长度，并通过预设公式计算所述大数据库中对应的预设列式存储引擎的数量，所述预设公式如下：
其中，L为超出所述预设时间段内的数据对应的数据长度，S为单个所述预设列式存储引擎的容量，N为所述预设列式存储引擎的数量，n为不小于1的冗余数量。
具体地，为了使查询能够快速在主键中进行范围查找，数据总是以增量的方式有序的存储在MergeTree中。因此，数据可以持续不断地高效的写入到表中，并且写入的过程中不会存在任何加锁的行为。适合在线查询在线查询意味着在没有对数据做任何预处理的情况下以极低的延迟处理查询并将结果加载到用户的页面中。
在Myhouse中，数据可以保存在不同的shard上，每一个shard都由一组用于容错的replica组成，查询可以并行地在所有shard上进行处理。这些对用户来说是透明的。
Myhouse支持一种基于SQL的声明式查询语言，它在许多情况下与ANSI SQL标准相同。
支持的查询GROUP BY,ORDER BY,FROM,JOIN,IN以及非相关子查询。
相关(依赖性)子查询和窗口函数暂不受支持，但将来会被实现。
基于上述全部实施例，本实施例中，所述步骤S10之前，还包括：
在所述目标服务端中对所述目标服务请求进行匹配；
若所述目标服务端中存在与所述目标服务请求相匹配的待匹配服务请求，则将所述待匹配服务请求传输至所述大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
请参阅图4，图4是本申请的实施例提供一种基于Myhouse数据库的数据传输装置的示意性框图，该基于Myhouse数据库的数据传输装置用于执行前述的基于Myhouse数据库的数据传输方法。其中，该基于Myhouse数据库的数据传输装置可以配置于服务器。
如图4所示，该基于Myhouse数据库的数据传输装置400，包括：
语法分析模块10，用于基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；
热点数据写入模块20，用于对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；
分布式存储模块30，用于将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
进一步地，所述基于Myhouse数据库的数据传输装置还包括JDBC模块，具体包括：
JDBC单元，用于基于Java数据库链接JDBC，建立目标客户端与Serve层中的预设连接器的连接。
进一步地，所述基于Myhouse数据库的数据传输装置还包括预配置模块，具体包括：
历史热点保存时间段单元，用于基于各历史服务请求中，确定各所述历史服务请求的热点数据对应的各历史热点保存时间段；
预设时间段单元，用于基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段。
进一步地，所述预配置模块还包括：
热点数据检测单元，用于基于所述平均热点保存时间段，对所述目标服务请求对应的数据写入过程进行检测，以确定所述平均热点保存时间段是否足以保存所述目标服务请求对应的所述热点数据；
热点数据保存单元，用于若所述平均热点保存时间段不足以保存所述热点数据，则根据所述热点数据延长所述平均热点保存时间段。
进一步地，所述分布式存储模块30还包括：
引擎数量计算单元，用于基于超出所述预设时间段内的数据对应的数据长度，并通过预设公式计算所述大数据库中对应的预设列式存储引擎的数量，所述预设公式如下：
其中，L为超出所述预设时间段内的数据对应的数据长度，S为单个所述预设列式存储引擎的容量，N为所述预设列式存储引擎的数量，n为不小于1的冗余数量。
进一步地，所述基于Myhouse数据库的数据传输装置还包括服务请求匹配模块，具体包括：
匹配单元，用于在所述目标服务端中对所述目标服务请求进行匹配；
直接传输单元，用于若所述目标服务端中存在与所述目标服务请求相匹配的待匹配服务请求，则将所述待匹配服务请求传输至所述大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的设备上运行。
请参阅图5，图5是本申请的实施例提供的一种设备的结构示意性框图。该设备可以是服务器。
参阅图5，该设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于Myhouse数据库的数据传输方法。
处理器用于提供计算和控制能力，支撑整个设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于Myhouse数据库的数据传输方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；
对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；
将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
在一个实施例中，基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据之前，用于实现：
基于Java数据库链接JDBC，建立目标客户端与Serve层中的预设连接器的连接。
在一个实施例中，对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据之前，用于实现：
基于各历史服务请求中，确定各所述历史服务请求的热点数据对应的各历史热点保存时间段；
基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段。
在一个实施例中，基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段之后，用于实现：
基于所述平均热点保存时间段，对所述目标服务请求对应的数据写入过程进行检测，以确定所述平均热点保存时间段是否足以保存所述目标服务请求对应的所述热点数据；
若所述平均热点保存时间段不足以保存所述热点数据，则根据所述热点数据延长所述平均热点保存时间段。
在一个实施例中，将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入，用于实现：
基于超出所述预设时间段内的数据对应的数据长度，并通过预设公式计算所述大数据库中对应的预设列式存储引擎的数量，所述预设公式如下：
其中，L为超出所述预设时间段内的数据对应的数据长度，S为单个所述预设列式存储引擎的容量，N为所述预设列式存储引擎的数量，n为不小于1的冗余数量。
在一个实施例中，基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据之前，还用于实现：
在所述目标服务端中对所述目标服务请求进行匹配；
若所述目标服务端中存在与所述目标服务请求相匹配的待匹配服务请求，则将所述待匹配服务请求传输至所述大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项基于Myhouse数据库的数据传输方法。
其中，所述计算机可读存储介质可以是前述实施例所述的设备的内部存储单元，例如所述设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种基于Myhouse数据库的数据传输方法，其特征在于，所述基于Myhouse数据库的数据传输方法包括：
基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；
对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；
将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
2.根据权利要求1所述的基于Myhouse数据库的数据传输方法，其特征在于，所述基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据之前，包括：
基于Java数据库链接JDBC，建立目标客户端与Serve层中的预设连接器的连接。
3.根据权利要求1所述的基于Myhouse数据库的数据传输方法，其特征在于，所述对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据之前，包括：
基于各历史服务请求中，确定各所述历史服务请求的热点数据对应的各历史热点保存时间段；
基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段。
4.根据权利要求3所述的基于Myhouse数据库的数据传输方法，其特征在于，所述基于各所述历史热点保存时间段，计算平均热点保存时间段，并将所述平均热点保存时间段确定为所述预设时间段之后，包括：
基于所述平均热点保存时间段，对所述目标服务请求对应的数据写入过程进行检测，以确定所述平均热点保存时间段是否足以保存所述目标服务请求对应的所述热点数据；
若所述平均热点保存时间段不足以保存所述热点数据，则根据所述热点数据延长所述平均热点保存时间段。
5.根据权利要求4所述的基于Myhouse数据库的数据传输方法，其特征在于，所述将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入，包括：
基于超出所述预设时间段内的数据对应的数据长度，并通过预设公式计算所述大数据库中对应的预设列式存储引擎的数量，所述预设公式如下：
其中，L为超出所述预设时间段内的数据对应的数据长度，S为单个所述预设列式存储引擎的容量，N为所述预设列式存储引擎的数量，n为不小于1的冗余数量。
6.根据权利要求1至5中任一项所述的基于Myhouse数据库的数据传输方法，其特征在于，所述基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据之前，还包括：
在所述目标服务端中对所述目标服务请求进行匹配；
若所述目标服务端中存在与所述目标服务请求相匹配的待匹配服务请求，则将所述待匹配服务请求传输至所述大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
7.一种基于Myhouse数据库的数据传输装置，其特征在于，所述基于Myhouse数据库的数据传输装置包括：
语法分析模块，用于基于预设分析器中的预设语法分析算法，对目标服务请求进行语法解析，生成所述目标服务请求对应的目标数据；
热点数据写入模块，用于对目标服务端进行预配置，并将所述目标数据中的热点数据写入所述目标服务端，其中，所述热点数据为在预设时间段内的所述目标数据；
分布式存储模块，用于将所述目标数据中超出所述预设时间段内的数据写入并存储至预设大数据库中，并通过所述大数据库提供读写接口以实现数据插入。
8.一种设备，其特征在于，所述设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至6中任一项所述的基于Myhouse数据库的数据传输方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至6中任一项所述的基于Myhouse数据库的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401289.7A CN116414917A (zh) | 2023-04-14 | 2023-04-14 | 基于Myhouse数据库的数据传输方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401289.7A CN116414917A (zh) | 2023-04-14 | 2023-04-14 | 基于Myhouse数据库的数据传输方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116414917A true CN116414917A (zh) | 2023-07-11 |
Family
ID=87054393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310401289.7A Pending CN116414917A (zh) | 2023-04-14 | 2023-04-14 | 基于Myhouse数据库的数据传输方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116414917A (zh) |
-
2023
- 2023-04-14 CN CN202310401289.7A patent/CN116414917A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10509785B2 (en) | Policy-driven data manipulation in time-series database systems | |
| Doulkeridis et al. | A survey of large-scale analytical query processing in MapReduce | |
| US11899666B2 (en) | System and method for dynamic database split generation in a massively parallel or distributed database environment | |
| US10824622B2 (en) | Data statistics in data management systems | |
| US10089377B2 (en) | System and method for data transfer from JDBC to a data warehouse layer in a massively parallel or distributed database environment | |
| US20170083573A1 (en) | Multi-query optimization | |
| US8949222B2 (en) | Changing the compression level of query plans | |
| US10528596B2 (en) | System and method for consistent reads between tasks in a massively parallel or distributed database environment | |
| US11544268B2 (en) | System and method for generating size-based splits in a massively parallel or distributed database environment | |
| US10078684B2 (en) | System and method for query processing with table-level predicate pushdown in a massively parallel or distributed database environment | |
| US10089357B2 (en) | System and method for generating partition-based splits in a massively parallel or distributed database environment | |
| EP2797013A1 (en) | Database update execution according to power management schemes | |
| US11256684B1 (en) | Applying relational algebraic operations to change result sets of source tables to update a materialized view | |
| US10776368B1 (en) | Deriving cardinality values from approximate quantile summaries | |
| US9229969B2 (en) | Management of searches in a database system | |
| KR20230096107A (ko) | 빅 메타데이터 관리를 위한 열 기반 기법들 | |
| Dwivedi et al. | Performance analysis of column oriented database vs row oriented database | |
| US11256695B1 (en) | Hybrid query execution engine using transaction and analytical engines | |
| CN116414917A (zh) | 基于Myhouse数据库的数据传输方法、装置、设备及存储介质 | |
| US20170031909A1 (en) | Locality-sensitive hashing for algebraic expressions | |
| CN114064729A (zh) | 一种数据检索方法、装置、设备及存储介质 | |
| US11188228B1 (en) | Graphing transaction operations for transaction compliance analysis | |
| Xie et al. | Cool, a COhort OnLine analytical processing system | |
| Gomes et al. | Railgun: managing large streaming windows under MAD requirements | |
| US11494397B1 (en) | Data digital decoupling of legacy systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |