CN111694887B - 一种数据适应性存储调度系统及方法 - Google Patents

一种数据适应性存储调度系统及方法 Download PDF

Info

Publication number
CN111694887B
CN111694887B CN202010534195.3A CN202010534195A CN111694887B CN 111694887 B CN111694887 B CN 111694887B CN 202010534195 A CN202010534195 A CN 202010534195A CN 111694887 B CN111694887 B CN 111694887B
Authority
CN
China
Prior art keywords
data
sub
performance
data source
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010534195.3A
Other languages
English (en)
Other versions
CN111694887A (zh
Inventor
程韡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Best Weather Shanghai Technology Co ltd
Original Assignee
Best Weather Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Best Weather Shanghai Technology Co ltd filed Critical Best Weather Shanghai Technology Co ltd
Priority to CN202010534195.3A priority Critical patent/CN111694887B/zh
Publication of CN111694887A publication Critical patent/CN111694887A/zh
Application granted granted Critical
Publication of CN111694887B publication Critical patent/CN111694887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据适应性存储调度系统及方法,其中系统包括:操作接口,操作分发器,数据源,其中操作接口与操作分发器数据连接,以传输合法性检查后的目标数据;操作分发器包括:操作识别模块,分发调度模块,性能监控模块,其中性能监控模块内存储有性能表;操作识别模块接收及检测目标数据获取操作类型数据后,向分发调度模块发送,性能监控模块获取分发调度模块传送的操作类型数据,以根据性能表给出分发指令;其中数据源包括若干子数据源,分发调度模块依据分发指令向对应子数据源传输目标数据,籍此灵活应用各类数据源性能特长,来对应处理各类目标数据的操作,从而在各类数据应用场景下都能获得出色的性能及响应表现。

Description

一种数据适应性存储调度系统及方法
技术领域
本发明涉及数据存储调度技术,尤其涉及一种根据数据特性进行适应性存储的调度系统及方法。
背景技术
传统上,一个程序里对于某种数据只会采用一种数据源进行存储,如果使用了新的数据源,往往会抛弃旧的数据源。因为新的数据源在某些性能上会更适用于当前需求。但是无论使用什么数据源,都是权衡的结果。
例如,同样是对十万条数据进行插入,查找,删除操作,GreenDao,Room,LiteOrm三种数据库的耗时如下:
再例如,Android系统中HashMap,ArrayMap,SparseArray都可以用来存储带索引的数据,三者在不同的场景下性能对比如图1至图4所示。
可见传统数据库或数据源无法在所有场景下都做到最佳性能和最优化的响应处理,因为计算机软件内部的数据使用场景非常多,单一的数据库方案无法面面俱到,无法每一个场景都做到最好,必须选择自己的侧重点,所以目前业内每一种数据库/数据源都有自己的性能优势和性能短板。例如greenDao数据库在大量数据查询中效率大幅度领先其他数据库,但是在删除大量数据时,效率却比Room,Lite等数据库慢了十多倍。其他数据库都是如此,有自己性能领先的地方,也有性能落后的地方。
因此为了使各类数据库/数据源在存储性能方面做到取长补短,使鱼与熊掌能够兼得,本案发明人提出了一种数据适应性存储调度系统及方法。
发明内容
本发明的主要目的在于提供一种数据适应性存储调度系统及方法,以灵活应用各类数据源性能特长,来对应处理各类目标数据的操作。
为了实现上述目的,根据本发明的第一个方面,提供了一种数据适应性存储调度系统,其包括:操作接口,操作分发器,数据源,其中操作接口与操作分发器数据连接,以传输合法性检查后的目标数据;操作分发器包括:操作识别模块,分发调度模块,性能监控模块,其中性能监控模块内存储有性能表;操作识别模块接收及检测目标数据获取操作类型数据后,向分发调度模块发送,性能监控模块获取分发调度模块传送的操作类型数据,以根据性能表给出分发指令;其中数据源包括若干子数据源,分发调度模块依据分发指令向对应子数据源传输目标数据。
其中性能监控模块包括:性能校对机,第一处理单元,其中所述第一处理单元内存有性能表,所述性能表包括记载各子数据源的性能数据,性能校对机与各子数据源连接,根据预设程序处理并获取各子数据源的性能数据,以令第一处理单元更新性能表,其中所述性能数据包括:执行各类插入操作、查询操作、删除操作时各子数据源操作的运行时间数据。
优选地,其中性能监控模块还包括:第二处理单元,其中第二处理单元内存有状态表,各子数据源与第二处理单元连接,以供第二处理单元获取各子数据源运行状态,并对状态表进行更新后,向第一处理单元传输,以供与性能表合成性能总表;性能监控模块获取分发调度模块传送的操作类型数据,以根据性能总表处理出分发指令;分发调度模块依据分发指令向对应子数据源传输目标数据。
优选地,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时同步各子数据源间的数据。
优选地,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时向其余子数据源同步目标数据的存储地址数据。
为了实现上述目的,根据本发明的第二个方面,还提供了一种数据适应性存储调度系统,其包括:操作接口,操作分发器,数据源,其中操作接口与操作分发器数据连接,以传输合法性检查后的目标数据;操作分发器包括:操作识别模块,分发调度模块,性能监控模块,其中性能监控模块内存储有性能表;操作识别模块接收及检测目标数据获取操作类型数据后,向分发调度模块发送,性能监控模块获取分发调度模块传送的操作类型数据,以根据性能表给出分发指令;其中数据源包括若干子数据源,分发调度模块依据分发指令向对应子数据源传输目标数据,其中性能监控模块包括:性能校对机,第一处理单元,其中所述第一处理单元内存有性能表,所述性能表包括记载各子数据源的性能数据,性能校对机与各子数据源连接,适时根据预设典型程序对各子数据源做模拟操作,并至少记录运行时间数据,以对第一处理单元的性能表进行更新,其中所述性能数据包括:执行各类插入操作、查询操作、删除操作时各子数据源操作的运行时间数据。
优选地,其中模拟操作包括,性能校对机生成测试数据,并令各子数据源针对测试数据执行包括:插入操作、查询操作、删除操作中的至少一种,并记录各子数据源执行各操作的运行时间数据。
优选地,其中性能监控模块还包括:第二处理单元,其中第二处理单元内存有状态表,各子数据源向第二处理单元提供各子数据源运行状态、数据量中的至少一种数据,以供第二处理单元对状态表进行更新;第一处理单元获取状态表,以与性能表合成性能总表;性能监控模块获取分发调度模块传送的操作类型数据,以根据性能总表处理出分发指令,以供分发调度模块执行,并向对应子数据源传输目标数据。
优选地,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,以下述任一方式进行数据同步:适时同步各子数据源间的数据,或适时向其余子数据源同步目标数据的存储地址数据。
为了实现上述目的,根据本发明的第三个方面,还提供了一种数据适应性存储调度方法,该方法步骤包括:
S1 操作接口对目标数据进行合法性检测后向操作识别模块发送;
S2 操作识别模块检测目标数据的操作类型数据后,向分发调度模块发送;
S3性能校对机与各子数据源连接,适时根据预设典型程序 对各子数据源做模拟操作,并至少记录运行时间数据,以对第一处理单元的性能表进行更新,其中所述性能表包括记载各子数据源的性能数据,所述性能数据包括:执行各类插入操作、查询操作、删除操作时各子数据源操作的运行时间数据;
S4各子数据源向第二处理单元提供各子数据源运行状态及数据量数据,以供第二处理单元对其存储的状态表进行更新;第一处理单元获取更新后的状态表,以与性能表合成性能总表;
S5第一处理单元获取分发调度模块传送的操作类型数据以根据性能总表给出分发指令;
S6分发调度模块依据分发指令向对应子数据源传输目标数据;
S7同步模块以下述任一方式进行数据同步:适时同步各子数据源间的数据,或适时向其余子数据源同步目标数据的存储地址数据。
通过本发明提供的该数据适应性存储调度系统及方法,能够根据目标数据的操作类型数据来适应性分发至响应速度最快的数据源做处理,以灵活应用各类数据源性能特长,来对应处理各类目标数据的操作,从而在各类数据应用场景下都能获得出色的性能及响应表现。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1-图4为HashMap,ArrayMap,SparseArray三者在不同场景下的性能对比图;
图5是本发明的数据适应性存储调度系统框架示意图;
图6是本发明的数据适应性存储调度系统结构示意图;
图7是本发明的数据适应性存储调度系统的性能监控模块结构示意图。
实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域的技术人员更好的理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“S1”、“S2”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
本发明概念上采用了业界多种数据库/数据源实现方案,组成一个综合数据源(即本案下述实施例中数据源)。当一个业务场景来临时,首先识别哪个数据库/源能够更好的完成该业务的需求,然后再使用该数据库/源对业务场景进行处理,从而实现数据库/数据源之间取长补短。
此外在一些优选实施例中在目标数据操作处理完成后,各个数据库/源在适当的时候进行数据同步,从而为各自响应下次操作做好准备。
其中本实施例下的该“数据库/数据源”是指能够为程序提供数据来源的数据仓库,包括且不限于各类数据库,内存数据,网络数据库,数据结构等,例如SQLite,GreenDao,Room, Access,SyBase, Oracle,内存缓存,网络数据,链表等。而该“业务场景”是指各种数据操作,例如查询数据,插入数据,删除数据等。此外该“数据同步”是指将不同数据库/源的数据做互相更新。即有一个数据库/源的内容发生了改变,则其他数据库/源也做同样的改变,从而保证不同的数据库/源之间的数据内容是一致的。
实施例
请参阅图5至图7,具体来说,为了灵活应用各类数据源性能特长,来对应处理各类目标数据的操作,本发明提供的该数据适应性存储调度系统,其包括:
操作接口:负责对外提供数据源支持的操作,过滤非法操作。
数据源:负责提供各种技术指标的数据保存仓库。
操作分发器:负责识别待处理的操作的类别,并发送到最合适的数据仓库做处理。
其中操作接口与操作分发器数据连接,以传输合法性检查后的目标数据;操作分发器包括:
操作识别模块:负责识别需要处理的对数据的操作是什么类型,例如删除操作,插入操作,排序操作,查找操作等。
分发调度模块:负责将需要处理的操作,以合适的方式分发到最适合的子数据源做处理。
性能监控模块,负责监控每个子数据源的状态,以及每种操作场景下的性能。
其中性能监控模块内存储有性能表;操作识别模块接收及检测目标数据获取操作类型数据后,向分发调度模块发送,性能监控模块获取分发调度模块传送的操作类型数据,以根据性能表给出分发指令;其中数据源包括若干子数据源,分发调度模块依据分发指令向对应子数据源传输目标数据。
其中性能监控模块包括:性能校对机,第一处理单元,其中所述第一处理单元内存有性能表,该性能表如图7所示主要包括记载各子数据源的性能数据,如执行各类插入操作、查询操作、删除操作时各子数据源操作的运行时间数据,从而反映出各子数据源的性能特长。而该性能校对机与各子数据源连接,根据预设程序处理并获取各子数据源的性能数据,以令第一处理单元更新性能表。
具体来说,在本实施例中的该性能校对机所采用的预设程序包括:根据经验值预置记载的现有技术产品的各类数据库/数据源执行各类操作的预设性能指标,从而该预设程序仅需识别与其连接的该子数据源获取其型号信息,即可处理出各子数据源的性能列表,从而可对该第一处理单元的性能表进行更新。
此外为了进一步确保本案该存储调度系统的可靠性,该性能监控模块还包括:第二处理单元,其中第二处理单元内存有状态表,各子数据源与第二处理单元连接,以供第二处理单元获取各子数据源运行状态,并对状态表进行更新后,以向第一处理单元传输,以供与性能表合成性能总表,从而防止出现所分配调度的子数据源离线或存满时任然调度任务的问题。
之后该性能监控模块通过获取分发调度模块传送的操作类型数据,以根据性能总表处理出分发指令,其中该分发指令包括当前目标数据,根据其操作类型数据所要被分配的子数据源的地址信息等,从而该分发调度模块依据分发指令向对应子数据源传输目标数据即可完成此次操作任务。
此外在优选实施方式下,该数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时如利用系统空闲时间来同步各子数据源间的数据,从而为后续目标数据的操作做好相应准备。
此外在另一优选实施方式下,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时向其余子数据源同步目标数据的存储地址数据,这样只要有一个子数据源修改过,其他子数据源无需做实体数据的同步修改,因为所有子数据源共用的一个对象,这样可以提高同步的性能和效率。
例如,某天气应用程序有10000个城市数据,同时采用了HashMap,ArrayMap,SparseArray三种数据结构来保存这些数据。当用户查找一个城市时,根据性能监控模块的性能总表查询后可知SparseArray在此场景下性能最好,因此将该操作分发给SparseArray数据源做处理。
当用户添加一个新的城市时,需要将该城市的信息根据字母顺序插入到数据源中,如果该城市字母靠后,可以使用倒序插入,而倒叙插入这个操作,根据性能总表可知,使用HashMap处理最快。因此,可将该城市的添加操作分配给HashMap数据源处理。当处理完成后,需要对其他子数据源做同步,因为不同子数据源的数据是一致的,所以HashMap数据源插入的位置也必然是其他子数据源应该插入的位置,因此可以直接用add(位置)的方式将该城市信息添加到其他子数据源中,这样便快捷地完成了数据源的同步,省去了其他数据源查找插入位置的操作。
对于大的数据,例如Bitmap图片,无需每个子数据源都保留一份实体,可以只在子数据源的存储器内保留一份实体,各子数据源指向同一个实体的地址即可,这样在某些操作中也省去了同步的麻烦。
例如,需要向数据源插入一个bitmap对象,本来是要在每个子数据源中都需插入一个bitmap,这样就会在存储器里生成多个bitmap对象,既多占用了几倍的存储空间,又耗费了更多的new对象的时间。本发明在内存或者磁盘上保存一个bitmap,然后将其保存地址存在各子数据源中即可。如果要修改bitmap,则只要有一个子数据源修改过,其他子数据源无需做同步修改,因为所有数据源共用的一个对象。
从而通过本实施例提供的该数据适应性存储调度系统,能够根据目标数据的操作类型数据来适应性分发至响应速度最快的数据源做处理,以灵活应用各类数据源性能特长,来对应处理各类目标数据的操作,从而在各类数据应用场景下都能获得出色的性能及响应表现。
实施例
本发明的第二个方面,还提供了一种数据适应性存储调度系统,其包括:操作接口:负责对外提供数据源支持的操作,过滤非法操作。
数据源:负责提供各种技术指标的数据保存仓库。
操作分发器:负责识别待处理的操作的类别,并发送到最合适的数据仓库做处理。
其中操作接口与操作分发器数据连接,以传输合法性检查后的目标数据;操作分发器包括:
操作识别模块:负责识别需要处理的对数据的操作是什么类型,例如删除操作,插入操作,排序操作,查找操作等。
分发调度模块:负责将需要处理的操作,以合适的方式分发到最适合的子数据源做处理。
性能监控模块,负责监控每个子数据源的状态,以及每种操作场景下的性能。
其中性能监控模块内存储有性能表;操作识别模块接收及检测目标数据获取操作类型数据后,向分发调度模块发送,性能监控模块获取分发调度模块传送的操作类型数据,以根据性能表给出分发指令;其中数据源包括若干子数据源,分发调度模块依据分发指令向对应子数据源传输目标数据。
值得一提的是,其中该性能监控模块包括:性能校对机,第一处理单元,其中所述第一处理单元内存有性能表,性能校对机与各子数据源连接,适时根据预设典型程序对各子数据源做模拟操作,并至少记录运行时间数据,以对第一处理单元的性能表进行更新。其中该模拟操作包括,性能校对机可利用系统空闲时间,或预设时间点来生成测试数据,并令各子数据源针对测试数据执行包括:插入操作、查询操作、删除操作中的至少一种,并记录各子数据源执行各操作的运行时间数据。
由此相比实施例一本实施例的该性能校对机能够更为直接和准确的知晓当前系统下的各子数据源在进行各类操作时的真实数据,并且即便随着存储技术的发展,各子数据源更换后,本系统还是能够根据新的测试结果,来汇总连线的新的子数据源的性能数据,以提高本系统的适用场景。
此外为了进一步确保本案该存储调度系统的可靠性,该性能监控模块还包括:第二处理单元,其中第二处理单元内存有状态表,各子数据源与第二处理单元连接,以供第二处理单元获取各子数据源运行状态,并对状态表进行更新后,以向第一处理单元传输,以供与性能表合成性能总表,从而防止出现所分配调度的子数据源离线或存满时任然调度任务的问题。
之后该性能监控模块通过获取分发调度模块传送的操作类型数据,以根据性能总表处理出分发指令,其中该分发指令包括当前目标数据,根据其操作类型数据所要被分配的子数据源的地址信息等,从而该分发调度模块依据分发指令向对应子数据源传输目标数据即可完成此次操作任务。
此外在优选实施方式下,该数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时如利用系统空闲时间来同步各子数据源间的数据,从而为后续目标数据的操作做好相应准备。
此外在另一优选实施方式下,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时向其余子数据源同步目标数据的存储地址数据,这样只要有一个子数据源修改过,其他子数据源无需做实体数据的同步修改,因为所有子数据源共用的一个对象,这样可以提高同步的性能和效率。
例如,某天气应用程序有10000个城市数据,同时采用了HashMap,ArrayMap,SparseArray三种数据结构来保存这些数据,当本发明的系统构建后,该性能校对机根据预设典型程序对各子数据源做模拟操作后,形成性能总表。
至此当用户查找一个城市时,根据性能监控模块的性能总表查询后可知SparseArray在此场景下性能最好,因此将该操作分发给SparseArray数据源做处理。当用户添加一个新的城市时,需要将该城市的信息根据字母顺序插入到数据源中,如果该城市字母靠后,可以使用倒序插入,而倒叙插入这个操作,根据性能总表可知,使用HashMap处理最快。
因此,可将该城市的添加操作分配给HashMap数据源处理。当处理完成后,需要对其他子数据源做同步,因为不同子数据源的数据是一致的,所以HashMap数据源插入的位置也必然是其他子数据源应该插入的位置,因此可以直接用add(位置)的方式将该城市信息添加到其他子数据源中,这样便快捷地完成了数据源的同步,省去了其他数据源查找插入位置的操作。
对于大的数据,例如Bitmap图片,无需每个子数据源都保留一份实体,可以只在子数据源的存储器内保留一份实体,各子数据源指向同一个实体的地址即可,这样在某些操作中也省去了同步的麻烦。
例如,需要向数据源插入一个bitmap对象,本来是要在每个子数据源中都需插入一个bitmap,这样就会在存储器里生成多个bitmap对象,既多占用了几倍的存储空间,又耗费了更多的new对象的时间。本发明在内存或者磁盘上保存一个bitmap,然后将其保存地址存在各子数据源中即可。如果要修改bitmap,则只要有一个子数据源修改过,其他子数据源无需做同步修改,因为所有数据源共用的一个对象。
从而通过本实施例提供的该数据适应性存储调度系统,能够智能的根据目标数据的操作类型数据,来适应性分发至响应速度最快的数据源做处理,以灵活应用各类数据源性能特长,来对应处理各类目标数据的操作,从而在各类数据应用场景下都能获得出色的性能及响应表现。
此外本发明的第三个方面,还提供了一种数据适应性存储调度方法,以操控上述实施例中的数据适应性存储调度系统,该方法步骤包括:
S1 操作接口对目标数据进行合法性检测后向操作识别模块发送;
S2 操作识别模块检测目标数据的操作类型数据后,向分发调度模块发送;
S3性能校对机与各子数据源连接,适时根据预设典型程序 对各子数据源做模拟操作,并至少记录运行时间数据,以对第一处理单元的性能表进行更新;
S4各子数据源向第二处理单元提供各子数据源运行状态及数据量数据,以供第二处理单元对其存储的状态表进行更新;第一处理单元获取更新后的状态表,以与性能表合成性能总表;
S5第一处理单元获取分发调度模块传送的操作类型数据以根据性能总表给出分发指令;
S6分发调度模块依据分发指令向对应子数据源传输目标数据;
S7同步模块以下述任一方式进行数据同步:适时同步各子数据源间的数据,或适时向其余子数据源同步目标数据的存储地址数据。
从而通过本发明提供的该数据适应性存储调度方法,能够根据目标数据的操作类型数据来适应性分发至响应速度最快的数据源做处理,以灵活应用各类数据源性能特长,来对应处理各类目标数据的操作,从而在各类数据应用场景下都能获得出色的性能及响应表现。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域技术人员可以理解,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外,本发明实施例的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施例的思想,其同样应当视为本发明实施例所公开的内容。

Claims (9)

1.一种数据适应性存储调度系统,其包括:操作接口,操作分发器,数据源,其中操作接口与操作分发器数据连接,以传输合法性检查后的目标数据;操作分发器包括:操作识别模块,分发调度模块,性能监控模块,其中性能监控模块内存储有性能表;操作识别模块接收及检测目标数据获取操作类型数据后,向分发调度模块发送,性能监控模块获取分发调度模块传送的操作类型数据,以根据性能表给出分发指令;其中数据源包括若干子数据源,分发调度模块依据分发指令向对应子数据源传输目标数据;其中性能监控模块包括:性能校对机,第一处理单元,其中所述第一处理单元内存有性能表,所述性能表包括记载各子数据源的性能数据,性能校对机与各子数据源连接,根据预设程序处理并获取各子数据源的性能数据,以令第一处理单元更新性能表,其中所述性能数据包括:执行各类插入操作、查询操作、删除操作时各子数据源操作的运行时间数据。
2.根据权利要求1所述的数据适应性存储调度系统,其中性能监控模块还包括:第二处理单元,其中第二处理单元内存有状态表,各子数据源与第二处理单元连接,以供第二处理单元获取各子数据源运行状态,并对状态表进行更新后,向第一处理单元传输,以供与性能表合成性能总表;性能监控模块获取分发调度模块传送的操作类型数据,以根据性能总表处理出分发指令;分发调度模块依据分发指令向对应子数据源传输目标数据。
3.根据权利要求1所述的数据适应性存储调度系统,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时同步各子数据源间的数据。
4.根据权利要求1所述的数据适应性存储调度系统,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,适时向其余子数据源同步目标数据的存储地址数据。
5.一种数据适应性存储调度系统,其包括:操作接口,操作分发器,数据源,其中操作接口与操作分发器数据连接,以传输合法性检查后的目标数据;操作分发器包括:操作识别模块,分发调度模块,性能监控模块,其中性能监控模块内存储有性能表;操作识别模块接收及检测目标数据获取操作类型数据后,向分发调度模块发送,性能监控模块获取分发调度模块传送的操作类型数据,以根据性能表给出分发指令;其中数据源包括若干子数据源,分发调度模块依据分发指令向对应子数据源传输目标数据,其中性能监控模块包括:性能校对机,第一处理单元,其中所述第一处理单元内存有性能表,所述性能表包括记载各子数据源的性能数据,性能校对机与各子数据源连接,适时根据预设典型程序对各子数据源做模拟操作,并至少记录运行时间数据,以对第一处理单元的性能表进行更新,其中所述性能数据包括:执行各类插入操作、查询操作、删除操作时各子数据源操作的运行时间数据。
6.根据权利要求5所述的数据适应性存储调度系统,其中模拟操作包括,性能校对机生成测试数据,并令各子数据源针对测试数据执行包括:插入操作、查询操作、删除操作中的至少一种,并记录各子数据源执行各操作的运行时间数据。
7.根据权利要求6所述的数据适应性存储调度系统,其中性能监控模块还包括:第二处理单元,其中第二处理单元内存有状态表,各子数据源向第二处理单元提供各子数据源运行状态、数据量中的至少一种数据,以供第二处理单元对状态表进行更新;第一处理单元获取状态表,以与性能表合成性能总表;性能监控模块获取分发调度模块传送的操作类型数据,以根据性能总表处理出分发指令,以供分发调度模块执行,并向对应子数据源传输目标数据。
8.根据权利要求7所述的数据适应性存储调度系统,数据源还包括:同步模块,其与各子数据源控制连接,以在各子数据源存储分发调度模块传输的目标数据后,以下述任一方式进行数据同步:适时同步各子数据源间的数据,或适时向其余子数据源同步目标数据的存储地址数据。
9.一种数据适应性存储调度方法,步骤包括:
S1 操作接口对目标数据进行合法性检测后向操作识别模块发送;
S2 操作识别模块检测目标数据的操作类型数据后,向分发调度模块发送;
S3性能校对机与各子数据源连接,适时根据预设典型程序 对各子数据源做模拟操作,并至少记录运行时间数据,以对第一处理单元的性能表进行更新,其中所述性能表包括记载各子数据源的性能数据,所述性能数据包括:执行各类插入操作、查询操作、删除操作时各子数据源操作的运行时间数据;
S4各子数据源向第二处理单元提供各子数据源运行状态及数据量数据,以供第二处理单元对其存储的状态表进行更新;第一处理单元获取更新后的状态表,以与性能表合成性能总表;
S5第一处理单元获取分发调度模块传送的操作类型数据以根据性能总表给出分发指令;
S6分发调度模块依据分发指令向对应子数据源传输目标数据;
S7同步模块以下述任一方式进行数据同步:适时同步各子数据源间的数据,或适时向其余子数据源同步目标数据的存储地址数据。
CN202010534195.3A 2020-06-12 2020-06-12 一种数据适应性存储调度系统及方法 Active CN111694887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010534195.3A CN111694887B (zh) 2020-06-12 2020-06-12 一种数据适应性存储调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010534195.3A CN111694887B (zh) 2020-06-12 2020-06-12 一种数据适应性存储调度系统及方法

Publications (2)

Publication Number Publication Date
CN111694887A CN111694887A (zh) 2020-09-22
CN111694887B true CN111694887B (zh) 2023-07-04

Family

ID=72480688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010534195.3A Active CN111694887B (zh) 2020-06-12 2020-06-12 一种数据适应性存储调度系统及方法

Country Status (1)

Country Link
CN (1) CN111694887B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243653A (zh) * 2011-06-16 2011-11-16 苏州阔地网络科技有限公司 一种数据库连接的管理方法及装置
CN105843904A (zh) * 2016-03-23 2016-08-10 江苏太湖云计算信息技术股份有限公司 针对数据库运行性能的监控告警系统
CN106528853A (zh) * 2016-11-28 2017-03-22 中国工商银行股份有限公司 数据交互管理装置、跨库数据交互处理装置及方法
CN110417738A (zh) * 2019-06-26 2019-11-05 天津芯海创科技有限公司 一种内生安全系统调度器实现装置及实现方法
CN110727640A (zh) * 2019-09-11 2020-01-24 国云科技股份有限公司 一种轻量级非主从分布式路由文件查询存储系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437819B2 (en) * 2014-11-14 2019-10-08 Ab Initio Technology Llc Processing queries containing a union-type operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243653A (zh) * 2011-06-16 2011-11-16 苏州阔地网络科技有限公司 一种数据库连接的管理方法及装置
CN105843904A (zh) * 2016-03-23 2016-08-10 江苏太湖云计算信息技术股份有限公司 针对数据库运行性能的监控告警系统
CN106528853A (zh) * 2016-11-28 2017-03-22 中国工商银行股份有限公司 数据交互管理装置、跨库数据交互处理装置及方法
CN110417738A (zh) * 2019-06-26 2019-11-05 天津芯海创科技有限公司 一种内生安全系统调度器实现装置及实现方法
CN110727640A (zh) * 2019-09-11 2020-01-24 国云科技股份有限公司 一种轻量级非主从分布式路由文件查询存储系统及方法

Also Published As

Publication number Publication date
CN111694887A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN109460349B (zh) 一种基于日志的测试用例生成方法和装置
CN111400407B (zh) 数据的同步方法及装置、存储介质及电子装置
CN105824846B (zh) 数据迁移方法及装置
CN112487083B (zh) 一种数据校验方法和设备
CN104809201A (zh) 一种数据库同步的方法和装置
CN110321383A (zh) 大数据平台数据同步方法、装置、计算机设备及存储介质
CN109558411A (zh) 一种基于区块链数据的下链同步方法及装置
CN110597630B (zh) 一种分布式系统中内容资源的处理方法及系统
CN106294769B (zh) 同步工程数据的方法、系统和装置
CN105975352A (zh) 一种缓存数据处理方法及服务器
CN112256656A (zh) 事务回滚方法及装置、数据库、系统、计算机存储介质
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN107016075A (zh) 集群数据同步方法及装置
CN113641651A (zh) 一种业务数据管理方法、系统及计算机存储介质
CN111159020B (zh) 一种应用于同步软件测试的方法和装置
CN111694887B (zh) 一种数据适应性存储调度系统及方法
CN113760902A (zh) 数据拆分方法、装置、设备、介质及程序产品
CN116976457A (zh) 模型加载方法、推理系统、装置和计算机设备
CN115495527A (zh) 一种数据同步管理系统和方法
CN116089529A (zh) 数据同步方法、装置、电子设备及存储介质
CN113849520A (zh) 异常sql的智能识别方法、装置、电子设备及存储介质
CN111400269B (zh) 一种ipfs文件处理方法、节点、介质和设备
CN115210694A (zh) 数据传输方法及装置
CN111142791A (zh) 数据迁移方法和装置
CN116662290B (zh) 有状态的服务器无感知函数的读优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant