CN115544147B - 机房数据读取方法、装置、设备及存储介质 - Google Patents
机房数据读取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115544147B CN115544147B CN202211274951.9A CN202211274951A CN115544147B CN 115544147 B CN115544147 B CN 115544147B CN 202211274951 A CN202211274951 A CN 202211274951A CN 115544147 B CN115544147 B CN 115544147B
- Authority
- CN
- China
- Prior art keywords
- database
- information
- data
- preset
- data reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 52
- 238000013524 data verification Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000013016 damping Methods 0.000 claims 6
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及计算机技术领域,尤其涉及一种机房数据读取方法、装置、设备及存储介质,该方法包括:获取各数据库的状态信息,并根据状态信息确定各数据库对应的状态等级;根据状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与主数据库进行数据读取操作;在状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库;将目标数据库作为新的主数据库,以使各服务器与新的主数据库进行数据读取操作。相比于现有的需先通过服务器写入对应的数据库,再对对应的数据库进行数据读取,本发明能在出现网络波动时,各服务器也能及时获取对应数据,提升用户体验。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种机房数据读取方法、装置、设备及存储介质。
背景技术
目前,随和科技的进步,互联网服务越来越多,用户基数也越来越多,因此为了建设良好的网络环境,针对不同地理位置处的用户均会设立对应的机房来存储数据。
现有的机房服务器在进行数据读写时,一般是将数据写入本机房的数据库中,再将数据传输至其余各机房的服务器,通过各自的服务器再将接收到的数据写入对应的数据库中,但当数据读写过程中出现网络波动时,可能导致各服务器接收数据不及时,进而导致各机房数据库之间的数据同步不及时,用户体验较差。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种机房数据读取方法、装置、设备及存储介质,旨在解决现有技术中服务器写入数据不及时,用户体验较差的技术问题。
为实现上述目的,本发明提供了一种机房数据读取方法,所述方法包括以下步骤:
根据所述状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与所述主数据库进行数据读取操作;
在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库;
将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作。
可选地,所述在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库的步骤,包括:
在所述状态等级低于预设状态等级时,获取所述状态等级的衰减度系数;
基于所述衰减度系数从策略库中选取预设切换策略;
根据所述预设切换策略从剩余的数据库中确定目标数据库。
可选地,所述获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级的步骤,包括:
获取各数据库的处理能力信息和网络波动信息;
基于所述处理能力信息获取第一权重系数,并基于所述网络波动信息获取第二权重系数;
根据所述处理能力信息和所述第一权重系数确定处理能力等级,并根据所述网络波动信息和所述第二权重系数确定网络波动等级;
基于所述处理能力等级和所述网络波动等级确定所述各数据库对应的状态等级。
可选地,所述将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作的步骤之后,还包括:
在将所述目标数据库作为新的主数据库时,对所述新的主数据库进行标记,并记录标记时刻;
记录所述新的主数据库的标记时长,并根据所述标记时长选取数据校验策略;
基于所述数据校验策略对所述主数据库与所述新的主数据库进行数据校验。
可选地,所述记录所述新的主数据库的标记时长,并根据所述标记时长选取数据校验策略的步骤之前,还包括:
获取所述新的主数据库中数据的使用频率和重要等级;
根据所述使用频率和所述重要等级对所述新的主数据库中的数据进行排序;
根据预设标记时长生成校验频率,并基于排序结果、预设标记时长和校验频率生成校验策略。
可选地,所述根据预设切换策略从剩余的数据库中确定目标数据库的步骤之前,还包括:
获取预设敏感数据,并对剩余的数据库中的数据进行采集,获得待检测数据;
将所述待检测数据与所述预设敏感数据进行比较;
根据比较结果生成所述剩余的数据库的风险报告,并根据所述风险报告对所述预设切换策略进行调整;
相应地,所述根据预设切换策略从剩余的数据库中确定目标数据库的步骤,包括:
根据调整后的预设切换策略从剩余的数据库中确定目标数据库。
可选地,所述获取预设敏感数据,并对剩余的数据库中的数据进行采集,获得待检测数据的步骤,包括:
获取预设敏感数据,并根据所述剩余的数据库的开发环境获取对应的元数据采集方式;
通过所述对应的元数据采集方式对所述剩余的数据库中的数据进行采集,获得待检测数据。
此外,为实现上述目的,本发明还提出一种机房数据读取装置,所述装置包括:
等级确定模块,用于获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级;
数据库选取模块,用于根据所述状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与所述主数据库进行数据读取操作;
数据库切换模块,用于在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库;
数据读取模块,用于将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作。
此外,为实现上述目的,本发明还提出一种机房数据读取设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机房数据读取程序,所述机房数据读取程序配置为实现如上文所述的机房数据读取方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有机房数据读取程序,所述机房数据读取程序被处理器执行时实现如上文所述的机房数据读取方法的步骤。
本发明是通过获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级;根据所述状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与所述主数据库进行数据读取操作;在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库;将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作。由于本发明中各服务器均与同一个主数据库进行数据读取操作,无需各服务器与对应的数据库进行数据读取,相比于现有的需先通过服务器写入对应的数据库,再对对应的数据库进行数据读取,本发明能在出现网络波动时,各服务器也能及时获取对应数据,提升用户体验。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的机房数据读取设备结构示意图;
图2为本发明机房数据读取方法第一实施例的流程示意图;
图3为本发明机房数据读取方法第二实施例的流程示意图;
图4为本发明机房数据读取方法第三实施例的流程示意图;
图5为本发明机房数据读取装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的机房数据读取设备结构示意图。
如图1所示,该机房数据读取设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对机房数据读取设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及机房数据读取程序。
在图1所示的机房数据读取设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明机房数据读取设备中的处理器1001、存储器1005可以设置在机房数据读取设备中,所述机房数据读取设备通过处理器1001调用存储器1005中存储的机房数据读取程序,并执行本发明实施例提供的机房数据读取方法。
本发明实施例提供了一种机房数据读取方法,参考图2,图2为本发明机房数据读取方法第一实施例的流程示意图。
本实施例中,所述机房数据读取方法包括以下步骤:
步骤S10:获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级。
需要说明的是,本实施例方法可以是应用在机房服务器对数据库进行数据读取的场景中,或者其它需要对数据进行读取的场景中。本实施例的执行主体可以是具有数据处理、网络通信以及程序运行功能的机房数据读取设备,例如服务器等,或者是其它能够实现如同或相似功能的设备。此处以上述机房数据读取设备(以下简称设备)对本实施例和下述各实施例进行具体说明。
可理解的是,上述数据库为机房所设置的用于存储用户数据的库,在本实施例中,机房可设置有多个,各机房均可设置有对应的数据库,具体每个机房所设置的数据库的数量可根据实际情况自行设置,本实施例不加以限制,同时各数据库的存储空间大小本实施例也不加以限制。
应理解的是,上述状态信息可包括数据库的运行状态信息、处理能力信息、网络波动信息等与数据库性能相关的信息,由于欲将数据库作为主数据库,支持各服务器之间的数据读取,上述主数据库的性能需较佳,在本实施例中,考虑到处理能力以及网络波动较差的数据库不适合作为主数据库,因此为了准确筛选出可作为主数据库的数据库,上述步骤S10包括:
步骤S11:获取各数据库的处理能力信息和网络波动信息;
需要强调的是,上述处理能力信息可以包括事务性能信息、查询性能信息、容量信息、配置信息等,上述事务性能信息可以是获取整个事务的相应时间和组成事务的各部分的相应时间,时间若越长则可代表该项性能越差;上述查询性能信息可用于反映数据库是否能识别服务器所需数据或是否能及时返回数据;上述容量信息可表示数据库所剩余的可用容量信息;上述配置信息可表示数据库的相关硬件配置信息,不同的配置信息也可导致处理能力信息受到影响。
可理解的是,上述网络波动信息可以是数据库与对应服务器之间的当前网速变化信息,还可以是预测的未来预设时间段内的网速变化信息,上述预设时间可根据实际情况自行设置,本实施例对此不加以限制。
步骤S12:基于所述处理能力信息获取第一权重系数,并基于所述网络波动信息获取第二权重系数。
需要说明的是,上述第一权重系数可表示处理能力信息所占有的权重,上述第二权重系数可表示网络波动信息所占有的权重,上述第一权重系数和上述第二权重系数均可根据实际情况自行设置。
步骤S13:根据所述处理能力信息和所述第一权重系数确定处理能力等级,并根据所述网络波动信息和所述第二权重系数确定网络波动等级。
应理解的是,上述处理能力等级可分为“一级、二级、三级等”,上述网络波动等级也可分为“一级、二级、三级等”,上述设备根据处理能力信息和第一权重系数可确定数据库在处理能力方面所获得的分数,并根据该分数可确定上述数据库的处理能力等级;上述设备还可根据网络波动信息和第二权重系数确定数据库在网速传输方面所获得的分数,并根据该分数可确定上述数据库的网络波动等级。
步骤S14:基于所述处理能力等级和所述网络波动等级确定所述各数据库对应的状态等级。
可理解的是,上述设备内可存储有处理能力等级、网络波动等级和状态等级之间的映射关系表,可以是处理能力等级和网络波动等级越高,对应的状态等级越高,具体映射关系本实施例不加以限制。
在具体实现中,上述设备可获取各数据库的处理能力信息和网络波动信息;基于处理能力信息获取对应的第一权重系数,并基于网络波动信息获取对应的第二权重系数;根据处理能力信息和第一权重系数确定上述数据库的处理能力等级,根据网络波动信息和第二权重系数确定上述数据库的网络波动等级;基于处理能力等级和网络波动等级在映射关系表中查询对应的状态等级,进而可提升数据库状态等级确定的准确度。
步骤S20:根据所述状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与所述主数据库进行数据读取操作。
需要说明的是,上述主数据库可以用于所有机房的服务器之间的数据读取操作,为了便于理解,进行举例说明,例如存在机房A、机房B和机房C,机房A中存在数据库a,机房B中存在数据库b,机房C中存在数据库c,若上述设备判断数据库a的状态等级最高,则将数据库a作为主数据库,机房A、机房B和机房C中的服务器均与数据库a进行数据读取操作,在机房B中的服务器读取到数据库a中的数据后再将该数据写入数据库b,在机房C中的服务器读取到数据库a中的数据后再将该数据写入数据库c,进而可完成数据的同步。
在具体实现中,上述设备可根据状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与主数据库进行数据读取操作,并将读取到的数据写入对应的数据库中。
步骤S30:在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库。
可理解的是,上述预设状态等级可根据实际情况自行设置,本实施例不加以限制。
进一步地,由于数据库的处理能力信息和网络波动信息可实时变化,导致数据库的状态等级也会实时改变,为了防止主数据库的频繁切换,进而影响数据读取效率,在本实施例中,上述步骤S30包括:
步骤S31:在所述状态等级低于预设状态等级时,获取所述状态等级的衰减度系数。
需要说明的是,上述状态等级的衰减度系数可以表示上述主服务器在预设时间段内的状态等级变化快慢,上述预设时间段的时长本实施例不加以限制。
应理解的是,当现有的主数据库的状态等级低于预设状态等级时,可代表现有的主数据库不适合继续进行数据读写,进而需对主数据库进行切换。
步骤S32:基于所述衰减度系数从策略库中选取预设切换策略。
可理解的是,不同的衰减度系数对应的预设切换策略也不同,例如,当衰减度系数较小时,可综合考虑其他数据库的状态等级的衰减度系数,若现有的主数据库的衰减度系数均小于其它数据库的衰减度系数,则上述设备可判定当前现有的主数据库依旧是最佳数据库,各服务器继续对现有的主数据库进行数据读写,进而可防止避免由于频繁切换导致数据读写不及时的情况;当衰减系数较大时,则存在其它数据库满足预设状态等级或其它数据库的衰减度系数较小,则可将满足要求的数据库作为新的主数据库。
需要强调的是,若出现多个数据库满足新的主数据库要求时,上述设备还可考虑对应数据库与现有的主数据库之间的数据传输距离,距离近的优先考虑,同时还可考虑各数据库的历史使用频率、出错率以及安全性等因素,例如历史使用频率越多则优先考虑,出错率越低则优先考虑,安全性越高则优先考虑等,进而可进一步提升筛选的准确度。
步骤S33:根据所述预设切换策略从剩余的数据库中确定目标数据库。
在具体实现中,上述设备在状态等级低于预设状态等级时,获取状态等级对应的衰减度系数,基于上述衰减度系数从策略库中选取预设切换策略,根据上述预设切换策略从剩余的数据库中确定目标数据库。
步骤S40:将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作。
本实施例上述设备可获取各数据库的处理能力信息和网络波动信息;基于处理能力信息获取对应的第一权重系数,并基于网络波动信息获取对应的第二权重系数;根据处理能力信息和第一权重系数确定上述数据库的处理能力等级,根据网络波动信息和第二权重系数确定上述数据库的网络波动等级;基于处理能力等级和网络波动等级在映射关系表中查询对应的状态等级,进而可提升数据库状态等级确定的准确度;根据状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与主数据库进行数据读取操作,并将读取到的数据写入对应的数据库中;在状态等级低于预设状态等级时,获取状态等级对应的衰减度系数,基于上述衰减度系数从策略库中选取预设切换策略,根据上述预设切换策略从剩余的数据库中确定目标数据库;将目标数据库作为新的主数据库,以使各服务器与新的主数据库进行数据读写操作。由于本实施例中各服务器均与同一个主数据库进行数据读取操作,无需各服务器与对应的数据库进行数据读取,相比于现有的需先通过服务器写入对应的数据库,再对对应的数据库进行数据读取,本实施例能在出现网络波动时,各服务器也能及时获取对应数据,提升用户体验。
参考图3,图3为本发明机房数据读取方法第二实施例的流程示意图。
考虑到将目标数据库作为新的主数据库后,可能存在新的主数据库中的数据并非与之前的主数据库中的数据保持一致,进而导致部分数据读取失败,因此如图3所示,在本实施例中,上述步骤S40之后,还包括:
步骤S50:在将所述目标数据库作为新的主数据库时,对所述新的主数据库进行标记,并记录标记时刻;
需要说明的是,为了保证各数据库的标记时刻的标准均同一,上述标记时刻可包括年月日以及当前时刻。
在具体实现中,上述设备可在上述目标数据库作为新的主数据库时,可对新的主数据库进行标记,并记录标记时刻。
步骤S60:记录所述新的主数据库的标记时长,并根据所述标记时长选取数据校验策略。
可理解的是,上述数据校验策略可根据具体的标记时长进行选择,例如新的主数据库的标记时长较短,则可对上述新的主数据库进行校验越细致,校验的内容越全面,若新的主数据库的标记时长较长,则可以抽查的方式对新的主数据库中的数据进行校验。
进一步地,考虑到对数据库中的每个数据校验所耗费的时间较长,进而在本实施例中,上述步骤S60之前,还包括:
步骤S601:获取所述新的主数据库中数据的使用频率和重要等级。
应理解的是,上述设备可对新的主数据中的数据进行分段,以段为单元进行数据校验,上述重要等级可以根据用户的使用情况进行确定,若使用越频繁可代表该数据重要等级越高,同时数据的具体重要等级还可用户自行设置,本实施例对此不加以限制。
步骤S602:根据所述使用频率和所述重要等级对所述新的主数据库中的数据进行排序。
需要说明的是,上述设备可根据各段数据的使用频率和重要等级对上述新的数据库中的各段数据进行排序,排序在前则优先进行校验。
步骤S603:根据预设标记时长生成校验频率,并基于排序结果、预设标记时长和校验频率生成校验策略。
可理解的是,上述校验频率可根据实际情况自行设置,例如,若预设标记时长为3小时,则可将对应的校验频率设置为0.5小时一次,若预设标记时长为10小时,则可将对应的校验频率设置为2小时一次,预设标记时长越短则对应的校验频率越高,上述举例仅便于理解,并不对具体的校验频率进行限制。
在具体实现中,上述设备可对新的主数据库中的数据进行分段,并获取每段数据的使用频率和重要等级,根据使用频率和重要等级对新的主数据库中的每段数据进行排序,根据预设标记时长生成校验频率,并基于排序结果、预设标记时长和校验频率生成校验策略;再记录新的主数据库的标记时长,并根据上述标记时长选取对应的数据校验策略。
步骤S70:基于所述数据校验策略对所述主数据库与所述新的主数据库进行数据校验。
在具体实现中,上述设备可基于数据校验策略对主数据库与新的主数据库中的数据进行校验,在数据一致时可判定新的主数据库中的数据校验成功。
本实施例上述设备可在上述目标数据库作为新的主数据库时,可对新的主数据库进行标记,并记录标记时刻;对新的主数据库中的数据进行分段,并获取每段数据的使用频率和重要等级,根据使用频率和重要等级对新的主数据库中的每段数据进行排序,根据预设标记时长生成校验频率,并基于排序结果、预设标记时长和校验频率生成校验策略;再记录新的主数据库的标记时长,并根据上述标记时长选取对应的数据校验策略;基于数据校验策略对主数据库与新的主数据库中的数据进行校验,在数据一致时可判定新的主数据库中的数据校验成功,进而本实施例可结合数据库的标记时长进行数据校验,提升数据读取的准确性,同时合理的设置校验频率。
参考图4,图4为本发明机房数据读取方法第三实施例的流程示意图。
考虑到数据库中的数据可能存在危险数据,或者安全性较低的数据,进而为了提升数据库的安全性,基于上述各实施例,如图4所示,在本实施例中,上述根据预设切换策略从剩余的数据库中确定目标数据库的步骤之前,还包括:
步骤S301:获取预设敏感数据,并对剩余的数据库中的数据进行采集,获得待检测数据。
需要说明的是,上述预设敏感数据可以是对数据库造成危险的数据,例如与权限相关的数据,与数据安全相关的数据等,具体本实施例不加以限制。
进一步地,考虑到数据采集的方式有多中,为了提升采集效率,在本实施例中,上述数据采集的方式采用元数据采集方式,因此上述步骤S301包括:
获取预设敏感数据,并根据所述剩余的数据库的开发环境获取对应的元数据采集方式;通过所述对应的元数据采集方式对所述剩余的数据库中的数据进行采集,获得待检测数据。
可理解的是,不同数据库的开发环境可能不同,进而对应数据的存储方式以及位置可能均不相同,同时上述元数据可以是用于描述数据的数据,可以是数据的描述和上下文,有助于组织、查找和理解的数据。
应理解的是,每一个数据库中都存储有对应的元数据采集方式,进而上述设备可通过元数据采集方式对数据进行采集,使获得的待检测数据能准确体现该数据库中的数据情况。
步骤S302:将所述待检测数据与所述预设敏感数据进行比较。
在具体实现中,上述设备可先获取预设铭感数据,并根据剩余数据库的开发环境获取对应的元数据采集方式,通过对应的元数据采集方式对对应的数据库进行采集,获得待检测数据,再将待检测数据与预设敏感数据进行比较。
步骤S303:根据比较结果生成所述剩余的数据库的风险报告,并根据所述风险报告对所述预设切换策略进行调整。
可理解的是,若待检测数据中存在较多的上述预设敏感数据,则可表示该数据库的风险度较高,将其作为新的主数据库的安全度较低,并不适合作为新的主数据库,上述风险报告可用于反映对应数据库的风险度。
相应地,所述根据预设切换策略从剩余的数据库中确定目标数据库的步骤,包括:
步骤S30’:根据调整后的预设切换策略从剩余的数据库中确定目标数据库。
在具体实现中,上述设备可根据比较结果生成剩余数据库各自对应的风险报告,根据风险报告对预设切换策略进行调整,再根据调整后的预设切换策略从剩余的数据库中确定目标数据库,进而可提升预设切换策略的合理性,同时提高新的主数据库的安全性。
本实施例上述设备可先获取预设铭感数据,并根据剩余数据库的开发环境获取对应的元数据采集方式,通过对应的元数据采集方式对对应的数据库进行采集,获得待检测数据,再将待检测数据与预设敏感数据进行比较;根据比较结果生成剩余数据库各自对应的风险报告,根据风险报告对预设切换策略进行调整,再根据调整后的预设切换策略从剩余的数据库中确定目标数据库,进而可提升预设切换策略的合理性,同时提高新的主数据库的安全性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有机房数据读取程序,所述机房数据读取程序被处理器执行时实现如上文所述的机房数据读取方法的步骤。
此外,参照图5,图5为本发明机房数据读取装置第一实施例的结构框图,本发明实施例还提出一种机房数据读取装置,所述机房数据读取装置包括:
等级确定模块501,用于获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级;
数据库选取模块502,用于根据所述状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与所述主数据库进行数据读取操作;
数据库切换模块503,用于在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库;
数据读取模块504,用于将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作。
本实施例上述设备可获取各数据库的处理能力信息和网络波动信息;基于处理能力信息获取对应的第一权重系数,并基于网络波动信息获取对应的第二权重系数;根据处理能力信息和第一权重系数确定上述数据库的处理能力等级,根据网络波动信息和第二权重系数确定上述数据库的网络波动等级;基于处理能力等级和网络波动等级在映射关系表中查询对应的状态等级,进而可提升数据库状态等级确定的准确度;根据状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与主数据库进行数据读取操作,并将读取到的数据写入对应的数据库中;在状态等级低于预设状态等级时,获取状态等级对应的衰减度系数,基于上述衰减度系数从策略库中选取预设切换策略,根据上述预设切换策略从剩余的数据库中确定目标数据库;将目标数据库作为新的主数据库,以使各服务器与新的主数据库进行数据读写操作。由于本实施例中各服务器均与同一个主数据库进行数据读取操作,无需各服务器与对应的数据库进行数据读取,相比于现有的需先通过服务器写入对应的数据库,再对对应的数据库进行数据读取,本实施例能在出现网络波动时,各服务器也能及时获取对应数据,提升用户体验。
本发明机房数据读取装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种机房数据读取方法,其特征在于,所述方法包括以下步骤:
获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级,所述状态信息为所述各数据库的性能对应的信息;
根据所述状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与所述主数据库进行数据读取操作;
在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库,所述预设切换策略根据衰减度系数选取,所述衰减度系数为所述状态等级在预设时间段变化快慢对应的系数,所述衰减度系数代表对应的数据库是否适合继续进行数据读写;
将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作;
所述在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库的步骤,包括:
在所述状态等级低于预设状态等级时,获取所述状态等级的衰减度系数;
基于所述衰减度系数从策略库中选取预设切换策略,所述预设切换策略包括当所述主数据库的衰减度系数小于剩余的数据库对应的衰减度系数时,将所述主数据库作为目标数据库所对应的策略以及当所述主数据库的衰减度系数大于所述剩余的数据库对应的衰减度系数时,将所述剩余的数据库中满足所述预设状态等级或对应的衰减度系数最小的数据库作为目标数据库的策略;
根据所述预设切换策略从所述剩余的数据库中确定目标数据库;
所述获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级的步骤,包括:
获取各数据库的处理能力信息和网络波动信息,所述处理能力信息包括事务性能信息、查询性能信息、容量信息以及配置信息,所述事务性能信息为获取整个事务的相应时间和组成事务的各部分的相应时间的信息,所述查询性能信息为反映数据库是否能识别服务器所需数据或是否能及时返回数据的信息,所述容量信息为表示所述数据库所剩余的可用容量的信息,所述配置信息为表示所述数据库的相关硬件配置的信息,所述网络波动信息包括所述数据库与对应的服务器之间的当前网速变化信息以及预测的未来预设时间段内的网速变化信息;
基于所述处理能力信息获取第一权重系数,并基于所述网络波动信息获取第二权重系数;
根据所述处理能力信息和所述第一权重系数确定处理能力等级,并根据所述网络波动信息和所述第二权重系数确定网络波动等级;
基于所述处理能力等级和所述网络波动等级确定所述各数据库对应的状态等级。
2.如权利要求1所述的机房数据读取方法,其特征在于,所述将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作的步骤之后,还包括:
在将所述目标数据库作为新的主数据库时,对所述新的主数据库进行标记,并记录标记时刻;
记录所述新的主数据库的标记时长,并根据所述标记时长选取数据校验策略;
基于所述数据校验策略对所述主数据库与所述新的主数据库进行数据校验。
3.如权利要求2所述的机房数据读取方法,其特征在于,所述记录所述新的主数据库的标记时长,并根据所述标记时长选取数据校验策略的步骤之前,还包括:
获取所述新的主数据库中数据的使用频率和重要等级;
根据所述使用频率和所述重要等级对所述新的主数据库中的数据进行排序;
根据预设标记时长生成校验频率,并基于排序结果、预设标记时长和校验频率生成校验策略。
4.如权利要求1所述的机房数据读取方法,其特征在于,所述根据预设切换策略从剩余的数据库中确定目标数据库的步骤之前,还包括:
获取预设敏感数据,并对剩余的数据库中的数据进行采集,获得待检测数据;
将所述待检测数据与所述预设敏感数据进行比较;
根据比较结果生成所述剩余的数据库的风险报告,并根据所述风险报告对所述预设切换策略进行调整;
相应地,所述根据预设切换策略从剩余的数据库中确定目标数据库的步骤,包括:
根据调整后的预设切换策略从剩余的数据库中确定目标数据库。
5.如权利要求4所述的机房数据读取方法,其特征在于,所述获取预设敏感数据,并对剩余的数据库中的数据进行采集,获得待检测数据的步骤,包括:
获取预设敏感数据,并根据所述剩余的数据库的开发环境获取对应的元数据采集方式;
通过所述对应的元数据采集方式对所述剩余的数据库中的数据进行采集,获得待检测数据。
6.一种机房数据读取装置,其特征在于,所述装置包括:
等级确定模块,用于获取各数据库的状态信息,并根据状态信息确定所述各数据库对应的状态等级,所述状态信息为所述各数据库的性能对应的信息;
数据库选取模块,用于根据所述状态等级从各数据库中选取一数据库作为主数据库,以使各服务器与所述主数据库进行数据读取操作;
数据库切换模块,用于在所述状态等级低于预设状态等级时,根据预设切换策略从剩余的数据库中确定目标数据库,所述预设切换策略根据衰减度系数选取,所述,所述衰减度系数为所述状态等级在预设时间段变化快慢对应的系数,所述衰减度系数代表对应的数据库是否适合继续进行数据读写;
数据读取模块,用于将所述目标数据库作为新的主数据库,以使各服务器与所述新的主数据库进行数据读取操作;
所述数据切换模块,还用于在所述状态等级低于预设状态等级时,获取所述状态等级的衰减度系数;基于所述衰减度系数从策略库中选取预设切换策略,所述预设切换策略包括当所述主数据库的衰减度系数小于剩余的数据库对应的衰减度系数时,将所述主数据库作为目标数据库所对应的策略以及当所述主数据库的衰减度系数大于所述剩余的数据库对应的衰减度系数时,将所述剩余的数据库中满足所述预设状态等级或对应的衰减度系数最小的数据库作为目标数据库的策略;根据所述预设切换策略从所述剩余的数据库中确定目标数据库;
所述等级确定模块,还用于获取各数据库的处理能力信息和网络波动信息,所述处理能力信息包括事务性能信息、查询性能信息、容量信息以及配置信息,所述事务性能信息为获取整个事务的相应时间和组成事务的各部分的相应时间的信息,所述查询性能信息为反映数据库是否能识别服务器所需数据或是否能及时返回数据的信息,所述容量信息为表示所述数据库所剩余的可用容量的信息,所述配置信息为表示所述数据库的相关硬件配置的信息,所述网络波动信息包括所述数据库与对应的服务器之间的当前网速变化信息以及预测的未来预设时间段内的网速变化信息;基于所述处理能力信息获取第一权重系数,并基于所述网络波动信息获取第二权重系数;根据所述处理能力信息和所述第一权重系数确定处理能力等级,并根据所述网络波动信息和所述第二权重系数确定网络波动等级;基于所述处理能力等级和所述网络波动等级确定所述各数据库对应的状态等级。
7.一种机房数据读取设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机房数据读取程序,所述机房数据读取程序配置为实现如权利要求1至5任一项所述的机房数据读取方法的步骤。
8.一种存储介质,其特征在于,所述存储介质上存储有机房数据读取程序,所述机房数据读取程序被处理器执行时实现如权利要求1至5任一项所述的机房数据读取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211274951.9A CN115544147B (zh) | 2022-10-18 | 2022-10-18 | 机房数据读取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211274951.9A CN115544147B (zh) | 2022-10-18 | 2022-10-18 | 机房数据读取方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115544147A CN115544147A (zh) | 2022-12-30 |
CN115544147B true CN115544147B (zh) | 2023-12-08 |
Family
ID=84735630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211274951.9A Active CN115544147B (zh) | 2022-10-18 | 2022-10-18 | 机房数据读取方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115544147B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271380A (zh) * | 2018-08-14 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 一种数据表海量数据校验方法及终端设备 |
CN110377664A (zh) * | 2019-07-22 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 数据同步方法、装置、服务器及存储介质 |
CN110442650A (zh) * | 2019-08-09 | 2019-11-12 | 中国工商银行股份有限公司 | 数据库切换方法、装置、系统、电子设备及存储介质 |
CN110737545A (zh) * | 2019-09-24 | 2020-01-31 | 华青融天(北京)软件股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
WO2021212606A1 (zh) * | 2020-04-21 | 2021-10-28 | 捷开通讯(深圳)有限公司 | 一种实现 5g 信号平稳显示的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6925378B2 (en) * | 2003-05-12 | 2005-08-02 | Circumnav Networks, Inc. | Enhanced mobile communication device with extended radio, and applications |
US10042885B2 (en) * | 2015-10-29 | 2018-08-07 | International Business Machines Corporation | Index table based routing for query resource optimization |
-
2022
- 2022-10-18 CN CN202211274951.9A patent/CN115544147B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271380A (zh) * | 2018-08-14 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 一种数据表海量数据校验方法及终端设备 |
CN110377664A (zh) * | 2019-07-22 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 数据同步方法、装置、服务器及存储介质 |
CN110442650A (zh) * | 2019-08-09 | 2019-11-12 | 中国工商银行股份有限公司 | 数据库切换方法、装置、系统、电子设备及存储介质 |
CN110737545A (zh) * | 2019-09-24 | 2020-01-31 | 华青融天(北京)软件股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
WO2021212606A1 (zh) * | 2020-04-21 | 2021-10-28 | 捷开通讯(深圳)有限公司 | 一种实现 5g 信号平稳显示的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115544147A (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4648723B2 (ja) | データ価値に基づく階層型ストレージ管理の為の方法と装置 | |
CN100468345C (zh) | 冲突解决装置 | |
CN111352935B (zh) | 一种块链式账本中的索引创建方法、装置及设备 | |
CN110673800B (zh) | 文件系统的数据操作方法、装置、设备及可读存储介质 | |
CN104704773A (zh) | 云存储环境中基于一致性的服务级协定 | |
CN113535721B (zh) | 一种数据写入方法及装置 | |
CN106302829A (zh) | 一种信息访问方法、装置及服务器 | |
CN110941547B (zh) | 自动化测试用例库管理方法、装置、介质及电子设备 | |
CN109981569B (zh) | 网络系统访问方法、装置、计算机设备及可读存储介质 | |
JP2018194882A (ja) | 制御プログラム、制御方法、制御装置、及びデータベースサーバ | |
CN110008197A (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
CN102255866A (zh) | 一种数据下载方法及装置 | |
CN112130759A (zh) | 一种存储系统的参数配置方法、系统及相关装置 | |
CN114020193B (zh) | 跨页勾选确定方法、装置、电子设备及存储介质 | |
CN115544147B (zh) | 机房数据读取方法、装置、设备及存储介质 | |
US7562185B2 (en) | Accessing a storage medium using dynamic read statistics | |
CN109491789A (zh) | 一种分布式存储系统业务均衡处理方法、装置及设备 | |
CN110647507B (zh) | 一种文件系统写状态确定方法、装置、电子设备及介质 | |
JP2008225686A (ja) | 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム | |
CN109376174A (zh) | 一种选择数据库的方法和装置 | |
CN115185458A (zh) | 一种数据写入方法、装置、存储介质和计算机设备 | |
KR102214697B1 (ko) | 데이터베이스 관리 시스템에서 데이터 저장을 위한 공간 관리를 제공하는 컴퓨터 프로그램 | |
CN112632211A (zh) | 用于移动机器人的语义信息处理方法与设备 | |
CN115756998B (zh) | 缓存数据重取标记验证方法、装置及系统 | |
JP5776403B2 (ja) | 領域検索方法、領域検索プログラムおよび情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |