CN113761038A - 数据源读写分离方法和装置 - Google Patents
数据源读写分离方法和装置 Download PDFInfo
- Publication number
- CN113761038A CN113761038A CN202011050571.8A CN202011050571A CN113761038A CN 113761038 A CN113761038 A CN 113761038A CN 202011050571 A CN202011050571 A CN 202011050571A CN 113761038 A CN113761038 A CN 113761038A
- Authority
- CN
- China
- Prior art keywords
- data source
- request
- read
- write
- linking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011161 development Methods 0.000 abstract description 10
- 230000009545 invasion Effects 0.000 abstract description 3
- 239000003795 chemical substances by application Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据源读写分离方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；在确定所述请求对应的操作类型为写操作时，将请求链接到写数据源进行写操作；在确定请求对应的操作类型为读操作时，将请求链接到读数据源进行读操作。该实施方式以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据源读写分离方法、装置、电子设备和计算机可读介质。
背景技术
目前，为了提高系统并发访问数据库的能力，减少大量事务对服务整体性能的影响，可以采取一些方案进行服务纵向扩展。目前常用的方法是采用数据分片、读写分离等方案。读写分离方案可以通过在服务端增加代理层(Proxy)或在业务层面开发代码来实现。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：数据分片无法解决热点数据问题；在服务端增加代理层(Proxy)的方式，代理层需要解析mysql(关系型数据库管理系统)的语法树，拦截sql(sql是用于访问数据库的最常用标准化语言)，识别读写操作进行sql转发，整体开发复杂，并且在服务端开发代理，只能支持服务端mysql的读写分离，无法实现非mysql的代理工作，如ClickHouse数据库存的数据；在业务层面开发代码的方式，需要重新对业务层进行改造，开发对不同数据源的对接工作，业务侵入严重。
发明内容
有鉴于此，本发明实施例提供一种数据源读写分离方法、装置、电子设备和计算机可读介质，能够以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据源读写分离方法，包括：
获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；
拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作。
可选地，所述方法还包括：创建代理管理器；确定每个所述第一数据源和每个所述第二数据源的标识，所述标识包括读标识和写标识；将所述标识记录在所述代理管理器中。
可选地，在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作包括：
若确定所述请求对应的操作类型为写操作，则从所述代理管理器中查找写标识，将所述请求链接到与所述写标识对应的第一数据源或第二数据源进行写操作；
在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作包括：若确定所述请求对应的操作类型为读操作，则从所述代理管理器中查找读标识，将所述请求链接到与所述读标识对应的第一数据源或第二数据源进行读操作。
可选地，获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源包括：
获取所述业务系统的原始数据源的实例，以获取所述业务系统的原始数据源；
当所述实例的数量为多个时，确定所述业务系统包括多个原始数据源，将所述多个原始数据源中的每个原始数据源作为第一数据源；
分别复制所述第一数据源，得到多个对应的第二数据源。
可选地，在识别所述请求对应的操作类型之前，所述方法还包括：
确定所述请求的目标实体类；
根据预设的对象关系映射表和所述目标实体类，从所述多个第一数据源中确定与所述请求对应的第一目标数据源，其中所述对象关系映射表用于记录所述业务系统的原始数据源及对应的实体类的映射关系；
在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作包括：
在确定所述请求对应的操作类型为写操作的情况下，若所述第一目标数据源为写数据源，则将所述请求链接到所述第一目标数据源进行写操作，若所述第一目标数据源为读数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行写操作；
在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作包括：
在确定所述请求对应的操作类型为读操作的情况下，若所述第一目标数据源为读数据源，则将所述请求链接到所述第一目标数据源进行读操作，若所述第一目标数据源为写数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行读操作。
可选地，识别所述请求对应的操作类型包括：获取所述请求的注解，识别所述注解对应的操作类型。
可选地，所述注解包括以下一种或多种：Mybatis注解、JPA注解和自定义注解。
可选地，识别所述请求对应的操作类型包括：通过抽象语法树识别所述请求对应的操作类型。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据源读写分离装置，包括：
数据源初始化模块，用于确定业务系统的数据源，将所述数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；
拦截模块，用于拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
链接模块，用于在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作。
可选地，所述数据源初始化模块还用于：创建代理管理器；确定每个所述第一数据源和每个所述第二数据源的标识，所述标识包括读标识和写标识；将所述标识记录在所述代理管理器中。
可选地，所述链接模块还用于：若确定所述请求对应的操作类型为写操作，则从所述代理管理器中查找写标识，将所述请求链接到与所述读标识对应的第一数据源或第二数据源进行写操作；若确定所述请求对应的操作类型为读操作，则从所述代理管理器中查找读标识，将所述请求链接到与所述写标识对应的第一数据源或第二数据源进行读操作。
可选地，所述数据源初始化模块还用于：获取所述业务系统的原始数据源的实例，以获取所述业务系统的原始数据源；当所述实例的数量为多个时，确定所述业务系统包括多个原始数据源，将所述多个原始数据源中的每个原始数据源作为第一数据源；分别复制所述第一数据源，得到多个对应的第二数据源。
可选地，所述识别模块还用于：确定所述请求的目标实体类；根据预设的对象关系映射表和所述目标实体类，从所述多个第一数据源中确定与所述请求对应的第一目标数据源，其中所述对象关系映射表用于记录所述业务系统的原始数据源及对应的实体类的映射关系；
所述链接模块还用于：在确定所述请求对应的操作类型为写操作的情况下，若所述第一目标数据源为写数据源，则将所述请求链接到所述第一目标数据源进行写操作，若所述第一目标数据源为读数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行写操作；在确定所述请求对应的操作类型为读操作的情况下，若所述第一目标数据源为读数据源，则将所述请求链接到所述第一目标数据源进行读操作，若所述第一目标数据源为写数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行读操作。
可选地，所述识别模块还用于：获取所述请求的注解，识别所述注解对应的操作类型。
可选地，所述注解包括以下一种或多种：Mybatis注解、JPA注解和自定义注解。
可选地，所述识别模块还用于：通过抽象语法树识别所述请求对应的操作类型。
为实现上述目的，根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的数据源读写分离方法。
为实现上述目的，根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的数据源读写分离方法。
上述发明中的一个实施例具有如下优点或有益效果：通过获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作的技术手段，能够以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的数据源读写分离方法的主要流程的示意图；
图2是本发明实施例的数据源读写分离方法的主要流程的示意图；
图3是本发明另一实施例的数据源读写分离方法的流程示意图；
图4是本发明实施例的数据源读写分离装置的主要模块的示意图；
图5是应用本发明实施例的数据源读写分离装置的系统示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的数据源读写分离方法的主要流程的示意图，如图1所示，该方法包括：
步骤S101：获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；
步骤S102：拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
步骤S103：在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作。
在本实施例中，数据源(data source)中存储了所有建立数据库连接的信息，定义了连接到数据库的路径。通过数据源，可以确定相应的数据库连接。
对于步骤S101，可以通过以下过程获取业务系统的原始数据源(datasource)：在Java Spring框架启动的上下文中获取业务系统原始数据源的Java实例(即bean)。获得原始数据源的Java实例即可获得原始数据源。若只有一个Java实例，则说明业务系统只有一个原始数据源，若有多个Java实例，则说明业务系统有多个原始数据源。在获取到原始数据源之后，将该原始数据源作为第一数据源，复制该第一数据源得到第二数据源。当第一数据源是多个时，分别复制该第一数据源得到多个第二数据源。具体的，复制第一数据源得到第二数据源的过程包括：获取第一数据源的配置信息，复制该配置信息，将复制得到的配置信息替换成预先设置的配置文件，并生成两个Java实例。
当复制得到第二数据源之后，创建代理管理器，该代理管理器用于管理第一数据源和第二数据源，为第一数据源和第二数据源配置唯一的标识，并记录该标识与第一数据源和第二数据源的对应关系，其中该标识包括读标识和写标识。若第一数据源为读数据源，则确定第一数据源的标识为读标识，第二数据源为写数据源，则确定第二数据源的标识为写标识。作为示例，可以以key-value的形式记录标识与第一数据源和第二数据源的对应关系。
在可选的实施例中，可以将第一数据源和第二数据源其中一个作为读数据源，另一个作为写数据源。读数据源用于提供读数据服务，写数据源用于提供写数据服务。优选的，在本实施例中，将第一数据源作为写数据源，第二数据源作为读数据源，则第一数据源的标识为写标识，第二数据源的标识为读标识。因此，在复制第一数据源时(即复制第一数据源的配置信息)，将复制得到的配置信息替换成预先设置的读服务配置文件，将该读服务配置文件作为第二数据源的配置信息，以使第二数据源作为读数据源提供读服务。
对于步骤S102，可以通过AOP切面拦截该访问业务系统的请求。其中，AOP(AspectOriented Programming，面向切面编程)是通过预编译方式和运行期间动态代理实现程序功能的统一维护的一种技术。可以通过识别该请求的注解来确定该请求对应的操作类型。注解(annotation)是Spring的一种机制，可以通过反射解析获取。Spring框架是一个开源的Java平台，它为容易而快速的开发出耐用的Java应用程序提供了全面的基础设施。在本实施例中，注解用于区分读写服务。作为示例，该注解可以包括Mybatis注解、JPA注解和自定义注解。Mybatis是一款持久层框架，支持定制化SQL、存储过程以及高级映射，可以使用注解来配置和映射原生信息。JPA(Java Persistence API，Java持久层API)是JDK 5.0注解或XML描述对象－关系表的映射关系，并将运行期的实体对象持久化到数据库中。除了Mybatis和JPA中已有的注解，本实施例还支持自定义注解，即可以根据应用需求灵活设置注解。
对于步骤S103，若识别出该请求对应的操作类型是读操作，则将该请求链接到对应的读数据源进行读操作，若识别出该请求对应的操作类型是写操作，则将该请求链接到对应的写数据源进行写操作。若确定所述请求对应的操作类型为读操作，则从所述代理管理器中查找读标识，将所述请求链接到与所述读标识对应的第一数据源或第二数据源进行读操作；若确定所述请求对应的操作类型为写操作，则从所述代理管理器中查找写标识，将所述请求链接到与所述写标识对应的第一数据源或第二数据源进行写操作。
在可选的实施例中，若第一数据源为多个且第二数据源也是多个，则可以根据预设的对象关系映射表和请求中的目标实体类，从多个第一数据源或多个第二数据源中确定与该请求对应的数据源，具体的可以包括：
确定所述请求的目标实体类；
根据预设的对象关系映射表和所述目标实体类，从所述多个第一数据源中确定与所述请求对应的第一目标数据源，其中所述对象关系映射表用于记录所述业务系统的原始数据源及对应的实体类的映射关系；
在确定所述请求对应的操作类型为写操作的情况下，若所述第一目标数据源为写数据源，则将所述请求链接到所述第一目标数据源进行写操作，若所述第一目标数据源为读数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行写操作；
在确定所述请求对应的操作类型为读操作的情况下，若所述第一目标数据源为读数据源，则将所述请求链接到所述第一目标数据源进行读操作，若所述第一目标数据源为写数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行读操作。
其中，对象关系映射表是指ORM映射表。ORM(Object Relational Mapping)是通过使用描述对象和数据库之间映射的元数据，将面向对象语言程序中的对象自动持久化到关系数据库中。ORM映射表实现了实体类绑定对应的数据源访问，当程序访问ORM实体类相关repository方法时，会找到其对应的数据源对象，同时不同的数据库连接池维护着数据源资源，实现了实体类和数据源的绑定。系统可以通过Spring的DataSourceUtils工具类获取当前线程的绑定的数据源，进一步根据读写判定功能，切换数据源，实现读写分离。Repository居于业务层和数据层之间，将两者隔离开来，在它的内部封装了数据查询和存储的逻辑。作为示例，假设业务系统具有3个原始数据源，分别是原始数据源A、原始数据源B和原始数据源C，将该3个原始数据源作为第一数据源，分别复制该3个原始数据源，得到第二数据源A’、第二数据源B’和第三数据源C’。将第一数据源A、第一数据源B和第一数据源C作为写数据源，第二数据源A’、第二数据源B’和第三数据源C’作为读数据源，将第一数据源A、第一数据源B和第一数据源C的标识设置为写标识，第二数据源A’、第二数据源B’和第三数据源C’的标识设置为读标识。对象关系映射表(即ORM映射表)记录了原始数据源A、原始数据源B和原始数据源C及对应的实体类的映射关系。在接收访问业务系统的请求之后，解析该请求确定该请求的目标实体类，根据对象关系映射表确定与该请求对应的原始数据源，假设与该请求对应的原始数据源为第一数据源A，则该第一数据源A为第一目标数据源。获取该请求的注解，识别该注解确定该请求对应的操作类型，若该请求对应的操作类型为写操作，且第一数据源A的标识为写标识，则将该请求链接到第一数据源A，若该请求对应的操作类型为读操作，且第二数据源A’的标识为读标识，则将该请求链接到第二数据源A’。
本发明实施例的数据源读写分离方法，通过获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作的技术手段，能够以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
图2是本发明另一实施例的数据源读写分离方法的流程示意图，如图2所示，其中，dataSource(数据源)合并，对应于图1中的步骤S101。线程隔离是指本发明实施例通过代理管理器实现了多个数据源的分开管理，每个数据源是一个独立的线程池。本实施例的将访问业务系统的请求链接到与其操作类型对应的读数据源或写数据源进行操作，即将该请求切换到隔离的线程池进行操作。本实施例中的线程池是目前Druid、Hikari等数据源线程池方案，其中Druid和Hikari均是一种连接池技术。本实施例的读数据源和写数据源对接不同的线程池。切面规则识别对应于图1中的步骤S102，用于识别访问业务系统的请求的操作类型。动态路由对应于图1中的步骤S103，用于根据操作类型，将该请求动态链接到读数据源进行读操作或将该请求动态链接到写数据源进行写操作。
本发明实施例的数据源读写分离方法，能够以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
图3是本发明另一实施例的数据源读写分离方法的主要流程的示意图，如图3所示，该方法包括：
步骤S301：获取业务系统的原始数据源的实例，以获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源作为写数据源，将所述第二数据源作为读数据源；其中，当该实例的数量为多个时，确定所述业务系统包括多个原始数据源，将所述多个原始数据源中的每个数据源作为第一数据源，分别复制所述第一数据源，得到多个对应的第二数据源；当该实例的数量为一个时，确定该业务系统包括一个原始数据源。
步骤S302：创建代理管理器，该代理管理器用于管理该多个第一数据源和第二数据源。
步骤S303：确定每个第一数据源和第二数据源的标识，将该标识与第一数据源或第二数据源的对应关系记录在该代理管理器中，其中每个第一数据源的标识为写标识，每个第二数据源的标识为读标识。
步骤S304：通过AOP切面拦截访问所述业务系统的请求。
步骤S305：确定所述请求的目标实体类。
步骤S306：根据预设的对象关系映射表和所述目标实体类，从所述多个第一数据源中确定与所述请求对应的第一目标数据源，其中所述对象关系映射表用于记录所述业务系统的原始数据源及对应的实体类的映射关系。
步骤S307：识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
步骤S308：若识别的操作类型为写操作，则将该请求链接到第一目标数据源；若识别的操作类型为读操作，则将该请求链接到与该第一目标数据源对应的第二目标数据源。
本发明实施例的数据源读写分离方法，通过获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；基于所述操作类型，将所述请求链接到所述读数据源进行读操作或将所述请求链接到写数据源进行写操作的技术手段，能够以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
图4是本发明实施例的数据源读写分离装置400的主要模块的示意图，如图4所示，该数据源读写分离装置400包括：
数据源初始化模块401，用于确定业务系统的数据源，将所述数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；
拦截模块402，用于拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
链接模块403，用于在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作。
可选地，所述数据源初始化模块401还用于：创建代理管理器；确定每个所述第一数据源和每个所述第二数据源的标识，所述标识包括读标识和写标识；将所述标识记录在所述代理管理器中。
可选地，所述链接模块403还用于：若确定所述请求对应的操作类型为写操作，则从所述代理管理器中查找写标识，将所述请求链接到与所述写标识对应的第一数据源或第二数据源进行写操作；若确定所述请求对应的操作类型为读操作，则从所述代理管理器中查找读标识，将所述请求链接到与所述写标识对应的第一数据源或第二数据源进行读操作。
可选地，所述数据源初始化模块401还用于：获取所述业务系统的原始数据源的实例；当所述实例的数量为多个时，确定所述业务系统包括多个原始数据源，将所述多个原始数据源中的每个数据源作为第一数据源；分别复制所述第一数据源，得到多个对应的第二数据源。
可选地，所述识别模块402还用于：确定所述请求的目标实体类；根据预设的对象关系映射表和所述目标实体类，从所述多个第一数据源中确定与所述请求对应的第一目标数据源，其中所述对象关系映射表用于记录所述业务系统的原始数据源及对应的实体类的映射关系；
所述链接模块403还用于：在确定所述请求对应的操作类型为写操作的情况下，若所述第一目标数据源为写数据源，则将所述请求链接到所述第一目标数据源进行写操作，若所述第一目标数据源为读数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行写操作；在确定所述请求对应的操作类型为读操作的情况下，若所述第一目标数据源为读数据源，则将所述请求链接到所述第一目标数据源进行读操作，若所述第一目标数据源为写数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行读操作。
可选地，所述识别模块402还用于：获取所述请求的注解，识别所述注解对应的操作类型。
可选地，所述注解包括以下一种或多种：Mybatis注解、JPA注解和自定义注解。
可选地，所述识别模块402还用于：通过抽象语法树识别所述请求对应的操作类型。
本发明实施例的数据源读写分离装置，本发明实施例的数据源读写分离方法，通过获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作的技术手段，能够以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
图5是应用本发明实施例的数据源读写分离装置的系统示意图，如图5所示，数据源读写分离装置拦截到外部读写访问请求，识别该访问请求的操作类型，若该访问请求的操作类型为读操作，将该访问请求链接到对应的读数据源，若该访问请求的操作类型为写操作，将该访问请求链接到对应的写数据源，从而实现读写分离。
图6示出了可以应用本发明实施例的数据源读写分离方法或数据源读写分离装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604、服务器605和数据库606。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯应用，通过该通讯应用向服务器发送访问该服务器的请求。
服务器605可以是提供各种服务的服务器，例如为用户提供数据服务的服务器。服务器605可以根据接收的访问请求，将该访问请求链接到读数据源或写数据源，并通过链接的读数据源或写数据源对数据库606进行数据读写服务。
需要说明的是，本发明实施例所提供的数据源读写分离方法一般由服务器605执行，相应地，数据源读写分离装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的服务器设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
确定业务系统的原始数据源获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；
拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作。
本发明实施例的技术方案，通过获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作的技术手段，能够以非侵入的方式实现了数据源读写分离，对业务代码侵入小，支持不同类型的数据源切换，降低了开发成本。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (11)
1.一种数据源读写分离方法，其特征在于，包括：
获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；
拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
创建代理管理器；
确定所述第一数据源和所述第二数据源的标识，所述标识包括读标识和写标识；
将所述标识记录在所述代理管理器中。
3.根据权利要求2所述的方法，其特征在于，在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作包括：
若确定所述请求对应的操作类型为写操作，则从所述代理管理器中查找写标识，将所述请求链接到与所述写标识对应的第一数据源或第二数据源进行写操作；
在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作包括：
若确定所述请求对应的操作类型为读操作，则从所述代理管理器中查找读标识，将所述请求链接到与所述读标识对应的第一数据源或第二数据源进行读操作。
4.根据权利要求3所述的方法，其特征在于，获取业务系统的原始数据源，将所述原始数据源作为第一数据源，复制所述第一数据源得到第二数据源包括：
获取所述业务系统的原始数据源的实例，以获取所述业务系统的原始数据源；
当所述实例的数量为多个时，确定所述业务系统包括多个原始数据源，将所述多个原始数据源中的每个原始数据源作为第一数据源；
分别复制所述第一数据源，得到多个对应的第二数据源。
5.根据权利要求4所述的方法，其特征在于，在识别所述请求对应的操作类型之前，所述方法还包括：
确定所述请求的目标实体类；
根据预设的对象关系映射表和所述目标实体类，从所述多个第一数据源中确定与所述请求对应的第一目标数据源，其中所述对象关系映射表用于记录所述业务系统的原始数据源及对应的实体类的映射关系；
在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作包括：
在确定所述请求对应的操作类型为写操作的情况下，若所述第一目标数据源为写数据源，则将所述请求链接到所述第一目标数据源进行写操作，若所述第一目标数据源为读数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行写操作；
在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作包括：
在确定所述请求对应的操作类型为读操作的情况下，若所述第一目标数据源为读数据源，则将所述请求链接到所述第一目标数据源进行读操作，若所述第一目标数据源为写数据源，则将所述请求链接到与所述第一目标数据源对应的第二目标数据源进行读操作。
6.根据权利要求1所述的方法，其特征在于，识别所述请求对应的操作类型包括：获取所述请求的注解，识别所述注解对应的操作类型。
7.根据权利要求1所述的方法，其特征在于，所述注解包括以下一种或多种：Mybatis注解、JPA注解和自定义注解。
8.根据权利要求1所述的方法，其特征在于，识别所述请求对应的操作类型包括：
通过抽象语法树识别所述请求对应的操作类型。
9.一种数据源读写分离装置，其特征在于，包括：
数据源初始化模块，用于确定业务系统的数据源，将所述数据源作为第一数据源，复制所述第一数据源得到第二数据源，将所述第一数据源和所述第二数据源其中之一作为读数据源，另一个作为写数据源；
识别模块，用于拦截访问所述业务系统的请求，并识别所述请求对应的操作类型，所述操作类型包括读操作和写操作；
链接模块，用于在确定所述请求对应的操作类型为写操作时，将所述请求链接到所述写数据源进行写操作；在确定所述请求对应的操作类型为读操作时，将所述请求链接到所述读数据源进行读操作。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011050571.8A CN113761038A (zh) | 2020-09-29 | 2020-09-29 | 数据源读写分离方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011050571.8A CN113761038A (zh) | 2020-09-29 | 2020-09-29 | 数据源读写分离方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113761038A true CN113761038A (zh) | 2021-12-07 |
Family
ID=78785925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011050571.8A Pending CN113761038A (zh) | 2020-09-29 | 2020-09-29 | 数据源读写分离方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113761038A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030212660A1 (en) * | 2002-05-10 | 2003-11-13 | Kerwin Douglas W. | Database scattering system |
| CN102541923A (zh) * | 2010-12-30 | 2012-07-04 | 北京新媒传信科技有限公司 | 一种数据库读写分离的方法和装置 |
| CN102622427A (zh) * | 2012-02-27 | 2012-08-01 | 杭州闪亮科技有限公司 | 读写分离数据库的方法及系统 |
| CN103793432A (zh) * | 2012-11-01 | 2014-05-14 | 深圳中兴网信科技有限公司 | 一种数据库读写分离方法及装置 |
| US20150278329A1 (en) * | 2014-03-26 | 2015-10-01 | International Business Machines Corporation | Replication of a relational database |
| CN107301179A (zh) * | 2016-04-14 | 2017-10-27 | 北京京东尚科信息技术有限公司 | 数据库读写分离的方法和装置 |
| CN110837531A (zh) * | 2019-10-12 | 2020-02-25 | 中国平安财产保险股份有限公司 | 数据源读写的分离方法、装置及计算机可读存储介质 |
-
2020
- 2020-09-29 CN CN202011050571.8A patent/CN113761038A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030212660A1 (en) * | 2002-05-10 | 2003-11-13 | Kerwin Douglas W. | Database scattering system |
| CN102541923A (zh) * | 2010-12-30 | 2012-07-04 | 北京新媒传信科技有限公司 | 一种数据库读写分离的方法和装置 |
| CN102622427A (zh) * | 2012-02-27 | 2012-08-01 | 杭州闪亮科技有限公司 | 读写分离数据库的方法及系统 |
| CN103793432A (zh) * | 2012-11-01 | 2014-05-14 | 深圳中兴网信科技有限公司 | 一种数据库读写分离方法及装置 |
| US20150278329A1 (en) * | 2014-03-26 | 2015-10-01 | International Business Machines Corporation | Replication of a relational database |
| CN107301179A (zh) * | 2016-04-14 | 2017-10-27 | 北京京东尚科信息技术有限公司 | 数据库读写分离的方法和装置 |
| CN110837531A (zh) * | 2019-10-12 | 2020-02-25 | 中国平安财产保险股份有限公司 | 数据源读写的分离方法、装置及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Y.J. CHEN.ET AL: "Recording performance of discrete track patterned media fabricated by focused ion beam", IEEE TRANSACTIONS ON MAGNETICS, 6 June 2005 (2005-06-06) * |
| 饶兰兰;肖杰伟;: "一种异构数据读写分离技术的架构理论和实践", 电脑编程技巧与维护, no. 24, 18 December 2014 (2014-12-18) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109062563B (zh) | 用于生成页面的方法和装置 | |
| US10963370B2 (en) | Default mock implementations at a server | |
| US10353723B2 (en) | PL/SQL language parsing at a virtual machine | |
| CN111949693B (zh) | 一种数据处理装置、数据处理方法、存储介质及电子设备 | |
| US10379914B2 (en) | System and method for achieving specific behaviors by intercepting file access calls in a mainframe rehosting platform | |
| CN110688096B (zh) | 包含插件的应用程序的构建方法、装置、介质及电子设备 | |
| CN111666293A (zh) | 数据库访问方法和装置 | |
| US20230259358A1 (en) | Documentation enforcement during compilation | |
| US20190324763A1 (en) | Insertion of custom activities in an orchestrated application suite | |
| WO2021012554A1 (zh) | 区块链中数据字段的更新方法、装置、介质、电子设备 | |
| CN113778725A (zh) | 一种数据校验方法和装置 | |
| CN116737662A (zh) | 业务数据处理的方法、装置、电子设备和存储介质 | |
| CN113761038A (zh) | 数据源读写分离方法和装置 | |
| CN115543967A (zh) | 一种数据迁移方法、装置、电子设备及计算机可读介质 | |
| CN115640279A (zh) | 一种数据血缘关系的构建方法和装置 | |
| CN112835606B (zh) | 灰度发布方法、装置、电子设备、介质 | |
| CN114489674A (zh) | 动态数据模型的数据校验方法和装置 | |
| CN114780361A (zh) | 日志生成方法、装置、计算机系统及可读存储介质 | |
| CN112988583A (zh) | 数据库语法兼容性测试的方法和装置 | |
| CN108089852B (zh) | 建立属性访问的方法、介质、装置和计算设备 | |
| CN113448602A (zh) | 版本更新的方法和装置 | |
| CN113900895B (zh) | 信息处理方法、信息处理装置、存储介质与电子设备 | |
| US11888937B2 (en) | Domain specific provider contracts for core data services | |
| US11943115B2 (en) | Locally debugging remote deployment of microservices | |
| US20240126541A1 (en) | Inversion process for rules framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |