CN105512188A - 数据连接方法和数据连接系统 - Google Patents

Abstract

本发明提出了一种数据连接方法和一种数据连接系统，其中，数据连接方法包括：根据接收到的资源获取请求，从连接池中获取多个可用连接；使用所述多个可用连接为所述资源获取请求获取目标资源；在使用完所述多个可用连接中的任一可用连接后，将所述任一可用连接回收至所述连接池。通过本发明的技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

Description

数据连接方法和数据连接系统

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据连接方法和一种数据连接系统。

背景技术

目前，随着计算机技术和信息管理技术的发展，大型管理系统应用复杂度和数据量不断增加，经常需要处理大数据量数据计算，读取数据量巨大，计算过程复杂，现有的系统多采用单线程计算，先读取数据，再进行计算。

具体来说，现有的系统从数据库查询数据时，处理数据缓慢，系统资源消耗主要集中在输入输出传输和内存读取上，在处理大数据量数据时，容易发生内存溢出。另外，由于整个计算查询的数据量巨大，单次查询大数据加大了数据库资源消耗，整个计算耗时很长，计算过程中控制器的资源使用不足。

为解决上述问题，在相关技术中，虽然可以采用多线程批量计算的方案进行计算处理，把单次大数据量处理数据转化为多次批量处理，但是，这种处理方案是在计算时根据任务的多少启用线程，没有考虑多线程与数据资源的关系，只是一味请求资源，而没有对资源进行管理，这种方式容易导致数据库资源耗尽，系统崩溃。另外，频繁建立、关闭连接会极大地消耗系统性能，造成对数据库连接的使用成了系统性能的瓶颈。

因此需要一种新的技术方案，可以合理管理数据库连接资源。

发明内容

本发明正是基于上述问题，提出了一种新的技术方案，可以合理管理数据库连接资源。

有鉴于此，本发明的一方面提出了一种数据连接方法，包括：根据接收到的资源获取请求，从连接池中获取多个可用连接；使用所述多个可用连接为所述资源获取请求获取目标资源；在使用完所述多个可用连接中的任一可用连接后，将所述任一可用连接回收至所述连接池。

在该技术方案中，可根据资源获取请求由数据库连接管理器负责资源分配，并返回请求到的数据库连接资源，并在数据库连接使用完毕后，释放数据库连接到连接池，供其他线程使用，当系统结束时关闭全部数据库连接，释放数据库资源。通过该技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

在上述技术方案中，优选地，在所述从连接池中获取多个可用连接之前，还包括：为所述连接池设置最小连接数和最大连接数，其中，所述最大连接数为系统能够同时使用的最多连接数量；以及在系统初始化时，创建所述最小连接数的可用连接放置在所述连接池中。

在该技术方案中，可以预先设置最小连接数和最大连接数，在系统初始化时，直接按照最小连接数创建等量的可用连接放置在连接池中，以供根据资源获取请求直接使用已创建的连接。

在上述任一技术方案中，优选地，所述根据接收到的资源获取请求，从连接池中获取多个可用连接，具体包括：根据所述资源获取请求，确定所需的目标连接数量；当所述目标连接数量小于或等于所述最小连接数时，从所述连接池中获取所述目标连接数量的可用连接；当所述目标连接数量大于所述最小连接数且小于或等于所述最大连接数时，获取所述最小连接数的可用连接，并建立新的可用连接；当所述目标连接数量大于所述最大连接数时，将超出所述最大连接数的连接任务放置在等待队列中。

在该技术方案中，目标连接数量小于或等于最小连接数时，说明当前具有的连接数量足够，可直接使用；目标连接数量大于最小连接数且小于或等于最大连接数时，说明当前具有的连接数量不足，需要新建若干连接以适配多线程数据传输；而如果目标连接数量大于最大连接数时，说明即使创建得到最大连接数的连接后，连接数量依旧不足，因此，可以将多出来的资源获取请求放置在等待队列了，等到处理完其他线程，再将腾出的可用连接用于等待队列中的资源获取请求。

在上述任一技术方案中，优选地，还包括：记录当前已分配使用的可用连接的个数，其中，当所述可用连接被分配时，所述个数减一，当所述可用连接被回收时，所述个数加一；以及根据所述最小连接数、所述最大连接数和所述当前已分配使用的可用连接的个数，确定当前连接池中剩余的可用连接的个数。

在该技术方案中，可用连接被分配时，连接池中的可用连接减少一个，可用连接被回收时，连接池中的可用连接增加一个，通过可以连接的计数，可以清晰掌控系统的连接可用状况，便于进行管理。

在上述任一技术方案中，优选地，在所述根据接收到的资源获取请求，从连接池中获取多个可用连接之后，还包括：记录连接信息，所述连接信息包括每个可用连接的地址及资源获取请求中对应的线程地址；以及在所述将所述任一可用连接回收至所述连接池之后，还包括：删除所述连接信息。

在该技术方案中，可以记录每个可用连接的地址及资源获取请求中对应的线程地址，以便在出现故障时查询，而在使用完毕后将其删除，保护可用连接的安全性。

本发明的另一方面提出了一种数据连接系统，包括：可用连接获取单元，根据接收到的资源获取请求，从连接池中获取多个可用连接；资源获取单元，使用所述多个可用连接为所述资源获取请求获取目标资源；可用连接回收单元，在使用完所述多个可用连接中的任一可用连接后，将所述任一可用连接回收至所述连接池。

在该技术方案中，可根据资源获取请求由数据库连接管理器负责资源分配，并返回请求到的数据库连接资源，并在数据库连接使用完毕后，释放数据库连接到连接池，供其他线程使用，当系统结束时关闭全部数据库连接，释放数据库资源。通过该技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

在上述技术方案中，优选地，还包括：连接数设置单元，在所述从连接池中获取多个可用连接之前，为所述连接池设置最小连接数和最大连接数，其中，所述最大连接数为系统能够同时使用的最多连接数量；以及初始化单元，在系统初始化时，创建所述最小连接数的可用连接放置在所述连接池中。

在该技术方案中，可以预先设置最小连接数和最大连接数，在系统初始化时，直接按照最小连接数创建等量的可用连接放置在连接池中，以供根据资源获取请求直接使用已创建的连接。

在上述任一技术方案中，优选地，所述可用连接获取单元包括：连接数量确定单元，根据所述资源获取请求，确定所需的目标连接数量；第一执行单元，当所述目标连接数量小于或等于所述最小连接数时，从所述连接池中获取所述目标连接数量的可用连接；第二执行单元，当所述目标连接数量大于所述最小连接数且小于或等于所述最大连接数时，获取所述最小连接数的可用连接，并建立新的可用连接；第三执行单元，当所述目标连接数量大于所述最大连接数时，将超出所述最大连接数的连接任务放置在等待队列中。

在该技术方案中，目标连接数量小于或等于最小连接数时，说明当前具有的连接数量足够，可直接使用；目标连接数量大于最小连接数且小于或等于最大连接数时，说明当前具有的连接数量不足，需要新建若干连接以适配多线程数据传输；而如果目标连接数量大于最大连接数时，说明即使创建得到最大连接数的连接后，连接数量依旧不足，因此，可以将多出来的资源获取请求放置在等待队列了，等到处理完其他线程，再将腾出的可用连接用于等待队列中的资源获取请求。

在上述任一技术方案中，优选地，还包括：连接个数记录单元，记录当前已分配使用的可用连接的个数，其中，当所述可用连接被分配时，所述个数减一，当所述可用连接被回收时，所述个数加一；以及剩余个数确定单元，根据所述最小连接数、所述最大连接数和所述当前已分配使用的可用连接的个数，确定当前连接池中剩余的可用连接的个数。

在该技术方案中，可用连接被分配时，连接池中的可用连接减少一个，可用连接被回收时，连接池中的可用连接增加一个，通过可以连接的计数，可以清晰掌控系统的连接可用状况，便于进行管理。

在上述任一技术方案中，优选地，还包括：连接信息记录单元，在所述根据接收到的资源获取请求，从连接池中获取多个可用连接之后，记录连接信息，所述连接信息包括每个可用连接的地址及资源获取请求中对应的线程地址；以及连接信息删除单元，在所述将所述任一可用连接回收至所述连接池之后，删除所述连接信息。

在该技术方案中，可以记录每个可用连接的地址及资源获取请求中对应的线程地址，以便在出现故障时查询，而在使用完毕后将其删除，保护可用连接的安全性。

通过以上技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

附图说明

图1示出了根据本发明的一个实施例的数据连接方法的流程图；

图2示出了根据本发明的一个实施例的数据连接系统的框图；

图3示出了根据本发明的一个实施例的数据连接管理的示意图；

图4示出了图3中的连接管理器的框图；

图5示出了根据本发明的另一个实施例的数据连接方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的一个实施例的数据连接方法的流程图。

如图1所示，根据本发明的一个实施例的数据连接方法，包括：

步骤102，根据接收到的资源获取请求，从连接池中获取多个可用连接；

步骤104，使用所述多个可用连接为所述资源获取请求获取目标资源；

步骤106，在使用完所述多个可用连接中的任一可用连接后，将所述任一可用连接回收至所述连接池。

在该技术方案中，可根据资源获取请求由数据库连接管理器负责资源分配，并返回请求到的数据库连接资源，并在数据库连接使用完毕后，释放数据库连接到连接池，供其他线程使用，当系统结束时关闭全部数据库连接，释放数据库资源。通过该技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

在上述技术方案中，优选地，在步骤102之前，还包括：为所述连接池设置最小连接数和最大连接数，其中，所述最大连接数为系统能够同时使用的最多连接数量；以及在系统初始化时，创建所述最小连接数的可用连接放置在所述连接池中。

在该技术方案中，可以预先设置最小连接数和最大连接数，在系统初始化时，直接按照最小连接数创建等量的可用连接放置在连接池中，以供根据资源获取请求直接使用已创建的连接。

在上述任一技术方案中，优选地，步骤102具体包括：根据所述资源获取请求，确定所需的目标连接数量；当所述目标连接数量小于或等于所述最小连接数时，从所述连接池中获取所述目标连接数量的可用连接；当所述目标连接数量大于所述最小连接数且小于或等于所述最大连接数时，获取所述最小连接数的可用连接，并建立新的可用连接；当所述目标连接数量大于所述最大连接数时，将超出所述最大连接数的连接任务放置在等待队列中。

在该技术方案中，目标连接数量小于或等于最小连接数时，说明当前具有的连接数量足够，可直接使用；目标连接数量大于最小连接数且小于或等于最大连接数时，说明当前具有的连接数量不足，需要新建若干连接以适配多线程数据传输；而如果目标连接数量大于最大连接数时，说明即使创建得到最大连接数的连接后，连接数量依旧不足，因此，可以将多出来的资源获取请求放置在等待队列了，等到处理完其他线程，再将腾出的可用连接用于等待队列中的资源获取请求。

在上述任一技术方案中，优选地，还包括：记录当前已分配使用的可用连接的个数，其中，当所述可用连接被分配时，所述个数减一，当所述可用连接被回收时，所述个数加一；以及根据所述最小连接数、所述最大连接数和所述当前已分配使用的可用连接的个数，确定当前连接池中剩余的可用连接的个数。

在该技术方案中，可用连接被分配时，连接池中的可用连接减少一个，可用连接被回收时，连接池中的可用连接增加一个，通过可以连接的计数，可以清晰掌控系统的连接可用状况，便于进行管理。

在上述任一技术方案中，优选地，在步骤102之后，还包括：记录连接信息，所述连接信息包括每个可用连接的地址及资源获取请求中对应的线程地址；以及在所述将所述任一可用连接回收至所述连接池之后，还包括：删除所述连接信息。

在该技术方案中，可以记录每个可用连接的地址及资源获取请求中对应的线程地址，以便在出现故障时查询，而在使用完毕后将其删除，保护可用连接的安全性。

图2示出了根据本发明的一个实施例的数据连接系统的框图。

如图2所示，根据本发明的一个实施例的数据连接系统200，包括：可用连接获取单元202、资源获取单元204和可用连接回收单元206，其中，可用连接获取单元202用于根据接收到的资源获取请求，从连接池中获取多个可用连接；资源获取单元204用于使用多个可用连接为资源获取请求获取目标资源；可用连接回收单元206用于在使用完多个可用连接中的任一可用连接后，将任一可用连接回收至连接池。

在该技术方案中，可根据资源获取请求由数据库连接管理器负责资源分配，并返回请求到的数据库连接资源，并在数据库连接使用完毕后，释放数据库连接到连接池，供其他线程使用，当系统结束时关闭全部数据库连接，释放数据库资源。通过该技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

在上述技术方案中，优选地，还包括：连接数设置单元208，在从连接池中获取多个可用连接之前，为连接池设置最小连接数和最大连接数，其中，最大连接数为系统能够同时使用的最多连接数量；以及初始化单元，在系统初始化时，创建最小连接数的可用连接放置在连接池中。

在该技术方案中，可以预先设置最小连接数和最大连接数，在系统初始化时，直接按照最小连接数创建等量的可用连接放置在连接池中，以供根据资源获取请求直接使用已创建的连接。

在上述任一技术方案中，优选地，可用连接获取单元202包括：连接数量确定单元2022，根据资源获取请求，确定所需的目标连接数量；第一执行单元2024，当目标连接数量小于或等于最小连接数时，从连接池中获取目标连接数量的可用连接；第二执行单元2026，当目标连接数量大于最小连接数且小于或等于最大连接数时，获取最小连接数的可用连接，并建立新的可用连接；第三执行单元2028，当目标连接数量大于最大连接数时，将超出最大连接数的连接任务放置在等待队列中。

在该技术方案中，目标连接数量小于或等于最小连接数时，说明当前具有的连接数量足够，可直接使用；目标连接数量大于最小连接数且小于或等于最大连接数时，说明当前具有的连接数量不足，需要新建若干连接以适配多线程数据传输；而如果目标连接数量大于最大连接数时，说明即使创建得到最大连接数的连接后，连接数量依旧不足，因此，可以将多出来的资源获取请求放置在等待队列了，等到处理完其他线程，再将腾出的可用连接用于等待队列中的资源获取请求。

在上述任一技术方案中，优选地，还包括：连接个数记录单元210，记录当前已分配使用的可用连接的个数，其中，当可用连接被分配时，个数减一，当可用连接被回收时，个数加一；以及剩余个数确定单元212，根据最小连接数、最大连接数和当前已分配使用的可用连接的个数，确定当前连接池中剩余的可用连接的个数。

在该技术方案中，可用连接被分配时，连接池中的可用连接减少一个，可用连接被回收时，连接池中的可用连接增加一个，通过可以连接的计数，可以清晰掌控系统的连接可用状况，便于进行管理。

在上述任一技术方案中，优选地，还包括：连接信息记录单元214，在根据接收到的资源获取请求，从连接池中获取多个可用连接之后，记录连接信息，连接信息包括每个可用连接的地址及资源获取请求中对应的线程地址；以及连接信息删除单元216，在将任一可用连接回收至连接池之后，删除连接信息。

在该技术方案中，可以记录每个可用连接的地址及资源获取请求中对应的线程地址，以便在出现故障时查询，而在使用完毕后将其删除，保护可用连接的安全性。

图3示出了根据本发明的一个实施例的数据连接管理的示意图。

如图3所示，系统接收到多个计算任务，也就是资源获取请求，资源获取请求负责请求数据库连接资源，请求参数线程地址，作为请求标识，数据连接资源被分配时，会记录连接分配的线程地址，如下表1所示。

表1

请求参数	参数说明
		ThreadID	线程地址

资源请求结果是返回数据库连接资源地址，如下表2所示。

表2

返回信息	参数说明
		ConnectionID	数据库连接地址

连接创建器302可以为资源获取请求创建可用连接，也就是负责数据库连接的创建，并经连接管理器306输出可用连接。

其中，配置器304可以为连接创建器302配置最大连接数和最小连接数，通过配置文件修改配置无面，在系统初始化时，根据用户配置的最小连接数创建数据库连接，放到连接管理器的连接池中。

另外，在输出可用连接并完成计算任务后，可向连接释放器308释放连接，将连接回收至连接池内，具体来说，连接释放器308在系统结束时关闭连接池中所有连接，释放连接池相关资源。

通过该技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

图4示出了图3中的连接管理器的框图。

如图4所示，连接管理器306包括：计数单元3062、连接池单元3064和等待队列单元3066。

计数单元3062可采用引用计数方法，用于记录当前已分配使用的连接数个数，并用于新计算任务请求数据库连接时判断当前是否有可用的数据库连接。当引用计数方大于数据库的最大连接数时，标识当前没有可用的数据库连接。其中，当连接被分配时，连接数加1，当连接被释放时，连接数减1。

连接池单元3064是存储数据库连接的容器，系统初始化时会按照数据库最小连接数创建数据库连接放到数据库连接池中，连接被分配时增加连接数，记录连接使用信息，其中，连接使用信息为数据库连接地址对应的使用线程地址；另外，连接池单元3064在连接被释放时减少连接数，删除连接使用信息。

等待队列单元3066存储请求任务，如果连接数已达到最大连接数则把新请求任务放到等待队列，当有连接被释放后，根据先进先出原则，取等待队列中的任务分配连接。

图5示出了根据本发明的另一个实施例的数据连接方法的流程图。

如图5所示，根据本发明的另一个实施例的数据连接方法，包括：

步骤502，接收数据库连接请求。

步骤504，判断连接池中是否有可用连接，当判断结果为是时，进入步骤506，否则，进入步骤508。

步骤506，从连接池取出可用的连接，进入步骤514。

步骤508，判断是否达到最大连接数，当判断结果为是时，进入步骤510，否则，进入步骤512。

步骤510，加入等待队列。即将超出最大连接数的数据库连接请求加入等待队列，等到有连接空闲时，再为等待队列中的数据库连接请求进行连接。

步骤512，创建连接至连接池，进入步骤514。

步骤514，连接计数加1。

步骤516，将连接标为已用。

步骤518，使用连接。

步骤520，释放连接至连接池，保证连接的及时回收。

以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，通过创建多线程计算任务与数据库资源统筹管理，可以合理管理多线程计算任务与数据库连接资源的关系，提高了数据库连接资源利用率，从而达到减少系统崩溃、提高系统性能的目的。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据连接方法，其特征在于，包括：

根据接收到的资源获取请求，从连接池中获取多个可用连接；

使用所述多个可用连接为所述资源获取请求获取目标资源；

在使用完所述多个可用连接中的任一可用连接后，将所述任一可用连接回收至所述连接池。

2.根据权利要求1所述的数据连接方法，其特征在于，在所述从连接池中获取多个可用连接之前，还包括：

为所述连接池设置最小连接数和最大连接数，其中，所述最大连接数为系统能够同时使用的最多连接数量；以及

在系统初始化时，创建所述最小连接数的可用连接放置在所述连接池中。

3.根据权利要求2所述的数据连接方法，其特征在于，所述根据接收到的资源获取请求，从连接池中获取多个可用连接，具体包括：

根据所述资源获取请求，确定所需的目标连接数量；

当所述目标连接数量小于或等于所述最小连接数时，从所述连接池中获取所述目标连接数量的可用连接；

当所述目标连接数量大于所述最小连接数且小于或等于所述最大连接数时，获取所述最小连接数的可用连接，并建立新的可用连接；

当所述目标连接数量大于所述最大连接数时，将超出所述最大连接数的连接任务放置在等待队列中。

4.根据权利要求2或3所述的数据连接方法，其特征在于，还包括：

记录当前已分配使用的可用连接的个数，其中，当所述可用连接被分配时，所述个数减一，当所述可用连接被回收时，所述个数加一；以及

根据所述最小连接数、所述最大连接数和所述当前已分配使用的可用连接的个数，确定当前连接池中剩余的可用连接的个数。

5.根据权利要求4所述的数据连接方法，其特征在于，在所述根据接收到的资源获取请求，从连接池中获取多个可用连接之后，还包括：

记录连接信息，所述连接信息包括每个可用连接的地址及资源获取请求中对应的线程地址；以及

在所述将所述任一可用连接回收至所述连接池之后，还包括：

删除所述连接信息。

6.一种数据连接系统，其特征在于，包括：

可用连接获取单元，根据接收到的资源获取请求，从连接池中获取多个可用连接；

资源获取单元，使用所述多个可用连接为所述资源获取请求获取目标资源；

可用连接回收单元，在使用完所述多个可用连接中的任一可用连接后，将所述任一可用连接回收至所述连接池。

7.根据权利要求6所述的数据连接系统，其特征在于，还包括：

连接数设置单元，在所述从连接池中获取多个可用连接之前，为所述连接池设置最小连接数和最大连接数，其中，所述最大连接数为系统能够同时使用的最多连接数量；以及

初始化单元，在系统初始化时，创建所述最小连接数的可用连接放置在所述连接池中。

8.根据权利要求7所述的数据连接系统，其特征在于，所述可用连接获取单元包括：

连接数量确定单元，根据所述资源获取请求，确定所需的目标连接数量；

第一执行单元，当所述目标连接数量小于或等于所述最小连接数时，从所述连接池中获取所述目标连接数量的可用连接；

第二执行单元，当所述目标连接数量大于所述最小连接数且小于或等于所述最大连接数时，获取所述最小连接数的可用连接，并建立新的可用连接；

第三执行单元，当所述目标连接数量大于所述最大连接数时，将超出所述最大连接数的连接任务放置在等待队列中。

9.根据权利要求7或8所述的数据连接系统，其特征在于，还包括：

连接个数记录单元，记录当前已分配使用的可用连接的个数，其中，当所述可用连接被分配时，所述个数减一，当所述可用连接被回收时，所述个数加一；以及

剩余个数确定单元，根据所述最小连接数、所述最大连接数和所述当前已分配使用的可用连接的个数，确定当前连接池中剩余的可用连接的个数。

10.根据权利要求9所述的数据连接系统，其特征在于，还包括：

连接信息记录单元，在所述根据接收到的资源获取请求，从连接池中获取多个可用连接之后，记录连接信息，所述连接信息包括每个可用连接的地址及资源获取请求中对应的线程地址；以及

连接信息删除单元，在所述将所述任一可用连接回收至所述连接池之后，删除所述连接信息。