CN111339139A - 数据处理方法、装置、设备和存储介质 - Google Patents
数据处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111339139A CN111339139A CN202010106664.1A CN202010106664A CN111339139A CN 111339139 A CN111339139 A CN 111339139A CN 202010106664 A CN202010106664 A CN 202010106664A CN 111339139 A CN111339139 A CN 111339139A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- database
- business
- distributed host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000007726 management method Methods 0.000 claims description 8
- 238000013523 data management Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 abstract description 8
- 238000010168 coupling process Methods 0.000 abstract description 8
- 238000005859 coupling reaction Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置、设备和存储介质。该方法包括：从数据库读取业务数据，并存储到缓存服务器；接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。本发明实施例的技术方案，通过缓存服务器降低业务服务与数据库的耦合程度，降低数据库的瞬时压力，提高业务服务的处理性能。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、车辆和存储介质。
背景技术
数据是后台服务的基础，一般在数据库中保存并修改。在多机房多运营商的网络环境下，实现业务功能时需要统一从同一数据库来源拉取数据，在此过程中常出现网络原因导致获取数据失败或大量业务服务同时访问数据库造成数据库压力过大的问题。
针对上述问题，现有主流的解决途径主要通过以下方式：数据库多点部署、数据库间同步，通过部署多个数据库实例以提高数据库可用性，通过数据库间同步，将一次修改同步到其他数据库中，保证数据的一致性；或者，通过增加内存数据库进行缓存，存储数据库数据，将多机房部署后进行内存数据库间的同步。然而上述解决方案存在成本过高，服务与数据库间存在强耦合的问题。
发明内容
本发明提供一种数据处理方法、装置、设备和存储介质，以降低业务服务对数据库的依赖，降低业务服务与数据库间的耦合程度，提高业务数据的可用性。
第一方面，本发明实施例提供了一种数据处理方法，该方法包括：
从数据库读取业务数据，并存储到缓存服务器；
接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
第二方面，本发明实施例提供了一种数据处理方法，该方法包括：
将所述服务注册发现中心内存储的分布式主机对应的上线信息发送给业务服务；
控制业务服务根据所述上线信息向所述分布式主机发送数据请求，其中，所述数据请求包括所述业务服务请求获取的业务数据信息。
第三方面，本发明实施例提供了一种数据处理装置，该装置包括：
数据缓存模块，用于从数据库读取业务数据，并存储到缓存服务器；
数据获取模块，用于接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
第四方面，本发明实施例提供了一种数据处理装置，该装置包括：
上线管理模块，用于将所述服务注册发现中心内存储的分布式主机对应的上线信息发送给业务服务；
数据管理模块，用于控制业务服务根据所述上线信息向所述分布式主机发送数据请求以获取业务数据。
第五方面，本发明实施例提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据处理装置。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。
本发明实施例的技术方案，通过从数据库读取业务数据并存储到缓存服务器，在接收到业务服务的数据请求时，将缓存服务器内存储的业务数据发送给业务服务，实现了业务服务与数据库的低耦合，降低了保障数据一致性的成本，降低了数据库的瞬时压力，提高了业务服务的处理性能。
附图说明
图1是本发明实施例一提供的一种数据处理方法的流程图；
图2是本发明实施例二提供的一种数据处理方法的流程图；
图3是本发明实施例二提供的一种故障处理的示例图；
图4是本发明实施例二提供的数据处理方法的示例图；
图5是本发明实施例三提供的一种数据处理方法的流程图；
图6是本发明实施例三提供的一种数据处理方法的示例图；
图7是本发明实施例四提供的一种数据处理装置的结构示意图；
图8是本发明实施例五提供的一种数据处理装置的结构示意图；
图9是本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1是本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于业务服务获取业务数据的情况，该方法可以由数据处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，参见图1，本发明实施例提供的方法包括：
步骤101、从数据库读取业务数据，并存储到缓存服务器。
其中，数据库可以是为业务服务提供业务数据的存储控件，数据库可以由数据库集群组成，业务服务在获取业务数据时需要从同一数据库来源拉取数据。缓存服务器可以是预先缓存业务数据的存储服务器，当业务服务进行处理时，可以从缓存服务器直接获取业务数据，可以降低对数据库的瞬时压力。
具体的，可以连接到数据库，将数据库中存储的业务数据转存到缓存服务器，当有业务服务请求获取业务数据时，可以直接从缓存服务器获取，无需由业务服务再对数据库进行访问。可以理解的是，将数据库中业务数据转存到缓存服务器，可以通过全量加载的方式或者增量加载的方式。
步骤102、接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
其中，数据请求可以是请求获取业务数据的请求，业务服务的业务功能需要业务数据的支持，业务服务在提供业务功能时，可以通过数据请求获取缓存服务器内缓存的业务数据。
具体的，当获取到业务服务发送的数据请求时，可以数据请求在缓存服务器中查找对应的业务数据，并将该业务数据发送到业务服务以实现相应的业务功能。可以理解的是，在本发明实施例中，缓存服务器可以分布式部署，由多个缓存服务器构成，可以与分布式主机一起部署在各个机房中。
本发明实施例的技术方案，通过将数据库内的业务数据缓存到缓存服务器，在获取到业务服务的数据请求时，将缓存服务器内的业务数据根据业务数据发送到业务服务，降低了业务服务与数据库的耦合程度，可降低业务服务同时访问数据库的瞬时压力，提高了业务服务的处理性能。
实施例二
图2是本发明实施例二提供的一种数据处理方法的流程图，本发明实施例是以上述发明实施例为基础的具体化，参见图2，本发明实施例的方法包括：
步骤201、将所述分布式主机的上线信息传输到服务注册发现中心以使业务服务获取业务数据。
其中，上线信息可以是分布式主机能够正常运行的状态信息，可以表明该分布式主机可以正常拉取数据库内业务数据并可以将缓存的业务数据发送给业务服务，可以理解的是，上线信息可以表格的形式存储在服务注册发现中心。服务注册发现中心可以是提供服务进程注册，以及向注册的业务服务提供广播分布式主机上下线信息的服务器，服务注册发现中心可以实现分布式服务管理，协调各个业务服务的进程工作。
具体的，分布式主机可以正常工作时，可以将本地的上线信息发送到服务注册发现中心，可以经过广播将该上线信息发送到业务服务，业务服务在获取到分布式主机的上线信息后，可以从该分布式主机内获取对应的业务数据，可以理解的是，业务数据缓存在分布式主机内，业务服务只有获取到分布式主机的上线信息后才能通过分布式主机获取到业务数据。
步骤202、根据业务数据拉取配置连接到所述数据库。
其中，业务数据拉取配置可以是分布式主机内存储的连接信息，通过该业务数据拉取配置可以建立分布式主机与数据库间的通信连接。
在本发明实施例中，分布式主机可以通过数据拉取配置与数据库建立通信连接，可以查询数据库内存储的业务数据以及将业务数据读取到分布式主机本地。
步骤203、间隔阈值时间确定所述数据库内是否存在新增数据，若是，则将所述新增数据读取到所述缓存服务器。
其中，间隔阈值时间可以是分布式主机读取数据库数据的间隔时间，每隔间隔阈值时间，分布式主机可以将数据库中的业务数据加载到缓存服务器中。新增数据可以是数据库内新增加的业务数据，该新增数据可以还未被分布式主机读取到缓存服务器。
在本发明实施例中，分布式主机可以每隔间隔阈值时间对数据库进行访问，确定数据库中存在还未缓存的新增数据，则将该新增数据存储到缓存服务器中，进一步的，为了提高业务数据的完整性，可以通过覆盖式的增量读取数据库，重复获取数据库内近期的新增数据，避免由于网络等原因导致的数据库同步顺序混乱、增量拉取数据不可靠和部分数据漏拉取等问题。
进一步的，在上述发明实施例的基础上，所述缓存服务器包括Redis缓存服务集群。
进一步的，在上述发明实施例的基础上，所述从数据库读取业务数据，包括：读取所述数据库内所有业务数据；和/或，在所述数据库内读取经过预设条件筛选后的业务数据。
在本发明实施例中，分布式主机从数据库读取业务数据，可以通过全量加载和增量加载的方式，可以将数据库所有业务数据读取到缓存服务器，或者，通过预设条件筛选数据库内的业务数据，可以将经过筛选的业务数据读取到缓存服务器，其中，预设条件可以根据业务服务设定的筛选条件，可以包括数据编号、更新时间和数据类型等。
步骤204、接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
具体的，当获取到业务服务发送的数据请求时，可以数据请求在缓存服务器中查找对应的业务数据，并将该业务数据发送到业务服务以实现相应的业务功能。可以理解的是，在本发明实施例中，缓存服务器可以分布式部署，由多个缓存服务器构成，可以与分布式主机一起部署在各个机房中。
步骤205、将所述分布式主机的下线信息传输到服务注册发现中心。
具体的，分布式主机当停止向业务服务发送业务数据时，可以向服务注册发现中心发送下线信息，以通知服务注册发现中心不再将该分布式主机的上线信息广播给各业务服务，例如，可以将该分布式主机的上线信息从服务注册发现中心中删除。
本发明实施例的技术方案，通过将分布式主机的上线信息传输到服务注册发现中心以使业务服务获取业务数据，根据业务数据拉取配置连接到数据库，并间隔阈值时间获取数据库内的新增数据，将获取到的新增数据存储到缓存服务器，在接收到业务服务的数据请求时，将缓存服务器内存储的业务数据传输到业务服务，在分布式主机下线时将下线信息传输到服务注册发现中心，实现了业务数据的缓存处理，降低业务服务与数据库间的耦合程度，降低数据库的瞬时访问压力，提高业务数据的获取效率，增强业务数据的可用性，可提升业务服务的数据处理能力。
进一步的，在上述发明实施例的基础上，所述从数据库读取业务数据，并存储到缓存服务器之时，还包括：
确定是否成功连接到所述数据库，若是，则从所述数据库读取业务数据并存储到缓存服务器，若否，则将故障信息上报到服务注册发现中心以使所述服务注册发现中心为业务服务确定新的分布式主机。
具体的，可以检测是否成功连接到数据库，当连接成功时，可以读取数据库内存储的业务数据并缓存到缓存服务器，当数据库连接失败时，分布式主机不能从数据库内加载业务数据，此时，可以向服务注册发现中心上传故障信息，可以由服务注册发现中心将该故障信息广播给各业务服务，业务服务可以选择新的分布式主机获取业务数据。示例性的，图3是本发明实施例二提供的一种故障处理的示例图，参见图3，当分布式主机1不能将Redis缓存服务器中的业务数据发送到业务服务时，可以向服务注册发现中心发送故障信息，服务注册发现中心将该故障信息传输给对应的业务服务，由业务服务选择分布式主机2获取Redis中缓存的业务数据。具体的，业务服务可以优先选择属于相同机房的分布式主机获取业务数据，当本机房的业务数据的缓存加载全部不工作时，才选择其他机房内的分布式主机获取业务数据。
示例性，图4是本发明实施例二提供的数据处理方法的示例图，参见图4，本发明实施例的数据处理方法，可以由服务注册发现中心、业务服务和分布式主机共同执行，其中，服务注册和发现中心用来提供服务进程的注册，以及向注册的服务提供广播服务上下线通知，实现分布式服务管理。协同各个服务进程工作，实现数据在正常情况下在本机房传送，避免产生跨机房的流量费用，只有在本机房的数据缓存加载服务进程全部不工作的情况下才分发到其他机房。分布式主机，可以负责两个功能，将业务数据从数据库中拉取，加载到缓存服务器中，以及，将缓存的业务数据发送到业务服务。业务服务可以根据分布式主机的缓存内的业务数据执行相应的功能服务。
实施例三
图5是本发明实施例三提供的一种数据处理方法的流程图，本实施例可以适用于业务服务获取业务数据的情况，该方法可以由数据处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，参见图5，本发明实施例提供的方法包括：
步骤301、将所述服务注册发现中心内存储的分布式主机对应的上线信息发送给业务服务。
其中，服务注册发现中心可以是提供服务进程注册，以及向注册的业务服务提供广播分布式主机上下线信息的服务器，服务注册发现中心可以实现分布式服务管理，协调各个业务服务的进程工作。
具体的，服务注册发现中心可以对业务服务进行管理，可以通过上线信息确定各业务服务获取业务数据的数据源，其中，业务服务可以为多个。在本发明实施例中，服务注册发现中心可以存储有正常运行的分布式主机的上线信息，服务注册中心可以将各上线信息通过广播的方式发送到各业务服务，业务服务可以根据需要确定获取业务数据的分布式主机。
步骤302、控制业务服务根据所述上线信息向所述分布式主机发送数据请求，其中，所述分布式主机缓存有从数据库获取的业务数据。
其中，数据请求可以是业务服务请求获取业务数据的请求，数据请求中可以包括业务数据信息，例如，数据类型、数据编号和数据存储时间等信息。
具体的，业务服务可以根据各分布式主机的上线信息确定获取业务数据的目标分布式主机，业务服务可以向该目标分布式主机发送数据请求以获取业务数据。可以理解的是分布式主机内可以缓存有从数据库获取到的业务数据。
本发明实施例的技术方案，通过将服务注册发现中心内存储的分布式主机的上线信息发送给业务服务，控制业务服务根据上线信息向分布式主机发送数据请求获取业务数据，通过上线信息实现业务数据与分布式主机内缓存数据的耦合，实现了业务数据的缓存处理，可提升业务服务的数据处理能力。
进一步的，在上述发明实施例的基础上，还包括：
获取到故障分布式主机上传的故障信息时，删除所述故障分布式主机对应的上线信息。
在本发明实施例中，故障分布式主机可以是不能正常向业务服务发送业务数据的分布式主机。当故障分布式主机可以无法获取缓存服务器的业务数据时，可以向服务注册发现中心发送故障信息，可以删除该故障分布式主机对应的上线信息，业务服务可以不再通过该分布式主机获取缓存的业务数据。进一步的，获取故障分布式主机内业务数据的业务服务可以重新选择确定其他分布式主机获取业务数据。
进一步的，在上述发明实施例的基础上，还包括：
获取所述分布式主机上传的下线信息；根据所述下线信息将所述分布式主机对应的上线信息删除。
具体的，当分布式因为网络或者维护需要下线时，可以向服务注册发现中心发送下线信息，服务注册发现中心可以根据下线信息删除该分布式主机对应的上线信息，当服务器注册发现中心向业务服务广播各上线信息时，该分布式主机不会接收到业务服务的数据请求。
示例性的，图6是本发明实施例三提供的一种数据处理方法的示例图，业务数据的处理过程可以由多级处理实现，不再将业务服务与数据库绑定，业务服务在获取业务数据时可以不再关心业务数据所属的数据库。图6中示出了数据处理的时许过程，首先，用户可以对业务网页进行操作生成业务数据，可以根据生成的业务数据更新数据库，数据加载模块获取数据库中的业务数据，并将获取到的业务数据存储到缓存数据中，当业务服务获取业务数据时，可以将缓存数据模块中的缓存的业务数据通过数据加载模块发送到业务服务，业务服务在实现业务功能时，可以将获取到的业务数据存储到业务内存。
实施例四
图7是本发明实施例四提供的一种数据处理装置的结构示意图，可执行本发明任意实施例所提供的一种数据处理方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：
数据缓存模块410，用于从数据库读取业务数据，并存储到缓存服务器。
数据获取模块420，用于接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
本发明实施例的技术方案，通过数据缓存模块将数据库内的业务数据缓存到缓存服务器，数据获取模块在获取到业务服务的数据请求时，将缓存服务器内的业务数据根据业务数据发送到业务服务，降低了业务服务与数据库的耦合程度，可降低业务服务同时访问数据库的瞬时压力，提高了业务服务的处理性能。
进一步的，在上述发明实施例的基础上，还包括上线信息模块，用于将所述分布式主机的上线信息传输到服务注册发现中心以使业务服务获取业务数据。
进一步的，在上述发明实施例的基础上，数据缓存模块包括：
连接单元，用于根据业务数据拉取配置连接到所述数据库。
读取单元，用于间隔阈值时间确定所述数据库内是否存在新增数据，若是，则将所述新增数据读取到所述缓存服务器。
进一步的，在上述发明实施例的基础上，数据缓存模块还包括：
连接确定单元，用于确定是否成功连接到所述数据库，若是，则从所述数据库读取业务数据并存储到缓存服务器，若否，则将故障信息上报到服务注册发现中心以使所述服务注册发现中心为业务服务确定新的分布式主机。
进一步的，在上述发明实施例的基础上，数据缓存模块410中的缓存服务器包括Redis缓存服务集群。
进一步的，在上述发明实施例的基础上，数据缓存模块410中的从数据库读取业务数据，包括：
读取所述数据库内所有业务数据；和/或，在所述数据库内读取经过预设条件筛选后的业务数据。
实施例五
图8是本发明实施例五提供的一种数据处理装置的结构示意图，可执行本发明任意实施例所提供的一种数据处理方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：
上线管理模块510，用于将所述服务注册发现中心内存储的分布式主机对应的上线信息发送给业务服务。
数据管理模块520，用于控制业务服务根据所述上线信息向所述分布式主机发送数据请求以获取业务数据，其中，所述分布式主机缓存有从数据库获取的业务数据。
本发明实施例的技术方案，通过
进一步的，在上述发明实施例的基础上，还包括：故障处理模块，用于获取到故障分布式主机上传的故障信息时，删除所述故障分布式主机对应的上线信息。
进一步的，在上述发明实施例的基础上，还包括下线管理模块具有用于：
获取所述分布式主机上传的下线信息；根据所述下线信息将所述分布式主机对应的上线信息删除。
实施例六
图9是本发明实施例六提供的一种设备的结构示意图，如图9所示，该车辆包括控制器70、存储器71、输入装置72和输出装置73；设备中控制器70的数量可以是一个或多个，图9中以一个控制器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据处理方法对应的程序模块(例如，数据缓存模块410、数据获取模块420、上线管理模块510、和/或数据管理模块520)。控制器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行车辆的各种功能应用以及数据处理，即实现上述的数据处理方法。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于控制器70远程设置的存储器，这些远程存储器可以通过网络连接至车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法，该方法包括：
从数据库读取业务数据，并存储到缓存服务器；
接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种数据处理方法，其特征在于，应用于分布式主机，包括：
从数据库读取业务数据，并存储到缓存服务器；
接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
2.根据权利要求1所述的方法，其特征在于，在所述将业务数据从数据库读取到缓存服务器存储之前，还包括：
将所述分布式主机的上线信息传输到服务注册发现中心以使业务服务获取业务数据。
3.根据权利要求1所述的方法，其特征在于，所述从数据库读取业务数据，并存储到缓存服务器，包括：
根据业务数据拉取配置连接到所述数据库；
间隔阈值时间确定所述数据库内是否存在新增数据，若是，则将所述新增数据读取到所述缓存服务器。
4.根据权利要求1所述的方法，其特征在于，所述从数据库读取业务数据，并存储到缓存服务器之时，还包括：
确定是否成功连接到所述数据库，若是，则从所述数据库读取业务数据并存储到缓存服务器，若否，则将故障信息上报到服务注册发现中心以使所述服务注册发现中心为业务服务确定新的分布式主机。
5.根据权利要求1所述的方法，其特征在于，所述缓存服务器包括Redis缓存服务集群。
6.根据权利要求1所述的方法，其特征在于，所述从数据库读取业务数据，包括：
读取所述数据库内所有业务数据；和/或，
在所述数据库内读取经过预设条件筛选后的业务数据。
7.根据权利要求1所述的方法，其特征在于，还包括：
将所述分布式主机的下线信息传输到服务注册发现中心。
8.一种数据处理方法，其特征在于，应用于服务注册发现中心，其特征在于，包括：
将所述服务注册发现中心内存储的分布式主机对应的上线信息发送给业务服务；
控制业务服务根据所述上线信息向所述分布式主机发送数据请求以获取业务数据，其中，所述分布式主机缓存有从数据库获取的业务数据。
9.根据权利要求8所述的方法，其特征在于，还包括：
获取到故障分布式主机上传的故障信息时，删除所述故障分布式主机对应的上线信息。
10.根据权利要求8所述的方法，其特征在于，还包括：
获取所述分布式主机上传的下线信息；
根据所述下线信息将所述分布式主机对应的上线信息删除。
11.一种数据处理装置，其特征在于，应用于分布式主机，包括：
数据缓存模块，用于从数据库读取业务数据，并存储到缓存服务器；
数据获取模块，用于接收业务服务的数据请求，将所述缓存服务器内对应的所述业务数据传输到所述业务服务。
12.一种数据处理装置，其特征在于，应用于服务注册发现中心，其特征在于，包括：
上线管理模块，用于将所述服务注册发现中心内存储的分布式主机对应的上线信息发送给业务服务；
数据管理模块，用于控制业务服务根据所述上线信息向所述分布式主机发送数据请求以获取业务数据，其中，所述分布式主机缓存有从数据库获取的业务数据。
13.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的数据处理方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010106664.1A CN111339139A (zh) | 2020-02-21 | 2020-02-21 | 数据处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010106664.1A CN111339139A (zh) | 2020-02-21 | 2020-02-21 | 数据处理方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111339139A true CN111339139A (zh) | 2020-06-26 |
Family
ID=71181826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010106664.1A Pending CN111339139A (zh) | 2020-02-21 | 2020-02-21 | 数据处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111339139A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256709A (zh) * | 2020-09-28 | 2021-01-22 | 中孚安全技术有限公司 | 一种专用机体系下的数据读取方法、系统及设备 |
| CN113190578A (zh) * | 2021-03-26 | 2021-07-30 | 有半岛(北京)信息科技有限公司 | 多源数据查询系统、方法、装置、设备及存储介质 |
| CN113949704A (zh) * | 2021-10-15 | 2022-01-18 | 北京奇艺世纪科技有限公司 | 一种用户信息处理方法及服务器集群 |
| CN114422594A (zh) * | 2020-10-13 | 2022-04-29 | 顺丰科技有限公司 | 业务处理方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110284A1 (en) * | 2014-10-21 | 2016-04-21 | Pranav ATHALYE | Distributed cache framework |
| CN108777718A (zh) * | 2018-06-22 | 2018-11-09 | 阿里巴巴集团控股有限公司 | 一种业务系统通过客户端访问读多写少系统的方法和装置 |
| CN109408751A (zh) * | 2018-09-27 | 2019-03-01 | 腾讯科技(成都)有限公司 | 一种数据处理方法、终端、服务器及存储介质 |
| CN110555041A (zh) * | 2018-03-30 | 2019-12-10 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
-
2020
- 2020-02-21 CN CN202010106664.1A patent/CN111339139A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110284A1 (en) * | 2014-10-21 | 2016-04-21 | Pranav ATHALYE | Distributed cache framework |
| CN110555041A (zh) * | 2018-03-30 | 2019-12-10 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN108777718A (zh) * | 2018-06-22 | 2018-11-09 | 阿里巴巴集团控股有限公司 | 一种业务系统通过客户端访问读多写少系统的方法和装置 |
| CN109408751A (zh) * | 2018-09-27 | 2019-03-01 | 腾讯科技(成都)有限公司 | 一种数据处理方法、终端、服务器及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256709A (zh) * | 2020-09-28 | 2021-01-22 | 中孚安全技术有限公司 | 一种专用机体系下的数据读取方法、系统及设备 |
| CN112256709B (zh) * | 2020-09-28 | 2023-06-20 | 中孚安全技术有限公司 | 一种专用机体系下的数据读取方法、系统及设备 |
| CN114422594A (zh) * | 2020-10-13 | 2022-04-29 | 顺丰科技有限公司 | 业务处理方法、装置、计算机设备和存储介质 |
| CN113190578A (zh) * | 2021-03-26 | 2021-07-30 | 有半岛(北京)信息科技有限公司 | 多源数据查询系统、方法、装置、设备及存储介质 |
| CN113949704A (zh) * | 2021-10-15 | 2022-01-18 | 北京奇艺世纪科技有限公司 | 一种用户信息处理方法及服务器集群 |
| CN113949704B (zh) * | 2021-10-15 | 2024-03-08 | 北京奇艺世纪科技有限公司 | 一种用户信息处理方法及服务器集群 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339139A (zh) | 数据处理方法、装置、设备和存储介质 | |
| US10764369B2 (en) | Data storage method and server applicable to distributed server cluster | |
| US7716373B2 (en) | Method, apparatus, and computer product for updating software | |
| DE102004052270B4 (de) | Verarbeitungsvorrichtungs-Managementsystem | |
| CN109960634B (zh) | 一种应用程序监控方法、装置及系统 | |
| CN103188098B (zh) | 一种容灾切换方法、系统以及装置 | |
| US11445013B2 (en) | Method for changing member in distributed system and distributed system | |
| CN109361525B (zh) | 重启分布式部署多服务的方法、装置、控制终端及介质 | |
| CN109739435B (zh) | 文件存储和更新方法及装置 | |
| CN112583630B (zh) | 设备管理方法、装置、系统、设备及存储介质 | |
| CN106254814B (zh) | 一种会议恢复的方法、业务管理中心及系统 | |
| CN112214377B (zh) | 一种设备管理方法及系统 | |
| WO2021121067A1 (zh) | 一种任务执行的方法及装置 | |
| DE102021127358A1 (de) | Automatische Einrichtung von drahtlosen oder drahtgebundenen Netzen durch Bündelung von Gateways und Tunnelung des Datenverkehrs zu den Gateways | |
| CN113810216A (zh) | 一种集群的故障切换方法、装置及电子设备 | |
| JP2015099547A (ja) | ソフトウェア更新方法、ソフトウェア更新装置、ソフトウェア更新プログラム、及びソフトウェア更新システム | |
| CN101515251A (zh) | 板级平台调试方法、装置和系统 | |
| CN106028303B (zh) | 一种智能设备的发现方法及装置 | |
| CN111338647B (zh) | 一种大数据集群管理方法和装置 | |
| CN113742416A (zh) | 数据处理方法、设备、系统及存储介质 | |
| JP2002374248A (ja) | ネットワークシステム及びネットワークでのデータ転送方法 | |
| CN115473802B (zh) | 节点管理方法、系统、设备及存储介质 | |
| CN115865651A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
| WO2020158706A1 (ja) | ネットワークシステム及びネットワークシステムの制御方法 | |
| JP2009251890A (ja) | サーバ監視システム及びサーバ監視方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |