CN114637777A - 一种前后台系统数据实时交换处理方法和系统 - Google Patents

一种前后台系统数据实时交换处理方法和系统 Download PDF

Info

Publication number
CN114637777A
CN114637777A CN202210144706.XA CN202210144706A CN114637777A CN 114637777 A CN114637777 A CN 114637777A CN 202210144706 A CN202210144706 A CN 202210144706A CN 114637777 A CN114637777 A CN 114637777A
Authority
CN
China
Prior art keywords
data
real
time
foreground
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210144706.XA
Other languages
English (en)
Inventor
白江涛
唐丽
赵忠
苏则驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuanghe Electric Co ltd
Original Assignee
Shenzhen Shuanghe Electric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuanghe Electric Co ltd filed Critical Shenzhen Shuanghe Electric Co ltd
Priority to CN202210144706.XA priority Critical patent/CN114637777A/zh
Publication of CN114637777A publication Critical patent/CN114637777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种前后台系统数据实时交换处理方法和系统，所述方法包括向外部数据源发送数据采集指令，采集外部数据；将采集的外部数据缓存到实时数据缓存模块中；将采集的外部数据存储到历史数据库中；接收前台数据请求，从实时数据缓存模块中获取数据；将获取的数据返回给前台。本发明大大提高了数据的交换效率，降低了历史数据库的处理负荷。

Description

一种前后台系统数据实时交换处理方法和系统
技术领域
本发明涉及数据处理领域，尤其涉及一种前后台系统数据实时交换处理方法和系统。
背景技术
后台数据基于数据库的系统，前后台数据交换大都直接基于历史数据库系统，前台向后台请求的数据，后台直接从历史数据库中获取后返回给前台，当关系数据加中处理数据量过多时，数据获取效率随之降低，此时当前台需要显示处理的数据实时较高时，后台及历史数据库的运行负荷将会急剧增大，数据交换效率变低，前台用户体验变差。
发明内容
针对上述技术问题，本发明实施例提供了一种前后台系统数据实时交换处理方法、系统以及一种计算机可读存储介质。
本发明实施例的第一方面提供一种前后台系统数据实时交换处理方法，所述方法包括：向外部数据源发送数据采集指令，采集外部数据；将采集的外部数据缓存到实时数据缓存模块中；将采集的外部数据存储到历史数据库中；接收前台数据请求，从实时数据缓存模块中获取数据；将获取的数据返回给前台。
可选地，所述采集外部数据的步骤还包括：接收外部数据源主动发送的数据。
可选地，所述将采集的外部数据缓存到实时数据缓存模块中的步骤包括：对所述实时数据缓存模块的缓冲区的大小进行配置；缓存区的大小设置为1时，则表示对采集的数据项的最新值进行缓存；缓存区的大小设置为0时，则表示不对采集的数据项进行缓存；缓存区的大小设置为n(n>1)时，则表示对采集的数据项的最新n个值进行缓存。
可选地，所述将采集的外部数据缓存到实时数据缓存模块中的步骤还包括：当缓存区中缓存有当前接收到的数据的时段汇总值或统计值时，则从数据库获取该数据项的时段历史数据后，得到汇总或统计值后，缓存到实时数据缓存模块中。
可选地，所述将采集的外部数据存储到历史数据库中的步骤包括：将采集的外部数据通过数据项标识、数据时间、存储时间进行标识。
可选地，所述从实时数据缓存模块中获取数据的步骤之后还包括：若从实时数据缓存模块中未获取到数据，则从历史数据库中获取数据；将数据缓存到实时数据缓存模块中。
可选地，所述从实时数据缓存模块中获取数据的步骤包括：后台数据服务接口模块对前台发送的数据请求进行解析和识别，确定前台所需要的请求的数据内容；从实时数据缓存模块中获取所需要的请求的数据。
本发明实施例第二方面提供了一种前后台系统数据实时交换处理系统，所述系统包括：数据采集模块，用于向外部数据源发送数据采集指令，采集外部数据；实时数据缓存模块，用于缓存采集的外部数据；历史数据库，用于存储采集的外部数据；数据服务接口模块，用于接收前台数据请求，从实时数据缓存模块中获取数据，并将获取的数据返回给前台。
可选地，若数据服务接口模块从实时数据缓存模块中未获取到数据，则数据获取模块从历史数据库中获取数据，将数据缓存到实时数据缓存模块中。
本发明实施例第三方面提供了种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该计算机程序使计算机执行时实现如上述任意一项所述的前后台系统数据实时交换处理方法。
本发明实施例提供的技术方案中，数据采集模块，用于向外部数据源发送数据采集指令，采集外部数据；实时数据缓存模块，用于缓存采集的外部数据，历史数据库，用于存储采集的外部数据；数据服务接口模块，用于接收前台数据请求，从实时数据缓存模块中获取数据，并将获取的数据返回给前台。因此相对于现有技术，本发明实施例增加一个实时数据缓存模块，系统产生的最新数据或接收到外部系统的数据快照，直接先缓存到实时数据缓存模块后，再将数据存储到历史数据库中，此时，前台向后台请求最新或最近数据时，后台通过前台调用后台接口时传入的请求参数，对前台所需要的数据内容进行识别，并优先在实时数据缓存模块中进行数据获取后，直接返回给前台系统，大大提高了数据的交换效率，降低了关系数据的处理负荷。对于缓存中没有的数据，才会去历史数据库中的获取后，返回给前台。
附图说明
图1为本发明实施例中一种前后台系统数据实时交换处理方法的其中一实施例的流程示意图。
图2为本发明实施例中一种前后台系统数据实时交换处理方法的另一实施例的流程示意图。
图3为本发明实施例中一种前后台系统数据实时交换处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种前后台系统数据实时交换处理方法，用于解决基于后台数据基于历史数据库的系统前后台数据的交换效率不高，实时性低的问题，提高前后台数据的交换效率。所述方法包括如下步骤：
步骤S10，向外部数据源发送数据采集指令，采集外部数据。
向外部数据源发送数据采集指令，进行数据采集请求；同时，主动接收外部数据源主动发来的数据。
步骤S20，将采集的外部数据缓存到实时数据缓存模块中。
将采集和接收到的数据，缓存到实时数据缓存模块中，缓存区的大小可以进行配置，当缓存区的大小设置为1时，则表示对采集的数据项的最新值进行缓存；当缓存区的大小设置为0时，则表示不对采集的数据项进行缓存；当缓存区的大小设置为n(n>1)时，则表示对采集的数据项的最新n个值进行缓存。
当缓存区中缓存有当前接收到的数据的时段汇总值或统计值时，则从数据库获取到该数据项的时段历史数据后，得到汇总或统计值后，缓存到实时数据缓存模块中。
步骤S30，将采集的外部数据存储到历史数据库中。
将接收和采集到的数据，存储到数据库表中，每个数据通过数据项标识、数据时间、存储时间，进行标识。
步骤S40，接收前台数据请求，从实时数据缓存模块中获取数据。
后台的数据服务接口模块提供各种数据请求接口服务，供前台进行数据请求，满足前台业务应用的需要，当前台有数据请求时，后台将会触发和调用数据服务接口模块中相应的数据服务接口。
后台调用数据服务接口，并对前台发来的数据请求参数进行解析和识别，如，请求的数据项、数据时间范围等，确定前台所需要的请求的数据内容；并从实时数据缓存模块中获取所需要的请求的数据；获取到数据后，返回给前台模块。当未从实时数据缓存模块中获取到所需数据时，进入下一步，从历史数据库中进行数据查询，获取请求的数据。
步骤S70，将获取的数据返回给前台模块。
将获取到的数据按指定的数据格式，返回给前台。后台向前台提供的数据请求方式包括：restful接口、webservice接口、RPC接口、websocket接口、基于网络套接字的通讯接口等。后台通过前台调用后台接口时传入的请求参数，对前台所需要的数据请求进行识别，并从数据库中获取相应的数据，返回给前台。
在本发明的其中一实施例中，步骤S40中所述从实时数据缓存模块中获取数据的步骤之后还包括：
步骤S50，若从实时数据缓存模块中未获取到数据，则从历史数据库中获取数据。
当前台请求的数据未能在实时数据缓存模块中获取到时，则通过SQL语句从数据库中进行数据获取。
步骤S60，将数据缓存到实时数据缓存模块中。
将从数据库中获取到的数据，缓存到实时数据缓存模块中，以方便前台下次数据请求时，快速从该缓存中获取到所需的数据。
请参考图2所示，为本发明其中一实施例的前后台系统数据实时交换处理方法，所述方法还包括如下步骤：
步骤S1，系统启动初始化。
从数据库或配置文件中读取配置参数，根据配置参数，对需要连接的外部数据源进行连接，同时，打开网络监听服务，等待外部数据数据源连接到后台模块；对实时数据缓存模块中的数据项，进行初始化。启动后台数据请求接口服务，等待前台进行数据请求。
系统初始化后分为两个单独的流程并行处理，其中一个流程包括如下步骤：
步骤S2，向外部数据源发送数据采集指令，采集外部数据。
向外部数据源发送数据采集指令，进行数据采集请求；同时，主动接收外部数据源主动发来的数据。
步骤S3，将采集的外部数据缓存到实时数据缓存模块中。
将采集和接收到的数据，缓存到实时数据缓存模块中，缓存区的大小可以进行配置，当缓存区的大小设置为1时，则表示对采集的数据项的最新值进行缓存；当缓存区的大小设置为0时，则表示不对采集的数据项进行缓存；当缓存区的大小设置为n(n>1)时，则表示对采集的数据项的最新n个值进行缓存。
当缓存区中缓存有当前接收到的数据的时段汇总值或统计值时，则从数据库获取到该数据项的时段历史数据后，得到汇总或统计值后，缓存到实时数据缓存模块中。
步骤S4，将采集的外部数据存储到历史数据库中。
将接收和采集到的数据，存储到数据库表中，每个数据通过数据项标识、数据时间、存储时间进行标识。
并行流程中的另一个流程包括如下步骤：
步骤S2’，接收前台数据请求。
后台模块提供各种数据请求接口服务，供前台进行数据请求，满足前台业务应用的需要，当前台有数据请求时，后台将会触发和调用数据服务接口模块中相应的数据服务接口。
步骤S3’，从实时数据缓存模块中获取数据。
后台调用数据服务接口，并对前台发来的数据请求参数进行解析和识别，如，请求的数据项、数据时间范围等，确定前台所需要的请求的数据内容；并从实时数据缓存模块中获取所需要的请求数据；获取到数据后，返回给前台模块。当未从实时数据缓存模块中获取到所需数据时，进入下一步，从历史数据库中进行数据查询，获取请求的数据。
判断是否已经从实时数据缓存模块中获取了数据，若是，则执行步骤S 6’，将获取的数据返回给前台；若否，则执行如下步骤：
步骤S4’，从历史数据库中获取数据。
当前台请求的数据未能在实时数据缓存模块中获取到时，则通过SQL语句从数据库中进行数据获取。
步骤S5’，将数据缓存到实时数据缓存模块中。
将从数据库中获取到的数据，缓存到实时数据缓存模块中，以方便前台下将数据请求时，快速从该缓存中获取所需的数据。
步骤S6’，将获取的数据返回给前台。
将获取到的数据按指定的数据格式，返回给前台。后台向前台提供的数据请求方式包括：restful接口、webservice接口、RPC接口、websocket接口、基于网络套接字的通讯接口等。后台通过前台调用后台接口时传入的请求参数，对前台所需要的数据内容进行识别，并从数据库中获取相应的数据，返回给前台。
本发明实施例增加一个实时数据缓存模块，前后台系统产生的最新数据或接收到外部系统的数据快照，直接先缓存到实时数据缓存模块后，再将数据存储到历史数据库中，此时，前台向后台请求最新或最近数据时，后台通过前台调用后台接口时传入的请求参数，对前台所需要的数据内容进行识别，并优先在实时数据缓存模块中进行数据获取后，直接返回给前台系统，大大提高了数据的交换效率，降低了关系数据的处理负荷。对于缓存中没有的数据，才会去历史数据库中的获取后，返回给前台。
本发明有效提高了前后台的之间数据交换效率，数据交换实时性显著提升，减轻了历史数据库的数据管理负荷。
请参考图3所示，本发明的还提供一种前后台系统数据实时交换处理系统，所述系统包括：数据采集模块用于实时数据缓存模块，历史数据库和数据服务接口模块，其中，数据采集模块用于向外部数据源发送数据采集指令，采集外部数据；实时数据缓存模块用于缓存采集的外部数据；历史数据库用于存储采集的外部数据；数据服务接口模块用于接收前台数据请求，从实时数据缓存模块中获取数据，并将获取的数据返回给前台。
本发明实施例增加一个实时数据缓存模块，系统产生的最新数据或接收到外部数据源的数据快照，直接先缓存到实时数据缓存模块后，再将数据存储到历史数据库中，此时，前台模块向后台模块请求数据时，后台模块通过前台模块调用后台模块接口时传入的请求参数，对前台模块所需要的数据内容进行识别，并优先在实时数据缓存模块中进行数据获取后，直接返回给前台模块，大大提高了数据的交换效率，降低了历史数据库的处理负荷。对于缓存中没有的数据，才会去历史数据库中的获取后，返回给前台模块。
在本发明的其中一实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该计算机程序使计算机执行时实现上述各实施例所述的前后台系统数据实时交换处理方法。
需要说明的是，上述存储介质上的前后台系统数据实时交换处理方法的程序实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在上述存储介质的实施例中均对应适用，这里不再赘述。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种前后台系统数据实时交换处理方法，其特征在于，所述方法包括：
向外部数据源发送数据采集指令，采集外部数据；
将采集的外部数据缓存到实时数据缓存模块中；
将采集的外部数据存储到历史数据库中；
接收前台数据请求，从实时数据缓存模块中获取数据；
将获取的数据返回给前台。
2.根据权利要求1所述的前后台系统数据实时交换处理方法，其特征在于，所述采集外部数据的步骤还包括：
接收外部数据源主动发送的数据。
3.根据权利要求1所述的前后台系统数据实时交换处理方法，其特征在于，所述将采集的外部数据缓存到实时数据缓存模块中的步骤包括：
对所述实时数据缓存模块的缓冲区的大小进行配置；
缓存区的大小设置为1时，则表示对采集的数据项的最新值进行缓存；
缓存区的大小设置为0时，则表示不对采集的数据项进行缓存；
缓存区的大小设置为n(n>1)时，则表示对采集的数据项的最新n个值进行缓存。
4.根据权利要求3所述的前后台系统数据实时交换处理方法，其特征在于，所述将采集的外部数据缓存到实时数据缓存模块中的步骤还包括：
当缓存区中缓存有当前接收到的数据的时段汇总值或统计值时，则从数据库获取该数据项的时段历史数据后，得到汇总或统计值后，缓存到实时数据缓存模块中。
5.根据权利要求1所述的前后台系统数据实时交换处理方法，其特征在于，所述将采集的外部数据存储到历史数据库中的步骤包括：
将采集的外部数据通过数据项标识、数据时间、存储时间进行标识。
6.根据权利要求1所述的前后台系统数据实时交换处理方法，其特征在于，所述从实时数据缓存模块中获取数据的步骤之后还包括：
若从实时数据缓存模块中未获取到数据，则从历史数据库中获取数据；
将数据缓存到实时数据缓存模块中。
7.根据权利要求1所述的前后台系统数据实时交换处理方法，其特征在于，所述从实时数据缓存模块中获取数据的步骤包括:
后台数据服务接口模块对前台发送的数据请求进行解析和识别，确定前台所需要的请求的内容；
从实时数据缓存模块中获取所需要的请求的数据。
8.一种前后台系统数据实时交换处理系统，其特征在于，所述系统包括：
数据采集模块，用于向外部数据源发送数据采集指令，采集外部数据；
实时数据缓存模块，用于缓存采集的外部数据；
历史数据库，用于存储采集的外部数据；
数据服务接口模块，用于接收前台数据请求，从实时数据缓存模块中获取数据，并将获取的数据返回给前台。
9.根据权利要求8所述的前后台系统数据实时交换处理系统，其特征在于，若数据服务接口模块从实时数据缓存模块中未获取到数据，则数据服务接口模块从历史数据库中获取数据，将数据缓存到实时数据缓存模块中。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，该计算机程序使计算机执行时实现如权利要求1～7任意一项所述的前后台系统数据实时交换处理方法。
CN202210144706.XA 2022-02-17 2022-02-17 一种前后台系统数据实时交换处理方法和系统 Pending CN114637777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210144706.XA CN114637777A (zh) 2022-02-17 2022-02-17 一种前后台系统数据实时交换处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210144706.XA CN114637777A (zh) 2022-02-17 2022-02-17 一种前后台系统数据实时交换处理方法和系统

Publications (1)

Publication Number Publication Date
CN114637777A true CN114637777A (zh) 2022-06-17

Family

ID=81945595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210144706.XA Pending CN114637777A (zh) 2022-02-17 2022-02-17 一种前后台系统数据实时交换处理方法和系统

Country Status (1)

Country Link
CN (1) CN114637777A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115712499A (zh) * 2022-11-09 2023-02-24 北京城建设计发展集团股份有限公司 一种轨交业务ai芯片驱动任务处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140281258A1 (en) * 2013-03-13 2014-09-18 International Business Machines Corporation Dynamic caching module selection for optimized data deduplication
CN108804447A (zh) * 2017-04-28 2018-11-13 北京京东尚科信息技术有限公司 利用缓存响应数据请求的方法和系统
CN110221988A (zh) * 2019-05-05 2019-09-10 福建天泉教育科技有限公司 一种第三方数据的缓存优化方法及系统
CN113742364A (zh) * 2021-09-10 2021-12-03 拉卡拉支付股份有限公司 数据访问方法、装置、电子设备、存储介质及程序产品
CN113779452A (zh) * 2020-10-30 2021-12-10 北京沃东天骏信息技术有限公司 数据处理方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140281258A1 (en) * 2013-03-13 2014-09-18 International Business Machines Corporation Dynamic caching module selection for optimized data deduplication
CN108804447A (zh) * 2017-04-28 2018-11-13 北京京东尚科信息技术有限公司 利用缓存响应数据请求的方法和系统
CN110221988A (zh) * 2019-05-05 2019-09-10 福建天泉教育科技有限公司 一种第三方数据的缓存优化方法及系统
CN113779452A (zh) * 2020-10-30 2021-12-10 北京沃东天骏信息技术有限公司 数据处理方法、装置、设备及存储介质
CN113742364A (zh) * 2021-09-10 2021-12-03 拉卡拉支付股份有限公司 数据访问方法、装置、电子设备、存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115712499A (zh) * 2022-11-09 2023-02-24 北京城建设计发展集团股份有限公司 一种轨交业务ai芯片驱动任务处理方法及系统

Similar Documents

Publication Publication Date Title
CN109684358B (zh) 数据查询的方法和装置
CN108694075B (zh) 处理报表数据的方法、装置、电子设备和可读存储介质
CN101510167B (zh) 一种插件运行的方法、装置及系统
JP2021511588A (ja) データクエリ方法、装置およびデバイス
CN107257363B (zh) 一种响应请求端请求的方法及系统
CN109446225B (zh) 数据缓存方法、装置、计算机设备及存储介质
CN114637777A (zh) 一种前后台系统数据实时交换处理方法和系统
CN111221469A (zh) 同步缓存数据的方法、装置和系统
CN111736907B (zh) 一种自适应低延迟内存计算引擎的数据分析方法
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN113590433B (zh) 数据管理方法、数据管理系统和计算机可读存储介质
CN113328927B (zh) 一种具有计算、存储和网络交换功能的工业物联网网关
CN112866339B (zh) 数据传输方法、装置、计算机设备和存储介质
CN109375998B (zh) 一种高并发请求环境中的处理方法
CN113656178B (zh) 数据处理方法、装置、设备及可读存储介质
CN107092529B (zh) Olap服务方法、装置及系统
CN110865845B (zh) 提高接口访问效率的方法、存储介质
CN115469966A (zh) 容器云服务的弹性伸缩方法及装置
CN111724262B (zh) 一种应用服务器后续包查询系统及其工作方法
CN115048437A (zh) 一种基于核电Paas平台的数据服务方法及系统
CN112565286A (zh) 一种基于rpc访问的任务响应方法、装置、设备和存储介质
CN111935782A (zh) 客户端重试机制的优化方法、存储介质
CN112597197B (zh) 一种基于内存的分布式缓存系统
WO2023103752A1 (zh) 网元版本下载方法、网元、电子设备和存储介质
CN112818019B (zh) 一种应用于Redis客户端的查询请求过滤方法及Redis客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220617

RJ01 Rejection of invention patent application after publication