CN112383609A - 高并发数据的处理方法、装置、设备及存储介质 - Google Patents
高并发数据的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112383609A CN112383609A CN202011250394.8A CN202011250394A CN112383609A CN 112383609 A CN112383609 A CN 112383609A CN 202011250394 A CN202011250394 A CN 202011250394A CN 112383609 A CN112383609 A CN 112383609A
- Authority
- CN
- China
- Prior art keywords
- data
- preset
- service
- processed
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Abstract
本申请公开了一种高并发数据的处理方法、装置、设备和存储介质，该方法包括：在检测到业务数据打印指令时，确定业务子系统的打印业务接口；基于业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；将待处理的业务数据以及模板数据设置为待处理数据，基于待处理数据，确定是否启用预设MQ服务组件；若确定启用时，通过预设MQ服务组件将待处理数据发送给所述打印子系统，以基于打印子系统得到所述待处理数据的目标形式的文档；通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。本申请旨在解决在现有业务量越来越大的趋势下，会导致打印子系统崩溃的技术问题。
Description
技术领域
本申请涉及通信计算机技术领域，尤其涉及一种高并发数据的处理方法、装置、设备及存储介质。
背景技术
随着通信计算机的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对高并发数据的处理方法也有更高的要求。
目前，业务子系统需要将自身的业务数据等信息发送给打印子系统，以供打印子系统进行PDF文档的生成或者打印(业务数据等对应的PDF文档)，并反馈对应的PDF文件给业务子系统，当前，打印子系统使用的是实时调用HTTP接口，基于该实时调用HTTP接口实时返回业务数据对应的PDF文档给业务子系统，在现有的业务场景下，业务量存在越来越大的趋势，实时调用并生成PDF文档导致打印子系统的并发量增大，基于调用HTTP接口返回数据的时间越来越长，甚至会导致打印子系统的崩溃。
发明内容
本申请的主要目的在于提供一种高并发数据的处理方法、装置、设备和存储介质，旨在解决在现有业务量越来越大的趋势下，导致打印子系统待处理数据的并发量增大，甚至会导致打印子系统崩溃的技术问题。
为实现上述目的，本申请提供一种高并发数据的处理方法，应用于高并发数据的处理系统，所述高并发数据的处理系统包括业务子系统以及打印子系统，所述高并发数据的处理方法包括：
在检测到业务数据打印指令时，确定业务子系统的打印业务接口；
基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；
将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；
若确定启用预设MQ服务组件时，通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
可选地，所述在检测到业务数据打印指令时，确定业务子系统的打印业务接口的步骤，包括：
在检测到业务数据打印指令时，获取所述数据处理指令中携带的接口类型的信息；
当所述接口类型为解耦类型时，根据预设配置文件确定待解耦接口，并获取所述待解耦接口的原接口规则；
从所述预设配置文件获取新接口规则，将所述待解耦接口中的原接口规则更换为新接口规则；
调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口。
可选地，所述调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口的步骤，包括：
调用预设整理组件，以基于所述新接口规则中的参数信息，从所述新接口规则中提取预设功能相同的各个参数，得到目标参数信息集合，并获取所述目标参数信息集合的预设执行逻辑流程；
将所述目标参数信息集合中的各个参数以及对应各个参数的执行逻辑流程进行串联，得到新的初始流程；
基于所述新的初始流程以及预置的处理流程，确定业务子系统的打印业务接口。
可选地，所述基于所述待处理数据，确定是否启用预设MQ服务组件的步骤，包括：
获取所述待处理数据的数量，当所述待处理数据的数量大于等于预设数量值时，确定启用预设MQ服务组件；
当待处理数据的数量小于预设数量值时，确定不启用预设MQ服务组件。
可选地，所述基于所述待处理数据，确定是否启用预设MQ服务组件的步骤，包括：
获取所述待处理数据的数据存储大小，当所述待处理数据的数据存储大小大于等于预设内存值时，确定启用预设MQ服务组件；
当所述待处理数据的数据存储大小小于预设内存值时，确定不启用预设MQ服务组件。
可选地，所述将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件的步骤之后，所述方法包括：
当确定不启用预设MQ服务组件时，实时将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
将所述待处理数据的目标形式的文档置于预设的存储卷中，以供所述业务子系统在监控所述存储卷的过程中，实时获取所述目标形式的文档。
可选地，所述通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档的步骤，包括：
通过预设分流方式，基于所述打印子系统中的签章服务组件，对所述待处理数据的目标形式的文档进行分流签章处理，得到签章处理后的目标形式的文档；
其中，所述预设分流方式包括通过文档所占数据量的大小进行分流；
通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
本申请还提供一种高并发数据的处理装置，应用于高并发数据的处理系统，所述高并发数据的处理系统包括业务子系统以及打印子系统，所述高并发数据的处理方法装置包括：
第一确定模块，用于在检测到业务数据打印指令时，确定业务子系统的打印业务接口；
输出模块，用于基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；
第二确定模块，用于将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；
第一发送模块，若确定启用预设MQ服务组件，则通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
接收模块，用于通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
可选地，所述第一确定模块包括：
第一获取单元，用于在检测到业务数据打印指令时，获取所述数据处理指令中携带的接口类型的信息；
第二获取单元，用于当所述接口类型为解耦类型时，根据预设配置文件确定待解耦接口，并获取所述待解耦接口的原接口规则；
更换单元，用于从所述预设配置文件获取新接口规则，将所述待解耦接口中的原接口规则更换为新接口规则；
第三获取单元，用于调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口。
可选地，所述第三获取单元包括：
调用子单元，用于调用预设整理组件，以基于所述新接口规则中的参数信息，从所述新接口规则中提取预设功能相同的各个参数，得到目标参数信息集合，并获取所述目标参数信息集合的预设执行逻辑流程；
串联子单元，用于将所述目标参数信息集合中的各个参数以及对应各个参数的执行逻辑流程进行串联，得到新的初始流程；
确定子单元，用于基于所述新的初始流程以及预置的处理流程，确定业务子系统的打印业务接口。
可选地，所述第二确定模块包括：
第四获取单元，用于获取所述待处理数据的数量，当所述待处理数据的数量大于等于预设数量值时，确定启用预设MQ服务组件；
第一确定单元，用于当待处理数据的数量小于预设数量值时，确定不启用预设MQ服务组件。
可选地，所述第二确定模块包括：
第五获取单元，用于获取所述待处理数据的数据存储大小，当所述待处理数据的数据存储大小大于等于预设内存值时，确定启用预设MQ服务组件；
第二确定单元，用于当所述待处理数据的数据存储大小小于预设内存值时，确定不启用预设MQ服务组件。
可选地，所述高并发数据的处理装置包括：
第二发送模块，用于当确定不启用预设MQ服务组件时，实时将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
获取模块，用于将所述待处理数据的目标形式的文档置于预设的存储卷中，以供所述业务子系统在监控所述存储卷的过程中，实时获取所述目标形式的文档。
可选地，所述接收模块包括：
签章单元，用于通过预设分流方式，基于所述打印子系统中的签章服务组件，对所述待处理数据的目标形式的文档进行分流签章处理，得到签章处理后的目标形式的文档；
其中，所述预设分流方式包括通过文档所占数据量的大小进行分流；
控制单元，用于通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
本申请还提供一种数据处理设备，所述数据处理设备为实体设备，所述数据处理设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述高并发数据的处理方法的程序，所述高并发数据的处理方法的程序被处理器执行时可实现如上述的高并发数据的处理方法的步骤。
本申请还提供一种存储介质，所述存储介质上存储有实现上述高并发数据的处理方法的程序，所述高并发数据的处理方法的程序被处理器执行时实现如上述的高并发数据的处理方法的步骤。
本申请提供一种高并发数据的处理方法、装置、设备及存储介质，与现有技术中通过实时调用HTTP接口，实时从业务子系统获取业务数据等数据，并实时返回业务数据等数据对应的PDF文档给业务子系统，导致在现有业务量越来越大的趋势下，打印子系统待处理数据的并发量增大，甚至会出现打印子系统崩溃的问题相比，本申请中通过在检测到业务数据打印指令时，确定业务子系统的打印业务接口；基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；若确定启用预设MQ服务组件时，通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。在本申请中，在通过打印业务接口输出待处理数据后，若确定启用预设MQ服务组件时，通过具有缓冲功能的预设MQ服务组件进行待处理数据的缓冲，避免并发量大导致打印子系统崩溃，且在打印子系统得到所述待处理数据的目标形式的文档后，控制通过所述预设MQ服务组件接收所述目标形式的文档，以避免并发量过大导致接收的业务子系统崩溃，因而，解决在现有业务量越来越大的趋势下，导致打印子系统待处理数据的并发量增大，甚至会导致打印子系统崩溃等的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请高并发数据的处理方法第一实施例的流程示意图；
图2为本申请高并发数据的处理方法第一实施例中在检测到业务数据打印指令时，确定业务子系统的打印业务接口的步骤细化流程示意图；
图3为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种高并发数据的处理方法，在本申请高并发数据的处理方法的第一实施例中，参照图1，应用于高并发数据的处理系统，所述高并发数据的处理系统包括业务子系统以及打印子系统，所述高并发数据的处理方法包括：
步骤S10，在检测到业务数据打印指令时，确定业务子系统的打印业务接口；
步骤S20，基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；
步骤S30，将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；
步骤S40，若确定启用预设MQ服务组件时，通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
步骤S50，通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
具体步骤如下：
步骤S10，在检测到业务数据打印指令时，确定业务子系统的打印业务接口；
在本实施例中，高并发数据的处理方法应用于高并发数据的处理系统，所述高并发数据的处理系统包括业务子系统以及打印子系统，其中，通过所述高并发数据的处理系统控制业务子系统以及打印子系统之间的数据交互方式，具体地，控制业务子系统将业务数据以及模板数据等，输出给打印子系统，控制打印子系统进行对应pdf文档的生成如控制打印子系统进行对应签章后的pdf文档的生成，并将签章后的pdf文档返回给业务子系统。
在检测到业务数据打印指令时，确定业务子系统的打印业务接口，在本实施例中，数据处理指令可以是自动定时触发，或者数据处理指令可以是人为手动触摸或者点击触发，在检测到业务数据打印指令时，确定业务子系统的打印业务接口的目的在于：选择使用解耦接口或者使用非解耦接口，进行待处理数据的打印预处理，在本实施例中，需要说明的是，解耦接口是可以临时生成的或者是事先已经生成好的，直接进行接口的切换即可。在本实施例中，以非解耦接口是临时生成的为例进行具体说明。
需要说明的是，在本实施例中，打印业务接口的功能可以包括：接收待打印的保单数据或者模板数据，并将接收的待打印的保单数据或者模板数据，输出给与打印业务接口进行通信连接的其他子系统的接口。
其中，参照图2，所述在检测到业务数据打印指令时，确定业务子系统的打印业务接口的步骤，包括：
步骤S11，在检测到业务数据打印指令时，获取所述数据处理指令中携带的接口类型的信息；
在检测到业务数据打印指令时，获取所述数据处理指令中携带的接口类型的信息，数据处理指令中携带的接口类型可以是人工选取的，或者数据处理指令中携带的接口类型还可以是根据数据类型确定的，例如，若数据是确定机构的保单数据时，则对应接口类型是非解耦接口。
步骤S12，当所述接口类型为解耦类型时，根据预设配置文件确定待解耦接口，并获取所述待解耦接口的原接口规则；
在本实施例中，以非解耦接口是临时生成的为例进行具体说明，若所述接口类型为解耦类型时，根据预设配置文件确定当前待解耦接口，即当前待解耦接口可以是由多个原有接口构成的，该多个原有接口在预设配置文件中已经确定，具体地，获取预设配置文件中的待耦合业务类型，根据待待耦合业务类型，确定待解耦接口，在确定后，获取各个所述待解耦接口的原接口规则，其中，原接口规则包括原正则表达式，原校验规则等具体内容。
步骤S13，从所述预设配置文件获取新接口规则，将所述待解耦接口中的原接口规则更换为新接口规则；
从所述预设配置文件获取新接口规则，将所述待解耦接口中的原接口规则更换为新接口规则，其中，新接口规则包括新正则表达式，新校验规则等具体内容，具体地，获取所述待解耦接口中的原接口的正则表达式，将原接口的正则表达式替换为新接口的正则表达式，获取所述待解耦接口中的原接口的校验规则，将原接口的校验规则替换为新接口的校验规则等，需要说明的是，正则表达式以及检验规则中由各个参数的信息等构成，其中，接口替换的还可以是其他的内容或者文件等。
步骤S14，调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口。
调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口，具体地，首先从新接口规则(正则表达式，校验规则等)中提取各个参数信息，然后进行参数的抽离以及整理(配置文件中存在预置的抽离整理等处理逻辑)，其中，抽离包括父子参数的抽离，以得到目标参数信息集合，以得到业务子系统的打印业务接口。
其中，所述调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口的步骤，包括：
步骤S141，调用预设整理组件，以基于所述新接口规则中的参数信息，从所述新接口规则中提取预设功能相同的各个参数，得到目标参数信息集合，并获取所述目标参数信息集合的预设执行逻辑流程；
调用预设整理组件，基于所述新接口规则中的参数信息，从所述新接口规则中提取预设功能相同的各个参数，即抽离以及整理出预设功能相同的各个参数，如参数都是校验用户某一方面的资格，参数都是实现提取某一数据等，提取预设功能相同的各个参数后，对该各个功能参数进行父参数的确定，其中，功能相同的各个参数为对应子参数，得到目标参数信息集合(即父参数的集合)，并获取所述目标参数信息集合的预设执行逻辑流程，所述目标参数信息集合的预设执行逻辑流程是预存的。
步骤S142，将所述目标参数信息集合中的各个参数以及对应各个参数的执行逻辑流程进行串联，得到新的初始流程；
将所述目标参数信息集合中的各个参数以及对应各个参数的执行逻辑流程进行串联，得到新的初始流程，如先验证用户身份后再进行保单数据的确定等。
步骤S143，基于所述新的初始流程以及预置的处理流程，确定业务子系统的打印业务接口。
基于所述新的初始流程以及预置的处理流程，确定业务子系统的打印业务接口，在本实施例中，除了新的初始流程外，还预置有其他的处理流程，以准确实现接口的功能，以确定业务子系统的打印业务接口。
步骤S20，基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；
基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据，在本实施例中，需要说明的是，基于所述业务子系统的打印业务接口如解耦接口，输出待处理的业务数据以及模板数据，而不是各个业务接口分别输出业务数据以及模板数据，因而，节约了资源，另外，待处理的业务数据以及模板数据是在业务子系统中同时输出的如同时压缩输出，而不是分开输出，因而，避免打印子系统的并发数据过大，避免打印子系统的崩溃。
在本实施例中，所述业务数据包括业务类型信息、业务紧急信息业务标识以及业务参数信息等，模板数据包括模板标识，模板的类型，模板的更新时间信息以及模板参数信息等，需要说明的是，通过标识，可以将模板和业务统一对应，即某一模板和其对应的业务类型的标识相同，在本实施例中，基于打印业务接口如解耦后的业务接口，可以同时输出各个类型业务的待处理的业务数据以及模板数据，以减少业务子系统的并发数据。
步骤S30，将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；
将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件，具体地，确定是否启用预设MQ服务组件的MQ服务，在本实施例中，需要解释MQ服务的概念，其中，MQ服务指的是消息队列服务，队列是消息的安全存放地，队列存储消息直到它被应用程序处理，消息队列以下述方式工作：
a)，程序A形成对消息队列系统的调用，此调用告知消息队列系统，消息准备好了投向程序B；
b)，消息队列系统发送此消息到程序B驻留处的系统，并将它放到程序B的队列中；
c)，预设适当时间后，程序B从它的队列中读此消息，并处理此信息。
由于采用了先进的程序设计思想以及内部工作机制，MQ服务组件能够在各种网络条件下保证消息的可靠传递，可以克服网络线路质量差或不稳定的现状，在传输过程中，如果通信线路出现故障或远端的主机发生故障，相应应用程序都不会受到影响，可以继续发送数据，而无需等待网络故障恢复或远端主机正常后再重新运行。
在MQ中，队列分为很多种类型，其中包括：本地队列、远程队列、模板队列、动态队列、别名队列等。
整体地，也即，若100条业务数据需要处理，可以将100条业务数据按照消息队列的方式缓冲在MQ服务的队列中，因而，打印子系统可以一次性只从100条业务数据中取出10条进行处理，避免打印子系统的崩溃。
在本实施例中，还获取所述待处理数据的数量，基于所述待处理数据以及所述待处理数据的数量等，确定是否启用MQ服务。
步骤S40，若确定启用预设MQ服务组件时，通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
若确定启用预设MQ服务组件时，通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档，在本实施例中，在得到检测到业务数据以及模板数据后，将所述业务数据和所述模板数据进行自动打包处理，发送给所述打印子系统，本实施例中，打印子系统要在检测到待处理数据时，响应该待处理数据事件以触发自动打包处理，需要事先在内置的处理器中设置程序段，该程序段表示自动打包处理的处理逻辑，该处理逻辑用于在检测到待处理数据时，触发处理器以响应所述在检测到待处理数据事件，以基于该待处理数据事件进行自动打包处理。
步骤S50，通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
若确定启用MQ服务时，通过MQ服务与打印子系统进行通信，从MQ服务的队列中获取需要实时处理的待处理数据，即业务数据与模板数据，得到待处理数据后，将所述待处理数据中的业务数据填写至模板数据的模板中，得到目标PDF文档，并进行签章，以供业务子系统获取。
本申请通过确定各所述第二参与方各自的第二样本数据中，与第一参与方数据特征一致的目标数据在所述第二样本数据中的数据占比率；基于各所述数据占比率，确定各第二样本数据的第一参与方预测权重；基于所述第一参与方预测权重，以及所述第一参与方的第一样本数据，通过联邦学习确定所述第一参与方的预设预测模型。本申请通过确定各所述第二参与方各自的第二样本数据中，与第一参与方数据特征一致的目标数据在所述第二样本数据中的数据占比率，确定各第二样本数据的第一参与方预测权重，以联邦确定所述第一参与方的预设预测模型，即本申请通过加入数据占比率的方式，确定各不同分布的第二样本数据中，针对第一参与方具有实际有效训练功能的预测权重，以联邦得到第一参与方的预设预测模型，与现有技术中各个参与方具有相同的训练比重或者预测比重，导致某一参与方数据中部分无效的训练数据，占用训练比重或者预测比重相比，本申请基于各个参与方实际有效的(占用训练比重或者预测比重的)训练数据联合训练联邦模型，进而，避免无效数据所造成的效率干扰，提升联邦训练效率，且由于训练数据是有效的，因而提升联邦模型的模型准确度，以提升模型的预测性能。
本申请实施例提供一种高并发数据的处理方法，在本申请高并发数据的处理方法的另一实施例中，所述基于所述待处理数据，确定是否启用预设MQ服务组件的步骤，包括：
步骤S31，获取所述待处理数据的数量，当所述待处理数据的数量大于等于预设数量值时，确定启用预设MQ服务组件；
步骤S32，当待处理数据的数量小于预设数量值时，确定不启用预设MQ服务组件。
在本实施例中，获取所述待处理数据的数量，当所述待处理数据的数量大于等于预设数量值时，确定启用预设MQ服务组件，当待处理数据的数量小于预设数量值时，确定不启用预设MQ服务组件，以避免资源的浪费。
其中，所述基于所述待处理数据，确定是否启用预设MQ服务组件的步骤，包括：
步骤S33，获取所述待处理数据的数据存储大小，当所述待处理数据的数据存储大小大于等于预设内存值时，确定启用预设MQ服务组件；
步骤S34，当所述待处理数据的数据存储大小小于预设内存值时，确定不启用预设MQ服务组件。
获取所述待处理数据的数据存储大小，当所述待处理数据的数据存储大小大于等于预设内存值时，确定启用预设MQ服务组件；当所述待处理数据的数据存储大小小于预设内存值时，确定不启用预设MQ服务组件，以避免资源的浪费。
所述将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件的步骤之后，所述方法包括：
步骤A1，当确定不启用预设MQ服务组件时，实时将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
在本实施例中，当确定不启用预设MQ服务组件时，实时将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档，以快速得到业务子系统需求的数据。
步骤A2，将所述待处理数据的目标形式的文档置于预设的存储卷中，以供所述业务子系统在监控所述存储卷的过程中，实时获取所述目标形式的文档。
将所述待处理数据的目标形式的文档置于预设的存储卷中，以供所述业务子系统在监控所述存储卷的过程中，实时获取所述目标形式的文档，具体地，由于业务系统会监控存储卷，因而，可以实时获取需要的目标PDF文档。
在本实施例中，通过当确定不启用预设MQ服务组件时，实时将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；将所述待处理数据的目标形式的文档置于预设的存储卷中，以供所述业务子系统在监控所述存储卷的过程中，实时获取所述目标形式的文档。在本实施例中，也可以准确实时获取所述目标形式的文档。
本申请实施例提供一种高并发数据的处理方法，在本申请高并发数据的处理方法的另一实施例中，所述基于所述第一参与方预测权重，以及所述第一参与方的第一样本数据，通过执行第二预设联邦流程，对第二预设待训练预测模型进行迭代训练，获得第二目标模型的步骤，包括：
所述通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档的步骤，包括：
步骤B1，通过预设分流方式，基于所述打印子系统中的签章服务组件，对所述待处理数据的目标形式的文档进行分流签章处理，得到签章处理后的目标形式的文档；
其中，所述预设分流方式包括通过文档所占数据量的大小进行分流；
在本实施例中，通过预设分流方式对文档进行分流，如通过文档所占数据量的大小进行分流，基于所述打印子系统中的签章服务组件，对所述待处理数据的目标形式的文档进行分流签章处理，得到签章处理后的目标形式的文档，分流签章指的是数据量大的大小进行分别签章。
步骤B2，通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
在本实施例中，通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档，以避免在返回数据的过程中造成业务系统崩溃。
参照图3，图3是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图3所示，该数据处理设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该数据处理设备还可以包括矩形用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图3中示出的数据处理设备结构并不构成对数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及数据处理程序。操作系统是管理和控制数据处理设备硬件和软件资源的程序，支持数据处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与数据处理系统中其它硬件和软件之间通信。
在图3所示的数据处理设备中，处理器1001用于执行存储器1005中存储的数据处理程序，实现上述任一项所述的高并发数据的处理方法的步骤。
本申请数据处理设备具体实施方式与上述高并发数据的处理方法各实施例基本相同，在此不再赘述。
本申请还提供一种高并发数据的处理装置，应用于高并发数据的处理系统，所述高并发数据的处理系统包括业务子系统以及打印子系统，所述高并发数据的处理方法装置包括：
第一确定模块，用于在检测到业务数据打印指令时，确定业务子系统的打印业务接口；
输出模块，用于基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；
第二确定模块，用于将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；
第一发送模块，若确定启用预设MQ服务组件，则通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
接收模块，用于通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
可选地，所述第一确定模块包括：
第一获取单元，用于在检测到业务数据打印指令时，获取所述数据处理指令中携带的接口类型的信息；
第二获取单元，用于当所述接口类型为解耦类型时，根据预设配置文件确定待解耦接口，并获取所述待解耦接口的原接口规则；
更换单元，用于从所述预设配置文件获取新接口规则，将所述待解耦接口中的原接口规则更换为新接口规则；
第三获取单元，用于调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口。
可选地，所述第三获取单元包括：
调用子单元，用于调用预设整理组件，以基于所述新接口规则中的参数信息，从所述新接口规则中提取预设功能相同的各个参数，得到目标参数信息集合，并获取所述目标参数信息集合的预设执行逻辑流程；
串联子单元，用于将所述目标参数信息集合中的各个参数以及对应各个参数的执行逻辑流程进行串联，得到新的初始流程；
确定子单元，用于基于所述新的初始流程以及预置的处理流程，确定业务子系统的打印业务接口。
可选地，所述第二确定模块包括：
第四获取单元，用于获取所述待处理数据的数量，当所述待处理数据的数量大于等于预设数量值时，确定启用预设MQ服务组件；
第一确定单元，用于当待处理数据的数量小于预设数量值时，确定不启用预设MQ服务组件。
可选地，所述第二确定模块包括：
第五获取单元，用于获取所述待处理数据的数据存储大小，当所述待处理数据的数据存储大小大于等于预设内存值时，确定启用预设MQ服务组件；
第二确定单元，用于当所述待处理数据的数据存储大小小于预设内存值时，确定不启用预设MQ服务组件。
可选地，所述高并发数据的处理装置包括：
第二发送模块，用于当确定不启用预设MQ服务组件时，实时将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
获取模块，用于将所述待处理数据的目标形式的文档置于预设的存储卷中，以供所述业务子系统在监控所述存储卷的过程中，实时获取所述目标形式的文档。
可选地，所述接收模块包括：
签章单元，用于通过预设分流方式，基于所述打印子系统中的签章服务组件，对所述待处理数据的目标形式的文档进行分流签章处理，得到签章处理后的目标形式的文档；
其中，所述预设分流方式包括通过文档所占数据量的大小进行分流；
控制单元，用于通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
本申请高并发数据的处理装置的具体实施方式与上述高并发数据的处理方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的高并发数据的处理方法的步骤。
本申请存储介质具体实施方式与上述高并发数据的处理方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (10)
1.一种高并发数据的处理方法，其特征在于，应用于高并发数据的处理系统，所述高并发数据的处理系统包括业务子系统以及打印子系统，所述高并发数据的处理方法包括：
在检测到业务数据打印指令时，确定业务子系统中业务数据对应的打印业务接口；
基于所述业务子系统的打印业务接口，输出待处理的业务数据以及对应的模板数据；
将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；
若确定启用预设MQ服务组件，则通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
2.如权利要求1所述的高并发数据的处理方法，其特征在于，所述在检测到业务数据打印指令时，确定业务子系统的打印业务接口的步骤，包括：
在检测到业务数据打印指令时，获取所述数据处理指令中携带的接口类型的信息；
当所述接口类型为解耦类型时，根据预设配置文件确定待解耦接口，并获取所述待解耦接口的原接口规则；
从所述预设配置文件获取新接口规则，将所述待解耦接口中的原接口规则更换为新接口规则；
调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口。
3.如权利要求2所述的高并发数据的处理方法，其特征在于，所述调用预设整理组件，以基于所述新接口规则中的参数信息，得到目标参数信息集合，基于所述目标参数信息集合，确定业务子系统的打印业务接口的步骤，包括：
调用预设整理组件，以基于所述新接口规则中的参数信息，从所述新接口规则中提取预设功能相同的各个参数，得到目标参数信息集合，并获取所述目标参数信息集合的预设执行逻辑流程；
将所述目标参数信息集合中的各个参数以及对应各个参数的执行逻辑流程进行串联，得到新的初始流程；
基于所述新的初始流程以及预置的处理流程，确定业务子系统的打印业务接口。
4.如权利要求1所述的高并发数据的处理方法，其特征在于，所述基于所述待处理数据，确定是否启用预设MQ服务组件的步骤，包括：
获取所述待处理数据的数量，当所述待处理数据的数量大于等于预设数量值时，确定启用预设MQ服务组件；
当待处理数据的数量小于预设数量值时，确定不启用预设MQ服务组件。
5.如权利要求1所述的高并发数据的处理方法，其特征在于，所述基于所述待处理数据，确定是否启用预设MQ服务组件的步骤，包括：
获取所述待处理数据的数据存储大小，当所述待处理数据的数据存储大小大于等于预设内存值时，确定启用预设MQ服务组件；
当所述待处理数据的数据存储大小小于预设内存值时，确定不启用预设MQ服务组件。
6.如权利要求1所述的高并发数据的处理方法，其特征在于，所述将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件的步骤之后，所述方法包括：
当确定不启用预设MQ服务组件时，实时将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
将所述待处理数据的目标形式的文档置于预设的存储卷中，以供所述业务子系统在监控所述存储卷的过程中，实时获取所述目标形式的文档。
7.如权利要求1所述的高并发数据的处理方法，其特征在于，所述通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档的步骤，包括：
通过预设分流方式，基于所述打印子系统中的签章服务组件，对所述待处理数据的目标形式的文档进行分流签章处理，得到签章处理后的目标形式的文档；
其中，所述预设分流方式包括通过文档所占数据量的大小进行分流；
通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
8.一种高并发数据的处理装置，其特征在于，应用于高并发数据的处理系统，所述高并发数据的处理系统包括业务子系统以及打印子系统，所述高并发数据的处理方法装置包括：
第一确定模块，用于在检测到业务数据打印指令时，确定业务子系统的打印业务接口；
输出模块，用于基于所述业务子系统的打印业务接口，输出待处理的业务数据以及模板数据；
第二确定模块，用于将所述待处理的业务数据以及模板数据设置为待处理数据，基于所述待处理数据，确定是否启用预设MQ服务组件；
第一发送模块，若确定启用预设MQ服务组件，则通过所述预设MQ服务组件将所述待处理数据发送给所述打印子系统，以基于所述打印子系统得到所述待处理数据的目标形式的文档；
接收模块，用于通过所述预设MQ服务组件接收所述目标形式的文档，以供所述业务子系统从所述预设MQ服务组件中获取所述目标形式的文档。
9.一种数据处理设备，其特征在于，所述数据处理设备包括：存储器、处理器以及存储在存储器上的用于实现所述高并发数据的处理方法的程序，
所述存储器用于存储实现高并发数据的处理方法的程序；
所述处理器用于执行实现所述高并发数据的处理方法的程序，以实现如权利要求1至7中任一项所述高并发数据的处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有实现高并发数据的处理方法的程序，所述实现高并发数据的处理方法的程序被处理器执行以实现如权利要求1至7中任一项所述高并发数据的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011250394.8A CN112383609B (zh) | 2020-11-10 | 2020-11-10 | 高并发数据的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011250394.8A CN112383609B (zh) | 2020-11-10 | 2020-11-10 | 高并发数据的处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112383609A true CN112383609A (zh) | 2021-02-19 |
| CN112383609B CN112383609B (zh) | 2023-07-21 |
Family
ID=74579471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011250394.8A Active CN112383609B (zh) | 2020-11-10 | 2020-11-10 | 高并发数据的处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112383609B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215474A1 (en) * | 2011-11-04 | 2013-08-22 | Document Security Systems, Inc. | System and Method for Printing Documents Containing Dynamically Generated Security Features |
| CN106814982A (zh) * | 2017-01-04 | 2017-06-09 | 北京京东尚科信息技术有限公司 | 标签打印处理装置、系统和方法 |
| CN110399106A (zh) * | 2019-07-18 | 2019-11-01 | 浙江口碑网络技术有限公司 | 票据打印机的打印控制方法、装置及系统 |
| CN110929813A (zh) * | 2019-11-20 | 2020-03-27 | 紫光展讯通信(惠州)有限公司 | 标签打印方法及系统、工控机、计算机可读存储介质 |
| CN111124324A (zh) * | 2019-12-27 | 2020-05-08 | 中国银行股份有限公司 | 凭证打印方法及装置 |
| CN111857610A (zh) * | 2020-06-12 | 2020-10-30 | 至本医疗科技（上海）有限公司 | 一种标签打印方法及设备 |
-
2020
- 2020-11-10 CN CN202011250394.8A patent/CN112383609B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215474A1 (en) * | 2011-11-04 | 2013-08-22 | Document Security Systems, Inc. | System and Method for Printing Documents Containing Dynamically Generated Security Features |
| CN106814982A (zh) * | 2017-01-04 | 2017-06-09 | 北京京东尚科信息技术有限公司 | 标签打印处理装置、系统和方法 |
| CN110399106A (zh) * | 2019-07-18 | 2019-11-01 | 浙江口碑网络技术有限公司 | 票据打印机的打印控制方法、装置及系统 |
| CN110929813A (zh) * | 2019-11-20 | 2020-03-27 | 紫光展讯通信(惠州)有限公司 | 标签打印方法及系统、工控机、计算机可读存储介质 |
| CN111124324A (zh) * | 2019-12-27 | 2020-05-08 | 中国银行股份有限公司 | 凭证打印方法及装置 |
| CN111857610A (zh) * | 2020-06-12 | 2020-10-30 | 至本医疗科技（上海）有限公司 | 一种标签打印方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 向少斌: "自动化打印技术在项目合同管理中的应用", 《科技创新导报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112383609B (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107133180B (zh) | 动态页面的测试方法、测试装置及存储介质 | |
| CN111245900B (zh) | 一种分布式消息发送的处理系统及其处理方法 | |
| US11252283B2 (en) | Storage medium, and method and apparatus for managing printing | |
| US9948821B2 (en) | Non-transitory computer-readable recording medium storing computer-readable instructions for causing information processing device to execute communication processing with push notification server and printer | |
| US8717600B2 (en) | Network system, network system control method, and storage medium | |
| EP3979088A1 (en) | Inter-core data processing method and system, system on chip and electronic device | |
| CN107807841B (zh) | 服务器模拟方法、装置、设备及可读存储介质 | |
| CN108900627B (zh) | 一种网络请求方法、终端装置及存储介质 | |
| CN107645476B (zh) | 请求处理方法和装置 | |
| CN111090580B (zh) | 用户界面一致性检测方法、装置及可读存储介质 | |
| US9971611B2 (en) | Monitoring a mobile device application | |
| US9350719B2 (en) | Device, information processing terminal, information processing system, display control method, and recording medium | |
| CN108717357B (zh) | 页面展示代码转换方法、装置、设备及计算机存储介质 | |
| CN111064610A (zh) | 日志文件的订阅方法、终端设备及存储介质 | |
| CN105915613A (zh) | 基于云服务的资源提供方法及装置 | |
| CN112383609A (zh) | 高并发数据的处理方法、装置、设备及存储介质 | |
| US9626141B2 (en) | Image formation system | |
| CN107679063B (zh) | 图片显示方法、服务器和计算机可读存储介质 | |
| CN111475379A (zh) | 一种日志处理方法、装置、电子设备和存储介质 | |
| US11609729B2 (en) | Communication device and non-transitory computer-readable recording medium storing computer-readable instructions for communication device | |
| CN110874278A (zh) | 外部系统的嵌入方法、工作流系统、设备及存储介质 | |
| CN112667491B (zh) | 虚拟机的功能测试方法及装置 | |
| CN114036060A (zh) | 用于芯片测试的方法、系统和计算机可读介质 | |
| CN109936586B (zh) | 通信处理方法以及装置 | |
| CN112579960A (zh) | 一种网页取证方法、网页取证装置及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |