CN114328620A - 数据处理的方法及系统、设备及存储介质 - Google Patents
数据处理的方法及系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114328620A CN114328620A CN202111570536.3A CN202111570536A CN114328620A CN 114328620 A CN114328620 A CN 114328620A CN 202111570536 A CN202111570536 A CN 202111570536A CN 114328620 A CN114328620 A CN 114328620A
- Authority
- CN
- China
- Prior art keywords
- data
- transaction
- processing
- request
- message queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000012545 processing Methods 0.000 claims abstract description 125
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000004891 communication Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本公开涉及大数据技术领域，尤其涉及一种数据处理的方法及系统、设备及存储介质，所述方法包括：响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端，能够将一次用户请求对应的所有用于交易的处理流程的结果数据整理为一条消息一次性写入消息队列，能够减小消息队列的压力。
Description
技术领域
本公开涉及大数据技术领域，尤其涉及一种数据处理的方法及系统、设备及存储介质。
背景技术
现在互联网系统中，需要对复杂业务产生的数据进行分析，比如分析日志、发生异常时分析其原因、分析某个业务的指标数据等等，以通过对数据进行分析了解系统的运行情况，明确是否存在异常，是否有待优化点，业务的具体运营情况如何等等。
现有技术方案中，通常通过以下三种方式对业务产生的数据进行分析：第一，对系统日志进行分析，通过关键字查看系统日志进行分析；第二，通过交易数据进行分析，通过对交易数据的分析查看其运营情况；第三，通过探针的方式对数据进行采集并分析，这种方案属于业务无嵌入式，自动对系统接口进行采集并统一展示。
然而，以上三种方式操作难度大、数据精准度低、门槛高、实用性差、灵活性差。另外，在用户的一次请求对应多个子流程步骤，若对每个流程和步骤都发送消息，则一次用户请求要发送多次消息，对将业务产生的数据传输至数据处理端的消息队列的压力是很大的。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种数据处理的方法及系统、设备及存储介质。
第一方面，本公开的实施例提供了一种数据处理的方法，包括：
响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；
收集同一交易请求对应的用于交易的处理流程的结果数据；
对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端。
在一种可能的实施方式中，所述收集同一交易请求对应的用于交易的处理流程的结果数据，包括：
按照处理流程之间的关联性对同一交易请求对应的所有用于交易的处理流程的结果数据进行分组收集，以对同一请求对应的所有分组收集的结果数据进行整合。
在一种可能的实施方式中，在所述将整合后得到的用于交易的数据写入消息队列发送至数据处理端之前，所述方法还包括：
对整合后得到的用于交易的数据进行压缩，以将压缩后用于交易的数据写入消息队列发送至数据处理端。
在一种可能的实施方式中，所述收集同一交易请求对应的用于交易的处理流程的结果数据通过调用接口的方式实现。第二方面，本公开的实施例提供了一种数据处理的方法，应用于数据处理端，所述方法包括：
接收消息队列的消息，并对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；
将特殊化处理后的用于交易的数据写入数据库中；
响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
在一种可能的实施方式中，所述方法还包括：
监测消息队列中消息的数量，判断所述消息队列中消息的数量是否超过预设阈值：
当所述消息队列中消息的数量超过预设阈值时，开启异步线程对消息队列中的消息进行处理。
在一种可能的实施方式中，所述消息中用于交易的数据为压缩数据，在所述对所述消息中用于交易的数据进行特殊化处理之前，所述方法还包括：
对所述消息中用于交易的数据进行解压，以对解压后用于交易的数据进行特殊化处理。
第三方面，本公开的实施例提供了一种数据处理的系统，包括：
数据生成端，用于响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端；
数据处理端，用于接收消息队列的消息。
在一种可能的实施方式中，所述数据处理端还用于：
对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；将特殊化处理后的用于交易的数据写入数据库中；响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
第四方面，本公开的实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的数据处理的方法。
第五方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据处理的方法。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：
本公开实施例所述的数据处理的方法及系统，响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端，能够将一次用户请求对应的所有用于交易的处理流程的结果数据整理为一条消息一次性写入消息队列，能够减小消息队列的压力。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开实施例的数据处理的方法的流程示意图；
图2示意性示出了根据本公开实施例步骤S2的详细流程示意图；
图3示意性示出了根据本公开另一实施例的数据处理的方法的流程示意图；
图4示意性示出了根据本公开又一实施例的数据处理的方法的流程示意图；
图5示意性示出了现有技术中消息队列的处理流程示意图；
图6示意性示出了根据本公开实施例的消息队列的处理流程示意图；
图7示意性示出了根据本公开实施例的数据处理的系统的结构框图；
图8(a)示意性示出了根据本公开实施例的数据处理的系统的数据生成端的工作流程示意图；
图8(b)示意性示出了根据本公开实施例的数据处理的系统的数据处理端的工作流程示意图；以及
图9示意性示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
参见图1，本公开的实施例提供了一种数据处理的方法，应用于数据生成端，包括以下步骤：S1，响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；
S2，收集同一交易请求对应的用于交易的处理流程的结果数据；
在实际应用中，所述收集同一请求对应的所有用于交易的处理流程的结果数据通过调用接口的方式实现，调用接口(API)的方法进行数据采集，可以直接使用方便封装的一个方法。所述数据生成端可以是业务系统，同一请求对应的所有用于交易的处理流程的结果数据可以是业务系统的各种业务数据、日志、参数，具体采集哪些数据取决于业务本身，例如用户在收银台下单时，业务系统对对商品库存、用户剩余额度等信息进行采集。
S3，对同一交易请求对应的用于交易的处理流程的结果数据进行整合，对整合后得到的用于交易的数据进行压缩，以将压缩后用于交易的数据写入消息队列发送至数据处理端。
在实际应用中，整合可以是汇总和去重。消息队列是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削峰问题。常见的消息队列包括ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。可以根据业务情况选择其中某一个，如果对数据准确性要求非100％的，推荐使用Kafka，Kafka本身对数据的批处理机制能够提供更大的吞吐量。要求数据不能丢失的业务可以采用Rocket消息队列，它可以确保消息不会丢失，并且吞吐量可以满足绝大部分业务要求。对于创业型公司，技术比较薄弱的，或者要求快速上线使用的并且业务量不大的系统，推荐使用Rabbit消息队列，开箱即用。
在实际应用中，有些业务数据量大，需要对数据进行压缩，其中，压缩算法中最常用的为Gzip(若干种文件压缩程序的简称)。
在实际应用中，所述写入消息队列可以采用线程同步或者异步方式。异步方式可以保障系统主流业务不受任何影响。同步的方式下，若数据发送到kafka失败，则整个交易也会失败，影响到主流业务，具体采用何种方式取决于各个业务系统，比如仅对关键日志进行分析，那么采用异步的方式最好；若发送消息的内容是不能丢失的(比如用户下单后，商品要从购物车进行清除，这种情况下消息必须不能丢失，可以采用同步的方式发送)，则采用同步方式发送。
本实施例中，参见图2，步骤S2中，所述收集同一交易请求对应的用于交易的处理流程的结果数据，包括：
S21，按照处理流程之间的关联性对同一请求对应的所有用于交易的处理流程的结果数据进行分组收集，以对同一请求对应的所有分组收集的结果数据进行整合。
在实际应用中，当用户请求是用户申请优惠券时，同一请求对应的所有用于交易的处理流程包括：1、先查询用户基本信息；2、通过基本信息过滤风控规则；3、查询要发放的优惠券规则；4、判断用户是否符合发放优惠券的规则条件；5、给用户发送优惠券。所有用于交易的处理流程的结果数据，包括：数据1、用户名：张三；用户基本信息：张三、年龄19、北京人；程序员工作。数据2：张三，风控过滤结果为低风险用户；数据3：张三，发放优惠券编号为11111；数据4：优惠券编号1111的规则为发放给北京用户，使用有效期为2个月；数据5：给用户张三发放优惠券11111成功。由于流程1和流程2之间有逻辑关联性，所以流程1和流程2分别对应的数据1和数据2为一组进行收集；流程3、流程4和流程5之间有逻辑关联性，所以流程3、流程4和流程5分别对应的数据3、数据4和数据5为一组进行收集。
这样会发现这些1——5的数据中有一些共同的信息。对此进行数据二次处理。处理结果为：张三，年龄19，北京人，程序员工作，该用户为风控低风险用户，发放优惠券11111，优惠券规则为发放给北京用户，使用有效期为2个月；发送成功。
参见图3，本公开的另一实施例提供了一种数据处理的方法，应用于数据处理端，所述方法包括：
S31，接收消息队列的消息，对所述消息中用于交易的数据进行解压，以对解压后用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；
在实际应用中，数据的二次验证可以是系统日志显示库存已经耗尽，数据生成端对库存进行验证是否真正被耗尽。所述特殊化处理中，不同系统加工处理逻辑不同，比如对数据进行关键字提取(当然关键字提取可以放到数据生产端做，但同一份消息可能会有多个数据处理端，不同处理端处理方式不同，所以放到数据处理端对关键字提取可以做到更灵活)。或者对数据再次进行验证，比如收到的消息是商品库存已经耗尽，导致用户购买失败，我们这里可以对库存进行验证是否已经耗尽。
S32，将特殊化处理后的用于交易的数据写入数据库中；
在实际应用中，将特殊化处理后的用于交易的数据按照特定格式写入到DB数据库、es(Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，能够达到实时搜索，稳定，可靠，快速，安装使用方便)数据库或者hbase数据库中。优先推荐使用es数据库，可以很方便的对数据进行搜索。
S33，响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
本实施例中，参见图4，所述方法还包括：
S41，监测消息队列中消息的数量，判断所述消息队列中消息的数量是否超过预设阈值：
若是，则执行步骤S42；
若否，则执行接收消息队列的消息的步骤；
S42，开启异步线程，以对每一个线程的消息执行接收消息队列的消息的步骤。
在实际应用中，当消息队列中消息数量较少时，如图5所示，通过应用系统直接执行接收消息队列的消息的步骤，但是对于一些大型系统，上百万tps(每秒处理的消息数，Transaction Per Second)情况下，消息队列中消息数量非常大，对数据处理端的服务产生很大压力，压力过大时导致消息队列中消息无法被及时消费，数据严重积压。对此情况可以采用如图6所示的子线程对消息队列中消息进行处理。
如图7所示，以一个用户请求为用户申请优惠券的业务实际情况为例，解释说明本实施例的数据处理的方法。
数据生成端在处理业务逻辑时，针对将要采集的数据调用API方法进行数据采集。这里的API方法是为了使用方便封装的一个方法，直接使用即可。底层包括以下步骤：
1)对采集的数据进行压缩。
2)数据进行压缩处理后，使用消息队列进行传输。
3)这里写入消息队列可以采用线程同步或者异步方式。
数据处理端执行以下步骤：
1)数据进行解压，收到数据后对数据进行解压，解压后的数据跟数据生成端的业务数据一致。
2)数据加工处理。这里的加工处理看具体业务逻辑，不同系统加工处理逻辑不同，比如对数据进行关键字提取(当然关键字提取可以放到数据生产端做，但同一份消息可能会有多个数据处理端，不同处理端处理方式不同，所以放到数据处理端对关键字提取可以做到更灵活)。或者对数据再次进行验证，比如收到的消息是商品库存已经耗尽，导致用户购买失败，我们这里可以对库存进行验证是否已经耗尽。
3)数据存储。数据处理完成后，将需要的关键数据进行存储，可以存储到es、DB、hbase。我荐使用es，可以很方便的对数据进行搜索。这里具体存储到哪看业务要求，我们不再详述。
数据展示端执行以下步骤：
数据展示端和上面所讲的相同。提供从es查询数据的接口，通过页面输入关键字对数据进行查找。页面展示端的关键字一般比较简单，方便不同岗位的人员使用。
利用本实施例的数据处理的方法，可以对需要的数据进行实时采集、实时分析和展示，操作难度较低，数据精准度的高低取决于使用方，若需要收集高精度数据，则对交易环节的数据进行多次收集即可，由于在数据处理端还可以对采集到的数据进行二次处理，所以整个架构的实用性和灵活性都很高。
本实施例的数据处理的方法，基于消息队列、es等工具实现以简单方便的方式对数据进行采集、加工处理以及存储，方便对数据进行分析、解决客诉等。
上面的流程针对一些简单的流程可以使用，但对于像目前几大主流购物网站来说，用户的一次请求，应对了多个子流程和步骤，如果对每个流程和步骤都发送消息的话，一次用户请求需要发送多次消息，对消息队列的压力很大，对此提供一种如图8(a)所示的架构方案。
如图8(a)所示，对用户的一次操作多条消息，系统进行将多个数据进行收集汇总，并进行二次简单处理，例如用户基本信息就不需要留存多份，只需要记录每个子流程的内容即可，经过将多个子流程的数据进行汇总处理，在经过压缩发送，可以极大的减少对消息队列的压力。
对于一些大型系统，上百万tps情况下，消息队列中的数据非常巨大，对数据处理端的服务产生很大压力，压力过大时导致消息队列数据无法被及时消费，数据严重积压。对此情况可以采用如图8(b)所示的架构方案。
如图8(b)所示的方案中，收到消息队列消息之后直接开启异步线程进行处理，这样能够快速的对消息进行处理，提高处理效率。
本公开的实施例还提供了一种数据处理的系统，包括：
数据生成端，其用于响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端；
数据处理端，其用于接收消息队列的消息，并对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；将特殊化处理后的用于交易的数据写入数据库中；响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
数据展示端，其用于展示查询到的数据，将数据生成端加工好的数据进行前端展示，根据各种查询条件展示出需要查看的内容。这里展示的内容可以很方便运营、产品、研发等人员进行查看。
本实施例的系统可以是计算机软件平台等。
本实施例的数据处理的系统，通过一种简单的方式将业务数据进行提取、加工和保存，支持进行查看和数据分析，对解决生产问题、客诉问题、数据分析等有很大帮助，并且具有操作难度低、数据精准度高、门槛低、实用性强、灵活性高等优点。
利用本实施例的数据处理的系统，不同业务可以根据需求灵活配置接入点，对系统性能影响很小，在不影响主流业务的情况下对数据进行采集、加工处理和存储。
上述系统中各个部分的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
基于同一发明构思，参照图9所示，本公开的第三个示例性实施例提供的电子设备，包括处理器1110、通信接口1120、存储器1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信；
存储器1130，用于存放计算机程序；
处理器1110，用于执行存储器1130上所存放的程序时，实现如下所示数据处理的方法：
响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；
收集同一交易请求对应的用于交易的处理流程的结果数据；
对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端。
上述的通信总线1140可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于同一发明构思，本公开的第四个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的数据处理的方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的数据处理的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种数据处理的方法，其特征在于，应用于数据生成端，所述方法包括：
响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；
收集同一交易请求对应的用于交易的处理流程的结果数据；
对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端。
2.根据权利要求1所述的方法，其特征在于，所述收集同一交易请求对应的用于交易的处理流程的结果数据，包括：
按照处理流程之间的关联性对同一交易请求对应的所有用于交易的处理流程的结果数据进行分组收集，以对同一请求对应的所有分组收集的结果数据进行整合。
3.根据权利要求1所述的方法，其特征在于，在所述将整合后得到的用于交易的数据写入消息队列发送至数据处理端之前，所述方法还包括：
对整合后得到的用于交易的数据进行压缩，以将压缩后用于交易的数据写入消息队列发送至数据处理端。
4.根据权利要求1所述的方法，其特征在于，所述收集同一交易请求对应的用于交易的处理流程的结果数据通过调用接口的方式实现。
5.一种数据处理的方法，其特征在于，应用于数据处理端，所述方法包括：
接收消息队列的消息，并对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；
将特殊化处理后的用于交易的数据写入数据库中；
响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监测消息队列中消息的数量，判断所述消息队列中消息的数量是否超过预设阈值：
当所述消息队列中消息的数量超过预设阈值时，开启异步线程对消息队列中的消息进行处理。
7.根据权利要求1所述的方法，其特征在于，所述消息中用于交易的数据为压缩数据，在所述对所述消息中用于交易的数据进行特殊化处理之前，所述方法还包括：
对所述消息中用于交易的数据进行解压，以对解压后用于交易的数据进行特殊化处理。
8.一种数据处理的系统，其特征在于，包括：
数据生成端，用于响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端；
数据处理端，用于接收消息队列的消息。
9.根据权利要求8所述的系统，其特征在于，所述数据处理端还用于：
对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；将特殊化处理后的用于交易的数据写入数据库中；响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4或5-7中任一项所述的数据处理的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4或5-7中任一项所述的数据处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111570536.3A CN114328620A (zh) | 2021-12-21 | 2021-12-21 | 数据处理的方法及系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111570536.3A CN114328620A (zh) | 2021-12-21 | 2021-12-21 | 数据处理的方法及系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114328620A true CN114328620A (zh) | 2022-04-12 |
Family
ID=81054130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111570536.3A Pending CN114328620A (zh) | 2021-12-21 | 2021-12-21 | 数据处理的方法及系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114328620A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118445316A (zh) * | 2024-05-30 | 2024-08-06 | 上海中汇亿达金融信息技术有限公司 | 调用外汇衍生品估值数据的方法、设备及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110290217A (zh) * | 2019-07-01 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 数据请求的处理方法及装置、存储介质及电子装置 |
| CN111695970A (zh) * | 2020-06-11 | 2020-09-22 | 支付宝(杭州)信息技术有限公司 | 一种订单处理方法和系统 |
| CN112052262A (zh) * | 2020-10-09 | 2020-12-08 | 云账户技术(天津)有限公司 | 支付订单处理线路展示的方法、装置和电子设备 |
| CN112905645A (zh) * | 2021-03-30 | 2021-06-04 | 中国建设银行股份有限公司 | 银行数据处理的方法、装置、电子设备和存储介质 |
| CN113010297A (zh) * | 2021-04-23 | 2021-06-22 | 北京秒针人工智能科技有限公司 | 基于消息队列的数据库写入调度器、写入方法和存储介质 |
| CN113034283A (zh) * | 2021-03-29 | 2021-06-25 | 中国银联股份有限公司 | 交易数据的处理方法、装置及系统 |
| CN113034282A (zh) * | 2021-03-25 | 2021-06-25 | 银盛支付服务股份有限公司 | 一种基于金融企业的智能风控的方法 |
| CN113282611A (zh) * | 2021-06-29 | 2021-08-20 | 深圳平安智汇企业信息管理有限公司 | 一种流数据同步的方法、装置、计算机设备及存储介质 |
| CN113704770A (zh) * | 2021-08-27 | 2021-11-26 | 北京天融信网络安全技术有限公司 | 一种漏洞的验证方法、装置、设备及介质 |
-
2021
- 2021-12-21 CN CN202111570536.3A patent/CN114328620A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110290217A (zh) * | 2019-07-01 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 数据请求的处理方法及装置、存储介质及电子装置 |
| CN111695970A (zh) * | 2020-06-11 | 2020-09-22 | 支付宝(杭州)信息技术有限公司 | 一种订单处理方法和系统 |
| CN112052262A (zh) * | 2020-10-09 | 2020-12-08 | 云账户技术(天津)有限公司 | 支付订单处理线路展示的方法、装置和电子设备 |
| CN113034282A (zh) * | 2021-03-25 | 2021-06-25 | 银盛支付服务股份有限公司 | 一种基于金融企业的智能风控的方法 |
| CN113034283A (zh) * | 2021-03-29 | 2021-06-25 | 中国银联股份有限公司 | 交易数据的处理方法、装置及系统 |
| CN112905645A (zh) * | 2021-03-30 | 2021-06-04 | 中国建设银行股份有限公司 | 银行数据处理的方法、装置、电子设备和存储介质 |
| CN113010297A (zh) * | 2021-04-23 | 2021-06-22 | 北京秒针人工智能科技有限公司 | 基于消息队列的数据库写入调度器、写入方法和存储介质 |
| CN113282611A (zh) * | 2021-06-29 | 2021-08-20 | 深圳平安智汇企业信息管理有限公司 | 一种流数据同步的方法、装置、计算机设备及存储介质 |
| CN113704770A (zh) * | 2021-08-27 | 2021-11-26 | 北京天融信网络安全技术有限公司 | 一种漏洞的验证方法、装置、设备及介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118445316A (zh) * | 2024-05-30 | 2024-08-06 | 上海中汇亿达金融信息技术有限公司 | 调用外汇衍生品估值数据的方法、设备及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446210B (zh) | 系统性能的度量方法、存储介质和服务器 | |
| CN107123047B (zh) | 基于债券交易的数据采集系统及其数据采集方法 | |
| CN107391359B (zh) | 一种业务测试方法及装置 | |
| WO2020037917A1 (zh) | 一种用户行为数据推荐方法、服务器及计算机可读介质 | |
| CN109933514B (zh) | 一种数据测试方法和装置 | |
| CN112491611A (zh) | 故障定位系统、方法、装置、电子设备和计算机可读介质 | |
| CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
| CN109445768B (zh) | 数据库脚本生成方法、装置、计算机设备及存储介质 | |
| CN113553341A (zh) | 多维数据分析方法、装置、设备及计算机可读存储介质 | |
| CN110704486A (zh) | 数据处理方法、装置、系统、存储介质和服务器 | |
| CN113312321A (zh) | 一种业务量的异常监测方法及相关设备 | |
| CN111427915A (zh) | 信息处理方法及装置、存储介质、电子设备 | |
| CN114328620A (zh) | 数据处理的方法及系统、设备及存储介质 | |
| CN111258819A (zh) | MySQL数据库备份文件的数据获取方法、装置和系统 | |
| CN112163127B (zh) | 关系图谱构建方法、装置、电子设备及存储介质 | |
| CN117408821A (zh) | 一种保险理赔核责方法、装置、计算机设备及存储介质 | |
| CN111045983A (zh) | 核电站电子文件管理方法、装置、终端设备及介质 | |
| CN110781232A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN115470279A (zh) | 基于企业数据的数源转换方法、装置、设备及介质 | |
| CN113609407B (zh) | 地区一致性校验方法和装置 | |
| CN112612817B (zh) | 数据处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114860879A (zh) | 数据关联方法、装置、设备及计算机存储介质 | |
| JP2015165352A (ja) | 分析候補表示装置 | |
| CN115187153B (zh) | 应用于业务风险溯源的数据处理方法及系统 | |
| CN117951136A (zh) | 数据分析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |