CN118152459A - 数据联机报送方法、装置、计算机设备、介质和程序产品 - Google Patents
数据联机报送方法、装置、计算机设备、介质和程序产品 Download PDFInfo
- Publication number
- CN118152459A CN118152459A CN202410336294.9A CN202410336294A CN118152459A CN 118152459 A CN118152459 A CN 118152459A CN 202410336294 A CN202410336294 A CN 202410336294A CN 118152459 A CN118152459 A CN 118152459A
- Authority
- CN
- China
- Prior art keywords
- data
- transaction data
- reporting
- transaction
- supervision department
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 17
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 46
- 238000004140 cleaning Methods 0.000 claims description 26
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000001105 regulatory effect Effects 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据联机报送方法、装置、计算机设备、存储介质和计算机程序产品，涉及大数据技术领域。所述方法包括：基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。采用本方法能够提高数据报送效率。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种数据联机报送方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
当前金融机构常用的数据报送流程为，通过用户发生交易的应用将交易明细数据传入数据湖，在金融机构的报送应用间隔固定周期使用HADOOP（Hadoop Distributed FileSystem，大数据框架系统）批量作业加工对此期间存储的交易明细数据进行处理并导出成文件。报送应用再通过传输工具获取报送文件，将报送文件批量通过约定的加密算法加密生成对应的压缩文件并上传至监管部门。在监管部门对报送文件处理完成后，报送应用依然周期性作业将监管部门的反馈文件拉去回盘，并根据文件处理结果进行后续操作。
然而，目前的数据报送方法存在处理流程长，报送效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据报送效率的数据联机报送方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据联机报送方法，包括：
基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；
按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。
在其中一个实施例中，分布式消息订阅平台为卡夫卡平台，所述基于订阅配置信息从分布式消息订阅平台实时获取交易数据，包括：
获取所述卡夫卡平台中所述交易数据对应的消息流；所述消息流为所述卡夫卡平台对所述交易数据进行分类后得到，通过订阅所述消息流从而实时获取对应的数据；所述订阅配置消息包括所述消息流的订阅信息；
从所述消息流中获取所述交易数据。
在其中一个实施例中，从所述交易数据中筛选出需要报送的目标数据存储至数据库，包括：
确定所述交易数据对应的业务场景；
按照预设数据清洗周期分批次基于所述业务场景对所述交易数据进行清洗，并根据所述交易数据对应的监管部门需求进行数据加工，得到目标数据。
在其中一个实施例中，按照预设数据清洗周期分批次基于所述业务场景对所述交易数据进行清洗，并根据所述交易数据对应的监管部门需求进行数据加工，得到目标数据之前，还包括：
确定从所述分布式消息订阅平台获取的所述交易数据的数据总量，并获取数据处理速度；
根据所述数据总量和所述处理速度，确定所述交易数据的预设数据清洗周期。
在其中一个实施例中，按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据，包括：
按照预设数据报送周期采用多并发的方式调用与所述交易数据对应的所述监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据；
接收所述监管部门返回的报送信息；
根据所述报送信息确定报送是否产生异常。
在其中一个实施例中，按照预设数据报送周期采用多并发的方式调用与所述交易数据对应的所述监管部门的联机接口之前，还包括：
基于所述交易数据对应的业务类型，查询预设的业务类型与监管部门的映射关系，确定所述交易数据对应的所述监管部门，并获取所述监管部门的联机接口。
在其中一个实施例中，根据所述报送信息确定报送是否产生异常之后，还包括以下一项或多项：
在确定所述报送信息为报送产生异常的情况下，将所述报送信息存储至所述数据库；
在确定所述报送信息为报送超时的情况下，通过定时任务或小批量报送的方式调用所述监管部门的单笔交易对账联机接口；
在确定所述报送信息为所述监管部门未接收报送的情况下，进行补报送处理；
在确定所述报送信息为所述监管部门对所述目标数据处理失败的情况下，将所述报送信息加入报警记录；所述报警记录用于通知工作人员进行维护。
第二方面，本申请还提供了一种数据联机报送装置，包括：
数据筛选模块，用于基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；
数据报送模块，用于按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；
按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；
按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；
按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。
上述数据联机报送方法、装置、计算机设备、存储介质和计算机程序产品，报送应用通过订阅配置信息从分布式消息订阅平台实时获取交易数据，交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据保证了获取交易数据的及时性，并从交易数据中筛选出需要报送的目标数据存储至数据库避免无关数据的干扰，数据库用于存储同批次的需要报送的目标数据；报送应用按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据，通过联机接口对数据进行批量报送，缩短了报送流程，提高了数据报送效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中数据联机报送方法的应用环境图；
图2为一个实施例中数据联机报送方法的流程示意图；
图3为一个实施例中目标数据筛选步骤的流程示意图；
图4为一个实施例中目标数据报送步骤的流程示意图；
图5为另一个实施例中基于分布式批量的联机报送及核对补报方法的流程示意图；
图6为一个实施例中数据联机报送装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的数据联机报送方法，可以应用于如图1所示的应用环境中。其中，用户终端102通过网络与报送应用104进行通信，监管部门终端106通过联机接口与报送应用104进行通信。数据库可以存储报送应用104需要处理的数据。数据存储系统可以集成在服务器上，也可以放在云上或其他网络服务器上。报送应用104基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从交易数据中筛选出需要报送的目标数据存储至数据库；交易数据为用户终端102中的个人结算应用中的交易操作完成时、由个人结算应用实时同步至分布式消息订阅平台的数据；数据库用于存储同批次的需要报送的目标数据；进一步地，报送应用104按照预设数据报送周期调用与交易数据对应的监管部门终端106的联机接口，通过联机接口向监管部门批量报送目标数据。其中，用户终端102和监管部门终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。报送应用104可以部署于终端、独立的服务器或者多个服务器组成的服务器集群来实现。
在一个示例性的实施例中，如图2所示，提供了一种数据联机报送方法，以该方法应用于图1中的报送应用104为例进行说明，包括以下步骤S202至步骤S204。其中：
步骤S202，基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从交易数据中筛选出需要报送的目标数据存储至数据库。
其中，交易数据为个人结算应用中的交易操作完成时、由个人结算应用实时同步至分布式消息订阅平台的数据；数据库用于存储同批次的需要报送的目标数据，数据库可以为高斯数据库，高斯数据库具有高吞吐量和低延迟性的优点。
可选地，报送应用基于订阅配置信息如拉取信息的机制，从分布式消息订阅平台实时获取交易数据，并将交易数据进行预处理（如数据过滤、数据格式处理等）筛选出需要报送的目标数据存储至高斯数据库。
步骤S204，按照预设数据报送周期调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门批量报送目标数据。
其中，联机接口可以为API接口（Application Programming Interface，应用程序编程接口）、POST接口（超文本传输协议请求接口）或公钥接口等。
可选地，报送应用按照预设数据报送周期调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门周期性地将筛选得到的目标数据进行批量报送。
上述数据联机报送方法中，报送应用通过订阅配置信息从分布式消息订阅平台实时获取交易数据，交易数据为个人结算应用中的交易操作完成时、由个人结算应用实时同步至分布式消息订阅平台的数据保证了获取交易数据的及时性，并从交易数据中筛选出需要报送的目标数据存储至数据库避免无关数据的干扰，数据库用于存储同批次的需要报送的目标数据；报送应用按照预设数据报送周期调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门批量报送目标数据，通过联机接口对数据进行批量报送，缩短了报送流程，提高了数据报送效率。
在一个示例性的实施例中，分布式消息订阅平台为卡夫卡平台，步骤S202基于订阅配置信息从分布式消息订阅平台实时获取交易数据，包括：
获取卡夫卡平台中交易数据对应的消息流；从消息流中获取交易数据。
其中，一个典型的卡夫卡平台中包含若干Producer（生产者，可以是网页前端产生的Page View，或者是服务器日志，系统CPU、历史记录等），若干broker（一个独立的卡夫卡服务器）（卡夫卡平台支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group（消费者集群），以及一个Zookeeper（分布式系统的中间件）集群。卡夫卡平台在Consumer Group发生变化时进行rebalance（重平衡）。Producer使用push（推送）模式将消息发布到broker，Consumer使用pull（拉取）模式从broker订阅并消费消息。具体到本方案中，消息流为卡夫卡平台对Producer（本方案中如个人结算应用）推送的交易数据进行分类后得到，Consumer（本方案中如报送应用）通过订阅消息流的方式从而实时获取Producer生产的数据。订阅配置消息包括消息流的订阅信息，在消息流进行更新时，报送应用可以实时获取更新的数据。
可选地，获取卡夫卡平台中交易数据对应的消息流，通过消息流实时获取交易数据，通过卡夫卡平台实现零拷贝快速移动数据，卡夫卡平台可以将交易数据从个人结算应用到报送应用分批发送，。
本实施例中，通过使用卡夫卡平台对交易数据进行实时传递，报送应用能够达到提高交易数据获取的效率，进一步缩短数据报送整体流程。
在一个示例性的实施例中，如图3所示，步骤S202从交易数据中筛选出需要报送的目标数据存储至数据库，包括以下步骤S302至步骤S304。其中：
步骤S302，确定交易数据对应的业务场景。
其中，业务场景为金融机构的相关业务的应用场景，如养老金缴存、社保缴存等。
可选地，确定交易数据的明细数据对应的应用场景。
步骤S304，按照预设数据清洗周期分批次基于业务场景对交易数据进行清洗，并根据交易数据对应的监管部门需求进行数据加工，得到目标数据。
可选地，按照预设的数据清洗周期，分批次基于业务应用场景对交易数据进行清洗，例如业务场景为养老金缴存，交易数据明细包括账户名称、个人缴存金额、单位缴存金额、缴存时间和缴存基数等，通过将交易数据中对应监管部门需要进行对账的数据筛选出来，过滤不需要对账的数据，并根据对应的监管部门的数据格式需求进行数据加工，得到可以报送的目标数据。
本实施例中，通过确定交易数据的业务场景，将交易数据根据业务场景和对应监管部门的需求进行数据清洗和加工，得到目标数据，使得提高了数据处理效率，进一步提高了数据报送整体效率。
在一个示例性实施例中，步骤S304按照预设数据清洗周期分批次基于业务场景对交易数据进行清洗，并根据交易数据对应的监管部门需求进行数据加工，得到目标数据之前，还包括：
确定从分布式消息订阅平台获取的交易数据的数据总量，并获取数据处理速度；根据数据总量和处理速度，确定交易数据的预设数据清洗周期。
可选地，报送应用确定从分布式消息订阅平台获取的交易数据的数据总量，并获取数据处理速度，结合数据总量和数据处理速度确定预设数据清洗周期，可通过动态变量调整，例如周期为15分钟，则每批次的交易数据进行数据清洗持续15分钟后停止，剩余的交易数据作为下一批次进行数据清洗。
本实施例中，通过交易数据的数据总量和数据处理速度确定数据清洗周期，从而保证了按照需求和处理速度进行数据清洗，确保了交易数据清洗的效果和效率。
在一个示例性的实施例中，如图4所示，步骤S204按照预设数据报送周期调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门批量报送目标数据，包括以下步骤S402至步骤S406：
步骤S402，按照预设数据报送周期采用多并发的方式调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门批量报送目标数据。
其中，预设数据报送周期可以按照上述实施例的预设数据清洗周期相同的方式确定。
可选地，按照预设数据报送周期采用多并发的方式（如多个线程同时）调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门批量报送目标数据。
步骤S404，接收监管部门的联机接口返回的报送信息。
可选地，报送应用接收监管部门的联机接口返回的报送信息以进行后续相关操作。
步骤S406，根据报送信息确定报送是否产生异常。
其中，报送信息可以包括报送结果包括成功、失败和超时，以及报送失败和报送超时的原因。
可选地，报送应用根据报送信息确定报送是否产生异常，以进行后续操作，若无异常则准备下一批次目标数据的报送，若有异常根据异常类型执行相关维护操作。
本实施例中，通过多并发的方式调用监管部门的联机接口进行批量报送，提高了报送应用数据报送效率，并接收监管部门返回的报送信息，以进行后续操作。
在一个示例性的实施例中，步骤S402按照预设数据报送周期采用多并发的方式调用与交易数据对应的监管部门的联机接口之前，还包括：
基于交易数据对应的业务类型，查询预设的业务类型与监管部门的映射关系，确定交易数据对应的监管部门，并获取监管部门的联机接口。
其中，预设的业务类型与监管部门的映射关系可以通过以下方式构建：明确业务类型和监管部门的范围，建立映射表格，列出所有的业务类型和相应的监管部门，根据已知的信息和了解填充表格中的映射关系，并随着业务和监管政策的变化，定期更新和维护映射表格。
可选地，报送应用基于交易数据对应的业务类型（如贷款、个人交易等），查询预设的业务类型与监管部门的映射关系，确定交易数据对应的监管部门，并获取监管部门的联机接口以进行调用。
本实施例中，通过交易数据对应的业务类型，查询业务类型与监管部门之间的映射关系，从而确定交易数据对应的监管部门，实现对交易数据对应的监管部门的快速确定，提高了数据处理的效率和准确性。
在一个示例性的实施例中，步骤S404根据报送信息确定报送是否产生异常之后，还包括以下一项或多项：
在确定报送信息为报送产生异常的情况下，将报送信息存储至数据库；在确定报送信息为报送超时的情况下，通过定时任务或小批量报送的方式调用监管部门的单笔交易对账联机接口；在确定报送信息为监管部门未接收报送的情况下，进行补报送处理；在确定报送信息为监管部门对目标数据处理失败的情况下，将报送信息加入报警记录。
其中，报警记录用于通知工作人员进行维护。
可选地，在确定报送信息为报送产生异常的情况下，将报送信息的异常信息对高斯数据库中对应目标数据进行更新，并根据异常类型做出不同的处理，包括：在确定报送信息为网络问题造成的报送超时的情况下，通过定时任务或小批量的方式，调用对应监管部门的单笔交易对账联机接口再次进行报送；在确定报送信息为监管部门未接收报送的情况下，调用原监管部门联机接口进行补报送处理；在确定报送信息为监管部门对目标数据处理失败的情况下，将报送信息加入报警记录，通过实时批量作业将报警记录通知到运维人员。
本实施例中，通过针对报送过程中产生的不同异常情况采取相应的措施，可以提高数据报送的稳定性和准确性，减少人工干预，加快异常处理速度，提升系统的自动化水平和运维效率。
在一个实施例中，如图5所示，提供了一种基于分布式批量的联机报送及核对补报方法，具体步骤包括：
步骤1，一段时间内的客户发生缴费后，个人结算应用将交易明细推至KAFKA（卡夫卡）平台。
步骤2，报送应用订阅该交易明细对应的topic（主题），并将交易明细数据拉至高斯数据库并筛选加工出需要报送的数据。
示例性地，通过间隔15分钟执行的多批次批量作业加工表中待报送的数据（间隔时间结合数据量和处理速度而定，可通过动态变量调整；每批次执行15分钟后停止，剩余数据交给后续批次处理），从所有交易明细中筛选出需要报送的交易，并将数据加工成监管部门要求的数据格式。通过批量作业结合具体业务场景清洗数据，从所有交易明细中筛选出需要报送的交易，并将数据加工成监管部门要求的数据格式。
步骤3，报送应用的多批次批量作业查出需要报送的数据，通过批量作业使用多并发调用监管部门的联机对账接口，并记录返回信息。如果这一步存在交易超时、交易失败等情况，将在下一步处理。
步骤4，报送应用通过疑账处理/报警批量，将报送超时和失败的信息进行补报送和报警处理。
示例性地，如果联机实时报送时出现了异常，将异常信息更新至数据库对应记录中，并根据异常类型做出不同处理：如果是网络问题导致的交易超时，则通过定时任务/小批量等方式调用接收方的单笔交易对账接口，如果接收方已经处理，则将报送记录置为成功；如果接收方没有收到请求，则重新进行联机对账；如果接收方收到对账请求并处理失败，则加入到报警记录中，通过准实时的批量作业通知到运维人员。
本实施例中，通过kafka+gaussDB（高斯数据库）实时处理大批量数据，可以处理一断时间内日数据，且无需等待上游业务数据日切入数据湖，报送时效性大大提高；整个流程相对文件报送的步骤更少，不仅容易定位问题，同时稳定性大大提高；报送数据可以上传到数据湖进行备份，释放备份报送文件所需磁盘空间；可实时补报送/异常报送数据处理，业务上更加安全；报送数据分散至全天，服务器和网络压力小。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据联机报送方法的数据联机报送装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据联机报送装置实施例中的具体限定可以参见上文中对于数据联机报送方法的限定，在此不再赘述。
在一个示例性的实施例中，如图6所示，提供了一种数据联机报送装置600，包括：数据筛选模块602和数据报送模块604，其中：
数据筛选模块602，用于基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从交易数据中筛选出需要报送的目标数据存储至数据库；交易数据为个人结算应用中的交易操作完成时、由个人结算应用实时同步至分布式消息订阅平台的数据；数据库用于存储同批次的需要报送的目标数据；
数据报送模块604，用于按照预设数据报送周期调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门批量报送目标数据。
进一步地，在一个实施例中，数据筛选模块602，还用于获取卡夫卡平台中交易数据对应的消息流；消息流为卡夫卡平台对交易数据进行分类后得到，通过订阅消息流从而实时获取对应的数据；从消息流中获取交易数据。
进一步地，在一个实施例中，数据筛选模块602，还用于确定交易数据对应的业务场景；按照预设数据清洗周期分批次基于业务场景对交易数据进行清洗，并根据交易数据对应的监管部门需求进行数据加工，得到目标数据。
进一步地，在一个实施例中，数据筛选模块602，还用于确定从分布式消息订阅平台获取的交易数据的数据总量，并获取数据处理速度；根据数据总量和处理速度，确定交易数据的预设数据清洗周期。
进一步地，在一个实施例中，数据报送模块604，还用于按照预设数据报送周期采用多并发的方式调用与交易数据对应的监管部门的联机接口，通过联机接口向监管部门批量报送目标数据；接收监管部门的联机接口返回的报送信息；根据报送信息确定报送是否产生异常。
进一步地，在一个实施例中，数据报送模块604，还用于基于交易数据对应的业务类型，查询预设的业务类型与监管部门的映射关系，确定交易数据对应的监管部门，并获取监管部门的联机接口。
进一步地，在一个实施例中，数据报送模块604，还用于在确定报送信息为报送产生异常的情况下，将报送信息存储至数据库；在确定报送信息为报送超时的情况下，通过定时任务或小批量报送的方式调用监管部门的单笔交易对账联机接口；在确定报送信息为监管部门未接收报送的情况下，进行补报送处理；在确定报送信息为监管部门对目标数据处理失败的情况下，将报送信息加入报警记录；报警记录用于通知工作人员进行维护。
上述数据联机报送装置600中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储交易数据和筛选后的目标数据数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据联机报送方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种数据联机报送方法，其特征在于，应用于报送应用，所述方法包括：
基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；
按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。
2.根据权利要求1所述的方法，其特征在于，所述分布式消息订阅平台为卡夫卡平台，所述基于订阅配置信息从分布式消息订阅平台实时获取交易数据，包括：
获取所述卡夫卡平台中所述交易数据对应的消息流；所述消息流为所述卡夫卡平台对所述交易数据进行分类后得到，通过订阅所述消息流从而实时获取对应的数据；所述订阅配置消息包括所述消息流的订阅信息；
从所述消息流中获取所述交易数据。
3.根据权利要求1所述的方法，其特征在于，所述从所述交易数据中筛选出需要报送的目标数据存储至数据库，包括：
确定所述交易数据对应的业务场景；
按照预设数据清洗周期分批次基于所述业务场景对所述交易数据进行清洗，并根据所述交易数据对应的监管部门需求进行数据加工，得到目标数据。
4.根据权利要求3所述的方法，其特征在于，所述按照预设数据清洗周期分批次基于所述业务场景对所述交易数据进行清洗，并根据所述交易数据对应的监管部门需求进行数据加工，得到目标数据之前，还包括：
确定从所述分布式消息订阅平台获取的所述交易数据的数据总量，并获取数据处理速度；
根据所述数据总量和所述处理速度，确定所述交易数据的预设数据清洗周期。
5.根据权利要求1所述的方法，其特征在于，所述按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据，包括：
按照预设数据报送周期采用多并发的方式调用与所述交易数据对应的所述监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据；
接收所述监管部门的所述联机接口返回的报送信息；
根据所述报送信息确定报送是否产生异常。
6.根据权利要求5所述的方法，其特征在于，所述按照预设数据报送周期采用多并发的方式调用与所述交易数据对应的所述监管部门的联机接口之前，还包括：
基于所述交易数据对应的业务类型，查询预设的业务类型与监管部门的映射关系，确定所述交易数据对应的所述监管部门，并获取所述监管部门的联机接口。
7.根据权利要求5所述的方法，其特征在于，所述根据所述报送信息确定报送是否产生异常之后，还包括以下一项或多项：
在确定所述报送信息为报送产生异常的情况下，将所述报送信息存储至所述数据库；
在确定所述报送信息为报送超时的情况下，通过定时任务或小批量报送的方式针对单笔交易数据再次调用所述监管部门的联机接口；
在确定所述报送信息为所述监管部门未接收报送的情况下，进行补报送处理；
在确定所述报送信息为所述监管部门对所述目标数据处理失败的情况下，将所述报送信息加入报警记录；所述报警记录用于通知工作人员进行维护。
8.一种数据联机报送装置，其特征在于，所述装置包括：
数据筛选模块，用于基于订阅配置信息从分布式消息订阅平台实时获取交易数据，并从所述交易数据中筛选出需要报送的目标数据存储至数据库；所述交易数据为个人结算应用中的交易操作完成时、由所述个人结算应用实时同步至所述分布式消息订阅平台的数据；所述数据库用于存储同批次的需要报送的目标数据；
数据报送模块，用于按照预设数据报送周期调用与所述交易数据对应的监管部门的联机接口，通过所述联机接口向所述监管部门批量报送所述目标数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410336294.9A CN118152459A (zh) | 2024-03-22 | 2024-03-22 | 数据联机报送方法、装置、计算机设备、介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410336294.9A CN118152459A (zh) | 2024-03-22 | 2024-03-22 | 数据联机报送方法、装置、计算机设备、介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118152459A true CN118152459A (zh) | 2024-06-07 |
Family
ID=91286653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410336294.9A Pending CN118152459A (zh) | 2024-03-22 | 2024-03-22 | 数据联机报送方法、装置、计算机设备、介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118152459A (zh) |
-
2024
- 2024-03-22 CN CN202410336294.9A patent/CN118152459A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9020802B1 (en) | Worldwide distributed architecture model and management | |
| US9280381B1 (en) | Execution framework for a distributed file system | |
| CN111382150A (zh) | 一种基于Flink的实时计算方法及系统 | |
| US20160294651A1 (en) | Method, apparatus, and computer program product for monitoring an electronic data exchange | |
| US8655920B2 (en) | Report updating based on a restructured report slice | |
| US11687535B2 (en) | Automatic computation of features from a data stream | |
| CN112527839A (zh) | 多源数据处理方法、系统、设备及存储介质 | |
| CN109120411B (zh) | 一种资产证券化基础资产数据收集方法及装置 | |
| CN116483822A (zh) | 业务数据预警方法、装置、计算机设备、存储介质 | |
| CN118152459A (zh) | 数据联机报送方法、装置、计算机设备、介质和程序产品 | |
| CN114564358A (zh) | 变更操作的合规性审查方法、装置、设备、介质和产品 | |
| CN112035471A (zh) | 一种事务处理方法及计算机设备 | |
| CN116627681B (zh) | 业务请求处理方法、装置、计算机设备、介质和程序产品 | |
| CN115604667B (zh) | 消息发送方法、装置、计算机设备和存储介质 | |
| CN117635065A (zh) | 报表处理故障解决方法、装置、计算机设备、存储介质 | |
| CN116302830A (zh) | 应用程序的微服务巡检方法、装置、计算机设备 | |
| CN118245507A (zh) | 数据读取方法、装置、计算机设备、存储介质 | |
| CN116756243A (zh) | 金融业务系统中数据同步方法、装置、设备、介质和产品 | |
| CN117593125A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN116662338A (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| CN114971831A (zh) | 一种账务处理方法及系统 | |
| CN118227557A (zh) | 业务信息导入方法、装置、计算机设备和存储介质 | |
| CN117112355A (zh) | 日志文件的监控方法、装置、设备、存储介质及程序产品 | |
| CN117196628A (zh) | 团伙欺诈检测方法、装置、计算机设备和可读存储介质 | |
| CN118260075A (zh) | 数据处理方法、装置、计算机设备、可读存储介质和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |