CN111815324A - 一种账单处理方法、装置及系统 - Google Patents
一种账单处理方法、装置及系统 Download PDFInfo
- Publication number
- CN111815324A CN111815324A CN202010597665.0A CN202010597665A CN111815324A CN 111815324 A CN111815324 A CN 111815324A CN 202010597665 A CN202010597665 A CN 202010597665A CN 111815324 A CN111815324 A CN 111815324A
- Authority
- CN
- China
- Prior art keywords
- data
- bill
- statistical
- storage system
- file storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 description 9
- 230000004907 flux Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/389—Keeping log of transactions for guaranteeing non-repudiation of a transaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种账单处理方法、装置及系统，该方法包括：构建数据消费进程；通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；将所述统计结果同步到指定数据库。该技术方案在高并发、高每秒查询率下，保证大数据量数据可以持续准确地写入存储系统，同时，可以精准对用户调用内容安全识别服务对不同媒体类型的内容进行安全识别后所产生的账单进行统计计算，提高账单统计的可靠性。
Description
技术领域
本申请涉及数据处理领域，尤其涉及一种账单处理方法、装置及系统。
背景技术
目前，内容安全识别服务的主要调用形式为通过API请求进行调用，以达到对图片、视频、音频、文本等不同内容形式的媒体进行安全识别，包括鉴黄、暴恐、违规、涉政等违规内容。主要计费方式包括按API调用频次、时长等方式进行账单统计计算。对于内容安全识别服务的账单统计方式主要根据用户调用的服务及安全识别的媒体类型生成响应的流水数据，统计服务对流水数据进行数据库存储，按不同账户计算后进行付费。
现有技术仅适合小数据量级的账单统计计算，当数据量达到一定阈值后会出现计算任务耗时时间长，不能够满足大数据量级下客户对账单要求的稳定可靠要求。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种账单处理方法、装置及系统。
根据本申请实施例的一个方面，提供了一种账单处理方法，包括：
构建数据消费进程；
通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；
根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；
将所述统计结果同步到指定数据库。
可选的，所述通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统，包括：
确定所述消息系统中待消费的业务主题；
将所述数据消费进程中数据收集组件的数据源地址信息配置为所述业务主题，将所述数据消费进程中数据发送组件的目标地址信息配置为所述文件存储系统；
通过所述数据收集组件从所述业务主题读取所述流水数据和账单数据；
通过所述数据发送组件将所述流水数据和账单数据发送到所述文件存储系统进行存储。
可选的，当一条所述流水数据中包括多项内容安全识别服务交易时，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：
将所述流水数据拆分为多个子流水数据，每个所述子流水数据与一项所述内容安全识别服务交易对应；
确定所述子流水数据对应的所述账单数据；
根据所述子流水数据及其对应的所述账单数据进行统计计算。
可选的，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：
确定所述统计任务对应的指定统计维度；
根据所述指定统计维度对所述流水数据和账单数据进行统计计算。
可选的，所述方法还包括：
在内容安全识别服务被调用后生成所述流水数据和账单数据；
将所述流水数据和账单数据写入到所述消息系统。
可选的，所述在内容安全识别服务被调用后生成所述流水数据和账单数据，包括：
获取被调用的所述内容安全识别服务对应的媒体格式及服务类型；
根据所述媒体格式和服务类型生成所述内容安全识别服务对应的所述流水数据和账单数据。
根据本申请实施例的另一个方面，提供了一种账单处理装置，包括：
构建模块，用于构建数据消费进程；
消费模块，用于通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；
计算模块，用于根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；
同步模块，用于将所述统计结果同步到指定数据库。
根据本申请实施例的另一个方面，提供了一种账单处理系统，包括：
消息系统，用于存储在内容安全识别服务被调用后生成的流水数据和账单数据；
日志收集系统，用于构建数据消费进程，通过所述数据消费进程消费所述消息系统中的所述流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；
所述文件存储系统，用于存储所述流水数据和账单数据；
任务调度器，用于根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据；
计算引擎，用于对所述任务调度器调度的所述流水数据和账单数据进行统计计算，得到统计结果，并将所述统计结果存储到所述文件存储系统；
数据转移器，用于将所述文件存储系统中的所述统计结果同步到指定数据库；
所述指定数据库，用于存储所述统计结果。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行计算机程序时，实现上述方法步骤。
根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：通过数据消费进程消费消息系统中的流水数据和账单数据，将流水数据和账单数据写入文件存储系统，在高并发、高每秒查询率(Queries-per-second，简称QPS)下，保证大数据量数据可以持续准确地写入存储系统，同时，可以精准对用户调用内容安全识别服务对不同媒体类型的内容进行安全识别后所产生的账单进行统计计算，提高账单统计的可靠性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种账单处理方法的流程图；
图2为本申请另一实施例提供的一种账单处理方法的流程图；
图3为本申请另一实施例提供的一种账单处理方法的流程图；
图4为本申请另一实施例提供的一种账单处理方法的流程图；
图5为本申请实施例提供的一种账单处理装置的框图；
图6为本申请实施例提供的一种账单处理系统的框图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例，用户调用内容安全识别服务的应用程序接口(ApplicationProgramming Interface，简称API)后，该次调用的流水数据和账单数据被发送至消息系统中，如Kafka，从消息系统中获取流水数据和账单数据进行统计。
其中，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
下面首先对本发明实施例所提供的一种账单处理方法进行介绍。
图1为本申请实施例提供的一种账单处理方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11，构建数据消费进程。
该步骤中，可以采用Flume日志收集系统从消息系统中获取流水数据和消费数据。首先，需要构建数据消费进程，如Flume Agent。
其中，Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。
Flume Agent为独立的Flume进程，是一个完整的数据收集工具。本实施例中，可以通过Flume Agent进行流水数据和账单数据的收集。
步骤S12，通过数据消费进程消费消息系统中的流水数据和账单数据，将流水数据和账单数据写入文件存储系统。
该步骤中，文件存储系统可以为Hadoop分布式文件系统(Hadoop DistributedFile System，简称HDFS)。
例如，通过Flume Agent消费Kafka中的流水数据和账单数据，将其写入到HDFS。
步骤S13，根据接收到的统计任务从文件存储系统中调度对应的流水数据和账单数据进行统计计算，得到统计结果。
该步骤中，可以通过Azkaban任务调度器从HDFS中调度统计任务对应的流水数据和账单数据，对调度的流水数据和账单数据执行Spark SQL任务，进行统计计算。
其中，Azkaban是一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。Spark SQL是Spark用来处理结构化数据的一个模块，提供两个编程抽象DataFrame(组织成命名列的数据集)和DataSet(数据分布式集合)，用于作为分布式SQL查询引擎。Spark是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
步骤S14，将统计结果同步到指定数据库。
该步骤中，可以通过Sqoop工具将存储于HDFS的统计结果同步到指定数据库，如关系型数据库MySQL。后续可以从关系型数据库MySQL中获取账单统计结果进行数据传输或展示。
Sqoop主要用于在Hadoop(Hive)与传统的数据库(如MySQL、PostgreSQL、Oracle、……)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
本实施例中，通过数据消费进程消费消息系统中的流水数据和账单数据，将流水数据和账单数据写入文件存储系统，在高并发、高每秒查询率(Queries-per-second，简称QPS)下，保证大数据量数据可以持续准确地写入存储系统，同时，可以精准对用户调用内容安全识别服务对不同媒体类型的内容进行安全识别后所产生的账单进行统计计算，提高账单统计的可靠性。
图2为本申请另一实施例提供的一种账单处理方法的流程图。如图2所示，上述步骤S12包括：
步骤S21，确定消息系统中待消费的业务主题。
Flume Agent可以消费Kafka中指定的业务Topic(主题)。
Flume Agent中包括三类组件：数据收集组件(Source)、数据缓冲组件(Channel)及数据发送组件(Sink)。
其中，Source负责将数据捕获后进行特殊的格式化，将数据封装到事件(event)里，然后将事件推入Channel中。Flume提供了很多内置的Source，支持Avro，log4j，syslog和http post，Flume还提供自动以Source。
Channel是连接Source和Sink的组件，可以看作一个数据缓冲区(数据队列)，它可以将事件暂存到内存中也可以持久化到本地磁盘上，直到Sink处理完该事件。
Sink从Channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、HDFS等，也可以是其他Agent的Source。
步骤S22，将数据消费进程中数据收集组件的数据源地址信息配置为业务主题，将数据消费进程中数据发送组件的目标地址信息配置为文件存储系统。
该步骤中，将Source的数据源地址信息配置为步骤S21中确定的业务Topic，将Sink的目标地址信息配置为HDFS。
步骤S23，通过数据收集组件从业务主题读取流水数据和账单数据。
在配置数据原地址信息后，通过Source从业务Topic读取流水数据和账单数据。该流水数据和账单数据被推入到Channel中。
步骤S24，通过数据发送组件将流水数据和账单数据发送到文件存储系统进行存储。
在配置目标地址信息之后，通过Sink从Channel中取出数据并发送到HDFS进行存储。
本实施例中，可以通过Flume Agent从Kafka的业务Topic中读取流水数据和账单数据，将其写入到HDFS中。这样，Kafka中业务Topic的数据，经过Source组件消费后，再由Sink组件写入到HDFS，整个过程省略了大量的业务编码工作。
在进行账单统计过程中，由于一条流水数据中可能包括多项内容安全识别服务交易，例如，用户同时对视频进行鉴黄识别、暴恐识别、违规识别，三项识别服务交易记录在同一流水数据中，而每项识别服务交易分别对应不同的账单数据，这样，不同识别服务之间账单统计量无法对齐，无法准确进行账单统计计算。
图3为本申请另一实施例提供的一种账单处理方法的流程图。如图3所示，为解决上述技术问题，当一条流水数据中包括多项内容安全识别服务交易时，步骤S13包括：
步骤S31，将流水数据拆分为多个子流水数据，每个子流水数据与一项内容安全识别服务交易对应；
步骤S32，确定子流水数据对应的账单数据；
步骤S33，根据子流水数据及其对应的账单数据进行统计计算。
这样，通过对流水数据的拆分，使得对于每一项内容安全识别服务交易都得到其对应的流水数据和账单数据，实现对不同识别服务的账单进行统计，提高账单统计的准确度和可靠性。
在可选实施例中，步骤S13包括：确定统计任务对应的指定统计维度；根据指定统计维度对流水数据和账单数据进行统计计算。
其中，统计维度可以包括：用户维度、内容安全识别服务维度、时间维度、媒体类型维度等等。指定统计维度可以包含上述一种统计维度或至少两种统计维度的组合。
本实施例中，可以灵活选择统计维度对用户调用内容安全识别服务进行账单统计，并且，基于不同内容安全识别服务对其账单，使得对账单的统计更加准确。
在另一个可选实施例中，该方法还包括将用户使用内容安全识别服务后所产生的流水数据和账单数据写入消息系统Kafka的步骤，具体如下：
步骤A1，在内容安全识别服务被调用后生成流水数据和账单数据；
步骤A2，将流水数据和账单数据写入到消息系统。
其中，流水数据和账单数据可以按照Protobuf(Google Protocol Buffer)协议在Kafka中进行结构化数据存储。
可选的，步骤A1包括：
步骤A11，获取被调用的内容安全识别服务对应的媒体格式及服务类型。
其中，媒体格式包括图片、视频、音频、文字等等。服务类型包括：鉴黄识别、暴恐识别、违规识别、涉政识别等等。
步骤A12，根据媒体格式和服务类型生成内容安全识别服务对应的流水数据和账单数据。
根据媒体格式不同，用户调用内容安全识别服务所产生的流水数据和账单数据也不同。例如，对图片、视频、音频、文本的安全识别服务所对应的计费形式不同，图片是按张计费，而视频、音频是根据数据量计费，文本是根据字符数计费。另外，不同的服务类型也可能对应不同的计费标准。因此，根据用户调用内容安全识别服务的媒体格式和服务类型生成相应的流水数据和账单数据。
下面以一个具体实例对本申请的账单处理方法进行详细说明。
图4为本申请另一实施例提供的一种账单处理方法的流程图。如图4所示，对于内容安全识别服务的账单处理步骤如下：
步骤S41，将用户调用内容安全识别服务API所产生的流水数据和账单数据按照Protobuf协议在Kafka中存储；
步骤S42，通过Flume Agent消费Kafka中的流水数据和账单数据，将其写入到HDFS；
步骤S43，通过Azkaban任务调度器从HDFS中调度统计任务对应的流水数据和账单数据；
步骤S44，对调度的流水数据和账单数据执行Spark SQL任务，进行统计计算，得到统计结果；
步骤S45，将统计结果写入HDFS；
步骤S46，通过Sqoop工具将HDFS中的统计结果同步到MySQL。
本实施例，可以在高并发、高QPS、大数据量条件下精准计算客户内容安全识别服务不同媒体形式的通用账单统计计算，支持对媒体格式和内容安全服务类型的任意扩展，实现百亿级数据存储及高可靠性的账单统计计算。
下述为本申请装置实施例，可以用于执行本申请方法实施例。
图5为本申请实施例提供的一种账单处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，该账单处理装置包括：
构建模块51，用于构建数据消费进程；
消费模块52，用于通过数据消费进程消费消息系统中的流水数据和账单数据，将流水数据和账单数据写入文件存储系统；
计算模块53，用于从文件存储系统中调度统计任务对应的流水数据和账单数据进行统计计算，得到统计结果；
同步模块54，用于将统计结果同步到指定数据库。
图6为本申请实施例提供的一种账单处理系统的框图，如图6所示，该账单处理系统包括：
消息系统61，用于存储在内容安全识别服务被调用后生成的流水数据和账单数据；
日志收集系统62，用于构建数据消费进程，通过数据消费进程消费消息系统61中的流水数据和账单数据，将流水数据和账单数据写入文件存储系统63；
文件存储系统63，用于存储流水数据和账单数据；
任务调度器64，用于从文件存储系统63中调度统计任务对应的流水数据和账单数据；
计算引擎65，用于对任务调度器64调度的流水数据和账单数据进行统计计算，得到统计结果，并将统计结果存储到文件存储系统63；
数据转移器66，用于将文件存储系统63中的统计结果同步到指定数据库67；
指定数据库67，用于存储统计结果。
可选的，消息系统61可以为Kafka。日志收集系统62可以为Flume。文件存储系统63可以为HDFS。任务调度器64可以为Azkaban。计算引擎65可以为Spark。数据转移器66可以为Sqoop。指定数据库67可以为MySQL。
本申请实施例还提供一种电子设备，如图7所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现以下上述方法实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，P C I)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下上述方法实施例的步骤。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种账单处理方法，其特征在于，包括：
构建数据消费进程；
通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；
根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；
将所述统计结果同步到指定数据库。
2.根据权利要求1所述的方法，其特征在于，所述通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统，包括：
确定所述消息系统中待消费的业务主题；
将所述数据消费进程中数据收集组件的数据源地址信息配置为所述业务主题，将所述数据消费进程中数据发送组件的目标地址信息配置为所述文件存储系统；
通过所述数据收集组件从所述业务主题读取所述流水数据和账单数据；
通过所述数据发送组件将所述流水数据和账单数据发送到所述文件存储系统进行存储。
3.根据权利要求1所述的方法，其特征在于，当一条所述流水数据中包括多项内容安全识别服务交易时，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：
将所述流水数据拆分为多个子流水数据，每个所述子流水数据与一项所述内容安全识别服务交易对应；
确定所述子流水数据对应的所述账单数据；
根据所述子流水数据及其对应的所述账单数据进行统计计算。
4.根据权利要求1所述的方法，其特征在于，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：
确定所述统计任务对应的指定统计维度；
根据所述指定统计维度对所述流水数据和账单数据进行统计计算。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在内容安全识别服务被调用后生成所述流水数据和账单数据；
将所述流水数据和账单数据写入到所述消息系统。
6.根据权利要求5所述的方法，其特征在于，所述在内容安全识别服务被调用后生成所述流水数据和账单数据，包括：
获取被调用的所述内容安全识别服务对应的媒体格式及服务类型；
根据所述媒体格式和服务类型生成所述内容安全识别服务对应的所述流水数据和账单数据。
7.一种账单处理装置，其特征在于，包括：
构建模块，用于构建数据消费进程；
消费模块，用于通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；
计算模块，用于根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；
同步模块，用于将所述统计结果同步到指定数据库。
8.一种账单处理系统，其特征在于，包括：
消息系统，用于存储在内容安全识别服务被调用后生成的流水数据和账单数据；
日志收集系统，用于构建数据消费进程，通过所述数据消费进程消费所述消息系统中的所述流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；
所述文件存储系统，用于存储所述流水数据和账单数据；
任务调度器，用于根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据；
计算引擎，用于对所述任务调度器调度的所述流水数据和账单数据进行统计计算，得到统计结果，并将所述统计结果存储到所述文件存储系统；
数据转移器，用于将所述文件存储系统中的所述统计结果同步到指定数据库；
所述指定数据库，用于存储所述统计结果。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-6任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597665.0A CN111815324A (zh) | 2020-06-28 | 2020-06-28 | 一种账单处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597665.0A CN111815324A (zh) | 2020-06-28 | 2020-06-28 | 一种账单处理方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111815324A true CN111815324A (zh) | 2020-10-23 |
Family
ID=72855638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010597665.0A Pending CN111815324A (zh) | 2020-06-28 | 2020-06-28 | 一种账单处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815324A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681489A (zh) * | 2018-05-25 | 2018-10-19 | 西安交通大学 | 一种超算环境下的海量数据实时采集与处理方法 |
| CN109063196A (zh) * | 2018-09-03 | 2018-12-21 | 拉扎斯网络科技（上海）有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
| CN109271412A (zh) * | 2018-09-28 | 2019-01-25 | 中国-东盟信息港股份有限公司 | 智慧城市的实时流数据处理方法及系统 |
| CN110233741A (zh) * | 2019-05-21 | 2019-09-13 | 深圳壹账通智能科技有限公司 | 服务计费方法、装置、设备及存储介质 |
| US20200026710A1 (en) * | 2018-07-19 | 2020-01-23 | Bank Of Montreal | Systems and methods for data storage and processing |
| CN111092740A (zh) * | 2019-12-30 | 2020-05-01 | 北京天威诚信电子商务服务有限公司 | 一种在线计费方法和系统 |
-
2020
- 2020-06-28 CN CN202010597665.0A patent/CN111815324A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681489A (zh) * | 2018-05-25 | 2018-10-19 | 西安交通大学 | 一种超算环境下的海量数据实时采集与处理方法 |
| US20200026710A1 (en) * | 2018-07-19 | 2020-01-23 | Bank Of Montreal | Systems and methods for data storage and processing |
| CN109063196A (zh) * | 2018-09-03 | 2018-12-21 | 拉扎斯网络科技（上海）有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
| CN109271412A (zh) * | 2018-09-28 | 2019-01-25 | 中国-东盟信息港股份有限公司 | 智慧城市的实时流数据处理方法及系统 |
| CN110233741A (zh) * | 2019-05-21 | 2019-09-13 | 深圳壹账通智能科技有限公司 | 服务计费方法、装置、设备及存储介质 |
| CN111092740A (zh) * | 2019-12-30 | 2020-05-01 | 北京天威诚信电子商务服务有限公司 | 一种在线计费方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200242419A1 (en) | Systems and methods for inferential sharing of photos | |
| CN106548402B (zh) | 资源转移监控方法及装置 | |
| US9338594B1 (en) | Processing location information | |
| US8825798B1 (en) | Business event tracking system | |
| CN110647512B (zh) | 一种数据存储和分析方法、装置、设备和可读介质 | |
| CN107038620B (zh) | 基于用户打车偏好的信息推送及装置 | |
| US10049378B1 (en) | Push reporting | |
| CN112506743A (zh) | 一种日志监控方法、装置和服务器 | |
| US9553838B1 (en) | Querying for devices based on location | |
| TW201833839A (zh) | 業務引流的方法和裝置 | |
| CN111400170A (zh) | 一种数据权限测试方法及装置 | |
| AU2020233750A1 (en) | Method and apparatus for tracking, capturing, and synchronizing activity data across multiple devices | |
| CN110955640A (zh) | 跨系统数据文件的处理方法、装置、服务器和存储介质 | |
| CN115964392A (zh) | 基于flink的实时监控方法、装置、设备及可读存储介质 | |
| US20180121461A1 (en) | Methods and Systems for Deduplicating Redundant Usage Data for an Application | |
| US9774696B1 (en) | Using a polygon to select a geolocation | |
| CN114020496A (zh) | 一种数据核对方法、装置、电子设备和存储介质 | |
| US20150100371A1 (en) | Detecting Closure of a Business | |
| CN111651522B (zh) | 一种数据同步方法及装置 | |
| US11334575B2 (en) | Integrating relational database temporal tables with a distributed programming environment | |
| CN111815324A (zh) | 一种账单处理方法、装置及系统 | |
| CN110727700A (zh) | 多源流式数据整合成事务型流数据的方法及系统 | |
| CN108073638B (zh) | 数据诊断方法及装置 | |
| CN106548331B (zh) | 一种确定发布顺序的方法及装置 | |
| CN112308580A (zh) | 资源位提供方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |