CN112069212B - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112069212B
CN112069212B CN202010895304.4A CN202010895304A CN112069212B CN 112069212 B CN112069212 B CN 112069212B CN 202010895304 A CN202010895304 A CN 202010895304A CN 112069212 B CN112069212 B CN 112069212B
Authority
CN
China
Prior art keywords
cause
service
data
channel
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010895304.4A
Other languages
English (en)
Other versions
CN112069212A (zh
Inventor
毛宗玮
张衡
姜超
钱津津
司孝波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Cloud Computing Co Ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN202010895304.4A priority Critical patent/CN112069212B/zh
Publication of CN112069212A publication Critical patent/CN112069212A/zh
Priority to CA3129306A priority patent/CA3129306A1/en
Application granted granted Critical
Publication of CN112069212B publication Critical patent/CN112069212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种业务变化数据的数据处理方法、装置、计算机设备和存储介质，所述方法包括：获取业务基础数据；对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；根据动因数量对业务动因通道的动因数据进行源数据处理。上述方法克服了传统技术中各业务动因通道采用单一固定的数据处理方式造成的数据链路的数据积压问题以及资源利用率低的问题，提高了数据链路的数据处理资源利用率。

Description

数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及源数据处理技术领域，特别是涉及一种业务变化数据的数据处理方法、装置、计算机设备和存储介质。
背景技术
对于互联网的海量数据，平台寻源系统计算出的最优货源数据量目前有几百亿，有些商家业务调整会导致每天变化的源数据的数据量从几百万到几十亿不等，这些变化的数据必须及时通过数据链路下发到搜索系统。但是整个数据链路的消费能力有限，容易造成数据积压。数据积压将导致源数据不能得到及时处理，对一整条数据链路造成不稳定的隐患。同时，有些商家业务调整很少，导致了某些计算通道的资源利用率很低，反而造成了资源浪费。
发明内容
基于此，有必要针对上述技术问题，提供一种能够调整数据链路中的源数据的处理量从而提高数据链路的数据处理资源利用率的业务变化数据的数据处理方法、装置、计算机设备和存储介质。
一种业务变化数据的数据处理方法，该方法包括：获取业务基础数据；对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；根据动因数量对业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，业务动因通道为多个，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，包括：根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量；根据动因数量对业务动因通道的动因数据进行源数据处理，包括：根据各业务动因通道的动因数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，一种业务变化数据的数据处理方法还包括：在内存中设置关联容器，关联容器内设置有键值对，键值对的键与业务动因通道的动因数据的时间关联，键值对的值与业务动因通道以及业务动因通道的动因数量关联；根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量，包括：当根据业务分析结果确定业务基础数据中任一基础数据属于任一业务动因通道的动因数据时，将键值对的值中任一业务动因通道的动因数量的值进行加一，以及将键值对的键关联的时间更新为键值对的值的修改时间；根据键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据。
在其中一个实施例中，一种业务变化数据的数据处理方法还包括：按照第一预设时间获取内存的关联容器中各业务动因通道对应的时间以及动因数量，将获取到的各业务动因通道对应的时间以及动因数量存储到数据库。
在其中一个实施例中，将读取到的各业务动因通道对应的时间以及动因数量存储到数据库之后，还包括：按照第二预设时间清空内存中的各业务动因通道对应的时间以及动因数量。
在其中一个实施例中，根据动因数量对业务动因通道的动因数据进行源数据处理，包括：从数据库中读取预设数量的业务动因通道中各业务动因通道的动因数量；根据各业务动因通道的动因数量计算各业务动因通道的动因占比；根据各业务动因通道的动因占比确定各业务动因通道的算子数量；根据算子数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，关联容器包括ConcurrentHashMap容器，数据库包括Hbase数据库；
优选地，一种业务变化数据的数据处理方法还包括：将各业务动因通道的动因数据、动因数量以及动因占比分别进行显示。
一种业务变化数据的数据处理装置，该装置包括：获取模块，用于获取业务基础数据；分析模块，用于对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；处理模块，用于根据动因数量对业务动因通道的动因数据进行源数据处理。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例方法的步骤。
上述业务变化数据的数据处理方法、装置、计算机设备和存储介质，源数据处理系统对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作。进一步地，根据动因数量对业务动因通道的动因数据进行源数据处理。因此，源数据处理系统在对各业务动因通道进行源数据处理之前，对业务动因通道的动因数量进行监控，进而根据动因数量对该业务动因通道的动因数据进行源数据处理，从而可以根据动因数量动态调整业务动因通道的源数据处理的数据处理情况，克服了传统技术中各业务动因通道采用单一固定的数据处理方式造成的数据链路的数据积压问题以及资源利用率低的问题，提高了数据链路的数据处理资源利用率。
附图说明
图1为一个实施例中一种业务变化数据的数据处理方法的应用环境图；
图2为一个实施例中一种业务变化数据的数据处理方法的流程示意图；
图3(a)和图3(b)为一个实施例中动因数据在不同时刻的占比的显示界面图；
图4为另一个实施例中动因数据的占比的显示界面图；
图5为另一个实施例中动因数据的动因数量的显示界面图；
图6为一个实施例中业务基础数据处理的系统架构示意图；
图7为一个实施例中源数据处理系统中的数据处理的流程示意图；
图8为一个实施例中一种业务变化数据的数据处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种业务变化数据的数据处理方法，应用于如图1所示的应用环境中。源数据处理系统104接收数据传送系统102发送的业务基础数据，基于业务基础数据执行一种业务变化数据的数据处理方法之后得到变化的源数据，将变化的源数据发送到下游系统106。具体地，数据传送系统102发送多种业务基础数据，如业务基础数据1、业务基础数据2、……业务基础数据N。源数据处理系统104接收并获取多种业务基础数据，对业务基础数据进行业务动因分析，根据业务动因分析结果确定源数据处理系统104内业务动因通道的动因数据以及动因数量。其中，动因用于表示引起业务数据发生变化的操作，源数据处理系统104分别对各业务动因通道动因数据进行源数据处理。进一步地，源数据处理系统104根据动因数量对业务动因通道的动因数据进行源数据处理，得到变化的源数据。变化的源数据包括多个，如变化的源数据1、变化的源数据2、……变化的源数据N。最终，将多个变化的源数据发送到下游系统106。
在一个实施例中，如图2所示，提供了一种业务变化数据的数据处理方法，以该方法应用于图1中的源数据处理系统104为例进行说明，包括以下步骤：
S102，获取业务基础数据。
在本实施例中，源数据处理系统接收数据传送系统发送的多种业务基础数据。业务基础数据可以包括业务的基本属性数据、业务的用途数据以及业务的操作数据等。例如，业务为商品相关的业务。业务基础数据包括商品的基本信息，如商品名称、商品数量、商品。业务基础数据还可以包括商品发布数据、商品销售数据、商品仓库存储量数据等。
S104，对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作。
在本实施例中，业务调整将引起业务基础数据的变化。也即是，任一对业务基础数据进行操作都将引起业务基础数据发生变化。例如，业务为商品相关的业务。当发生商品发布的操作行为时，业务基础数据中用于记录商品发布的基础数据的数量值增加。当发生商品的访问行为时，业务基础数据中用于记录商品访问的数量值增加。具体地，引起业务数据发生变化的操作可用动因表示。
源数据处理系统对业务基础数据进行业务动因分析。具体地，源数据处理系统对业务基础数据的动因数据进行分析，分析出由于业务动因引起的哪些业务基础数据的变化。因此，可根据业务动因分析结果确定业务动因通道的动因数据以及动因数量。其中，业务动因通道可以是一个或多个。多个业务动因通道中各业务动因通道用于统计和计算对应类型的动因数据。同时，源数据处理系统针对各业务动因通道的动因数据进行源数据处理。
S106，根据动因数量对业务动因通道的动因数据进行源数据处理。
在本实施例中，源数据处理系统对业务动因通道中的动因数量进行监控以及记录。进而，根据业务动因通道中的动因数量对该业务动因通道的动因数据进行源数据处理。具体可以是，当业务动因通道的动因数量增加时，增加业务动因通道中的动因数据的计算量。当业务动因通道的动因数量减少时，减少业务动因通道中的动因数据的计算量。因此，可以防止业务动因通道的动因数据的数据积压，也可以减少业务动因通道的计算资源的浪费。
上述业务变化数据的数据处理方法，源数据处理系统对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作。进一步地，根据动因数量对业务动因通道的动因数据进行源数据处理。因此，源数据处理系统在对各业务动因通道进行源数据处理之前，对业务动因通道的动因数量进行监控，进而根据动因数量对该业务动因通道的动因数据进行源数据处理，从而可以根据动因数量动态调整业务动因通道的源数据处理的数据处理情况，克服了传统技术中各业务动因通道采用单一固定的数据处理方式造成的数据链路的数据积压问题以及资源利用率低的问题，提高了数据链路的数据处理资源利用率。
在一实施例中，业务动因通道为多个，S104包括：根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量。S106包括：根据各业务动因通道的动因数量对各业务动因通道的动因数据进行源数据处理。
在该实施例中，源数据处理系统中设置多个业务动因通道，各业务动因通道用于接收各类型业务的业务动因。源数据处理系统针对各业务动因通道中的动因数据进行独立的数据处理，以得到各业务动因通道的源数据处理结果。具体地，源数据处理系统根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量，并根据各业务动因通道的动因数量对各业务动因通道的动因数据进行源数据处理，因此可监控并统计不同业务动因通道的不同业务的动因下发量，提前调整计算资源，满足业务处理需求。
在一实施例中，S104之前，还包括：在内存中设置关联容器，关联容器内设置有键值对，键值对的键与业务动因通道的动因数据的时间关联，键值对的值与业务动因通道以及业务动因通道的动因数量关联。其中，根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量，包括：当根据业务分析结果确定业务基础数据中任一基础数据属于任一业务动因通道的动因数据时，将键值对的值中任一业务动因通道的动因数量的值进行加一，以及将键值对的键关联的时间更新为键值对的值的修改时间；根据键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据。
在该实施例中，业务基础数据同步到源数据处理系统后，源数据处理系统进行动因分词时调用动因分析统计方法。同时，还可设置SCM(Switch Control Module，开关控制模块)。在项目灰度期决定是否启用动因统计监控。当启动动因统计监控时，采用内存中的关联容器对各业务动因通道的动因数据进行统计。具体地，动因分析结束时对不同业务动因通道的不同动因类型的动因数量进行累加统计。关联容器可以是map容器。map容器的key是时间，value是业务动因通道的类型和动因数量，每进行一次基础数据同步，则对应时间下动因类型的动因数量加1。其中，不同业务动因通道代表不同的动因类型。因此，可实现动因数量的快速统计。当需要对各业务动因通道的动因数据进行源数据处理时，根据关联容器中的键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据。
在一实施例中，根据键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据之后，还包括：按照第一预设时间获取内存的关联容器中各业务动因通道对应的时间以及动因数量，将获取到的各业务动因通道对应的时间以及动因数量存储到数据库。
在该实施例中，设置定时器，在定时器中设置第一预设时间，比如每隔1分钟。根据定时器中的第一预设时间从内存的关联容器中读取各业务动因通道对应的时间以及动因数量并存储到数据库。具体可以是，将内存中的map容器中的数据取出，并输出到数据库。数据库可以是Hbase数据库。因此，可以使得各业务动因通道的各个时间下动因数量能够更好的存储，同时可提高后续各业务动因通道的各个时间下动因数量的读取效率。
在一个实施例中，将读取到的各业务动因通道对应的时间以及动因数量存储到数据库之后，还包括：按照第二预设时间清空内存中的各业务动因通道对应的时间以及动因数量。
在该实施例中，需要定时清除内存中的数据，以提高内存数据处理的效率。具体的，可按照第二预设时间清空内存中的各业务动因通道对应的时间以及动因数量，第二预设时间为可配置的处理时间，可以设置为每隔10分钟。每隔10分钟清理内存中的数据，以保证内存可以继续存储后续的各业务动因通道对应的时间以及动因数量，提高内存的数据处理效率。
在一实施例中，S106包括：从数据库中读取预设数量的业务动因通道中各业务动因通道的动因数量；根据各业务动因通道的动因数量计算各业务动因通道的动因占比；根据各业务动因通道的动因占比确定各业务动因通道的算子数量；根据算子数量对各业务动因通道的动因数据进行源数据处理。
在该实施例中，源数据处理系统还可以根据各业务动因通道的动因占比确定各业务动因通道的算子数量，根据算子数量对各业务动因通道的动因数据进行源数据处理。具体地，当任一业务动因通道的动因占比增大，其对应的各业务动因通道的算子数量也会增多。根据算子数量对业务动因通道的动因数据进行源数据处理时由于算子数量增大，该业务动因通道的数据处理量变大，系统分配更多的计算资源，从而可以快速处理该业务动因通道的动因数据，减少该业务动因通道的数据积压。例如，如图3(a)和图3(b)所示，因业务调整，商品发布的动因数量从8月3的390w占比62.3％，逐步增加至8月7日的1090w占比85.4％。根据监控统计的数据，增加商品发布的业务动因通道的算子数量，使得商品发布的动因数据的计算效率提高35％，有效降低数据链路搜索生效时间。
在一实施例中，关联容器包括ConcurrentHashMap容器，数据库包括Hbase数据库。
在该实施例中，动因分析时，将分钟级统计次数输出到内存中的ConcurrentHashMap容器，并通过定时器，定时将内存统计的数据输出到Hbase数据库，再清理内存中的过期数据。其中，ConcurrentHashMap容器的线程安全并且其内存储的数据分区，每一个分区还可添加同步锁，使其其他分区的数据的使用不受限制，因此将ConcurrentHashMap容器内置在各算子内存中记录动因数量，能够大大提高数据存取的效率。具体地，内存的concurrentHashMap容器存储数据的方式为：key：yyyyMMddHHmm为格式时间戳，采用此格式记录时间数据。value:通道#动因类型，数量；采用此格式记录动因数据和动因数量。其中，动因类型与业务动因通道关联，不同业务动因通道记录的动因数据的动因类型不同。另外，Hbase数据库可以存储海量数据，并且Hbase数据库为列式存储，不同动因类型的动因类型以及动因数量存储在不同的列，大大提高了查询效率。此外，Hbase数据库中的列可以根据动因类型的增加而增加，扩展性强。具体地，Hbase数据库的数据存储方式如下表所示：
Figure BDA0002658256180000091
优选地，S106之后还包括：将各业务动因通道的动因数据、动因数量以及动因占比分别进行显示。
后台系统查询Hbase数据库时，根据分钟作为rowkey查询Hbase数据库，对相同动因类型计数进行累加展示统计结果。同时，还可以展示动因占比。具体地，后台查询时根据分钟作为rowkey，查询当前分钟所有动因数量，再根据value中的通道和动因类型拆分，展示到页面上。展示结果可参见图4以及图5所示。
为了更详细说明上述实施例的业务变化数据的数据处理方法，以下给出一具体实施方式：
如图6所示，数据传送系统(GSDS)将业务基础数据输出到源数据处理系统，例如图6中的BDGSDS系统。业务基础数据可以包括商品的库存状态数据、商品发布的数据、商品信息数据等。BDGSDS系统对业务基础数据进行动因范围分析，然后基于分析后的结果进行动因计算。此处的动因计算可以是各业务动因通道中的动因数量的累加。进一步地，基于动因计算结果进行源数据处理，将各业务动因通道的源数据处理结果下发到下游系统，如PMCS系统。
对于源数据处理系统中的数据处理，参见图7所示。基础数据同步后，进行动因分析，根据动因分析进行动因数据的统计。将分钟级统计次数的结果输出到内存中的ConcurrentHashMap容器，并通过定时器，定时将内存中的统计数据输出到Hbase数据库，再清理内存中的过期数据。后台系统查询时，根据分钟作为rowkey查询Hbase数据库中的数据，对相同动因类型计数进行累加并展示统计结果。
因此，采用上述实施例的业务变化数据的数据处理方法，对寻源数据链路进行动因计算，可以根据时间区间、动因类型等条件展示动因处理量和历史数据等，便于对寻源数据链路的数据以及数据处理进行监控。同时，还可根据统计的动因数量调整动因数据的源数据处理的计算资源，满足业务需求，提高了动因数据的计算资源的利用率，提高了整个数据链路的稳定性。
应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请还提供一种业务变化数据的数据处理装置，如图8所示，该装置包括获取模块10、分析模块20以及处理模块30。获取模块10，用于获取业务基础数据；分析模块20，用于对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；处理模块30，用于根据动因数量对业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，业务动因通道为多个，分析模块20具体还用于根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量；处理模块30具体还用于根据各业务动因通道的动因数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，一种业务变化数据的数据处理装置还包括设置模块(图8未示出)，设置模块用于在内存中设置关联容器，关联容器内设置有键值对，键值对的键与业务动因通道的动因数据的时间关联，键值对的值与业务动因通道以及业务动因通道的动因数量关联；分析模块20具体还用于当根据业务分析结果确定业务基础数据中任一基础数据属于任一业务动因通道的动因数据时，将键值对的值中任一业务动因通道的动因数量的值进行加一，以及将键值对的键关联的时间更新为键值对的值的修改时间；根据键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据。
在其中一个实施例中，一种业务变化数据的数据处理装置还包括存储模块(图8未示出)，存储模块用于按照第一预设时间获取内存的关联容器中各业务动因通道对应的时间以及动因数量，将获取到的各业务动因通道对应的时间以及动因数量存储到数据库。
在其中一个实施例中，一种业务变化数据的数据处理装置还包括清理模块(图8未示出)，清理模块用于按照第二预设时间清空内存中的各业务动因通道对应的时间以及动因数量。
在其中一个实施例中，处理模块30具体还用于从数据库中读取预设数量的业务动因通道中各业务动因通道的动因数量；根据各业务动因通道的动因数量计算各业务动因通道的动因占比；根据各业务动因通道的动因占比确定各业务动因通道的算子数量；根据算子数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，关联容器包括ConcurrentHashMap容器，数据库包括Hbase数据库。
在其中一个实施例中，一种业务变化数据的数据处理装置还包括显示模块，显示模块用于将各业务动因通道的动因数据、动因数量以及动因占比分别进行显示。
关于业务变化数据的数据处理装置的具体限定可以参见上文中对于业务变化数据的数据处理方法的限定，在此不再赘述。上述业务变化数据的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是支持源数据处理系统运行的服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部设备连接，以接收外部设备同步的业务基础数据。该计算机程序被处理器执行时以实现一种业务变化数据的数据处理方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取业务基础数据；对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；根据动因数量对业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，业务动因通道为多个，处理器执行计算机程序实现上述的根据业务动因分析结果确定业务动因通道的动因数据以及动因数量步骤时，具体实现以下步骤：根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量；处理器执行计算机程序实现上述的根据动因数量对业务动因通道的动因数据进行源数据处理步骤时，具体实现以下步骤：根据各业务动因通道的动因数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：在内存中设置关联容器，关联容器内设置有键值对，键值对的键与业务动因通道的动因数据的时间关联，键值对的值与业务动因通道以及业务动因通道的动因数量关联；处理器执行计算机程序实现上述的根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量步骤时，具体实现以下步骤：当根据业务分析结果确定业务基础数据中任一基础数据属于任一业务动因通道的动因数据时，将键值对的值中任一业务动因通道的动因数量的值进行加一，以及将键值对的键关联的时间更新为键值对的值的修改时间；根据键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：按照第一预设时间获取内存的关联容器中各业务动因通道对应的时间以及动因数量，将获取到的各业务动因通道对应的时间以及动因数量存储到数据库。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：按照第二预设时间清空内存中的各业务动因通道对应的时间以及动因数量。
在其中一个实施例中，处理器执行计算机程序实现上述的根据动因数量对业务动因通道的动因数据进行源数据处理步骤时，具体实现以下步骤：从数据库中读取预设数量的业务动因通道中各业务动因通道的动因数量；根据各业务动因通道的动因数量计算各业务动因通道的动因占比；根据各业务动因通道的动因占比确定各业务动因通道的算子数量；根据算子数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，关联容器包括ConcurrentHashMap容器，数据库包括Hbase数据库。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：将各业务动因通道的动因数据、动因数量以及动因占比分别进行显示。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取业务基础数据；对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；根据动因数量对业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，业务动因通道为多个，计算机程序被处理器执行实现上述的根据业务动因分析结果确定业务动因通道的动因数据以及动因数量步骤时，具体实现以下步骤：根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量；计算机程序被处理器执行实现上述的根据动因数量对业务动因通道的动因数据进行源数据处理步骤时，具体实现以下步骤：根据各业务动因通道的动因数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：在内存中设置关联容器，关联容器内设置有键值对，键值对的键与业务动因通道的动因数据的时间关联，键值对的值与业务动因通道以及业务动因通道的动因数量关联；计算机程序被处理器执行实现上述的根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量步骤时，具体实现以下步骤：当根据业务分析结果确定业务基础数据中任一基础数据属于任一业务动因通道的动因数据时，将键值对的值中任一业务动因通道的动因数量的值进行加一，以及将键值对的键关联的时间更新为键值对的值的修改时间；根据键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照第一预设时间获取内存的关联容器中各业务动因通道对应的时间以及动因数量，将获取到的各业务动因通道对应的时间以及动因数量存储到数据库。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照第二预设时间清空内存中的各业务动因通道对应的时间以及动因数量。
在其中一个实施例中，计算机程序被处理器执行实现上述的根据动因数量对业务动因通道的动因数据进行源数据处理步骤时，具体实现以下步骤：从数据库中读取预设数量的业务动因通道中各业务动因通道的动因数量；根据各业务动因通道的动因数量计算各业务动因通道的动因占比；根据各业务动因通道的动因占比确定各业务动因通道的算子数量；根据算子数量对各业务动因通道的动因数据进行源数据处理。
在其中一个实施例中，关联容器包括ConcurrentHashMap容器，数据库包括Hbase数据库。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：将各业务动因通道的动因数据、动因数量以及动因占比分别进行显示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种业务变化数据的数据处理方法，所述方法包括：
获取业务基础数据；
对所述业务基础数据进行业务动因分析，根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量，所述动因用于表示引起业务数据发生变化的操作，所述业务动因通道为多个，各业务动因通道用于统计和计算对应类型的动因数据；
根据各所述业务动因通道的动因数量对所述各业务动因通道的所述动因数据进行源数据处理；
其中，所述方法还包括：
在内存中设置关联容器，所述关联容器内设置有键值对，所述键值对的键与所述业务动因通道的动因数据的时间关联，所述键值对的值与所述业务动因通道以及所述业务动因通道的动因数量关联；
所述根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量，包括：
当根据业务分析结果确定所述业务基础数据中任一基础数据属于任一业务动因通道的动因数据时，将所述键值对的值中所述任一业务动因通道的动因数量的值进行加一，以及将所述键值对的键关联的时间更新为所述键值对的值的修改时间；
根据所述键值对的值中各所述业务动因通道的动因数量确定各所述业务动因通道的动因数量，并根据所述键值对的键关联的时间确定各所述业务动因通道的动因数据；
当业务动因通道的动因数量增加时，增加业务动因通道中的动因数据的计算量；当业务动因通道的动因数量减少时，减少业务动因通道中的动因数据的计算量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照第一预设时间获取所述内存的所述关联容器中各所述业务动因通道对应的所述时间以及所述动因数量，将获取到的各所述业务动因通道对应的所述时间以及所述动因数量存储到数据库。
3.根据权利要求2所述的方法，其特征在于，所述将获取到的各所述业务动因通道对应的所述时间以及所述动因数量存储到数据库之后，还包括：
按照第二预设时间清空所述内存中的各所述业务动因通道对应的所述时间以及所述动因数量。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述业务动因通道的动因数量对所述各业务动因通道的所述动因数据进行源数据处理，包括：
从所述数据库中读取预设数量的业务动因通道中各业务动因通道的动因数量；
根据所述各业务动因通道的动因数量计算所述各业务动因通道的动因占比；
根据所述各业务动因通道的动因占比确定所述各业务动因通道的算子数量；
根据所述算子数量对所述各业务动因通道的动因数据进行源数据处理。
5.根据权利要求4所述的方法，其特征在于，所述关联容器包括ConcurrentHashMap容器，所述数据库包括Hbase数据库；
所述方法还包括：将所述各业务动因通道的动因数据、动因数量以及动因占比分别进行显示。
6.一种用于实现权利要求1所述业务变化数据的数据处理方法的装置，其特征在于，所述装置包括：
获取模块，用于获取业务基础数据；
分析模块，用于对所述业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，所述动因用于表示引起业务数据发生变化的操作；
处理模块，用于根据所述动因数量对所述业务动因通道的所述动因数据进行源数据处理。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202010895304.4A 2020-08-31 2020-08-31 数据处理方法、装置、计算机设备和存储介质 Active CN112069212B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010895304.4A CN112069212B (zh) 2020-08-31 2020-08-31 数据处理方法、装置、计算机设备和存储介质
CA3129306A CA3129306A1 (en) 2020-08-31 2021-08-30 Service change data processing method, device, computer equipment and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010895304.4A CN112069212B (zh) 2020-08-31 2020-08-31 数据处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112069212A CN112069212A (zh) 2020-12-11
CN112069212B true CN112069212B (zh) 2022-11-15

Family

ID=73664964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895304.4A Active CN112069212B (zh) 2020-08-31 2020-08-31 数据处理方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN112069212B (zh)
CA (1) CA3129306A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060059036A1 (en) * 2004-09-16 2006-03-16 Moese Stephen A Method and system for managing a supply chain of a commodity class
CN110795171A (zh) * 2019-09-18 2020-02-14 平安银行股份有限公司 业务数据处理方法、装置、计算机设备及存储介质
CN110956307A (zh) * 2019-10-28 2020-04-03 苏宁云计算有限公司 一种业务数据的标准化处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060059036A1 (en) * 2004-09-16 2006-03-16 Moese Stephen A Method and system for managing a supply chain of a commodity class
CN110795171A (zh) * 2019-09-18 2020-02-14 平安银行股份有限公司 业务数据处理方法、装置、计算机设备及存储介质
CN110956307A (zh) * 2019-10-28 2020-04-03 苏宁云计算有限公司 一种业务数据的标准化处理方法及装置

Also Published As

Publication number Publication date
CA3129306A1 (en) 2022-02-28
CN112069212A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN110008257B (zh) 数据处理方法、装置、系统、计算机设备和存储介质
US11288282B2 (en) Distributed database systems and methods with pluggable storage engines
KR102511271B1 (ko) 시계열 데이터 저장 및 쿼리 방법 및 장치, 및 그 서버 및 저장 매체
CN104281582B (zh) 分页显示控制方法和装置
CN104731974A (zh) 基于大数据流式计算的动态页面加载方法
CN103207882A (zh) 店铺访问数据处理方法及系统
CN110675194A (zh) 一种漏斗分析方法、装置、设备及可读介质
CN104702625A (zh) 一种cdn网络中访问请求调度方法及装置
Naeem et al. X-HYBRIDJOIN for near-real-time data warehousing
CN110990372A (zh) 一种维度数据的处理方法及装置、数据查询方法及装置
US10248618B1 (en) Scheduling snapshots
CN112613271A (zh) 数据分页方法、装置、计算机设备及存储介质
CN111222089A (zh) 数据处理方法、装置、计算机设备和存储介质
EP3726397A1 (en) Join query method and system for multiple time sequences under columnar storage
CN111061758A (zh) 数据存储方法、装置及存储介质
CN112035531A (zh) 敏感数据处理方法、装置、设备及介质
US11947613B2 (en) System and method for efficiently querying data using temporal granularities
US20120246189A1 (en) Comparing histograms
CN112948504B (zh) 数据采集方法、装置、计算机设备和存储介质
CN100413257C (zh) 网元告警数据获取方法
CN106557483B (zh) 一种数据处理、数据查询方法及设备
CN112069212B (zh) 数据处理方法、装置、计算机设备和存储介质
CN113377789A (zh) 数据库变更数据的处理方法、装置、计算机设备和介质
CN109725852B (zh) 一种限流计数的优化方法及终端
CN110619006A (zh) 基于物联网的统计数据管理方法、装置、平台和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant