CN113821513A - 数据处理方法、设备及存储介质 - Google Patents
数据处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113821513A CN113821513A CN202111101742.XA CN202111101742A CN113821513A CN 113821513 A CN113821513 A CN 113821513A CN 202111101742 A CN202111101742 A CN 202111101742A CN 113821513 A CN113821513 A CN 113821513A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- storage structure
- processed
- data storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000013479 data entry Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种数据处理方法、设备及存储介质，其中，数据处理方法包括：获取基于目标事件产生的目标数据；基于预先设置的数据存储结构为目标数据建立对应的目标行，所述数据存储结构包含至少一个行，每一个行包含多维度的数据；将目标数据存储在目标行中；基于数据存储结构获取待处理数据，并对待处理数据进行处理。因为数据存储结构中对数据按行存储，每一行包含多维度的数据，如果需要数据回放，能够快速过滤得到需要的数据，不需要重新从多个数据源获取多维度的数据，避免占用过多资源。
Description
技术领域
本申请实施例涉及电子信息技术领域，尤其涉及数据处理方法、设备及存储介质。
背景技术
为了方便用户的工作生活，在很多行业，用户通过网络平台接受各种任务，在一些应用场景中，网络平台通常具有后台运营人员、服务提供者以及用户，不同的人员具有不同的关注点。因此，不同人员对于同一份数据具有不同维度的需求。相关技术中，通过流处理框架处理各种数据，但是，在实现上述技术方案的过程中，获取历史数据，就需要从不同的数据源中获取相应维度数据，具备一定的开发成本和数据获取的资源占用。
发明内容
有鉴于此，本申请实施例提供一种数据处理方法、设备及存储介质，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种数据处理方法，应用于数据处理设备，包括：获取基于目标事件产生的目标数据；基于预先设置的数据存储结构为目标数据建立对应的目标行，数据存储结构包含至少一个行，每一个行包含多维度的数据；将目标数据存储在目标行中；基于数据存储结构获取待处理数据，并对待处理数据进行处理。
根据本申请实施例的第二方面，提供了一种数据处理设备，包括：获取模块，用于获取基于目标事件产生的目标数据；建立模块，用于基于预先设置的数据存储结构为目标数据建立对应的目标行，数据存储结构包含至少一个行，每一个行包含多维度的数据；存储模块，用于将目标数据存储在目标行中；处理模块，用于基于数据存储结构获取待处理数据，并对待处理数据进行处理。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如第一方面所描述的数据处理方法对应的操作。
根据本申请实施例的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如第一方面所描述的数据处理方法。
本申请实施例提供的数据处理方法、设备及存储介质，获取基于目标事件产生的目标数据；基于预先设置的数据存储结构为目标数据建立对应的目标行，数据存储结构包含至少一个行，每一个行包含多维度的数据；将目标数据存储在目标行中；基于数据存储结构获取待处理数据，并对待处理数据进行处理。因为数据存储结构中对数据按行存储，每一行包含多维度的数据，如果需要数据回放，能够快速过滤得到需要的数据，不需要重新从多个数据源获取多维度的数据，避免占用过多资源。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种数据处理方法的场景示意图；
图2为本申请实施例一提供的一种数据处理方法的流程图；
图3为本申请实施例一提供的一种数据处理方法的具体示例图；
图4为本申请实施例一提供的一种数据处理方法的框架示意图；
图5为本申请实施例一提供的一种服务调用关系示意图；
图6为本申请实施例一提供的一种具体示例流程示意图；
图7为本申请实施例一提供的另一种具体示例流程示意图；
图8为本申请实施例二提供的一种数据处理设备的结构图；
图9为本申请实施例三提供的一种电子设备的结构图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一
本申请实施例一提供一种数据处理方法，应用于数据处理设备，为了便于理解，对本申请实施例一所提供的数据处理方法的应用场景进行说明，参照图1所示，图1为本申请实施例提供的一种数据处理方法的场景示意图。需要说明的是，图1所示的应用场景只是本申请实施例提供的数据处理方法可以应用的一种场景，并不代表本申请实施例提供的方法必须应用于该场景。图1所示的场景中包括数据处理设备101，数据处理设备101中设置有数据存储结构102。
其中，数据处理设备101可以是终端设备，如电脑、智能终端，也可以是服务端设备，例如本地服务器、云端服务器等。数据存储结构102中的数据按照设置的行进行存储，当获取到新的数据，在数据存储结构102中建立新的行，并将数据存储在新建立的行中。
数据处理设备101可以通过网络与云端的设备进行通信，本申请中，网络可以包括局域网(英文：Local Area Network，LAN)、广域网(英文：Wide Area Network，WAN)、移动通信网络等；如万维网(英文：World Wide Web，WWW)、全球移动通信系统(英文：GlobalSystem for Mobile Communications，GSM)，通用移动通信系统(英文：Universal MobileTelecommunications System，UMTS)，长期演进(英文：long Term Evolution，LTE)网络，第5代移动通信技术(英文：5th Generation Mobile Communication Technology，5G)网络等。此处只是示例说明，并不代表本申请局限于此。
结合图1所示的场景，详细说明本申请实施例一提供的数据处理方法，需要说明的是，图1只是本申请实施例一提供的数据处理方法的一种应用场景，并不代表该数据处理方法必须应用于图1所示的场景，参照图2所示，图2为本申请实施例一提供的一种数据处理方法的流程图，该方法包括以下步骤：
步骤201、获取基于目标事件产生的目标数据。
需要说明的是，目标事件是针对于数据处理设备的任意一个事件，例如，目标事件可以包括各种行为、任务等。目标数据是目标事件发生所产生的数据，示例性地，目标数据可以包括目标事件的消息中包含的数据，还可以包括处理目标事件的消息的过程中所产生的数据。
可选地，在一种实现方式中，获取基于目标事件产生的目标数据，包括：通过消息监听，在目标事件发生时获取目标事件的消息，基于所述目标事件的消息，以及处理所述目标事件的消息的过程中所产生的数据，得到所述目标数据。
步骤202、基于预先设置的数据存储结构为目标数据建立对应的目标行。
其中，数据存储结构包含至少一个行，每一行包含多维度的数据，一个行记录一个任务事件，目标行即为目标事件对应的行。可选地，在一种具体示例中，可以根据数据的任务类型和任务行为类型划分不同的行，示例性地，基于预先设置的数据存储结构为目标数据建立对应的目标行，包括：根据目标数据的任务类型、任务行为类型，以及目标事件的发生时间为目标数据建立对应的目标行，并为目标行分配编号。还需要说明的是，可选地，一个行包含的多维度的数据可以包含任务类型、任务标识(英文：Identifier，ID)、任务行为类型、任务行为ID、事件发生时间、行创建时间中的至少一项。
还需要说明的是，在另一具体示例中，数据存储结构中分为至少一个行以及至少一个列，每一列可以根据数据对应的对象进行划分，例如，以购物平台为例，对象可以包括商品、门店、品牌等。因此，每一个行的数据中，按照不同列可以包含至少一个宫格，每一个宫格可以表示关于一个对象的，一种任务类型的服务行为。
步骤203、将目标数据存储在目标行中。
结合步骤202中的示例，可选地，将目标数据存储在目标行中，包括：
根据目标数据对应的目标对象，在数据存储结构的目标行中，将目标数据存储在目标对象对应的宫格中。需要说明的是，本申请中，数据存储结构中的数据可以存储在硬盘中，减少内存占用量。
步骤204、基于数据存储结构获取待处理数据，并对待处理数据进行处理。
需要说明的是，因为数据存储结构中的数据是按照行进行存储，因此可以通过过滤的方式或取待处理数据，行存储的方式顾虑效率更高。
可选地，在一种示例中，基于数据存储结构获取待处理数据，并对待处理数据进行处理，包括：获取当前任务对应的当前位点，当前位点用于指示当前任务最新处理的数据对应的编号；如果目标行的编号与当前位点之间的差值大于预设阈值，则遍历数据存储结构中未处理的数据，过滤得到待处理数据；对待处理数据进行处理。其中，行的编号可以包括行的主键，即顺序主键，因为当前位点用于指示当前最新处理的数据对应的编号，即已经处理的最新数据的行编号，如果目标行的编号与当前位点之间的差值大于预设阈值，说明未处理的数据已经比较多，可以进行遍历，实现批处理，提高处理效率。预设阈值可以是根据具体情况设定的而与之，例如，预设阈值可以设置为100、200等，本申请对此不作限定。进一步地，以数据回放为例进行示例性说明，该方法还可以包括：获取数据回放指令，根据数据回放指令重置当前位点，基于重置后的当前位点在数据存储结构中进行过滤得到待回放的历史数据。
可选地，在另一种示例中，对待处理数据进行处理之后的数据输出方式进行说明。此处，列举两种具体的实现方式，示例性地，在第一种方式中，该方法还包括：对待处理数据进行处理之后，基于当前任务对应的报告模型生成数据报告。示例性地，在第二种方式中，该方法还包括：对待处理数据进行处理之后，得到待输出消息，确定待输出消息的队列标识；根据待输出消息的队列标识将待输出消息加入对应的消息队列中。生成数据报告，或者得到待输出消息，并将待输出消息加入消息队列中，都是对待处理数据进行处理后地两种具体的数据输出方式，此处只是示例性说明，并不代表本申请局限于此。
还需要说明的是，步骤204中的两种示例可以单独实行，也可以结合起来实行。
结合上述步骤201-204所描述的数据处理方法，在一种具体示例中，数据处理方法包括数据存储和报告生成两部分，参照图3所示，对数据处理方法进行详细说明。图3示出了数据存储和报告生成两部分的具体流程。数据存储包括：基于任务事件产生任务事件的消息，任务事件的消息通常可以指示任务类型、任务行为类型、任务行为ID和消息ID；在处理任务消息的过程中进行数据提取得到目标数据，为目标数据建立目标行，任务事件以行为单位进行记录，一行记录一个任务事件；将目标数据存储在目标行中对应的宫格中。报告生成包括：利用插件遍历行数据，可以有多个插件，一个插件负责一个相关的任务工作，不同插件获取的行数据可以相互独立；利用启动器在设备上运行插件，保证插件线程安全的处理数据；在利用插件遍历行数据时，利用数据过滤器剔除不需要关注的行数据；利用数据处理器对过滤之后的行数据进行处理，生成报告或统计数据。
结合上述步骤201-204所描述的数据处理方法，此处列举一具体的应用场景对数据处理方法的具体执行过程进行详细说明。在此处的应用场景中，以预设的网络平台为例，该网络平台可以是一种购物网络平台，网络平台包含门店、服务人员、商家和后台运营人员等，不同人员都参与了不同任务，不同人员对于同一份数据有不同维度的需求。结合实施例一所描述的方法，本申请实施例基于上述数据存储结构中行存储的方式，实时存储数据，通过根据实时存储的数据，可以遍历未处理数据，即增量数据，并得到待处理数据，并将处理结果输出到可扩展的存储中。结合图4所示，图4为本申请实施例一提供的一种数据处理方法的框架示意图，图4示出了服务场景、插件扩展、基础组件以及基础服务4个部分。
其中，服务场景可以包含品牌商/经销商的任务报告、后台运营的任务报告、企业任务报告、门店任务数据等。
插件扩展包含接入事件和报告生成两部分。其中，接入事件包括任务事件、实例事件、行为事件、结算事件、营收事件，此处的接入事件即为可能发生的目标事件。报告生成部分列举了任务门店报告、任务区域报告、任务商品销售报告、任务拓展店铺报告、任务服务人员报告、任务收支明细报告、类目采购统计报告、任务大盘营收报告、任务采购明细、任务管理员周报等。
基础组件包含数据录入和数据生成两部分。数据录入部分包含消息处理组件、数据提取组件、行数据存储组件。消息处理组件用于消息监听、消息分派、消息处理、指标监测等；数据提取组件用于数据获取、快照存取、行生成(在数据存储结构中生成新的行)等；行数据存储组件用于顺序分配主键(即行编号)、在数据存储结构中管理行和宫格。数据生成部分包含工作项组件、数据遍历组件、配置组件和变成接口组件。工作项组件用于分配工作(英文：Job)、环境准备、状态检查、栅栏管理(上一次数据处理和下一次数据遍历之间的时间间隔)；数据遍历组件用于获取数据存储结构中的行数据、位点处理、防重处理(避免重复)；配置组件用于发布配置信息、配置监听、配置项管理；编程接口组件可以用于数据过滤、数据处理、环境准备。
基础服务包括云数据库服务、跨平台非关系型数据库服务、高速服务框架(英文：High-speed Service Framework，HSF)、配置服务、指标监测服务、分布式消息中间件、分布式数据服务、分布式文件存储数据库等。
基于图4的框架，在本应用场景中，对数据存储结构进行说明，数据存储结构分为行和列，每一个行都有一个行编号，即顺序主键，每创建一个行，将行编号顺序加1作为新创建的行的编号，每一行可以包含任务类型、任务类型ID、任务行为类型、任务行为ID、任务行为类型、任务行为ID、事件发生时间、行创建时间等，每一个行按照不同列可以划分为多个宫格，每一列可以表示一个对象，例如，一个门店、一个商品等。在获取到目标事件的消息后，基于目标事件的消息以及处理目标事件的消息的过程中产生的数据，得到目标数据，并建立目标数据对应的目标行，分配行编号，将目标数据存储在目标行中。
结合图5，图5为本申请实施例一提供的一种服务调用关系示意图，图5示出了工作流装配服务、行数据遍历服务、数据处理服务、进度管理服务、标记服务、报告存储服务、报告生成服务。在数据存储结构中获取待处理数据时，可以进行工作流装配服务，设置当前位点，然后进行行数据遍历服务，遍历未处理的行数据，遍历之后即可得到待处理数据，通过数据处理服务进行数据处理，可以生成数据报告，然后对数据报告进行存储，标记服务用于对数据处理过程进行标记，进度管理服务用于对处理进度进行监测。
具体地，当数据存储结构中未处理的行数据积累到一定数量时，可以进行批处理。示例性地，可以获取当前任务对应的当前位点P1，即当前任务最新处理的行数据的编号(行编号、主键)；获取当前数据存储结构中行编号的最大值，即目标行的行编号P2；计算P2-100＝P3，100即为预设阈值；如果P1>＝P3(即目标行的编号与当前位点之间的差值小于等于预设阈值)，则重新获取当前数据存储结构中的行编号的最大值；如果P1<P3(即目标行的编号与当前位点之间的差值大于预设阈值)，计算差值P3-P1＝delta；如果delta>＝1000，则在[P1,P1+1000)范围内遍历数据存储结构中的行数据；如果delta<1000，则在[P1，P1+delta)范围内遍历数据存储结构中的行数据。
结合上述图4和图5的说明，此处，列举两个具体示例。
在第一个示例中，如图6所示，触发目标事件后，可以产生对应的消息，例如，任务消息(包含开始、结束、结算等)，任务实例消息(包含达标、奖励发放、状态更新等)，任务实例行为消息(包含支付、退款、陈列等)，基于目标事件的消息得到目标数据，在数据存储结构中确定对应的宫格(列)，创建目标行，并存储目标数据。基于数据存储结构进行遍历，并生成数据报告。
在第二个示例中，如图7所示，触发目标事件后，可以产生对应的消息，例如，任务消息(包含开始、结束、结算等)，任务实例消息(包含达标、奖励发放、状态更新等)，任务实例行为消息(包含支付、退款、陈列等)，基于目标事件的消息得到目标数据，在数据存储结构中确定对应的宫格(列)，创建目标行，并存储目标数据。基于数据存储结构进行遍历，并得到待输出消息，发送顺序消息，计算待输出消息的哈希数值(待输出消息的队列标识)，根据待输出消息的哈希数值将待输出消息分发到对应的消息队列中。还可以对消息队列中的消息进行维度转换，存储在分析型数据库中。
本申请实施例提供的数据处理方法，获取基于目标事件产生的目标数据；基于预先设置的数据存储结构为目标数据建立对应的目标行，数据存储结构包含至少一个行，每一个行包含多维度的数据；将目标数据存储在目标行中；基于数据存储结构获取待处理数据，并对待处理数据进行处理。因为数据存储结构中对数据按行存储，每一行包含多维度的数据，如果需要数据回放，能够快速过滤得到需要的数据，不需要重新从多个数据源获取多维度的数据，避免占用过多资源。
实施例二
基于上述实施例一所描述的方法，本申请实施例二提供一种数据处理设备，用于执行上述实施例一所描述的方法，参照图8所示，数据处理设备80，包括：
获取模块801，用于获取基于目标事件产生的目标数据；
建立模块802，用于基于预先设置的数据存储结构为目标数据建立对应的目标行，数据存储结构包含至少一个行，每一个行包含多维度的数据；
存储模块803，用于将目标数据存储在目标行中；
处理模块804，用于基于数据存储结构获取待处理数据，并对待处理数据进行处理。
可选地，在一种具体示例中，建立模块802，用于根据目标数据的任务类型、任务行为类型，以及目标事件的发生时间为目标数据建立对应的目标行，并为目标行分配编号。
可选地，在一种具体示例中，存储模块803，用于根据目标数据对应的目标对象，在数据存储结构的目标行中，将目标数据存储在目标对象对应的宫格中。
可选地，在一种具体示例中，处理模块804，用于获取当前任务对应的当前位点，当前位点用于指示当前任务最新处理的数据对应的编号；如果目标行的编号与当前位点之间的差值大于预设阈值，则遍历数据存储结构中未处理的数据，过滤得到待处理数据；对待处理数据进行处理。
可选地，在一种具体示例中，处理模块804，还用于获取数据回放指令，根据数据回放指令重置当前位点，基于重置后的当前位点在数据存储结构中进行过滤得到待回放的历史数据。
可选地，在一种具体示例中，处理模块804，还用于对待处理数据进行处理之后，基于当前任务对应的报告模型生成数据报告。
可选地，在一种具体示例中，处理模块804，还用于对待处理数据进行处理之后，得到待输出消息，确定待输出消息的队列标识；根据待输出消息的队列标识将待输出消息加入对应的消息队列中。
本申请实施例提供的数据处理设备，获取基于目标事件产生的目标数据；基于预先设置的数据存储结构为目标数据建立对应的目标行，数据存储结构包含至少一个行，每一个行包含多维度的数据；将目标数据存储在目标行中；基于数据存储结构获取待处理数据，并对待处理数据进行处理。因为数据存储结构中对数据按行存储，每一行包含多维度的数据，如果需要数据回放，能够快速过滤得到需要的数据，不需要重新从多个数据源获取多维度的数据，避免占用过多资源。
实施例三
基于上述实施例一所描述的方法，本申请实施例三提供一种电子设备，用于执行上述实施例一所描述的任一方法，参照图9，示出了根据本申请实施例三的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图9所示，该电子设备90可以包括：处理器(processor)902、通信接口(Communications Interface)904、存储器(memory)906、以及通信总线908。
其中：
处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。
通信接口904，用于与其它电子设备或服务器进行通信。
处理器902，用于执行程序910，具体可以执行上述实施例一中任一数据处理方法中的相关步骤。
具体地，程序910可以包括程序代码，该程序代码包括计算机操作指令。
处理器902可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器906，用于存放程序910。存储器906可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序910具体可以用于使得处理器902执行以实现实施例一中所描述的数据处理方法。程序910中各步骤的具体实现可以参见上述数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例提供的电子设备，获取基于目标事件产生的目标数据；基于预先设置的数据存储结构为目标数据建立对应的目标行，数据存储结构包含至少一个行，每一个行包含多维度的数据；将目标数据存储在目标行中；基于数据存储结构获取待处理数据，并对待处理数据进行处理。因为数据存储结构中对数据按行存储，每一行包含多维度的数据，如果需要数据回放，能够快速过滤得到需要的数据，不需要重新从多个数据源获取多维度的数据，避免占用过多资源。
实施例四
基于上述实施例一所描述的方法，本申请实施例四提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所描述的任一方法。
实施例五
基于上述实施例一所描述的方法，本申请实施例五提供一种计算机程序产品，该计算机程序产品被处理器执行时实现如实施例一所描述的任一方法。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的导航方法。此外，当通用计算机访问用于实现在此示出的导航方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的导航方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。
Claims (10)
1.一种数据处理方法，所述方法包括：
获取基于目标事件产生的目标数据；
基于预先设置的数据存储结构为所述目标数据建立对应的目标行，所述数据存储结构包含至少一个行，每一个行包含多维度的数据；
将所述目标数据存储在所述目标行中；
基于所述数据存储结构获取待处理数据，并对所述待处理数据进行处理。
2.根据权利要求1所述的方法，其中，所述基于预先设置的数据存储结构为所述目标数据建立对应的目标行，包括：
根据所述目标数据的任务类型、任务行为类型，以及所述目标事件的发生时间为所述目标数据建立对应的目标行，并为所述目标行分配编号。
3.根据权利要求2所述的方法，其中，所述将所述目标数据存储在所述目标行中，包括：
根据所述目标数据对应的目标对象，在所述数据存储结构的目标行中，将所述目标数据存储在所述目标对象对应的宫格中。
4.根据权利要求2所述的方法，其中，所述基于所述数据存储结构获取待处理数据，并对所述待处理数据进行处理，包括：
获取当前任务对应的当前位点，所述当前位点用于指示所述当前任务最新处理的数据对应的编号；
如果所述目标行的编号与所述当前位点之间的差值大于预设阈值，则遍历所述数据存储结构中未处理的数据，过滤得到所述待处理数据；
对所述待处理数据进行处理。
5.根据权利要求4所述的方法，其中，所述方法还包括：
获取数据回放指令，根据所述数据回放指令重置所述当前位点，基于重置后的所述当前位点在所述数据存储结构中进行过滤得到待回放的历史数据。
6.根据权利要求1所述的方法，其中，所述方法还包括：
对所述待处理数据进行处理之后，基于当前任务对应的报告模型生成数据报告。
7.根据权利要求1所述的方法，其中，所述方法还包括：
对所述待处理数据进行处理之后，得到待输出消息，确定所述待输出消息的队列标识；
根据所述待输出消息的队列标识将所述待输出消息加入对应的消息队列中。
8.一种数据处理设备，包括：
获取模块，用于获取基于目标事件产生的目标数据；
建立模块，用于基于预先设置的数据存储结构为所述目标数据建立对应的目标行，所述数据存储结构包含至少一个行，每一个行包含多维度的数据；
存储模块，用于将所述目标数据存储在所述目标行中；
处理模块，用于基于所述数据存储结构获取待处理数据，并对所述待处理数据进行处理。
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据处理方法对应的操作。
10.一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7中任一所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111101742.XA CN113821513A (zh) | 2021-09-18 | 2021-09-18 | 数据处理方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111101742.XA CN113821513A (zh) | 2021-09-18 | 2021-09-18 | 数据处理方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113821513A true CN113821513A (zh) | 2021-12-21 |
Family
ID=78922645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111101742.XA Pending CN113821513A (zh) | 2021-09-18 | 2021-09-18 | 数据处理方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821513A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219527A1 (zh) * | 2016-06-24 | 2017-12-28 | 乐视控股（北京）有限公司 | 用于智能终端的数据统计分析方法及系统 |
| CN107682432A (zh) * | 2017-09-28 | 2018-02-09 | 北京京东尚科信息技术有限公司 | 基于Spark的数据处理系统和方法 |
| US20180189339A1 (en) * | 2016-12-30 | 2018-07-05 | Dropbox, Inc. | Event context enrichment |
| US20190118085A1 (en) * | 2016-09-21 | 2019-04-25 | Tencent Technology (Shenzhen) Company Limited | Data processing method and apparatus, and storage medium |
| CN110472102A (zh) * | 2019-08-22 | 2019-11-19 | 北京锐安科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
| CN111209094A (zh) * | 2018-11-21 | 2020-05-29 | 北京小桔科技有限公司 | 请求处理方法、装置、电子设备及计算机可读存储介质 |
| CN111488386A (zh) * | 2020-04-14 | 2020-08-04 | 北京易数科技有限公司 | 数据查询方法和装置 |
| CN111737023A (zh) * | 2020-05-14 | 2020-10-02 | 重庆长安汽车股份有限公司 | 一种车载事件处理方法、云服务器及计算机可读存储介质 |
| CN111913807A (zh) * | 2020-08-13 | 2020-11-10 | 支付宝(杭州)信息技术有限公司 | 一种基于多个存储区域的事件处理方法、系统及装置 |
-
2021
- 2021-09-18 CN CN202111101742.XA patent/CN113821513A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219527A1 (zh) * | 2016-06-24 | 2017-12-28 | 乐视控股（北京）有限公司 | 用于智能终端的数据统计分析方法及系统 |
| US20190118085A1 (en) * | 2016-09-21 | 2019-04-25 | Tencent Technology (Shenzhen) Company Limited | Data processing method and apparatus, and storage medium |
| US20180189339A1 (en) * | 2016-12-30 | 2018-07-05 | Dropbox, Inc. | Event context enrichment |
| CN107682432A (zh) * | 2017-09-28 | 2018-02-09 | 北京京东尚科信息技术有限公司 | 基于Spark的数据处理系统和方法 |
| CN111209094A (zh) * | 2018-11-21 | 2020-05-29 | 北京小桔科技有限公司 | 请求处理方法、装置、电子设备及计算机可读存储介质 |
| CN110472102A (zh) * | 2019-08-22 | 2019-11-19 | 北京锐安科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
| CN111488386A (zh) * | 2020-04-14 | 2020-08-04 | 北京易数科技有限公司 | 数据查询方法和装置 |
| CN111737023A (zh) * | 2020-05-14 | 2020-10-02 | 重庆长安汽车股份有限公司 | 一种车载事件处理方法、云服务器及计算机可读存储介质 |
| CN111913807A (zh) * | 2020-08-13 | 2020-11-10 | 支付宝(杭州)信息技术有限公司 | 一种基于多个存储区域的事件处理方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20150170070A1 (en) | Method, apparatus, and system for monitoring website | |
| CN110990233B (zh) | 一种利用甘特图展示soar的方法和系统 | |
| CN114253228B (zh) | 一种基于数字孪生的工业设备对象建模方法及装置 | |
| CN112035556A (zh) | 数据中心机柜管理方法、装置和电子设备 | |
| CN117291583B (zh) | 物联网数据管理方法及系统 | |
| CN107678856B (zh) | 一种处理业务实体中增量信息的方法及装置 | |
| CN113095769A (zh) | 一种服务库存管理方法、装置、设备及可读存储介质 | |
| CN112463549A (zh) | 云平台的审计方法、装置、设备及计算机可读存储介质 | |
| CN113821513A (zh) | 数据处理方法、设备及存储介质 | |
| CN111427959A (zh) | 一种数据存储方法及装置 | |
| CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
| CN114860806A (zh) | 区块链的数据查询方法、装置、计算机设备和存储介质 | |
| CN114925048A (zh) | 基于自然资源码的自然资源全生命周期管理方法及存储介质 | |
| CN112559645A (zh) | 一种海量运维数据的处理方法及装置 | |
| CN111640005A (zh) | 数据分析方法、装置、计算机设备及存储介质 | |
| CN108805778B (zh) | 电子装置、采集征信数据的方法及存储介质 | |
| CN112738212A (zh) | 一种机动车电子标识读写设备运维的方法与系统 | |
| CN112783920A (zh) | 基于数据编排的工业物联网数据实时计算方法和系统 | |
| CN111767322A (zh) | 一种管理海洋油田服务装备的方法及装置 | |
| CN111552847A (zh) | 一种变更对象数量的方法和装置 | |
| CN117453493B (zh) | 大规模多数据中心的gpu算力集群监控方法及系统 | |
| CN116433197B (zh) | 一种信息上报方法、装置、上报端及存储介质 | |
| CN118118329A (zh) | 链路异常定位方法、装置、设备及介质 | |
| CN106649841A (zh) | 基于gis的楼宇库系统建设的实现方法 | |
| CN118211415A (zh) | 工业数字化孪生平台配置方法、系统和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211221 |