CN114840570A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114840570A CN114840570A CN202210236127.8A CN202210236127A CN114840570A CN 114840570 A CN114840570 A CN 114840570A CN 202210236127 A CN202210236127 A CN 202210236127A CN 114840570 A CN114840570 A CN 114840570A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- date
- behavior
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括响应于行为查询指令获取在目标时间段内的用户行为数据，然后对用户行为数据进行预处理得到与用户有效行为对应的第一日期数据，再对第一日期数据进行映射处理以使映射处理后的第一日期数据满足预设规律，并将用户行为数据与满足预设规律的第一日期数据进行关联处理，以得到关联处理后的目标数据，最后在当前浏览界面上显示目标数据。采用本发明实施例，能够将原来基于用户行为数据的查询替换为与用户有效行为关联的目标数据的查询，从而剔除了用户无效行为数据，保障了用户有效行为数据的连续性和真实性，有效提高了用户行为的数据统计和分析的精确度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
用户行为是用户在产品上产生的行为，实际表现为相关的用户行为数据。在通常情况下，通过对不同数据进行分析，能够为产品迭代和发展提供方向。而在用户行为分析的过程中，数据的连续性对于用户行为的分析起到至关重要的作用。
但是在现有的用户行为分析的过程中，存在与真实的用户行为无关联的用户行为数据，这些数据会在一定程度上干扰用户行为数据的连续性和真实性，影响用户行为的数据统计和分析。因此，在现有用户行为的数据处理过程中亟需一种可提高用户行为分析精确度的方式。
发明内容
本发明实施例的目的是提供一种数据处理方法、装置、电子设备及存储介质，以解决现有的用户行为分析过程的精确度低的技术问题。
在第一方面，为实现上述目的，本发明实施例提供了一种数据处理方法，包括：
响应于行为查询指令，获取在目标时间段内的用户行为数据，所述用户行为数据包括用户数据、行为数据以及日期数据；
对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据；
对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律；
将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据；
在当前浏览界面上显示所述目标数据。
进一步的，所述对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据，包括：
确定与用户无效行为对应的第二日期数据；
从所述用户行为数据的日期数据中删除所述第二日期数据，得到与用户有效行为对应的第一日期数据。
进一步的，所述对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律，包括：
将所述第一日期数据升序排列，并从首位数据开始依次将所述第一日期数据中的数据映射在所述目标时间段内，以使所述第一日期数据在所述目标时间段内按照预设时间单位以连续值的方式升序排列。
进一步的，所述将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据，包括：
对所述用户行为数据对应的总数据表，与所述第一日期数据对应的有效数据表进行关联处理，得到关联数据表；
从所述关联数据表中过滤掉与所述第二日期数据相关的所有数据，得到目标数据对应的目标数据表。
进一步的，所述目标数据表包括kudu表，在所述得到关联处理后的目标数据的步骤之后，所述数据处理方法还包括：
将所述kudu表进行缓存。
进一步的，所述数据处理方法还包括：
响应于日期转换指令，将所述目标数据中的日期数据转换为自然日对应的日期数据。
进一步的，所述关联处理包括leftjoin操作。
在第二方面，为了解决相同的技术问题，本发明实施例提供了一种数据处理装置，包括：
获取模块，用于响应于行为查询指令，获取在目标时间段内的用户行为数据，所述用户行为数据包括用户数据、行为数据以及日期数据；
处理模块，用于对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据；
映射模块，用于对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律；
关联模块，用于将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据；
显示模块，用于在当前浏览界面上显示所述目标数据。
在第三方面，为了解决相同的技术问题，本发明实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现上述任一项所述的数据处理方法中的步骤。
在第四方面，为了解决相同的技术问题，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的数据处理方法中的步骤。
本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质，该方法通过对与用户有效行为对应的第一日期数据进行映射处理，并将用户行为数据与映射处理后的第一日期数据进行关联处理，得到关联处理后的目标数据，从而能够将原来基于用户行为数据的查询替换为与用户有效行为关联的目标数据的查询。并且通过剔除用户无效行为数据的显示，还能够保障用户有效行为数据的连续性和真实性，有效提高了用户行为的数据统计和分析的精确度。
附图说明
图1是本发明实施例提供的数据处理方法的一种流程示意图；
图2是未应用本发明实施例提供的数据处理方法的一种应用场景示意图；
图3是应用了本发明实施例提供的数据处理方法的一种应用场景示意图；
图4是未应用本发明实施例提供的数据处理方法的另一种应用场景示意图；
图5是应用了本发明实施例提供的数据处理方法的另一种应用场景示意图；
图6是本发明实施例提供的数据处理装置的一种结构示意图；
图7是本发明实施例提供的电子设备的一种结构示意图；
图8是本发明实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解的是，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
在相关技术中，通过对用户在目标产品中的用户行为数据进行分析，能够为目标产品迭代和发展提供方向，从而一步步的完成目标产品的优化。其中，在对用户行为数据进行分析的过程中，用户行为数据的真实性和连续性起到了至关重要的作用。因此，若在用户行为分析的过程中，存在与真实的用户行为无关联的用户行为数据，这些数据会在一定程度上干扰用户行为数据的连续性和真实性，从而影响用户行为的数据统计和分析，最终影响目标产品的迭代和发展，降低用户的体验。
为了解决在相关技术中存在的技术问题，本发明实施例提供了一种数据处理方法，请参见图1，图1是本发明实施例提供的数据处理方法的一种流程示意图，如图1所示，本发明实施例提供的数据处理方法包括步骤101至步骤105。
步骤101，响应于行为查询指令，获取在目标时间段内的用户行为数据，所述用户行为数据包括用户数据、行为数据以及日期数据。
在本实施例中，在一种情况下，行为查询指令可以为用户输入的行为查询文本指令，也可以为用户在产品的浏览界面上进行的行为查询操作生成的行为查询指令。在其他情况下，行为查询指令还可以为用户输入的语音指令，通过语音指令控制产品生成对应的行为查询指令。具体的，行为查询指令可以对产品中用户的行为数据进行查询，如注册、浏览、支付、登出、注销等行为数据的查询。
目标时间段为用户想要查询的时间段，例如目标时间段为2022年2月1日至2022年2月28日。则产品将会对2022年2月份中的所有用户行为数据进行查询。具体的，用户行为数据包括有用户数据如用户ID，行为数据如注册、注销，日期数据如2022年2月5日。
步骤102，对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据。
其中，用户有效行为主要为产品正常使用时间段内的用户行为。例如，当产品为款证券交易类产品时，由于交易行为是不会在节假日期间发生，因此，将在非节假日期间所进行的用户行为作为用户有效性为，将在节假日期间所进行的用户行为作为用户无效行为。故而与用户有效行为对应的第一日期数据，也即在非节假日期间所进行的用户行为的日期数据。
例如，在款证券交易类产品的整个2022年2月份中，每天都有用户进行不同的用户行为如登录、浏览等行为。然而，该年的2月1日至2月6日为春节，2月12日至2月13日、2月19日至2月20日、2月26日至2月27日为周末，也即这些时间段均为节假日，故而在这些节假日当中的用户行为均为用户无效行为，在2月份的非节假日中的用户行为为用户有效行为。
因此，所述对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据的步骤，具体包括：确定与用户无效行为对应的第二日期数据；从所述用户行为数据的日期数据中删除所述第二日期数据，得到与用户有效行为对应的第一日期数据。
例如，用户行为数据为2022年整个2月份的数据，则在2022年整个2月份的日期数据中删除2月1日至2月6日、2月12日至2月13日、2月19日至2月20日，以及2月26日至2月27日的与用户无效行为对应的第二日期数据，如此就能够得到与用户有效行为对应的第一日期数据。
步骤103，对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律。
其中，预设规律可以为预先定制的日期排序规律。例如，预设规律可以为日期数据的升序或降序等的有顺序的排列规律。
在本实施例中，所述对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律的步骤，具体包括：将所述第一日期数据升序排列，并从首位数据开始依次将所述第一日期数据中的数据映射在所述目标时间段内，以使所述第一日期数据在所述目标时间段内按照预设时间单位以连续值的方式升序排列。
通过将非连续的第一日期数据映射在一个连续的日期范围内，从而保证了用户有效数据的连续性，提高了用户行为数据分析过程的精确度。
步骤104，将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据。
在本实施例中，关联处理包括leftjoin操作。由于用户行为数据是存储在数据库中的数据表中的。因此，所述将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据的步骤，具体包括：对所述用户行为数据对应的总数据表，与所述第一日期数据对应的有效数据表进行关联处理，得到关联数据表；从所述关联数据表中过滤掉与所述第二日期数据相关的所有数据，得到目标数据对应的目标数据表。
在一种实施方式中，本实施例中的用户行为数据为原始数据，该原始数据所在的总数据表的数据格式如下表1所示，表1示出了2022年整个2月份每天的用户行为数据。其中，表1只示出了2022年2月份的一部分数据，其它未示出的日期数据并不代表未记载于表1中。
表1
与所述第一日期数据对应的有效数据表的数据格式如下表2所示。该表2示出了所述第一日期数据经过映射处理后的数据格式，即有效数据表的数据格式。其中，表2只示出了经过映射处理后的第一日期数据的一部分数据，其它未示出的日期数据并不代表未记载于表2中。
| 原始时间 | 有效时间(day) | 有效时间(week) | …… |
| 2022-2-7 | 2022-2-1 | 1 | …… |
| …… | …… | …… | …… |
| 2022-2-11 | 2022-2-5 | 1 | …… |
| 2022-2-14 | 2022-2-6 | 1 | …… |
| …… | …… | …… | …… |
| 2022-2-18 | 2022-2-10 | 2 | …… |
| 2022-2-21 | 2022-2-11 | 2 | …… |
| …… | …… | …… | …… |
| 2022-2-25 | 2022-2-15 | 3 | …… |
| 2022-2-28 | 2022-2-16 | 3 | …… |
表2
其中，表2包括有原始时间、有效时间(day)以及有效时间(week)。原始时间为原始数据中与用户有效数据对应的第一日期数据的原始时间(非节假日日期)；有效时间(day)为第一日期数据经过映射处理后满足降序排列的时间数据，具体的，该列数据主要以天为单位，以连续值将每个第一日期数据进行连续表示；有效时间(week)为第一日期数据经过映射处理后满足降序排列的时间数据，具体的，该列数据主要以周(7天)为单位。此外，表2中还可以包括其他的时间数据，例如有效时间(month)、有效时间(quarter)、有效时间(year)等，只要是表示映射处理后的第一日期数据的时间数据即可，在此不一一例举。
在得到原始数据的总数据表表1和有效数据表表2后，即可对标1和表2进行关联处理，以得到关联处理后的关联数据表。具体的，本实施例采用leftjoin操作对表1和表2进行关联处理。在本实施例中，关联数据表如下表3所示。其中，表3只示出了经过关联处理后的一部分数据，其它未示出的数据并不代表未记载于表3中。
| 原始时间 | 用户ID | 行为事件 | 有效时间(day) | …… |
| 2022-2-1 | 111 | 登录 | Null | …… |
| 2022-2-2 | 111 | 浏览 | Null | …… |
| …… | …… | …… | Null | …… |
| 2022-2-6 | 222 | 登出 | Null | …… |
| 2022-2-7 | 111 | 登出 | 2022-2-1 | …… |
| …… | …… | …… | …… | …… |
| 2022-2-11 | 222 | 浏览 | 2022-2-5 | …… |
| 2022-2-12 | 111 | 登录 | Null | …… |
| 2022-2-13 | 111 | 浏览 | Null | …… |
| …… | …… | …… | …… | …… |
| 2022-2-27 | 111 | 浏览 | Null | …… |
| 2022-2-28 | 222 | 登录 | 2022-2-16 | …… |
表3
其中，在表3的有效时间(day)所在的列数据中，由于交易行为是不会在节假日期间发生，因此原始时间中的节假日时间对应的有效时间为Null，表示无效时间。
在得到关联数据表表3后，从所述关联数据表表3中过过滤掉与所述第二日期数据相关的所有数据，即从表3中删除掉无效数据，也即从表3中删除Null部分的数据，从而能够得到目标数据对应的目标数据表。具体的，目标数据表如下表4所示。
| 原始时间 | 用户ID | 行为事件 | 有效时间(day) | …… |
| 2022-2-7 | 111 | 登出 | 2022-2-1 | …… |
| 2022-2-8 | …… | …… | 2022-2-2 | …… |
| 2022-2-9 | 222 | 浏览 | 2022-2-3 | …… |
| 2022-2-10 | 111 | 登录 | 2022-2-4 | …… |
| 2022-2-11 | 111 | 浏览 | 2022-2-5 | …… |
| 2022-2-14 | …… | …… | 2022-2-6 | …… |
| 2022-2-15 | 222 | 登录 | 2022-2-7 | …… |
| 2022-2-16 | …… | …… | 2022-2-8 | …… |
| 2022-2-17 | …… | …… | 2022-2-9 | …… |
| 2022-2-18 | …… | …… | 2022-2-10 | …… |
| 2022-2-21 | …… | …… | 2022-2-11 | …… |
| 2022-2-22 | …… | …… | 2022-2-12 | …… |
| 2022-2-23 | …… | …… | 2022-2-13 | …… |
| 2022-2-24 | …… | …… | 2022-2-14 | …… |
| 2022-2-25 | …… | …… | 2022-2-15 | …… |
| 2022-2-28 | 222 | 登录 | 2022-2-16 | …… |
表4
在一些实施例中，所述目标数据表包括kudu表，在所述得到关联处理后的目标数据的步骤之后，所述数据处理方法还包括：将所述kudu表进行缓存。
其中，kudu能够同时提供较快的批处理速度和较强的读写能力。因此，采用kudu表，能够为产品提供更快的查询速度，从而实现了更快的数据分析。
步骤105，在当前浏览界面上显示所述目标数据。
在得到目标数据表后，将有效数据(day)为2022-2-1至2022-2-16对应的数据在当前浏览界面上进行显示。通过将连续的有效数据显示在产品的浏览界面上，能够将原来基于用户行为数据的查询替换为与用户有效行为关联的目标数据的查询，以此剔除用户无效行为数据的显示，从而能够保障用户有效行为数据的连续性和真实性，有效提高了用户行为的数据统计和分析的精确度。
作为可选的实施例，本实施例提供的数据处理方法，还包括：响应于日期转换指令，将所述目标数据中的日期数据转换为自然日对应的日期数据。
当需要查询连续的有效数据对应的实际自然日时间时，只需要输入日期转换指令，或者在当前产品的浏览界面上触发日期转换控件，即可使得产品自动将所述目标数据中的日期数据转换为自然日对应的日期数据。具体的，可以根据上述表4对应的映射关系，将表4中各行数据的有效时间转换为对应的原始时间。
在一种实施方式中，请参见图2和图3，图2是未应用本发明实施例提供的数据处理方法的一种应用场景示意图，图3是应用了本发明实施例提供的数据处理方法的一种应用场景示意图。如图2和图3所示，本实施例提供的数据处理方法主要是用于分析证券交易类APP中每天活跃用户数据指标。
具体的，如图2所示，在未应用本发明实施例提供的数据处理方法时，也即对证券交易类APP的过去30天(2022-1-29至2022-2-27)的活跃用户进行查询时，该证券交易类APP最终将会显示如图2所示的显示结果，该结果是基于所有日期的用户行为数据。根据图2可知，用户行为数据存在明显的波动现象。其中，1-29至2-6为春节假期，2-11至2-12、2-19至2-20为周末，都是非交易日期，这些数据的存在干扰了正常的数据统计，且对数据的正确性造成一定影响，导致降低了对该APP的活跃用户数据指标的分析精确度，影响目标产品的迭代和发展。
而请参见图3，在对该证券交易类APP的活跃用户数据指标的分析过程中，应用了本发明实施例提供的数据处理方法后，也即通过对与用户有效行为对应的第一日期数据进行映射处理，并将用户行为数据与映射处理后的第一日期数据进行关联处理，能够得到关联处理后的目标数据，从而能够将原来基于所有日期的用户行为数据的查询替换为与用户有效行为关联的目标数据的查询，即非节假日的用户行为数据，以此剔除用户无效行为数据的显示，保障了用户有效行为数据的连续性和真实性，有效提高了对用户行为的数据统计和分析的精确度。
在另一种实施方式中，请参见图4和图5，图4是未应用本发明实施例提供的数据处理方法的另一种应用场景示意图，图5是应用了本发明实施例提供的数据处理方法的另一种应用场景示意图，如图4和图5所示，本实施例提供的数据处理方法主要是用于分析证券交易类APP的产品核心流程的转化情况。其中，产品核心流程的转化情况主要是通过APP激活、APP浏览页面以及APP崩溃三个步骤进行分析的。
具体的，如图4所示，在未应用本发明实施例提供的数据处理方法时，也即对证券交易类APP的过去14天(2022-2-14至2022-2-27)的产品核心流程的转化情况查询时，该证券交易类APP最终将会显示如图4所示的显示结果，该结果是基于所有日期的用户行为数据。根据图4可知，最终APP显示的总转化率只有1.46％。然而，2-11至2-12、2-19至2-20以及2-26至2-27为周末，都是非交易日期，如果将这些日期包含在内之后，统计出来的漏斗转化情况会偏低，因为在这些实际日期当中，用户使用App操作交易证券的概率很低，从而导致整个转化漏斗的计算出现偏差，导致降低了对该APP的产品核心流程的转化情况的分析精确度，影响目标产品的迭代和发展。
而请参见图5，在对该证券交易类APP的产品核心流程的转化情况的分析过程中，应用了本发明实施例提供的数据处理方法后，能够将所有的非交易日数据进行屏蔽，从而使得APP显示的总转化率得到提示，从原来的1.46％提升到了1.9％。
综上所述，本发明实施例提供的数据处理方法，包括响应于行为查询指令获取在目标时间段内的用户行为数据，然后对用户行为数据进行预处理得到与用户有效行为对应的第一日期数据，再对第一日期数据进行映射处理以使映射处理后的第一日期数据满足预设规律，并将用户行为数据与满足预设规律的第一日期数据进行关联处理，以得到关联处理后的目标数据，最后在当前浏览界面上显示目标数据。采用本发明实施例，能够将原来基于用户行为数据的查询替换为与用户有效行为关联的目标数据的查询，从而剔除了用户无效行为数据，保障了用户有效行为数据的连续性和真实性，有效提高了用户行为的数据统计和分析的精确度。
根据上述实施例所描述的方法，本实施例将从数据处理装置的角度进一步进行描述，该数据处理装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑等。
请参见图6，图6是本发明实施例提供的数据处理装置的一种结构示意图，如图6所示，本发明实施例提供的数据处理装置600，包括：获取模块601、处理模块602、映射模块603、关联模块604以及显示模块605。
其中，获取模块601用于响应于行为查询指令，获取在目标时间段内的用户行为数据，所述用户行为数据包括用户数据、行为数据以及日期数据。
处理模块602用于对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据。
在本实施例中，处理模块602具体用于确定与用户无效行为对应的第二日期数据；从所述用户行为数据的日期数据中删除所述第二日期数据，得到与用户有效行为对应的第一日期数据。
映射模块603用于对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律。
在本实施例中，映射模块603具体用于将所述第一日期数据升序排列，并从首位数据开始依次将所述第一日期数据中的数据映射在所述目标时间段内，以使所述第一日期数据在所述目标时间段内按照预设时间单位以连续值的方式升序排列。
关联模块604用于将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据。
在本实施例中，所述关联处理包括leftjoin操作。具体的，关联模块604具体用于对所述用户行为数据对应的总数据表，与所述第一日期数据对应的有效数据表进行关联处理，得到关联数据表；从所述关联数据表中过滤掉与所述第二日期数据相关的所有数据，得到目标数据对应的目标数据表。
作为可选的实施例，所述目标数据表包括kudu表，本发明实施例提供的数据处理装置还包括缓存模块，该缓存模块主要是用于将所述kudu表进行缓存。
显示模块605用于在当前浏览界面上显示所述目标数据。
在一些实施例中，本发明实施例提供的数据处理装置还包括转换模块，该转换模块主要用于响应于日期转换指令，将所述目标数据中的日期数据转换为自然日对应的日期数据。
具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。
另外，请参见图7，图7是本发明实施例提供的电子设备的一种结构示意图，该电子设备可以是移动终端如智能手机、平板电脑等设备。如图7所示，电子设备700包括处理器701、存储器702。其中，处理器701与存储器702电性连接。
处理器701是电子设备700的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器702内的应用程序，以及调用存储在存储器702内的数据，执行电子设备700的各种功能和处理数据，从而对电子设备700进行整体监控。
在本实施例中，电子设备700中的处理器701会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能：
根据增强区域确定指令，确定待处理图像对应的目标掩膜图；
将待处理图像和目标掩膜图输入至训练后的图像增强模型中，得到图像增强模型输出的目标增强图像。
该电子设备700可以实现本发明实施例所提供的数据处理方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
请参见图8，图8是本发明实施例提供的电子设备的另一种结构示意图，如图8所示，图8示出了本发明实施例提供的电子设备的具体结构框图，该电子设备可以用于实施上述实施例中提供的数据处理方法。该电子设备800可以为移动终端如智能手机或笔记本电脑等设备。
RF电路810用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路810可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路810可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication,GSM)、增强型移动通信技术(Enhanced DataGSM Environment,EDGE)，宽带码分多址技术(Wideband Code Division MultipleAccess,WCDMA)，码分多址技术(Code Division Access,CDMA)、时分多址技术(TimeDivision Multiple Access,TDMA)，无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标准IEEE 802.11a，IEEE 802.11b,IEEE802.11g和/或IEEE802.11n)、网络电话(Voice over Internet Protocol,VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
存储器820可用于存储软件程序以及模块，如上述实施例中数据处理方法对应的程序指令/模块，处理器880通过运行存储在存储器820内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现如下功能：
根据增强区域确定指令，确定待处理图像对应的目标掩膜图；
将待处理图像和目标掩膜图输入至训练后的图像增强模型中，得到图像增强模型输出的目标增强图像。
存储器820可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器820可进一步包括相对于处理器880远程设置的存储器，这些远程存储器可以通过网络连接至电子设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元830可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元830可包括触敏表面831以及其他输入设备832。触敏表面831，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面831上或在触敏表面831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面831。除了触敏表面831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及电子设备800的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元840可包括显示面板841，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板841。进一步的，触敏表面831可覆盖显示面板841，当触敏表面831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图中，触敏表面831与显示面板841是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面831与显示面板841集成而实现输入和输出功能。
电子设备800还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路860、扬声器861，传声器862可提供用户与电子设备800之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路810以发送给比如另一终端，或者将音频数据输出至存储器820以便进一步处理。音频电路860还可能包括耳塞插孔，以提供外设耳机与电子设备800的通信。
电子设备800通过传输模块870(例如Wi-Fi模块)可以帮助用户接收请求、发送信息等，它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块870，但是可以理解的是，其并不属于电子设备800的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是电子设备800的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行电子设备800的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器880可包括一个或多个处理核心；在一些实施例中，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解地，上述调制解调处理器也可以不集成到处理器880中。
电子设备800还包括给各个部件供电的电源890(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，电子设备800还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：
根据增强区域确定指令，确定待处理图像对应的目标掩膜图；
将待处理图像和目标掩膜图输入至训练后的图像增强模型中，得到图像增强模型输出的目标增强图像。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的数据处理方法中任一实施例的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的数据处理方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种数据处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。并且，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
响应于行为查询指令，获取在目标时间段内的用户行为数据，所述用户行为数据包括用户数据、行为数据以及日期数据；
对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据；
对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律；
将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据；
在当前浏览界面上显示所述目标数据。
2.如权利要求1所述的数据处理方法，其特征在于，所述对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据，包括：
确定与用户无效行为对应的第二日期数据；
从所述用户行为数据的日期数据中删除所述第二日期数据，得到与用户有效行为对应的第一日期数据。
3.如权利要求1所述的数据处理方法，其特征在于，所述对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律，包括：
将所述第一日期数据升序排列，并从首位数据开始依次将所述第一日期数据中的数据映射在所述目标时间段内，以使所述第一日期数据在所述目标时间段内按照预设时间单位以连续值的方式升序排列。
4.如权利要求1所述的数据处理方法，其特征在于，所述将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据，包括：
对所述用户行为数据对应的总数据表，与所述第一日期数据对应的有效数据表进行关联处理，得到关联数据表；
从所述关联数据表中过滤掉与所述第二日期数据相关的所有数据，得到目标数据对应的目标数据表。
5.如权利要求4所述的数据处理方法，其特征在于，所述目标数据表包括kudu表，在所述得到关联处理后的目标数据的步骤之后，所述数据处理方法还包括：
将所述kudu表进行缓存。
6.如权利要求1所述的数据处理方法，其特征在于，还包括：
响应于日期转换指令，将所述目标数据中的日期数据转换为自然日对应的日期数据。
7.如权利要求1所述的数据处理方法，其特征在于，所述关联处理包括leftjoin操作。
8.一种数据处理装置，其特征在于，包括：
获取模块，用于响应于行为查询指令，获取在目标时间段内的用户行为数据，所述用户行为数据包括用户数据、行为数据以及日期数据；
处理模块，用于对所述用户行为数据进行预处理，得到与用户有效行为对应的第一日期数据；
映射模块，用于对所述第一日期数据进行映射处理，以使映射处理后的第一日期数据满足预设规律；
关联模块，用于将所述用户行为数据与满足预设规律的第一日期数据进行关联处理，得到关联处理后的目标数据；
显示模块，用于在当前浏览界面上显示所述目标数据。
9.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的数据处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7任一项所述的数据处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236127.8A CN114840570A (zh) | 2022-03-11 | 2022-03-11 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236127.8A CN114840570A (zh) | 2022-03-11 | 2022-03-11 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114840570A true CN114840570A (zh) | 2022-08-02 |
Family
ID=82562398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210236127.8A Pending CN114840570A (zh) | 2022-03-11 | 2022-03-11 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114840570A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116955738A (zh) * | 2023-09-19 | 2023-10-27 | 北京华鑫杰瑞计算机系统工程有限公司 | 基于网络足迹进行分析的用户行为预测系统 |
-
2022
- 2022-03-11 CN CN202210236127.8A patent/CN114840570A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116955738A (zh) * | 2023-09-19 | 2023-10-27 | 北京华鑫杰瑞计算机系统工程有限公司 | 基于网络足迹进行分析的用户行为预测系统 |
| CN116955738B (zh) * | 2023-09-19 | 2023-12-08 | 北京华鑫杰瑞计算机系统工程有限公司 | 基于网络足迹进行分析的用户行为预测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105867751B (zh) | 操作信息处理方法和装置 | |
| CN106127481B (zh) | 一种指纹支付方法及终端 | |
| CN106021606B (zh) | 一种指纹模板更新方法及终端设备 | |
| US20170109756A1 (en) | User Unsubscription Prediction Method and Apparatus | |
| CN107230133B (zh) | 一种数据处理方法、设备和计算机存储介质 | |
| CN107944414B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111368290A (zh) | 一种数据异常检测方法、装置及终端设备 | |
| US20150128095A1 (en) | Method, device and computer system for performing operations on objects in an object list | |
| CN110147742B (zh) | 一种关键点定位方法、装置及终端 | |
| CN111027854A (zh) | 一种基于企业大数据的综合画像指数生成方法及相关设备 | |
| CN111753520A (zh) | 一种风险预测方法、装置、电子设备及存储介质 | |
| CN106294087B (zh) | 一种对业务执行操作的操作频率的统计方法及装置 | |
| CN111090877A (zh) | 数据生成、获取方法及对应的装置、存储介质 | |
| CN114840570A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN109275112A (zh) | 短信处理方法、服务器及计算机可读存储介质 | |
| CN107632985B (zh) | 网页预加载方法及装置 | |
| CN116307394A (zh) | 产品用户体验评分方法、装置、介质及设备 | |
| CN112256748A (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
| WO2023173666A1 (zh) | 人脸支付方法、装置、电子设备、存储介质、程序和产品 | |
| CN113366523B (zh) | 资源推送方法及相关产品 | |
| CN111062198A (zh) | 一种基于大数据的企业类别分析方法及相关设备 | |
| CN109168154B (zh) | 一种用户行为信息收集方法、装置及移动终端 | |
| CN111325014A (zh) | 一种汇报内容生成方法及电子设备 | |
| CN110809234A (zh) | 一种人物类别识别方法和终端设备 | |
| CN111191998A (zh) | 事项处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |