CN111488407A - 数据处理方法、系统及装置 - Google Patents
数据处理方法、系统及装置 Download PDFInfo
- Publication number
- CN111488407A CN111488407A CN202010412221.5A CN202010412221A CN111488407A CN 111488407 A CN111488407 A CN 111488407A CN 202010412221 A CN202010412221 A CN 202010412221A CN 111488407 A CN111488407 A CN 111488407A
- Authority
- CN
- China
- Prior art keywords
- data
- user object
- storage domain
- user
- target storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例公开了一种数据处理方法、系统及装置。所述方法可以包括以下步骤:获取多份数据,其中,所述数据至少反映用户在某平台内的行为信息,多份数据与至少一个用户对象相关;对于任一用户对象,确定与该用户对象相关的所述数据,并存储至与该用户对象对应的目标存储域中,其中,所述用户对象与所述目标存储域唯一对应;基于所述目标存储域内的数据执行与所述用户对象相关联的至少一种处理操作。
Description
技术领域
本申请涉及数据处理领域,特别涉及一种平台内用户行为相关的数据的处理方法、系统及装置。
背景技术
近年来随着网络技术的发展,人们可以基于各种网络平台使用各种生活服务,例如,购物、娱乐、教育等。而基于人们在平台上的各种行为所产生的数据则成为一种重要资源。如何存储并使用这些数据则变得非常重要。
发明内容
本说明书实施例之一提供一种数据处理方法。所述方法包括:获取多份数据,其中,所述数据至少反映用户在某平台内的行为信息,多份数据与至少一个用户对象相关;对于任一用户对象,确定与该用户对象相关的所述数据,并存储至与该用户对象对应的目标存储域中,其中,所述用户对象与所述目标存储域唯一对应;基于所述目标存储域内的数据执行与所述用户对象相关联的至少一种处理操作。
本说明书实施例之一提供一种数据处理系统,所述系统包括:获取模块,用于获取多份数据,其中,所述数据至少反映用户在某平台内的行为信息,多份数据与至少一个用户对象相关;确定模块,对于任一用户对象,用于确定与该用户对象相关的所述数据,并存储至与该用户对象对应的目标存储域中,其中,所述用户对象与所述目标存储域唯一对应;执行模块,对于任一用户对象,用于基于所述目标存储域内的数据执行与所述用户对象相关联的至少一种处理操作。
本说明书实施例之一提供一种数据处理装置,包括处理器,所述处理器用于执行以上数据处理方法。
附图说明
本申请将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的数据处理系统的应用场景示意图;
图2是根据本说明书一些实施例所示的数据处理方法的示例性流程图;
图3是根据本说明书一些实施例所示的处理设备的示例性框图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
目前,网络平台可以为人们提供日常生活中的各种服务,例如,消费(例如,网络购物平台)、交易(例如、网络支付平台)、娱乐(例如,网络视频平台)、学习(例如,网络教育平台)、交流(例如,网络通信平台)等。同时,网络平台可以收集人们在其上产生的各种数据,比如行为数据,交易数据等。基于这些数据,例如行为数据,网络平台可以对人们的偏好进行预测,从而可以提供更加个性化的服务。例如,基于人们在网络购物平台上的有关于商品浏览的行为数据,可以进行特征提取后用于推荐模型的训练以及后续的商品推荐。另外,对这些数据(例如,交易数据)进行无错误存储,有益于保障平台用户的个人利益。例如,网络支付平台的个人用户进行消费支付或商家用户进行消费收取,确定这些消费数据的正确性,避免给用户造成损失。显而易见地是,保证数据的存储安全性,以及计算的正确性变得尤为重要。而一种在网络平台上产生的用户行为信息/数据的存储及计算的方法是将所有数据存储于同一存储域中(例如,网络支付平台的用户,包括个人或商家,收到一笔资金后,平台会将该资金存入平台中一个统一的账簿或资金池中,当该用户需要利用这笔资金进行结算,如转账到银行卡,时,平台会基于结算凭据从统一的账簿或资金池中提出相应的资金进行结算),或是根据行为类别分别存储(例如,用户在网络消费平台上浏览和/或消费生活用品的行为数据,与用户在网络消费平台上浏览和/或消费餐饮的行为数据,分别存储于两个不同的存储域中)。但是,所有数据存储在一起,所需要的空间的数据存储空间是非常巨大。且当需要对这些数据进行处理,如结算,时,处理速度会非常慢,且容易出错。一种解决方法是采取分批次处理(特别是与交易相关的行为信息/数据)。但若某一批次的数据计算错误,则会对其他数据产生影响。例如,利用行为信息/数据训练推荐模型时,若在提取某一用户的行为数据时误提取了其他用户的行为数据,则会影响模型的训练效果。又例如,当平台基于某用户的结算凭据从统一的账簿或资金池中提出相应的资金进行结算时,如果提取资金类型或金额出错,将会影响资金池内其他用户资金的结算。
因此,本说明书的实施例提供一种数据处理方法,能够有效地正确地对用户在平台上产生的行为信息/数据进行存储处理,提高数据的处理速度以及保障数据的正确性。
图1是根据本说明书一些实施例所示的数据处理系统的应用场景示意图。如图1所示,数据处理系统100可以包括处理设备110、网络120、终端130和存储设备140。
处理设备110可以实现于网络平台,其可以用于获取并处理用户在使用网络平台时所产生的行为信息/行为数据。例如,网络平台可以是购物平台,处理设备110可以获取用户在平台上的浏览历史和点击记录,并基于这些数据训练推荐模型以对用户进行个性化推荐。又例如,网络平台可以是支付平台,处理设备110可以获取用户在平台上的交易数据(例如,消费收付款、用户间转账等),并基于这些数据完成数据统计并与资金系统(比如,银行、虚拟对象系统(红包、优惠券等))交互(如收单结算)。
在一些实施例中,处理设备110可以获取多份数据。每份数据可以是反应用户在网络内的行为信息。用户可以是在平台上进行服务消费的一方比如个人,也可以是在平台上入驻以提供服务的一方比如商家。在一些实施例中,处理设备110可以将对应于同一个用户(本说明书中也可以称为用户对象)的数据传输至与该交用户对象唯一对应的一个目标存储域中进行存储。在一些实施例中,处理设备110可以对目标存储域中的数据执行与用户对象相关联的至少一种处理操作。例如,训练针对于该用户对象的个性化推荐模型。又例如,资金结算。在一些实施例中,处理设备110可以是网络的一部分。
在一些实施例中,处理设备110可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如:处理设备110可以是分布系统)。在一些实施例中,处理设备110可直接与终端130、存储设备140直接连接以访问存储于其中的信息和/或资料。在一些实施例中,处理设备110可在云平台上执行。例如,该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
在一些实施例中,处理设备110可包含处理器。该处理设备可包含一个或多个处理单元(例如,单芯处理器或多核多芯处理器)。仅仅作为范例,处理设备可包含中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。
网络120可促进数据和/或信息的交换。数据和/或信息可以包括终端130发送给处理设备110的一个或多个交易数据。在一些实施例中,数据处理系统100中的一个或多个组件(例如,处理设备110、终端130、以及存储设备140)可通过网络120发送数据和/或信息至数据处理系统100中的其他组件。在一些实施例中,网络120可是任意类型的有线或无线网络。例如,网络120有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通讯(NFC)网络、全球移动通讯系统(GSM)网络、码分多址(CDMA)网络、时分多址(TDMA)网络、通用分组无线服务(GPRS)网络、增强数据速率GSM演进(EDGE)网络、宽带码分多址接入(WCDMA)网络、高速下行分组接入(HSDPA)网络、长期演进(LTE)网络、用户数据报协议(UDP)网络、传输控制协议/互联网协议(TCP/IP)网络、短讯息服务(SMS)网络、无线应用协议(WAP)网络、超宽带(UWB)网络、移动通信(1G、2G、3G、4G、5G)网络、Wi-Fi、Li-Fi、窄带物联网(NB-IoT)、红外通信等中的一种或多种组合。在一些实施例中,网络120可包括一个或多个网络接入点。例如,网络120可包含有线或无线网络进出点,如基站和/或网际网络交换点120-1、120-2、…,通过这些进出点,应用场景100中的一个或多个组件可连接到网络120上以交换数据和/或信息。
终端130可以包括各类具有信息接收和/或发送功能的设备,可包括智能手机130-1、平板电脑130-2、笔记本电脑130-3、智能手表130-4等中的一种或任意组合。上述示例仅用于说明设备范围的广泛性而非对其范围的限制。终端130上可以安装有多种应用程序,例如,电脑程序、移动应用程序(手机APP)等。终端130的使用者可以使用安装于其上的应用程序以达到各种目的,例如,终端130上可以安装有各种网络平台的应用程序,通过运行这些应用程序,终端130的使用者可以请求各种服务,例如网络消费、在线教育、在线支付等。终端130在被使用过程中可以将与使用者的行为相关的数据,例如,应用程序点击时间、应用程序点击次数、服务请求类型、交易金额等,通过网络120传输至处理设备110。
存储设备140可以储存数据和/或指令。数据可以包括用户/商家的历史行为数据等。在一些实施例中,存储设备140可以存储从终端130处获得的上述数据。在一些实施例中,存储设备140可存储供处理设备110执行或使用的信息和/或指令,以执行本申请中描述的示例性方法。在一些实施例中,存储设备140可包括大容量存储器、可移动存储器、挥发性读写存储器(例如,随机存取存储器RAM)、只读存储器(ROM)等或以上任意组合。在一些实施例中,存储设备140可在云平台上实现。例如,该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等或以上任意组合。
在一些实施例中,存储设备140可与网络120连接以与数据处理系统100中的一个或多个组件(例如,处理设备110、终端130等)通讯。数据处理系统100中的一个或多个组件可通过网络120访问存储于存储设备140中的资料或指令。在一些实施例中,存储设备140可直接与数据处理系统100中的一个或多个组件(例如,处理设备110、终端130、门店终端140等)连接或通讯。在一些实施例中,存储设备140可以是处理设备110的一部分。
图2是根据本说明书一些实施例所示的交易数据处理方法的示例性流程图。在一些实施例中,流程200可以由处理设备110执行。例如,流程200可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中,所述程序或指令在被执行时,可以实现流程200。在一些实施例中,流程200可以由位于处理设备上的数据处理系统300执行,所述处理设备可以是网络平台的一部分。如图2所示,流程200可以包括以下操作。
步骤202,获取多份数据。步骤202可以由获取模块310执行。
在一些实施例中,所述多份数据可以是包括反应用户在某平台内的行为信息的数据。所述平台可以是基于网络技术实现的,用于提供各种服务的网络系统。例如,用于提供商品购买的网络购物平台、用于提供线上/线下便捷交易的网络支付平台、用于提供餐饮消费、家政服务的网络生活平台、用于提供在线娱乐的网络视频平台、用于提供在线学习网络教育平台、用于提供沟通交流的网络通信平台等。所述平台可以是以上举例中的一种,也可以是两种或以上的平台的结合体。例如,所述平台可以是网络购物平台与网络支付平台的结合体。平台的使用者可以在其上一次性的完成商品选择以及费用支付的操作,而无需转换平台。所述行为信息可以是平台的使用者(本说明书中可以成为用户)在平台上的所产生的行为相关的信息/数据。根据平台的不同,用户在平台上的行为信息也是不同的。作为示例,假定平台为网络购物平台,则用户的行为可以是商品浏览、商品信息查询、商品收藏、商品购买、使用评价等,而行为信息则可以与以上行为相关,包括行为时间比如浏览时间、购买时间等、商品的具体信息比如类型、价格、产地、评价等级等。若平台为网络支付平台,则用户的行为可以是消费、交易等,而行为信息可以是与以上行为相关,包括行为时间比如消费时间或交易时间、消费金额、交易金额等。用户的一个行为,将产生一份数据。获取模块310可以获取在预设时间段内,基于用户的多个行为产生的多份数据。
可以理解的是,当用户使用在平台进行各种行为时,都会有一个行为接受对象。例如,当用户在选购商品时,被选择查看的商品则可以被称为行为接受对象。同理,当用户在使用平台进行线上/线下快捷支付时,参与支付的另一方,比如接收用户付款的商家,或与用户进行转账交易的另一用户,可以被称为行为接受对象。同时,用户本身是自身行为的发起方,可以被认为是行为执行对象。在本说明书中,行为接受对象以及行为执行对象,可以被统称为用户对象。在一些实施例中,所述多份数据可以与至少一个用户对象相关。例如,多份数据是由一个用户在一天时间内在网络购物平台上的商品浏览行为所产生的数据。则该该多份数据可以与该用户这一个用户对象,以及被浏览的多个商品(多个用户对象)相关。又例如,多份数据是由多个用户在一天时间内使用网络支付平台在同一个商家进行消费行为所产生的数据。则该多份数据可以与多个用户(多个用户对象),以及商家这一个用户对象相关。
在一些实施例中,当用户在使用所述平台时,即可以认为是用户开始在平台上产生了行为信息。平台可以记录这些数据并即时传输至数据处理系统300(例如,由获取模块310接收),或进行存储。随后获取模块310可以与平台进行通信以获取所述数据。当处理设备300是平台的一部分时,获取模块310可以直接获取所述数据。
步骤204,对于任一用户对象,确定与该用户对象相关的所述数据,并存储至与该用户对象对应的目标存储域中。步骤204可以由处理模块320执行。
可以知道,一个行为的发生,会包括行为发起方,以及行为接受方。如以上的描述中的统称为用户对象的行为执行对象以及行为接受对象。在产生所述反映用户在平台内的行为信息的数据时,可以记录行为的参与方。确定模块320可以基于这些信息,确定与同一个用户对象相关的数据。在一些实施例中,当确定与同一用户相关的数据后,确定模块320可以将这些数据存储至与该用户对象对应的目标存储域中。其中,所述用户对象与所述目标存储域唯一对应。即,一个目标存储域只存储与一个用户对象相关的数据。在一些实施例中,所述目标存储域可以是设置在一个专用的存储装置内部,例如,云。所述目标存储域也可以设置在平台内部,由平台自带的存储装置进行部署。
所述目标存储域可以是单一的数据库,或存储空间中的一个独立存储部分或单元。例如,所述多份数据可以全部存储于处理设备110自带的存储装置或外接的存储设备140中。所述目标存储域可以是该存储装置的多个存储单元,用于分别存储与多个用户对象相关的数据。所述目标存储域还可以表现为数据表格的形式。假定用户对象为一商户,与其相关的数据可以是多个消费者在商户中的消费数据,例如消费时间、消费金额等。与该商户对应的目标存储域可以是存储了消费时间与消费金额的对应关系的数据表。
在一些实施例中,该用户对象可以包括至少一个行为子体。出于说明的目的,假定用户在网络购物平台上进行商品浏览。某一入驻网络购物平台的商家,旗下可以具有多个商品品牌。用户可以在网络购物平台上查看到这些商品品牌的多个商品。则,对于用户这一商品浏览行为,用户对象可以是商家。而多个商品品牌则可以认为是行为子体。又例如,某商家入驻了网络支付平台,用户(消费者)可以使用网络支付平台在商家旗下的门店进行线下支付消费。若该商家旗下的每个门店都开通了线下支付功能,则每一个门店可以被认为是一个行为子体。显然地,所述用户对象包括的行为子体,也可以是用户对象本身。
基于用户对象与行为子体的关系,所述目标存储域可以包括一个主存储域,以及至少一个子存储域。所述主存储域中可以存储与用户对象相关的所有数据。所述至少一个子存储域用于分别存储与所述用户对象下各个行为子体相关的数据。作为示例,假定某一网络支付平台的入驻商家旗下有三家门店,每一家门店都开通有线下支付功能。当有消费者在这三家门店里消费时使用网络支付平台进行消费支付时,会产生与用户的支付行为相关的数据。这些数据里可以包含消费时间、消费金额、消费门店等。则与用户对象(该商家)相关的所有数据将会存储至目标存储域中的主存储域中。而与每个行为子体(每个门店)分别相关的数据(例如,发生在门店内的消费相关的数据)将被分别存储到一个子存储区域。
在一些实施例中,在对用户对象的相关数据进行存储前,确定模块320可以首先确定与该用户对象相关的数据是否基于所述某平台的首次行为产生。所述某平台的首次行为可以理解为该用户对象在所述某平台上进行的首次行为。例如,某一商家首次入驻网络支付平台,开通基于网络支付平台的线下收款功能。当该商家第一次达成与某个消费者的支付款收取行为时(例如,该消费者是该商家的第一位使用网络支付平台进行消费支付的消费者),则可以认为是该商家基于网络支付平台的首次行为。当确定了与该用户对象相关的数据是基于所述某平台的首次行为产生的,确定模块320还可以生成一个主存储域,以及至少一个子存储于,作为与该用户对象对应的目标存储域。目标存储域的生成,可以是在设置有其他用户对象对应的目标存储域的存储装置中划分出一个新的存储单元作为新生成的目标存储域,也可以是新建一个数据表,用以作为新生成的目标存储域。
在一些实施例中,针对任一个目标存储域,确定模块320还可以设置核算数据域。所述核算数据域可以具有对目标存储域中的数据进行核对及校验的功能。作为示例,所述核算数据域中可以存储有与用户对象相关的数据变更后的结果数据。可以知道的是,某一平台所产生的数据量是非常巨大的。因此,会不断的有新的数据被存储进目标存储域中。单一目标存储域在保证数据正确性上并不是非常完备。例如,对于基于网络支付平台上用户的行为产生的数据,包含了非常敏感且重要的数据,即与资金相关的数据。某一目标对象若存在收、付款两种行为,则目标存储域中关于资金的进出计算出现错误将会直接影响用户的直接利益。因此,为了保证数据的正确性,确定模块320可以设置核算数据域,用于存储与用户对象相关的数据变更后的结果数据。所述数据变更后的结果数据,可以是指在目标存储域中新存入数据后,某些信息的改变结果。又例如,假定用户对象为网络支付平台的商家,其对应的目标存储域中存储有该商家的交易数据(例如,以数据表的形式记录交易时间及交易金额)。当目标存储域中新存储一条该商家的交易数据(资金收入记录或资金支出记录)时,核算存储域中可以根据新的交易数据更新交易数据的统计值。比如计算资金余额。该变化的统计值即为数据变更后的结果数据。
在一些实施例中,对于任一用户对象,在设置有核算存储域后,确定模块320可以基于该用户对象的目标存储域中的数据与核算数据域中的结果数据,相互校验两者中数据的正确性。相互校验可以通过比较两个数据域中存储数据的进行。例如,对于结果数据为新增存储的形式得到的(例如,对于用户对象在网络购物平台上的商品浏览及购买行为),确定模块320可以比较数据的条数,以及每条数据的具体内容。若无差异,则说明两个数据域中的数据是正确的。又例如,对于结果数据为累积计算的形式得到的(例如,对于用户对象在网络支付平台上的交易行为),确定模块320可以首先对目标存储域中的数据(例如,交易记录)进行统计(如资金余额计算)后与核算存储域中的结果数据进行比较。若相同,则说明两个数据域中的数据是正确的。若不同,则说明两个数据域中,有一方,或两方的数据错误,需要进行排查。
步骤206,基于所述目标存储区域内的数据执行与所述用户对象相关联的至少一种处理操作。步骤206可由执行模块330执行。
在一些实施例中,与所述用户对象相关联的至少一种处理操作,可以是基于用户在平台上的行为而对目标存储区域内的数据进行的操作。作为示例,假定目标存储区域内的数据为用户对象比如消费者在网络购物平台上的行为所产生的数据,包括商品浏览、收藏、购买、评价等。则执行模块330可以利用该用户对象对应的目标存储区域内的数据训练一个商品推荐模型。比如提取数据中消费者的行为特征训练一个机器学习模型用于向该消费者进行个性化商品推荐,例如,向消费者推荐其偏好的商品。在另一示例中,假定目标存储区域内的数据为用户对象比如商户在网络支付平台上的行为(例如,交易)所产生的数据,执行模块330可以将数据进行统计例如交易额进行统计后,传输至其他系统,例如,资金结算系统。
应当注意的是,上述有关流程200的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程200进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。例如,在各步骤之间添加其他步骤,比如,预处理步骤和存储步骤等。
图3是根据本说明书一些实施例所示的数据处理系统的示例性模块图。如图3所示,该数据处理系统800可以包括获取模块310、确定模块320、以及执行模块330。
获取模块310可以用于获取多份数据。所述多份数据可以是包括反应用户在某平台内的行为信息的数据。所述平台可以是基于网络技术实现的,用于提供各种服务的网络系统。所述多份数据与至少一个用户对象相关。当用户在使用所述平台时,即可以认为是用户开始在平台上产生了行为信息。平台可以记录这些数据并即时传输至数据处理系统300(例如,由获取模块310接收),或进行存储。随后获取模块310可以与平台进行通信以获取所述数据。当处理设备300是平台的一部分时,获取模块310可以直接获取所述数据。
对于任一用户对象,确定模块320和执行模块330可以用于执行以下操作。
确定模块320可以用于确定与该用户对象相关的所述数据,并存储至与该用户对象对应的目标存储域中。所述用户对象与所述目标存储域唯一对应。所述目标存储域可以是设置在一个专用的存储装置内部,例如,云。所述目标存储域也可以设置在平台内部,由平台自带的存储装置进行部署。所述目标存储域可以是单一的数据库,或存储空间中的一个独立存储部分或单元。所述目标存储域可以包括一个主存储域,以及至少一个子存储域。所述主存储域中可以存储与用户对象相关的所有数据。所述至少一个子存储域用于分别存储与所述用户对象下各个行为子体相关的数据。在对用户对象的相关数据进行存储前,确定模块320可以首先确定与该用户对象相关的数据是否基于所述某平台的首次行为产生。所述某平台的首次行为可以理解为该用户对象在所述某平台上进行的首次行为。当确定了与该用户对象相关的数据是基于所述某平台的首次行为产生的,确定模块320还可以生成一个主存储域,以及至少一个子存储于,作为与该用户对象对应的目标存储域。在一些实施例中,确定模块320还可以设置核算数据域。所述核算数据域可以具有对目标存储域中的数据进行核对及校验的功能。所述核算数据域可以用于存储与用户对象相关的数据变更后的结果数据。确定模块320可以基于该用户对象的目标存储域中的数据与核算数据域中的结果数据,相互校验两者中数据的正确性。
执行模块330可以用于基于所述目标存储区域内的数据执行与所述用户对象相关联的至少一种处理操作。所述用户对象相关联的至少一种处理操作,可以是基于用户在平台上的行为而对目标存储区域内的数据进行的操作。例如,若目标存储区域内的数据为用户对象比如消费者在网络购物平台上的行为所产生的数据,执行模块330可以利用该用户对象对应的目标存储区域内的数据训练一个商品推荐模型。或者,若目标存储区域内的数据为用户对象比如商户在网络支付平台上的行为(例如,交易)所产生的数据,执行模块330可以将数据进行统计例如交易额进行统计后,传输至其他系统。
关于图3中模块的其他描述可以参考本说明书流程图部分。
应当理解,图3所示的系统及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要注意的是,以上对于候选项显示、确定系统及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。例如,图3中披露的获取多个模块可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。又例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
本说明书实施例可能带来的有益效果包括但不限于:针对体量巨大的数据,根据数据产生来源(如以用户对象为单位)分别进行存储及计算,有益于提高运算速度降低运算错误。同时设置核算机制以保证数据的准确性。需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (11)
1.一种数据处理方法,其中,所述方法包括:
获取多份数据,其中,所述数据至少反映用户在某平台内的行为信息,多份数据与至少一个用户对象相关;
对于任一用户对象,
确定与该用户对象相关的所述数据,并存储至与该用户对象对应的目标存储域中,其中,所述用户对象与所述目标存储域唯一对应;
基于所述目标存储域内的数据执行与所述用户对象相关联的至少一种处理操作。
2.根据权利要求1所述的方法,其中,所述用户对象包括至少一个行为子体;所述目标存储域包括主存储域,以及至少一个子存储域;所述主存储域用于存储与用户对象相关的所有数据,所述至少一个子存储域用于分别存储与所述用户对象下各个行为子体相关的数据。
3.根据权利要求2所述的方法,其中,还包括,对于任一用户对象:
确定与该用户对象相关的数据是否基于所述某平台的首次行为产生;
若是,则生成所述主存储域,以及至少一个子存储域,作为与所述用户对象对应的目标存储域。
4.根据权利要求3所述的方法,其中,还包括针对任一目标存储域设置核算数据域,所述核算数据域用于存储与用户对象相关的数据变更后的结果数据。
5.根据权利要求4所述的方法,其中,还包括,对于任一用户对象:
基于该用户对象的目标存储域中的数据与核算数据域中的结果数据,相互校验两者中数据的正确性。
6.一种数据处理系统,其中,所述系统包括:
获取模块,用于获取多份数据,其中,所述数据至少反映用户在某平台内的行为信息,多份数据与至少一个用户对象相关;
确定模块,对于任一用户对象,用于确定与该用户对象相关的所述数据,并存储至与该用户对象对应的目标存储域中,其中,所述用户对象与所述目标存储域唯一对应;
执行模块,对于任一用户对象,用于基于所述目标存储域内的数据执行与所述用户对象相关联的至少一种处理操作。
7.根据权利要求6所述的系统,其中,所述用户对象包括至少一个行为子体;所述目标存储域包括主存储域,以及至少一个子存储域;所述主存储域用于存储与用户对象相关的所有数据,所述至少一个子存储域用于分别存储与所述用户对象下各个行为子体相关的数据。
8.根据权利要求7所述的系统,其中,所述确定模块还用于,对于任一用户对象:
确定与该用户对象相关的数据是否基于所述某平台的首次行为产生;
若是,则生成所述主存储域,以及至少一个子存储域,作为与所述用户对象对应的目标存储域。
9.根据权利要求8所述的系统,其中,还包括针对任一目标存储域设置核算数据域,所述核算数据域用于存储与用户对象相关的数据变更后的结果数据。
10.根据权利要求9所述的系统,其中,还包括,对于任一用户对象,所述确定模块进一步用于:
基于该用户对象的目标存储域中的数据与核算数据域中的结果数据,相互校验两者中数据的正确性。
11.一种数据处理装置,包括处理器,所述处理器用于执行如权利要求1-5中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010412221.5A CN111488407B (zh) | 2020-05-15 | 2020-05-15 | 数据处理方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010412221.5A CN111488407B (zh) | 2020-05-15 | 2020-05-15 | 数据处理方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111488407A true CN111488407A (zh) | 2020-08-04 |
CN111488407B CN111488407B (zh) | 2023-05-23 |
Family
ID=71796753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010412221.5A Active CN111488407B (zh) | 2020-05-15 | 2020-05-15 | 数据处理方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111488407B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113609362A (zh) * | 2021-07-14 | 2021-11-05 | 上海德衡数据科技有限公司 | 基于5g的数据管理方法及系统 |
CN114697367A (zh) * | 2022-02-21 | 2022-07-01 | 武汉船用电力推进装置研究所(中国船舶重工集团公司第七一二研究所) | 基于多网融合远程通讯的船舶推进系统运维系统及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3100046B1 (ja) * | 1999-05-14 | 2000-10-16 | 東京海上火災保険株式会社 | 給与ファンド予測システム及びその方法、経営計画支援システム及びその方法、並びにコンピュータ上で動作する給与ファンド予測プログラム又は経営計画支援プログラムを記録した記録媒体 |
JP2010061332A (ja) * | 2008-09-03 | 2010-03-18 | Nifty Corp | ブランド分析方法及び装置 |
CN104040572A (zh) * | 2011-09-21 | 2014-09-10 | 金吉特控股有限责任公司 | 支付网络中的优惠管理和结算 |
CN105488688A (zh) * | 2015-05-15 | 2016-04-13 | 广州交易猫信息技术有限公司 | 商品信息推送方法、装置及系统 |
JP2018020026A (ja) * | 2016-08-05 | 2018-02-08 | 株式会社フューチャースコープ | 集計装置及び集計方法 |
CN107767104A (zh) * | 2017-11-10 | 2018-03-06 | 小草数语(北京)科技有限公司 | 商品库存管理信息系统、方法和电子商务平台 |
JP2018190168A (ja) * | 2017-05-02 | 2018-11-29 | 株式会社アール・アンド・エー・シー | 照合プログラムおよびデータ照合方法 |
CN108921631A (zh) * | 2018-04-18 | 2018-11-30 | 长沙九行天下电子商务有限公司 | 电子商务平台系统实现方法及终端 |
CN109795529A (zh) * | 2018-12-20 | 2019-05-24 | 北京子歌人工智能科技有限公司 | 一种商品自结算的人工智能无线数据采集购物车 |
CN110298740A (zh) * | 2019-06-24 | 2019-10-01 | 深圳乐信软件技术有限公司 | 数据对账方法、装置、设备以及存储介质 |
CN110533399A (zh) * | 2018-05-25 | 2019-12-03 | 东芝泰格有限公司 | 服务器装置及控制方法、可读存储介质、电子设备 |
-
2020
- 2020-05-15 CN CN202010412221.5A patent/CN111488407B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3100046B1 (ja) * | 1999-05-14 | 2000-10-16 | 東京海上火災保険株式会社 | 給与ファンド予測システム及びその方法、経営計画支援システム及びその方法、並びにコンピュータ上で動作する給与ファンド予測プログラム又は経営計画支援プログラムを記録した記録媒体 |
JP2010061332A (ja) * | 2008-09-03 | 2010-03-18 | Nifty Corp | ブランド分析方法及び装置 |
CN104040572A (zh) * | 2011-09-21 | 2014-09-10 | 金吉特控股有限责任公司 | 支付网络中的优惠管理和结算 |
CN105488688A (zh) * | 2015-05-15 | 2016-04-13 | 广州交易猫信息技术有限公司 | 商品信息推送方法、装置及系统 |
JP2018020026A (ja) * | 2016-08-05 | 2018-02-08 | 株式会社フューチャースコープ | 集計装置及び集計方法 |
JP2018190168A (ja) * | 2017-05-02 | 2018-11-29 | 株式会社アール・アンド・エー・シー | 照合プログラムおよびデータ照合方法 |
CN107767104A (zh) * | 2017-11-10 | 2018-03-06 | 小草数语(北京)科技有限公司 | 商品库存管理信息系统、方法和电子商务平台 |
CN108921631A (zh) * | 2018-04-18 | 2018-11-30 | 长沙九行天下电子商务有限公司 | 电子商务平台系统实现方法及终端 |
CN110533399A (zh) * | 2018-05-25 | 2019-12-03 | 东芝泰格有限公司 | 服务器装置及控制方法、可读存储介质、电子设备 |
CN109795529A (zh) * | 2018-12-20 | 2019-05-24 | 北京子歌人工智能科技有限公司 | 一种商品自结算的人工智能无线数据采集购物车 |
CN110298740A (zh) * | 2019-06-24 | 2019-10-01 | 深圳乐信软件技术有限公司 | 数据对账方法、装置、设备以及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113609362A (zh) * | 2021-07-14 | 2021-11-05 | 上海德衡数据科技有限公司 | 基于5g的数据管理方法及系统 |
CN113609362B (zh) * | 2021-07-14 | 2024-04-12 | 上海德衡数据科技有限公司 | 基于5g的数据管理方法及系统 |
CN114697367A (zh) * | 2022-02-21 | 2022-07-01 | 武汉船用电力推进装置研究所(中国船舶重工集团公司第七一二研究所) | 基于多网融合远程通讯的船舶推进系统运维系统及方法 |
CN114697367B (zh) * | 2022-02-21 | 2024-03-22 | 武汉船用电力推进装置研究所(中国船舶重工集团公司第七一二研究所) | 基于多网融合远程通讯的船舶推进系统运维系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111488407B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108846520B (zh) | 贷款逾期预测方法、装置以及计算机可读存储介质 | |
CN109242261B (zh) | 基于大数据评估保全风险的方法及终端设备 | |
US20200202330A1 (en) | Systems and methods for multi-use account system | |
US11475301B2 (en) | Method, system, and computer program product for determining relationships of entities associated with interactions | |
CN109685654B (zh) | 针对在线交易的用户账户控件 | |
US20220391914A1 (en) | Optimized dunning using machine-learned model | |
US20210217045A1 (en) | Payment method and apparatus based on member feature code | |
US11909749B2 (en) | Fraud detection based on analysis of frequency-domain data | |
CN110827138A (zh) | 一种推送信息确定方法及装置 | |
TWI768512B (zh) | 信用度計算系統、信用度計算方法及程式產品 | |
CN111488407A (zh) | 数据处理方法、系统及装置 | |
US10607227B2 (en) | System, method, and computer program product for detecting potential money laundering activities | |
CN114387074A (zh) | 使用深度学习和生存模型进行欺诈预防的方法、系统和计算机程序产品 | |
CN113095820A (zh) | 用于确定非索引记录对应性的系统、方法和计算机程序产品 | |
US10740822B1 (en) | Using data analysis to connect merchants | |
CN117422553A (zh) | 区块链网络的交易处理方法、装置、设备、介质和产品 | |
CN110335133A (zh) | 交易数据的处理方法、系统、电子设备和存储介质 | |
JP6933780B1 (ja) | 不正検知システム、不正検知方法、及びプログラム | |
US20220114626A1 (en) | Authentic review platform | |
US20200294072A1 (en) | System, Method, and Computer Program Product for Determining a Control Account that Corresponds to an Exposed Account | |
CN112236793B (zh) | 用于进行涉及货到付款的支付交易的系统、方法和计算机程序产品 | |
US11615417B2 (en) | System, method, and computer program product for real-time automatic authorization of a payment transaction | |
CN111047341A (zh) | 信息处理方法、装置、服务器及终端设备 | |
CN110717823B (zh) | 一种信贷逾期风险识别方法和系统 | |
CN114971619A (zh) | 资源转换方法、装置、系统、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |