CN111915382A - 数据处理方法、系统及装置 - Google Patents
数据处理方法、系统及装置 Download PDFInfo
- Publication number
- CN111915382A CN111915382A CN201910379382.6A CN201910379382A CN111915382A CN 111915382 A CN111915382 A CN 111915382A CN 201910379382 A CN201910379382 A CN 201910379382A CN 111915382 A CN111915382 A CN 111915382A
- Authority
- CN
- China
- Prior art keywords
- data
- modules
- module
- operation content
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims description 72
- 238000004364 calculation method Methods 0.000 claims description 34
- 239000000463 material Substances 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000012217 deletion Methods 0.000 claims description 12
- 230000037430 deletion Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims 2
- 238000012216 screening Methods 0.000 description 58
- 230000006870 function Effects 0.000 description 26
- 230000015654 memory Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、系统及装置。其中,该方法包括:根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容;根据第一操作内容确定多个模块以及多个模块之间的关系,其中,多个模块之间的关系至少由完成业务请求的过程中数据在多个模块之间的输入输出关系确定,每个模块中分别封装有相应的子程序,多个子程序配合以完成第一操作内容;基于多个模块和多个模块之间的关系执行第一操作内容。本发明解决了相关技术中面对不同场景下的不同业务请求,难以建立方便拓展且方便维护的处理流程的技术问题。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据处理方法、系统及装置。
背景技术
随着技术的不断发展,互联网应用的逐步推广,越来越多的人工智能技术通过终端设备应用到实际使用中,并面向消费者提供个性化的功能服务,以期产生更好的服 务体验,同时,这也对服务供应商、终端设备商等互联网企业在线部署能力也提出了 更高要求。
具体地,人工智能技术核心是通过智能算法实现的,算法及其功能部署涉及数据收集、分类、统计、计算及结果返回各处理流程。人工智能技术被应用到服务场景, 在不同服务场景下针对各类用户提供个性化方案(素材)优选服务时,需要在线根据 服务场景构建算法和数据处理流程,面对多样化数据与算法,构建的处理流程需能够 应对如下开发环境:
新场景下使用算法提供服务。该情况下构建处理流程,细分为如下情况:一种算法处理一种格式数据:相对简单的服务场景下,仅使用一种算法处理一种格式数据, 流程也相对简单;一种算法处理多种格式数据:根据算法的功能,同一算法会被应用 在不用场景下处理数据,该场景下,由于数据来源不同,算法需处理的数据的格式也 会不同;多种算法仅处理一种格式数据:在某一场景下,需使用不同算法实现功能服 务,该场景下,由于需要提供不同算法服务,多种算法处理同一格式的数据。多种算 法处理多种格式数据:在复杂场景下,需使用多种算法针对多种数据实现功能服务, 该场景下,由于需要提供多样的算法与数据服务,多种算法处理多种格式数据;对已 有的数据与算法服务进行改进:在提供服务的过程中,需要将更高性能的算法更新至 已有服务或场景下,而产生的数据可能会根据其他需求发生变化。该场景下,需要对 处理流程进行更改,已适应变化的场景。
然而,在不同服务场景下对各类用户提供个性化方案(素材)优选服务时,数据 的差异、应用算法的差异较大,相关技术中,构建在线个性化方案(素材)优选处理 流程时使用仅针对单个算法或数据构建单独流程的方式构建功能处理流程,导致处理 流程可复用程度低、处理流程较复杂维护性差、更换算法或场景时需重新构建功能处 理流程等问题的出现,耗费大量人力,增加开发工作量,如何能快速构建不同场景下 算法和数据处理流程,同时能很好的拓展性、可维护性且构建过程易理解显得尤为重 要。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、系统及装置,以至少解决相关技术中面对不同场景下的不同业务请求,难以建立方便拓展且方便维护的处理流程的技术问题。
根据本发明实施例的一个方面,提供了一种处理方法,包括:根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容;根据第一操作内容确定多个 模块以及多个模块之间的关系,其中,多个模块之间的关系至少由完成业务请求的过 程中数据在多个模块之间的输入输出关系确定,每个模块中分别封装有相应的子程序, 多个子程序配合以完成第一操作内容;基于多个模块和多个模块之间的关系执行第一 操作内容。
根据本发明实施例的一个方面,提供了另一种处理方法,包括:在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第三操作内容;基于第三操作内 容调整多个目标模块,其中,多个目标模块中分别封装有相应的子程序,多个子程序 配合以完成变化前的业务请求,其中,调整多个目标模块至少包括以下之一:替换模 块、增加模块、删除模块;至少基于数据在调整后的多个模块之间的输入输出关系, 确定调整后的多个模块之间的关系;基于调整后的多个模块和调整后的多个模块之间 的关系执行第三操作内容。
根据本发明实施例的另一方面,还提供了一种数据处理系统,包括:数据接入模块,用于将接收到的源数据转化为统一的格式,其中,所述源数据包括备选素材数据 和用户选用数据,所述数据接入模块至少包括存储组件、拆分组件、合并组件;数据 计算模块,用于基于转化为统一的格式的源数据计算出优选数据,其中,所述优选数 据为待通过业务系统推荐给用户的数据,所述数据计算模块至少包括一个算法组件; 数据处理模块,用于通过采集到的用户访问所述优选数据时产生的访问数据确定所述 优选数据被用户采纳的情况。
根据本发明实施例的另一方面,还提供了一种数据处理装置,包括:第一确定单元,用于根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容; 第二确定单元,用于根据第一操作内容确定多个模块以及多个模块之间的关系,其中, 多个模块之间的关系至少由完成业务请求的过程中数据在多个模块之间的输入输出关 系确定,每个模块中分别封装有相应的子程序,多个子程序配合以完成第一操作内容; 第一执行单元,用于基于多个模块和多个模块之间的关系执行第一操作内容。
根据本发明实施例的另一方面,还提供了另一种数据处理装置,包括:第九确定单元,用于在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第三 操作内容;第二调整单元,用于基于第三操作内容调整多个目标模块,其中,多个目 标模块中分别封装有相应的子程序,多个子程序配合以完成变化前的业务请求,其中, 调整多个目标模块至少包括以下之一:替换模块、增加模块、删除模块;第十确定单 元,用于至少基于数据在调整后的多个模块之间的输入输出关系,确定调整后的多个 模块之间的关系;第二执行单元,用于基于调整后的多个模块和调整后的多个模块之 间的关系执行第三操作内容。
在本发明实施例中,采用将操作内容封装为各个程序模块的方式,通过确定完成目标场景下的业务请求所需执行的操作内容,确定多个模块以及模块之间的关系,并 基于多个模块以及模块之间的关系完成业务请求,达到了根据目标场景的业务请求构 建灵活、可适用性高的处理流程的目的,从而实现了提高完成特定业务请求的处理流 程的拓展性和维护性的技术效果,进而解决了相关技术中面对不同场景下的不同业务 请求,难以建立方便拓展且方便维护的处理流程的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图 中:
图1是根据本发明实施例的一种数据处理方法的计算机终端的硬件结构框图;
图2是根据本发明实施例的一种数据处理方法的流程图;
图3是根据本发明实施例的另一种数据处理方法的流程图;
图4是根据本发明实施例的一种数据处理系统的示意图;
图5是根据本发明实施例的另一种数据处理系统的示意图;
图6是根据本发明实施例的一种数据处理装置的示意图;
图7是根据本申请实施例的一种可选的数据处理装置的示意图一;
图8是根据本申请实施例的一种可选的数据处理装置的示意图二;
图9是根据本发明实施例的一种可选的数据处理装置的示意图三;
图10是根据本申请实施例的一种可选的数据处理装置的示意图四;
图11是根据本申请实施例的一种可选的数据处理装置的示意图五;
图12是根据本申请实施例的一种可选的数据处理装置的示意图六;
图13是根据本申请实施例的另一种数据处理装置的示意图;以及
图14是根据本发明实施例的可选的计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例 仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领 域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于 本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这 样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在 这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的 任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方 法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚 地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且, 虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行 所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备) 的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个 (图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编 程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。本领域普通技术人员 可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如, 计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同 的配置。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的 软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的 数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一 个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存 储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通 过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局 域网、移动通信网及其组合。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请提供了如图2所示的数据处理方法。图2是根据本发 明实施例一的数据处理方法的流程图。
步骤21,根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容。
需要说明的是,目标场景为业务请求所在的场景,例如,在电商领域,目标场景 可以为商品交易平台,具体地,可以为商品交易的网站,商品交易的客户端,业务请 求为请求交易的请求,具体的,可以为采购某个商品的请求,筛选意向商品的请求, 在业务请求为采购某个商品的请求时,第一操作内容可以为采购该商品时在商品交易 平台下需要执行的步骤,在业务请求为筛选意向商品的请求时,第一操作内容可以为 筛选该商品时在商品交易平台下需要执行的步骤。
步骤S22,根据第一操作内容确定多个模块以及多个模块之间的关系,其中,多 个模块之间的关系至少由完成业务请求的过程中数据在多个模块之间的输入输出关系 确定,每个模块中分别封装有相应的子程序,多个子程序配合以完成第一操作内容。
需要说明的是,第一操作内容为完成业务请求时在目标场景下需要执行的步骤,需要执行的步骤可以由多个类型不同的子步骤构成,例如,在业务请求为筛选意向商 品的请求时,筛选该商品时在商品交易平台下需要执行的步骤可以包括以下子步骤, 处理用户输入的筛选条件的子步骤,根据筛选条件匹配相应的商品信息的子步骤,将 匹配到的商品按照预设规则展示在商品交易平台的子步骤,分别将执行各个子步骤所 需的程序代码封装为模块,得到处理筛选条件的模块、匹配商品信息的模块和展示商 品的模块,并按照处理数据、匹配数据、展示数据的顺序确定三个模块之间的通信连 接关系。
步骤S23,基于多个模块和多个模块之间的关系执行第一操作内容。
例如,在业务请求为筛选意向商品的请求时,用户将商品筛选条件输入到处理筛选条件的模块,该模块将筛选条件进行拆分或组合,将拆分或组合后的数据输入匹配 商品信息的模块,该模块输入匹配到的商品信息,并传输至展示数据的模块,将匹配 到的商品信息直观地展示至商品交易平台的界面,以供用户选择与查看商品。
通过本实施例,将完成业务请求的操作内容模块化,进行模块的确定和模块配置的设定,使系统可以快速根据需求构建服务功能处理流程,涉及模块可更换,配置可 变化,提高了处理流程的可拓展性。
根据本申请上述实施例,该方法还包括:
在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第二操作内容。
需要说明的是,业务请求发生变化,可以为目标场景不变,业务请求的具体内容发生变化,例如,目标场景为商品交易平台,原始的业务请求为购买某个商品,变化 后的业务请求为筛选满足预设条件的商品,第二操作内容为,筛选满足预设条件的商 品时在电商平台所需要执行的程序步骤;再例如,还可以为目标场景发生变化,例如, 原始的业务请求为,在电商交易平台筛选满足预设条件的商品的请求,而目标业务请 求变化为在视频播放软件筛选满足预设条件的视频的请求,第二操作内容为,筛选满 足预设条件的视频时在视频播放软件所需要执行的程序步骤。
基于第二操作内容调整多个模块,并重新确定调整后的多个模块之间的关系,其中,调整多个模块至少包括以下之一:替换模块、增加模块、删除模块。
需要说明的是,在业务请求发生变化时,可以先根据改变后的操作内容,在基础模块上进行模块的调整,例如,原始的业务请求为,在电商交易平台筛选满足预设条 件的商品的请求,而目标业务请求变化为在视频播放软件筛选满足预设条件的视频的 请求,原始的模块包括在处理筛选条件的模块、匹配商品信息的模块和展示商品的模 块,在业务请求发生变化后,处理筛选条件的模块保持不变,仅改变配置信息,将匹 配商品信息的模块替换为匹配视频信息的模块,对展示商品的模块更改配置,使得其 可以展示视频信息,并按照处理数据、匹配数据、展示数据的顺序确定三个模块之间 的通信连接关系。
基于调整后的多个模块和调整后的多个模块之间的关系执行第二操作内容。
具体地,用户将视频筛选条件输入到处理筛选条件的模块,该模块将筛选条件进行拆分或组合,将拆分或组合后的数据输入匹配视频信息的模块,该模块输入匹配到 的视频信息,并传输至展示数据的模块,将匹配到的视频信息直观地展示至视频播放 软件的界面,以供用户选择与查看视频。
通过本实施例,本发明在原业务请求的标准化功能模块的基础上,根据业务需求的变化改变模块,并改变模块之间的关系,使得处理流程可以满足多场景多算法下构 建系统的可复用性和扩展性需求,并有较强的可维护性。
根据本申请上述实施例,在目标场景为素材推荐场景,业务请求为评价素材推荐系统所推荐的素材被采纳的情况时,该方法包括:
基于第一子操作内容确定数据接入模块,其中,第一子操作内容为:将源数据转化为统一的格式,其中,源数据包括备选素材数据和用户选用数据,数据接入模块至 少包括存储组件、拆分组件、合并组件,存储组件中封装有用于存储数据的程序,拆 分组件内封装有用于拆分数据的程序,合并组件中封装有用于合并数据的程序。
需要说明的是,为了使得数据的处理更为便捷,构建数据接入模块,对输入的数据进行格式的处理,也即,对不同格式、来源的数据进行统计分类,形成统一格式的 数据表,作为数据计算功能模块的输入。数据接入模块可以包含数据拆分、拼接、搜 索等组件,通过单个或多个模块的组合,实现多种数据接入、整合的方式,用于自动 解析业务日志,构建算法所需要的数据表,建立统一的数据输入规范,有效隔离了系 统外部数据源的变化给系统带来的影响,降低了运维成本。
此外,由于数据格式转换流程中的各个操作步骤可以根据使用过程中,数据源的特点和需求进行删减或增加,各个组件也可以随之进行删减或增加,面对相似数据源, 可以做到复用流程,仅需更改模块配置参数或尽可能少的更换组件即可完成模块功能; 面对差异较大的数据源,也无需重构功能模块,仅需根据数据特点对模块进行配置或 更换组件。同时产生的数据表为标准化格式,为下一步处理提供了标准化输入,在满 足不同输入差异处理的同时实现了输入标准化。
通过本实施例,提供了标准化的数据接入,使不同服务环境下的数据均可接入系统,避免了服务环境带来的数据差异。
基于第二子操作内容确定数据计算模块,其中,第二子操作内容为:基于转化为统一的格式的源数据计算出优选数据,其中,优选数据为待通过业务系统推荐给用户 的数据,数据计算模块至少包括一个算法组件,算法组件内封装有用于计算优选数据 的程序。
需要说明的是,数据计算模块的功能是根据输入的将标准化的数据,将数据利用算法进行计算,并返回结果。功能模块内所使用的算法由算法组件构成,可根据数据 的不同,通过更换算法组件和模块配置即可完成算法切换或升级,以满足不同场景下 数据处理的需求。
通过本实施例,针对不同的计算需求,快速构建数据计算功能模块,同时,针对 算法更新或替换的维护需求,该模块可通过更改配置的方式,直接替换算法组件,从 而降低更换组件带来的系统影响,提高效率。
基于第三子操作内容确定数据处理模块,其中,第三子操作内容为:通过采集用户访问优选数据时产生的访问数据,并确定优选数据被用户采纳的情况。
需要说明的是,评价素材推荐系统所推荐的素材被采纳的情况时,主要是通过服务器采集客户端用户使用应用服务时基于提供的素材数据进行的操作,比如浏览内容、 点击信息等,以及依照用户选择产生的候选数据,将采集到的数据利用算法进行计算, 获得最接近用户体验的推荐数据,并将推荐数据通过客户端展示给用户,并在展示的 过程中,记录用户对推荐结果的反馈。
根据本申请上述实施例,基于第三子操作内容确定数据处理模块包括:
确定回流组件,其中,回流组件中封装有回流程序,回流程序用于将用户访问优选数据时的多个访问日志按照预设配置回流至离线数据表,多个访问日志通过设置在 业务系统的埋点获取。
需要说明的是,回流组件的功能是搜集在线推荐信息在客户端的使用反馈日志。其可以根据配置信息,将访问日志按照配置回流至对应的离线数据表。
具体地,统计在线服务调用数据时,相关技术中是通过客户端的服务器采集来源于业务方日志,统计数据会收到业务方操作的影响,导致数据失真。本实施例在业务 方提供的调用服务中增加信息埋点,由于埋点设计不受业务方影响,在不同的服务场 景下,依旧可以得到标准化的统计数据信息,通过搜集用户方返回的埋点信息对服务 的调用数据进行统计,在离线数据中采用统一的处理方式进行处理,从而避免统计数 据受到影响,提高了数据的真实性和准确性,避免了采用不同系统处理优选数据时需 要进行的二次开发工作,降低了开发和维护成本。
根据本申请上述实施例,基于第三子操作内容确定数据处理模块还包括:
确定过滤组件,其中,过滤组件内封装有过滤程序,过滤程序用于对离线数据表中的数据进行过滤,以获取目标优选数据对应的用户访问数据。
需要说明的是,回流组件回流大量的用户访问日志,包括不同的优选数据对应的用户访问数据,例如,根据用户在电商平台浏览衣物的数据推荐出多款衣物,包括衬 衫、风衣、长裤等,回流用户对推荐的多款衣物的查看点击日志后,现需要分析用户 对推荐的衬衫的查看情况,过滤组件对回流到的数据进行过滤,得到用户对推荐的衬 衫的访问数据。
确定解析组件,其中,解析组件中封装有解析程序,解析程序用于对目标优选数据对应的用户访问数据进行解析,以获取目标优选数据的统计信息,其中,统计信息 为用户对目标优选数据执行目标操作的次数的统计信息。
具体地,对访问数据进行解析,得到统计信息,统计信息可以包括用户对优选数据的点击次数,用户对优选数据对应的服务的收藏次数等,从而便于从多方面分析用 户对目标优选数据的反馈情况。
根据本申请上述实施例,该方法还包括:基于第四子操作内容确定第一评价模块,其中,第四子操作内容为:基于统计信息确定目标优选数据对应的评价报表,其中, 评价报表中包括多项预设评价指标对应的指标数据,多项预设评价指标对应的指标数 据用于从多个预设角度量化目标优选数据的被采纳情况。
例如,在电商领域,评价报表中的多项预设评价指标包括对推荐商品的点击指标、收藏指标、购买指标等,第一评价模块统计用户对推荐商品的点击次数、收藏次数、 购买次数等,从而以评价报表的形式在门户网站或指定平台多角度展示推荐商品的被 采纳情况。
根据本申请上述实施例,该方法还包括:基于第五子操作内容确定第二评价模块,其中,第五子操作内容为:基于统计信息确定目标评价指标对应的指标数据,其中, 目标评价指标对应的指标数据用于从目标角度量化目标优选数据的被采纳情况。
需要说明的是,存在用户对不同评价指标的侧重情况,具体的,例如,在电商平台,服务商对推荐的商品是否最终被用户购买感兴趣,可以设定目标评价指标为购买 指标,对商品的购买次数进行统计并展示,通过门户网站展示出来,或通过配置机器 人实时展示,以便用户查看。
通过本实施例,提供了实时展示服务数据的功能,解决了以往需手动统计数据,且无法实时查询更新的问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限 制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术 人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块 并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但 很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者 说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存 储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端 设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述 的方法。
实施例2
根据本发明实施例,还提供了如图3所示的数据处理方法。图3是根据本发明实 施例二的数据处理方法的流程图。
步骤S31,在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第三操作内容。
需要说明的是,业务请求发生变化,可以为目标场景不变,业务请求的具体内容发生变化,例如,目标场景为商品交易平台,原始的业务请求为购买某个商品,变化 后的业务请求为筛选满足预设条件的商品,第二操作内容为,筛选满足预设条件的商 品时在电商平台所需要执行的程序步骤;再例如,还可以为目标场景发生变化,例如, 原始的业务请求为,在电商交易平台筛选满足预设条件的商品的请求,而目标业务请 求变化为在视频播放软件筛选满足预设条件的视频的请求,第二操作内容为,筛选满 足预设条件的视频时在视频播放软件所需要执行的程序步骤。
步骤S32,基于第三操作内容调整多个目标模块,其中,多个目标模块中分别封 装有相应的子程序,多个子程序配合以完成变化前的业务请求,其中,调整多个目标 模块至少包括以下之一:替换模块、增加模块、删除模块。
需要说明的是,在业务请求发生变化时,可以先根据改变后的操作内容,在基础模块上进行模块的调整,例如,原始的业务请求为,在电商交易平台筛选满足预设条 件的商品的请求,而目标业务请求变化为在视频播放软件筛选满足预设条件的视频的 请求,原始的模块包括在处理筛选条件的模块、匹配商品信息的模块和展示商品的模 块,在业务请求发生变化后,处理筛选条件的模块保持不变,仅改变配置信息,将匹 配商品信息的模块替换为匹配视频信息的模块,对展示商品的模块更改配置,使得其 可以展示视频信息。
步骤S33,至少基于数据在调整后的多个模块之间的输入输出关系,确定调整后的多个模块之间的关系。
具体地,按照先处理数据、再匹配数据、再展示数据的顺序,确定处理筛选条件 的模块、匹配视频信息的模块和展示数据的模块之间的通信连接关系。
步骤S34,基于调整后的多个模块和调整后的多个模块之间的关系执行第三操作内容。
具体地,用户将视频筛选条件输入到处理筛选条件的模块,该模块将筛选条件进行拆分或组合,将拆分或组合后的数据输入匹配视频信息的模块,该模块输入匹配到 的视频信息,并传输至展示数据的模块,将匹配到的视频信息直观地展示至视频播放 软件的界面,以供用户选择与查看视频。
通过本实施例,本发明在原业务请求的标准化功能模块的基础上,根据业务需求的变化改变模块,并改变模块之间的关系,使得处理流程可以满足多场景多算法下构 建系统的可复用性和扩展性需求,并有较强的可维护性。
实施例3
根据本发明实施例,还提供了一种数据处理系统,如图4所示,该系统包括:数 据接入模块、数据计算模块和数据处理模块。
具体地,数据接入模块,用于将接收到的源数据转化为统一的格式,其中,源数 据包括备选素材数据和用户选用数据,数据接入模块至少包括存储组件、拆分组件、 合并组件。
需要说明的是,为了使得数据的处理更为便捷,构建数据接入模块,对输入的数据进行格式的处理,也即,对不同格式、来源的数据进行统计分类,形成统一格式的 数据表,作为数据计算功能模块的输入。数据接入模块可以包含数据拆分、拼接、搜 索等组件,通过单个或多个模块的组合,实现多种数据接入、整合的方式,用于自动 解析业务日志,构建算法所需要的数据表,建立统一的数据输入规范,有效隔离了系 统外部数据源的变化给系统带来的影响,降低了运维成本。
此外,由于数据格式转换流程中的各个操作步骤可以根据使用过程中,数据源的特点和需求进行删减或增加,各个组件也可以随之进行删减或增加,面对相似数据源, 可以做到复用流程,仅需更改模块配置参数或尽可能少的更换组件即可完成模块功能; 面对差异较大的数据源,也无需重构功能模块,仅需根据数据特点对模块进行配置或 更换组件。同时产生的数据表为标准化格式,为下一步处理提供了标准化输入,在满 足不同输入差异处理的同时实现了输入标准化。
通过本实施例,提供了标准化的数据接入,使不同服务环境下的数据均可接入系统,避免了服务环境带来的数据差异。
数据计算模块,用于基于转化为统一的格式的源数据计算出优选数据,其中,优选数据为待通过业务系统推荐给用户的数据,数据计算模块至少包括一个算法组件。
需要说明的是,数据计算模块的功能是根据输入的将标准化的数据,将数据利用算法进行计算,并返回结果。功能模块内所使用的算法由算法组件构成,可根据数据 的不同,通过更换算法组件和模块配置即可完成算法切换或升级,以满足不同场景下 数据处理的需求。
通过本实施例,针对不同的计算需求,快速构建数据计算功能模块,同时,针对 算法更新或替换的维护需求,该模块可通过更改配置的方式,直接替换算法组件,从 而降低更换组件带来的系统影响,提高效率。
数据处理模块,用于通过采集到的用户访问优选数据时产生的访问数据确定优选数据被用户采纳的情况。
需要说明的是,评价素材推荐系统所推荐的素材被采纳的情况时,主要是通过服务器采集客户端用户使用应用服务时基于提供的素材数据进行的操作,比如浏览内容、 点击信息等,以及依照用户选择产生的候选数据,将采集到的数据利用算法进行计算, 获得最接近用户体验的推荐数据,并将推荐数据通过客户端展示给用户,并在展示的 过程中,记录用户对推荐结果的反馈。
根据本申请上述实施例,数据处理模块包括:回流组件,过滤组件内封装有回流程序,用于将用户访问优选数据时的多个访问日志按照预设配置回流至离线数据表, 其中,多个访问日志通过设置在业务系统的埋点获取。
需要说明的是,回流组件的功能是搜集在线推荐信息在客户端的使用反馈日志。其可以根据配置信息,将访问日志按照配置回流至对应的离线数据表。
具体地,统计在线服务调用数据时,相关技术中是通过客户端的服务器采集来源于业务方日志,统计数据会收到业务端的操作的影响,导致数据失真。本实施例在业 务方提供的调用服务中增加信息埋点,由于埋点设计不受业务方影响,在不同的服务 场景下,依旧可以得到标准化的统计数据信息,通过搜集用户方返回的埋点信息对服 务的调用数据进行统计,在离线数据中采用统一的处理方式进行处理,从而避免统计 数据受到影响,提高了数据的真实性和准确性,避免了采用不同系统处理优选数据时 需要进行的二次开发工作,降低了开发和维护成本。
过滤组件,过滤组件内封装有过滤程序,用于对离线数据表中的数据进行过滤,以获取目标优选数据对应的用户访问数据。
需要说明的是,回流组件回流大量的用户访问日志,包括不同的优选数据对应的用户访问数据,例如,根据用户在电商平台浏览衣物的数据推荐出多款衣物,包括衬 衫、风衣、长裤等,回流用户对推荐的多款衣物的查看点击日志后,现需要分析用户 对推荐的衬衫的查看情况,过滤组件对回流到的数据进行过滤,得到用户对推荐的衬 衫的访问数据。
解析组件,解析组件中封装有解析程序,用于对目标优选数据对应的用户访问数据进行解析,以获取目标优选数据的统计信息,其中,统计信息为用户对目标优选数 据执行目标操作的次数的统计信息。
具体地,对访问数据进行解析,得到统计信息,统计信息可以包括用户对优选数据的点击次数,用户对优选数据对应的服务的收藏次数等,从而便于从多方面分析用 户对目标优选数据的反馈情况。
根据本申请上述实施例,该系统还包括:评价模块,用于基于统计信息确定目标优选数据的评价指标对应的指标数据,评价指标对应的指标数据用于量化目标优选数 据的被采纳情况;展示模块,用于展示评价指标对应的指标数据。
例如,在电商领域,评价报表中的多项预设评价指标包括对推荐商品的点击指标、收藏指标、购买指标等,第一评价模块统计用户对推荐商品的点击次数、收藏次数、 购买次数等,从而以评价报表的形式在门户网站或指定平台多角度展示推荐商品的被 采纳情况。
需要说明的是,存在用户对不同评价指标的侧重情况,具体的,例如,在电商平台,服务商对推荐的商品是否最终被用户购买感兴趣,可以设定目标评价指标为购买 指标,对商品的购买次数进行统计并展示,通过门户网站展示出来,或通过配置机器 人实时展示,以便用户查看。
通过本实施例,提供了实时展示服务数据的功能,解决了以往需手动统计数据,且无法实时查询更新的问题。
实施例4
根据本发明实施例,还提供了如图5所示的数据处理系统。图5是根据本发明实 施例四的数据处理方法的流程图。
本实施例的目标场景为视频推荐场景,服务请求为请求评价用户对视频播放平台推荐的视频的采纳程度,通过统计和记录用户对视频的点击和观看情况,根据候选集 内容,向用户推荐素材,并统计用户对推荐素材的查看情况。
具体地,构建数据接入模块,数据计算模块、数据计算模块和评价展示模块,其中,数据接入模块包括两个子模块,第一子模块用于将用户查看推荐视频的实时数据 输入Mate表,转换为标准格式,第二一个子模块用于解析推荐视频的点击曝光日志, 该子模块包括解析组件,用于解析点击曝光日志获取特征信息,并将获取的特征信息 转换为标准特征信息,拆分组件,用于将特征信息中的曝光数据和点击数据分别进行 字符的拼接,以获取相同格式的数据,表数据生成组件,用于对长度不一的数据进行 字符的补全,并设置数据主键,生成数据表。
构建数据计算模块,数据计算模块包括请求接收组件,用于接收业务请求,多个计算组件,用于根据场景和算法推荐优选视频,并将推荐的优选视频发送给视频播放 平台,并设置埋点。
构建数据处理模块,数据处理模块包括回流组件,用于回流用户访问日志,解析组件,用于获取用户访问日志中的回流信息,过滤组件,过滤出目标优选视频并导出。
构建统计展示模块,统计展示模块包括评价组件,使用离线表统计回流数据,或使用统计机器人统计报表,展示组件,用于展示评价数据。
此外,需要说明的是,本实施例的目标场景为商品推荐场景,服务请求为请求评价用户对商品交易平台推荐的商品的采纳程度,通过统计和记录用户对商品的点击和 观看情况,根据候选集内容,向用户推荐商品,并统计用户对推荐商品的查看情况。 在该场景下,与视频推荐场景相似,同样构建数据接入模块,数据计算模块、数据计 算模块和评价展示模块,只需更改模块的部分配置即可。
实施例5
根据本发明实施例,还提供了一种用于实施上述数据处理方法的装置,如图6所示,该装置包括:第一确定单元61、第二确定单元62和第一执行单元63。
具体地,第一确定单元61,用于根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容。
需要说明的是,目标场景为业务请求所在的场景,例如,在电商领域,目标场景 可以为商品交易平台,具体地,可以为商品交易的网站,商品交易的客户端,业务请 求为请求交易的请求,具体的,可以为采购某个商品的请求,筛选意向商品的请求, 在业务请求为采购某个商品的请求时,第一操作内容可以为采购该商品时在商品交易 平台下需要执行的步骤,在业务请求为筛选意向商品的请求时,第一操作内容可以为 筛选该商品时在商品交易平台下需要执行的步骤。
第二确定单元62,用于根据第一操作内容确定多个模块以及多个模块之间的关系, 其中,多个模块之间的关系至少由完成业务请求的过程中数据在多个模块之间的输入输出关系确定,每个模块中分别封装有相应的子程序,多个子程序配合以完成第一操 作内容。
需要说明的是,第一操作内容为完成业务请求时在目标场景下需要执行的步骤,需要执行的步骤可以由多个类型不同的子步骤构成,例如,在业务请求为筛选意向商 品的请求时,筛选该商品时在商品交易平台下需要执行的步骤可以包括以下子步骤, 处理用户输入的筛选条件的子步骤,根据筛选条件匹配相应的商品信息的子步骤,将 匹配到的商品按照预设规则展示在商品交易平台的子步骤,分别将执行各个子步骤所 需的程序代码封装为模块,得到处理筛选条件的模块、匹配商品信息的模块和展示商 品的模块,并按照处理数据、匹配数据、展示数据的顺序确定三个模块之间的通信连 接关系。
第一执行单元63,用于基于多个模块和多个模块之间的关系执行第一操作内容。
例如,在业务请求为筛选意向商品的请求时,用户将商品筛选条件输入到处理筛选条件的模块,该模块将筛选条件进行拆分或组合,将拆分或组合后的数据输入匹配 商品信息的模块,该模块输入匹配到的商品信息,并传输至展示数据的模块,将匹配 到的商品信息直观地展示至商品交易平台的界面,以供用户选择与查看商品。
通过本实施例,将完成业务请求的操作内容模块化,进行模块的确定和模块配置的设定,使系统可以快速根据需求构建服务功能处理流程,涉及模块可更换,配置可 变化,提高了处理流程的可拓展性。
此处需要说明的是,上述第一确定单元61、第二确定单元62和第一执行单元63 对应于实施例1中的步骤S21至步骤S23,三个模块与对应的步骤所实现的实例和应 用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装 置的一部分可以运行在实施例一提供的计算机终端10中。
根据本申请上述实施例,如图7所示,该装置还包括:第三确定单元64、第一调 整单元65和第二执行单元66。
具体地,第三确定单元64,用于在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第二操作内容。
需要说明的是,业务请求发生变化,可以为目标场景不变,业务请求的具体内容发生变化,例如,目标场景为商品交易平台,原始的业务请求为购买某个商品,变化 后的业务请求为筛选满足预设条件的商品,第二操作内容为,筛选满足预设条件的商 品时在电商平台所需要执行的程序步骤;再例如,还可以为目标场景发生变化,例如, 原始的业务请求为,在电商交易平台筛选满足预设条件的商品的请求,而目标业务请 求变化为在视频播放软件筛选满足预设条件的视频的请求,第二操作内容为,筛选满 足预设条件的视频时在视频播放软件所需要执行的程序步骤。
第一调整单元65,用于基于第二操作内容调整多个模块,并重新确定调整后的多个模块之间的关系,其中,调整多个模块至少包括以下之一:替换模块、增加模块、 删除模块。
需要说明的是,在业务请求发生变化时,可以先根据改变后的操作内容,在基础模块上进行模块的调整,例如,原始的业务请求为,在电商交易平台筛选满足预设条 件的商品的请求,而目标业务请求变化为在视频播放软件筛选满足预设条件的视频的 请求,原始的模块包括在处理筛选条件的模块、匹配商品信息的模块和展示商品的模 块,在业务请求发生变化后,处理筛选条件的模块保持不变,仅改变配置信息,将匹 配商品信息的模块替换为匹配视频信息的模块,对展示商品的模块更改配置,使得其 可以展示视频信息,并按照处理数据、匹配数据、展示数据的顺序确定三个模块之间 的通信连接关系。
第二执行单元66,用于基于调整后的多个模块和调整后的多个模块之间的关系执行第二操作内容。
具体地,用户将视频筛选条件输入到处理筛选条件的模块,该模块将筛选条件进行拆分或组合,将拆分或组合后的数据输入匹配视频信息的模块,该模块输入匹配到 的视频信息,并传输至展示数据的模块,将匹配到的视频信息直观地展示至视频播放 软件的界面,以供用户选择与查看视频。
通过本实施例,本发明在原业务请求的标准化功能模块的基础上,根据业务需求的变化改变模块,并改变模块之间的关系,使得处理流程可以满足多场景多算法下构 建系统的可复用性和扩展性需求,并有较强的可维护性。
此处需要说明的是,上述第三确定单元64、第一调整单元65和第二执行单元66 对应于实施例1中的步骤,三个模块与对应的步骤所实现的实例和应用场景相同,但 不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以 运行在实施例一提供的计算机终端10中。
根据本申请上述实施例,如图8所示,在目标场景为素材推荐场景,业务请求为 评价素材推荐系统所推荐的素材被采纳的情况时,该装置包括:第四确定单元81、第 五确定单元82和第六确定单元83。
具体地,第四确定单元81,用于基于第一子操作内容确定数据接入模块,其中, 第一子操作内容为:将源数据转化为统一的格式,其中,源数据包括备选素材数据和 用户选用数据,数据接入模块至少包括存储组件、拆分组件、合并组件,存储组件中 封装有用于存储数据的程序,拆分组件内封装有用于拆分数据的程序,合并组件中封 装有用于合并数据的程序。
需要说明的是,为了使得数据的处理更为便捷,构建数据接入模块,对输入的数据进行格式的处理,也即,对不同格式、来源的数据进行统计分类,形成统一格式的 数据表,作为数据计算功能模块的输入。数据接入模块可以包含数据拆分、拼接、搜 索等组件,通过单个或多个模块的组合,实现多种数据接入、整合的方式,用于自动 解析业务日志,构建算法所需要的数据表,建立统一的数据输入规范,有效隔离了系 统外部数据源的变化给系统带来的影响,降低了运维成本。
此外,由于数据格式转换流程中的各个操作步骤可以根据使用过程中,数据源的特点和需求进行删减或增加,各个组件也可以随之进行删减或增加,面对相似数据源, 可以做到复用流程,仅需更改模块配置参数或尽可能少的更换组件即可完成模块功能; 面对差异较大的数据源,也无需重构功能模块,仅需根据数据特点对模块进行配置或 更换组件。同时产生的数据表为标准化格式,为下一步处理提供了标准化输入,在满 足不同输入差异处理的同时实现了输入标准化。
通过本实施例,提供了标准化的数据接入,使不同服务环境下的数据均可接入系统,避免了服务环境带来的数据差异。
第五确定单元82,用于基于第二子操作内容确定数据计算模块,其中,第二子操作内容为:基于转化为统一的格式的源数据计算出优选数据,其中,优选数据为待通 过业务系统推荐给用户的数据,数据计算模块至少包括一个算法组件,算法组件内封 装有用于计算优选数据的程序。
需要说明的是,数据计算模块的功能是根据输入的将标准化的数据,将数据利用算法进行计算,并返回结果。功能模块内所使用的算法由算法组件构成,可根据数据 的不同,通过更换算法组件和模块配置即可完成算法切换或升级,以满足不同场景下 数据处理的需求。
通过本实施例,针对不同的计算需求,快速构建数据计算功能模块,同时,针对 算法更新或替换的维护需求,该模块可通过更改配置的方式,直接替换算法组件,从 而降低更换组件带来的系统影响,提高效率。
第六确定单元83,用于基于第三子操作内容确定数据处理模块,其中,第三子操作内容为:通过采集用户访问优选数据时产生的访问数据,并确定优选数据被用户采 纳的情况。
需要说明的是,评价素材推荐系统所推荐的素材被采纳的情况时,主要是通过服务器采集客户端用户使用应用服务时基于提供的素材数据进行的操作,比如浏览内容、 点击信息等,以及依照用户选择产生的候选数据,将采集到的数据利用算法进行计算, 获得最接近用户体验的推荐数据,并将推荐数据通过客户端展示给用户,并在展示的 过程中,记录用户对推荐结果的反馈。
此处需要说明的是,上述第四确定单元81、第五确定单元82和第六确定单元83 对应于实施例1中的步骤,三个模块与对应的步骤所实现的实例和应用场景相同,但 不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以 运行在实施例一提供的计算机终端10中。
根据本申请上述实施例,如图9所示,第六确定单元83包括:第一确定子单元 831。
具体地,第一确定子单元831,用于确定回流组件,其中,回流组件中封装有回 流程序,回流程序用于将用户访问优选数据时的多个访问日志按照预设配置回流至离 线数据表,多个访问日志通过设置在业务系统的埋点获取。
需要说明的是,回流组件的功能是搜集在线推荐信息在客户端的使用反馈日志。其可以根据配置信息,将访问日志按照配置回流至对应的离线数据表。
具体地,统计在线服务调用数据时,相关技术中是通过客户端的服务器采集来源于业务方日志,统计数据会收到业务方操作的影响,导致数据失真。本实施例在业务 方提供的调用服务中增加信息埋点,由于埋点设计不受业务方影响,在不同的服务场 景下,依旧可以得到标准化的统计数据信息,通过搜集用户方返回的埋点信息对服务 的调用数据进行统计,在离线数据中采用统一的处理方式进行处理,从而避免统计数 据受到影响,提高了数据的真实性和准确性,避免了采用不同系统处理优选数据时需 要进行的二次开发工作,降低了开发和维护成本。
此处需要说明的是,上述第一确定子单元831对应于实施例1中的步骤,一个模 块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。 需要说明的是,上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10 中。
根据本申请上述实施例,如图10所示,第六确定单元83还包括:第二确定子单 元832和第三确定子单元833。
具体地,第二确定子单元832,用于确定过滤组件,其中,过滤组件内封装有过 滤程序,过滤程序用于对离线数据表中的数据进行过滤,以获取目标优选数据对应的 用户访问数据。
需要说明的是,回流组件回流大量的用户访问日志,包括不同的优选数据对应的用户访问数据,例如,根据用户在电商平台浏览衣物的数据推荐出多款衣物,包括衬 衫、风衣、长裤等,回流用户对推荐的多款衣物的查看点击日志后,现需要分析用户 对推荐的衬衫的查看情况,过滤组件对回流到的数据进行过滤,得到用户对推荐的衬 衫的访问数据。
第三确定子单元833,用于确定解析组件,其中,解析组件中封装有解析程序, 解析程序用于对目标优选数据对应的用户访问数据进行解析,以获取目标优选数据的 统计信息,其中,统计信息为用户对目标优选数据执行目标操作的次数的统计信息。
具体地,对访问数据进行解析,得到统计信息,统计信息可以包括用户对优选数据的点击次数,用户对优选数据对应的服务的收藏次数等,从而便于从多方面分析用 户对目标优选数据的反馈情况。
此处需要说明的是,上述第二确定子单元832和第三确定子单元833对应于实施例1中的步骤,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述 实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施 例一提供的计算机终端10中。
根据本申请上述实施例,如图11所示,该装置还包括:第七确定单元84。
具体地,第七确定单元84,用于基于第四子操作内容确定第一评价模块,其中, 第四子操作内容为:基于统计信息确定目标优选数据对应的评价报表,其中,评价报 表中包括多项预设评价指标对应的指标数据,多项预设评价指标对应的指标数据用于 从多个预设角度量化目标优选数据的被采纳情况。
例如,在电商领域,评价报表中的多项预设评价指标包括对推荐商品的点击指标、收藏指标、购买指标等,第一评价模块统计用户对推荐商品的点击次数、收藏次数、 购买次数等,从而以评价报表的形式在门户网站或指定平台多角度展示推荐商品的被 采纳情况。
此处需要说明的是,上述第七确定单元84对应于实施例1中的步骤,该模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要 说明的是,上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
根据本申请上述实施例,如图12所示,该装置还包括:第八确定单元85。
具体地,第八确定单元85,用于基于第五子操作内容确定第二评价模块,其中, 第五子操作内容为:基于统计信息确定目标评价指标对应的指标数据,其中,目标评 价指标对应的指标数据用于从目标角度量化目标优选数据的被采纳情况。
需要说明的是,存在用户对不同评价指标的侧重情况,具体的,例如,在电商平台,服务商对推荐的商品是否最终被用户购买感兴趣,可以设定目标评价指标为购买 指标,对商品的购买次数进行统计并展示,通过门户网站展示出来,或通过配置机器 人实时展示,以便用户查看。
通过本实施例,提供了实时展示服务数据的功能,解决了以往需手动统计数据,且无法实时查询更新的问题。
此处需要说明的是,上述第八确定单元85对应于实施例1中的步骤,该模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要 说明的是,上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
实施例6
根据本发明实施例,还提供了一种用于实施上述数据处理方法的装置,如图13 所示,该装置包括:第九确定单元131、第二调整单元132、第十确定单元133和第二 执行单元134。
具体地,第九确定单元131,用于在业务请求发生变化的情况下,确定完成变化 的业务请求所需执行的第三操作内容。
需要说明的是,业务请求发生变化,可以为目标场景不变,业务请求的具体内容发生变化,例如,目标场景为商品交易平台,原始的业务请求为购买某个商品,变化 后的业务请求为筛选满足预设条件的商品,第二操作内容为,筛选满足预设条件的商 品时在电商平台所需要执行的程序步骤;再例如,还可以为目标场景发生变化,例如, 原始的业务请求为,在电商交易平台筛选满足预设条件的商品的请求,而目标业务请 求变化为在视频播放软件筛选满足预设条件的视频的请求,第二操作内容为,筛选满 足预设条件的视频时在视频播放软件所需要执行的程序步骤。
第二调整单元132,用于基于第三操作内容调整多个目标模块,其中,多个目标 模块中分别封装有相应的子程序,多个子程序配合以完成变化前的业务请求,其中, 调整多个目标模块至少包括以下之一:替换模块、增加模块、删除模块。
需要说明的是,在业务请求发生变化时,可以先根据改变后的操作内容,在基础模块上进行模块的调整,例如,原始的业务请求为,在电商交易平台筛选满足预设条 件的商品的请求,而目标业务请求变化为在视频播放软件筛选满足预设条件的视频的 请求,原始的模块包括在处理筛选条件的模块、匹配商品信息的模块和展示商品的模 块,在业务请求发生变化后,处理筛选条件的模块保持不变,仅改变配置信息,将匹 配商品信息的模块替换为匹配视频信息的模块,对展示商品的模块更改配置,使得其 可以展示视频信息。
第十确定单元133,用于至少基于数据在调整后的多个模块之间的输入输出关系,确定调整后的多个模块之间的关系。
具体地,按照先处理数据、再匹配数据、再展示数据的顺序,确定处理筛选条件 的模块、匹配视频信息的模块和展示数据的模块之间的通信连接关系。
第二执行单元134,用于基于调整后的多个模块和调整后的多个模块之间的关系执行第三操作内容。
具体地,用户将视频筛选条件输入到处理筛选条件的模块,该模块将筛选条件进行拆分或组合,将拆分或组合后的数据输入匹配视频信息的模块,该模块输入匹配到 的视频信息,并传输至展示数据的模块,将匹配到的视频信息直观地展示至视频播放 软件的界面,以供用户选择与查看视频。
通过本实施例,本发明在原业务请求的标准化功能模块的基础上,根据业务需求的变化改变模块,并改变模块之间的关系,使得处理流程可以满足多场景多算法下构 建系统的可复用性和扩展性需求,并有较强的可维护性。
此处需要说明的是,上述第九确定单元131、第二调整单元132、第十确定单元 133和第二执行单元134对应于实施例2中的步骤S31至步骤S34,四个模块与对应的 步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。
实施例7
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为 移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的数据处理方法中以下步骤的程序代码:根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容; 根据第一操作内容确定多个模块以及多个模块之间的关系,其中,多个模块之间的关 系至少由完成业务请求的过程中数据在多个模块之间的输入输出关系确定,每个模块 中分别封装有相应的子程序,多个子程序配合以完成第一操作内容;基于多个模块和 多个模块之间的关系执行第一操作内容。
在本实施例中,上述计算机终端还可以执行应用程序的数据处理方法中以下步骤的程序代码:在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第 三操作内容;基于第三操作内容调整多个目标模块,其中,多个目标模块中分别封装 有相应的子程序,多个子程序配合以完成变化前的业务请求,其中,调整多个目标模 块至少包括以下之一:替换模块、增加模块、删除模块;至少基于数据在调整后的多 个模块之间的输入输出关系,确定调整后的多个模块之间的关系;基于调整后的多个 模块和调整后的多个模块之间的关系执行第三操作内容。
可选地,图14是根据本发明实施例的一种计算机终端的结构框图。如图14所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器、存储器。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块, 从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器可包括高 速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、 或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远 程设置的存储器,这些远程存储器可以通过网络连接至终端A。上述网络的实例包括 但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容;根据第一 操作内容确定多个模块以及多个模块之间的关系,其中,多个模块之间的关系至少由 完成业务请求的过程中数据在多个模块之间的输入输出关系确定,每个模块中分别封 装有相应的子程序,多个子程序配合以完成第一操作内容;基于多个模块和多个模块 之间的关系执行第一操作内容。
可选的,上述处理器还可以执行如下步骤的程序代码:在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第二操作内容;基于第二操作内容调整多 个模块,并重新确定调整后的多个模块之间的关系,其中,调整多个模块至少包括以 下之一:替换模块、增加模块、删除模块;基于调整后的多个模块和调整后的多个模 块之间的关系执行第二操作内容。
可选的,上述处理器还可以执行如下步骤的程序代码:在目标场景为素材推荐场景,业务请求为评价素材推荐系统所推荐的素材被采纳的情况时,基于第一子操作内 容确定数据接入模块,其中,第一子操作内容为:将源数据转化为统一的格式,其中, 源数据包括备选素材数据和用户选用数据,数据接入模块至少包括存储组件、拆分组 件、合并组件,存储组件中封装有用于存储数据的程序,拆分组件内封装有用于拆分 数据的程序,合并组件中封装有用于合并数据的程序;基于第二子操作内容确定数据 计算模块,其中,第二子操作内容为:基于转化为统一的格式的源数据计算出优选数 据,其中,优选数据为待通过业务系统推荐给用户的数据,数据计算模块至少包括一 个算法组件,算法组件内封装有用于计算优选数据的程序;基于第三子操作内容确定 数据处理模块,其中,第三子操作内容为:通过采集用户访问优选数据时产生的访问 数据,并确定优选数据被用户采纳的情况。
可选的,上述处理器还可以执行如下步骤的程序代码:确定回流组件,其中,回 流组件中封装有回流程序,回流程序用于将用户访问优选数据时的多个访问日志按照 预设配置回流至离线数据表,多个访问日志通过设置在业务系统的埋点获取。
可选的,上述处理器还可以执行如下步骤的程序代码:确定过滤组件,其中,过 滤组件内封装有过滤程序,过滤程序用于对离线数据表中的数据进行过滤,以获取目 标优选数据对应的用户访问数据;确定解析组件,其中,解析组件中封装有解析程序, 解析程序用于对目标优选数据对应的用户访问数据进行解析,以获取目标优选数据的 统计信息,其中,统计信息为用户对目标优选数据执行目标操作的次数的统计信息。
可选的,上述处理器还可以执行如下步骤的程序代码:基于第四子操作内容确定第一评价模块,其中,第四子操作内容为:基于统计信息确定目标优选数据对应的评 价报表,其中,评价报表中包括多项预设评价指标对应的指标数据,多项预设评价指 标对应的指标数据用于从多个预设角度量化目标优选数据的被采纳情况。
可选的,上述处理器还可以执行如下步骤的程序代码:基于第五子操作内容确定第二评价模块,其中,第五子操作内容为:基于统计信息确定目标评价指标对应的指 标数据,其中,目标评价指标对应的指标数据用于从目标角度量化目标优选数据的被 采纳情况。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第三操作内容; 基于第三操作内容调整多个目标模块,其中,多个目标模块中分别封装有相应的子程 序,多个子程序配合以完成变化前的业务请求,其中,调整多个目标模块至少包括以 下之一:替换模块、增加模块、删除模块;至少基于数据在调整后的多个模块之间的 输入输出关系,确定调整后的多个模块之间的关系;基于调整后的多个模块和调整后 的多个模块之间的关系执行第三操作内容。
采用本发明实施例,采用将操作内容封装为各个程序模块的方式,通过确定完成目标场景下的业务请求所需执行的操作内容,确定多个模块以及模块之间的关系,并 基于多个模块以及模块之间的关系完成业务请求,达到了根据目标场景的业务请求构 建灵活、可适用性高的处理流程的目的,从而实现了提高完成特定业务请求的处理流 程的拓展性和维护性的技术效果,进而解决了相关技术中面对不同场景下的不同业务 请求,难以建立方便拓展且方便维护的处理流程的技术问题。
本领域普通技术人员可以理解,图14所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备 (MobileInternet Devices,MID)、PAD等终端设备。图14其并不对上述电子装置 的结构造成限定。例如,计算机终端还可包括比图14中所示更多或者更少的组件(如 网络接口、显示装置等),或者具有与图14所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以 通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存 取器(Random Access Memory,RAM)、磁盘或光盘等。
实施例8
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:根据目标场景下的业务请求,确定完成业务请求所需执行的第一操作内容;根据第一 操作内容确定多个模块以及多个模块之间的关系,其中,多个模块之间的关系至少由 完成业务请求的过程中数据在多个模块之间的输入输出关系确定,每个模块中分别封 装有相应的子程序,多个子程序配合以完成第一操作内容;基于多个模块和多个模块 之间的关系执行第一操作内容。
该方法还包括:在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第二操作内容;基于第二操作内容调整多个模块,并重新确定调整后的多个模块 之间的关系,其中,调整多个模块至少包括以下之一:替换模块、增加模块、删除模 块;基于调整后的多个模块和调整后的多个模块之间的关系执行第二操作内容。
在目标场景为素材推荐场景,业务请求为评价素材推荐系统所推荐的素材被采纳的情况时,该方法包括:基于第一子操作内容确定数据接入模块,其中,第一子操作 内容为:将源数据转化为统一的格式,其中,源数据包括备选素材数据和用户选用数 据,数据接入模块至少包括存储组件、拆分组件、合并组件,存储组件中封装有用于 存储数据的程序,拆分组件内封装有用于拆分数据的程序,合并组件中封装有用于合 并数据的程序;基于第二子操作内容确定数据计算模块,其中,第二子操作内容为: 基于转化为统一的格式的源数据计算出优选数据,其中,优选数据为待通过业务系统 推荐给用户的数据,数据计算模块至少包括一个算法组件,算法组件内封装有用于计 算优选数据的程序;基于第三子操作内容确定数据处理模块,其中,第三子操作内容 为:通过采集用户访问优选数据时产生的访问数据,并确定优选数据被用户采纳的情 况。
基于第三子操作内容确定数据处理模块包括:确定回流组件,其中,回流组件中封装有回流程序,回流程序用于将用户访问优选数据时的多个访问日志按照预设配置 回流至离线数据表,多个访问日志通过设置在业务系统的埋点获取。
基于第三子操作内容确定数据处理模块还包括:确定过滤组件,其中,过滤组件内封装有过滤程序,过滤程序用于对离线数据表中的数据进行过滤,以获取目标优选 数据对应的用户访问数据;确定解析组件,其中,解析组件中封装有解析程序,解析 程序用于对目标优选数据对应的用户访问数据进行解析,以获取目标优选数据的统计 信息,其中,统计信息为用户对目标优选数据执行目标操作的次数的统计信息。
该方法还包括:基于第四子操作内容确定第一评价模块,其中,第四子操作内容为:基于统计信息确定目标优选数据对应的评价报表,其中,评价报表中包括多项预 设评价指标对应的指标数据,多项预设评价指标对应的指标数据用于从多个预设角度 量化目标优选数据的被采纳情况。
该方法还包括:基于第五子操作内容确定第二评价模块,其中,第五子操作内容为:基于统计信息确定目标评价指标对应的指标数据,其中,目标评价指标对应的指 标数据用于从目标角度量化目标优选数据的被采纳情况。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第三操作内容; 基于第三操作内容调整多个目标模块,其中,多个目标模块中分别封装有相应的子程 序,多个子程序配合以完成变化前的业务请求,其中,调整多个目标模块至少包括以 下之一:替换模块、增加模块、删除模块;至少基于数据在调整后的多个模块之间的 输入输出关系,确定调整后的多个模块之间的关系;基于调整后的多个模块和调整后 的多个模块之间的关系执行第三操作内容。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分, 仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件 可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所 显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模 块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到 多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例 方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成 的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时, 可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的 形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一 台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所 述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘 等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润 饰也应视为本发明的保护范围。
Claims (15)
1.一种数据处理方法,其中,包括:
根据目标场景下的业务请求,确定完成所述业务请求所需执行的第一操作内容;
根据所述第一操作内容确定多个模块以及多个模块之间的关系,其中,所述多个模块之间的关系至少由完成所述业务请求的过程中数据在所述多个模块之间的输入输出关系确定,每个模块中分别封装有相应的子程序,多个子程序配合以完成所述第一操作内容;
基于所述多个模块和所述多个模块之间的关系执行所述第一操作内容。
2.根据权利要求1所述的方法,其中,所述方法还包括:
在所述业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第二操作内容;
基于所述第二操作内容调整所述多个模块,并重新确定调整后的多个模块之间的关系,其中,调整所述多个模块至少包括以下之一:替换模块、增加模块、删除模块;
基于调整后的多个模块和所述调整后的多个模块之间的关系执行所述第二操作内容。
3.根据权利要求1至2任意一项所述的方法,其中,在所述目标场景为素材推荐场景,所述业务请求为评价素材推荐系统所推荐的素材被采纳的情况时,所述方法包括:
基于第一子操作内容确定数据接入模块,其中,所述第一子操作内容为:将源数据转化为统一的格式,其中,所述源数据包括备选素材数据和用户选用数据,所述数据接入模块至少包括存储组件、拆分组件、合并组件,所述存储组件中封装有用于存储数据的程序,所述拆分组件内封装有用于拆分数据的程序,所述合并组件中封装有用于合并数据的程序;
基于第二子操作内容确定数据计算模块,其中,所述第二子操作内容为:基于转化为统一的格式的源数据计算出优选数据,其中,所述优选数据为待通过业务系统推荐给用户的数据,所述数据计算模块至少包括一个算法组件,所述算法组件内封装有用于计算所述优选数据的程序;
基于第三子操作内容确定数据处理模块,其中,所述第三子操作内容为:通过采集用户访问所述优选数据时产生的访问数据,并确定所述优选数据被用户采纳的情况。
4.根据权利要求3所述的方法,其中,基于第三子操作内容确定数据处理模块包括:
确定回流组件,其中,所述回流组件中封装有回流程序,所述回流程序用于将用户访问所述优选数据时的多个访问日志按照预设配置回流至离线数据表,所述多个访问日志通过设置在所述业务系统的埋点获取。
5.根据权利要求4所述的方法,其中,基于第三子操作内容确定数据处理模块还包括:
确定过滤组件,其中,所述过滤组件内封装有过滤程序,所述过滤程序用于对所述离线数据表中的数据进行过滤,以获取目标优选数据对应的用户访问数据;
确定解析组件,其中,所述解析组件中封装有解析程序,所述解析程序用于对所述目标优选数据对应的用户访问数据进行解析,以获取所述目标优选数据的统计信息,其中,所述统计信息为用户对所述目标优选数据执行目标操作的次数的统计信息。
6.根据权利要求5所述的方法,其中,所述方法还包括:
基于第四子操作内容确定第一评价模块,其中,所述第四子操作内容为:基于所述统计信息确定所述目标优选数据对应的评价报表,其中,所述评价报表中包括多项预设评价指标对应的指标数据,所述多项预设评价指标对应的指标数据用于从多个预设角度量化所述目标优选数据的被采纳情况。
7.根据权利要求5所述的方法,其中,所述方法还包括:
基于第五子操作内容确定第二评价模块,其中,所述第五子操作内容为:基于所述统计信息确定目标评价指标对应的指标数据,其中,所述目标评价指标对应的指标数据用于从目标角度量化所述目标优选数据的被采纳情况。
8.一种数据处理方法,其中,包括:
在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第三操作内容;
基于所述第三操作内容调整多个目标模块,其中,所述多个目标模块中分别封装有相应的子程序,多个子程序配合以完成变化前的所述业务请求,其中,调整所述多个目标模块至少包括以下之一:替换模块、增加模块、删除模块;
至少基于数据在调整后的多个模块之间的输入输出关系,确定调整后的多个模块之间的关系;
基于调整后的多个模块和所述调整后的多个模块之间的关系执行所述第三操作内容。
9.一种数据处理系统,其中,包括:
数据接入模块,用于将接收到的源数据转化为统一的格式,其中,所述源数据包括备选素材数据和用户选用数据,所述数据接入模块至少包括存储组件、拆分组件、合并组件;
数据计算模块,用于基于转化为统一的格式的源数据计算出优选数据,其中,所述优选数据为待通过业务系统推荐给用户的数据,所述数据计算模块至少包括一个算法组件;
数据处理模块,用于通过采集到的用户访问所述优选数据时产生的访问数据确定所述优选数据被用户采纳的情况。
10.根据权利要求9所述的系统,其中,所述数据处理模块包括:
回流组件,所述过滤组件内封装有回流程序,用于将用户访问所述优选数据时的多个访问日志按照预设配置回流至离线数据表,其中,所述多个访问日志通过设置在所述业务系统的埋点获取;
过滤组件,所述过滤组件内封装有过滤程序,用于对所述离线数据表中的数据进行过滤,以获取目标优选数据对应的用户访问数据;
解析组件,所述解析组件中封装有解析程序,用于对所述目标优选数据对应的用户访问数据进行解析,以获取所述目标优选数据的统计信息,其中,所述统计信息为用户对所述目标优选数据执行目标操作的次数的统计信息。
11.根据权利要求10所述的系统,其中,所述系统还包括:
评价模块,用于基于所述统计信息确定所述目标优选数据的评价指标对应的指标数据,所述评价指标对应的指标数据用于量化所述目标优选数据的被采纳情况;
展示模块,用于展示所述评价指标对应的指标数据。
12.一种数据处理装置,其中,包括:
第一确定单元,用于根据目标场景下的业务请求,确定完成所述业务请求所需执行的第一操作内容;
第二确定单元,用于根据所述第一操作内容确定多个模块以及多个模块之间的关系,其中,所述多个模块之间的关系至少由完成所述业务请求的过程中数据在所述多个模块之间的输入输出关系确定,每个模块中分别封装有相应的子程序,多个子程序配合以完成所述第一操作内容;
第一执行单元,用于基于所述多个模块和所述多个模块之间的关系执行所述第一操作内容。
13.一种数据处理装置,其中,包括:
第九确定单元,用于在业务请求发生变化的情况下,确定完成变化的业务请求所需执行的第三操作内容;
第二调整单元,用于基于所述第三操作内容调整多个目标模块,其中,所述多个目标模块中分别封装有相应的子程序,多个子程序配合以完成变化前的所述业务请求,其中,调整所述多个目标模块至少包括以下之一:替换模块、增加模块、删除模块;
第十确定单元,用于至少基于数据在调整后的多个模块之间的输入输出关系,确定调整后的多个模块之间的关系;
第二执行单元,用于基于调整后的多个模块和所述调整后的多个模块之间的关系执行所述第三操作内容。
14.一种存储介质,其中,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的数据处理方法。
15.一种处理器,其中,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至8中任意一项所述的数据处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910379382.6A CN111915382A (zh) | 2019-05-08 | 2019-05-08 | 数据处理方法、系统及装置 |
PCT/CN2020/087993 WO2020224515A1 (zh) | 2019-05-08 | 2020-04-30 | 数据处理方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910379382.6A CN111915382A (zh) | 2019-05-08 | 2019-05-08 | 数据处理方法、系统及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111915382A true CN111915382A (zh) | 2020-11-10 |
Family
ID=73051452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910379382.6A Pending CN111915382A (zh) | 2019-05-08 | 2019-05-08 | 数据处理方法、系统及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111915382A (zh) |
WO (1) | WO2020224515A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642885A (zh) * | 2021-08-12 | 2021-11-12 | 中投国信(北京)科技发展有限公司 | 基于人工智能的业务环境指标信息处理方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732306A (zh) * | 2013-12-19 | 2015-06-24 | 北京索为高科系统技术有限公司 | 一种业务应用系统的快速开发系统及方法 |
CN105930469A (zh) * | 2016-04-23 | 2016-09-07 | 北京工业大学 | 基于Hadoop的个性化旅游推荐系统及方法 |
CN106020811A (zh) * | 2016-05-13 | 2016-10-12 | 乐视控股(北京)有限公司 | 算法模型的开发方法和装置 |
CN106021337A (zh) * | 2016-05-09 | 2016-10-12 | 房加科技(北京)有限公司 | 一种基于大数据分析的智能推荐方法及系统 |
CN106600302A (zh) * | 2015-10-19 | 2017-04-26 | 玺阅信息科技(上海)有限公司 | 基于Hadoop的商品推荐系统 |
CN107577805A (zh) * | 2017-09-26 | 2018-01-12 | 华南理工大学 | 一种面向日志大数据分析的业务服务系统 |
CN107844634A (zh) * | 2017-09-30 | 2018-03-27 | 平安科技(深圳)有限公司 | 多元通用模型平台建模方法、电子设备及计算机可读存储介质 |
CN108234659A (zh) * | 2018-01-08 | 2018-06-29 | 西安万像电子科技有限公司 | 数据处理方法、装置及系统 |
CN108416609A (zh) * | 2018-01-05 | 2018-08-17 | 阿里巴巴集团控股有限公司 | 广告灰度投放方法及装置 |
CN108763502A (zh) * | 2018-05-30 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 信息推荐方法和系统 |
CN109145193A (zh) * | 2017-06-27 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 一种信息推送方法及系统 |
CN109324793A (zh) * | 2018-10-24 | 2019-02-12 | 北京奇虎科技有限公司 | 支持算法组件化的处理系统及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108255886B (zh) * | 2016-12-29 | 2021-08-13 | 北京国双科技有限公司 | 推荐系统的评估方法及装置 |
CN108230108A (zh) * | 2018-01-03 | 2018-06-29 | 程丹秋 | 一种个性化的商品推荐系统 |
CN109635204A (zh) * | 2018-12-21 | 2019-04-16 | 上海交通大学 | 基于协同过滤和长短记忆网络的在线推荐系统 |
CN109711881A (zh) * | 2018-12-26 | 2019-05-03 | 温州大卖客网络科技有限公司 | 一种电子商务信息资源共享平台 |
-
2019
- 2019-05-08 CN CN201910379382.6A patent/CN111915382A/zh active Pending
-
2020
- 2020-04-30 WO PCT/CN2020/087993 patent/WO2020224515A1/zh active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732306A (zh) * | 2013-12-19 | 2015-06-24 | 北京索为高科系统技术有限公司 | 一种业务应用系统的快速开发系统及方法 |
CN106600302A (zh) * | 2015-10-19 | 2017-04-26 | 玺阅信息科技(上海)有限公司 | 基于Hadoop的商品推荐系统 |
CN105930469A (zh) * | 2016-04-23 | 2016-09-07 | 北京工业大学 | 基于Hadoop的个性化旅游推荐系统及方法 |
CN106021337A (zh) * | 2016-05-09 | 2016-10-12 | 房加科技(北京)有限公司 | 一种基于大数据分析的智能推荐方法及系统 |
CN106020811A (zh) * | 2016-05-13 | 2016-10-12 | 乐视控股(北京)有限公司 | 算法模型的开发方法和装置 |
CN109145193A (zh) * | 2017-06-27 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 一种信息推送方法及系统 |
CN107577805A (zh) * | 2017-09-26 | 2018-01-12 | 华南理工大学 | 一种面向日志大数据分析的业务服务系统 |
CN107844634A (zh) * | 2017-09-30 | 2018-03-27 | 平安科技(深圳)有限公司 | 多元通用模型平台建模方法、电子设备及计算机可读存储介质 |
CN108416609A (zh) * | 2018-01-05 | 2018-08-17 | 阿里巴巴集团控股有限公司 | 广告灰度投放方法及装置 |
CN108234659A (zh) * | 2018-01-08 | 2018-06-29 | 西安万像电子科技有限公司 | 数据处理方法、装置及系统 |
CN108763502A (zh) * | 2018-05-30 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 信息推荐方法和系统 |
CN109324793A (zh) * | 2018-10-24 | 2019-02-12 | 北京奇虎科技有限公司 | 支持算法组件化的处理系统及方法 |
Non-Patent Citations (2)
Title |
---|
乔岚;: "基于大数据技术的个性化推荐系统的设计与实现", 信息与电脑(理论版), no. 21 * |
乔岚;: "基于大数据技术的个性化推荐系统的设计与实现", 信息与电脑(理论版), no. 21, 8 November 2017 (2017-11-08) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642885A (zh) * | 2021-08-12 | 2021-11-12 | 中投国信(北京)科技发展有限公司 | 基于人工智能的业务环境指标信息处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2020224515A1 (zh) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107783993B (zh) | 数据的存储方法和装置 | |
CN105898209A (zh) | 视频平台监控分析系统 | |
WO2010110869A1 (en) | System and method for assessing marketing data | |
US20080091513A1 (en) | System and method for assessing marketing data | |
CN102467728A (zh) | 多方交易系统及交易方法 | |
RU2622850C2 (ru) | Метод и сервер для обработки идентификаторов продукта и машиночитаемый носитель данных | |
CN105683912A (zh) | 对于应用程序的优化的方法 | |
US20180341989A1 (en) | Systems and Methods for Providing Real-Time Values Determined Based on Aggregated Data From Disparate Systems | |
US20210200782A1 (en) | Creating and Performing Transforms for Indexed Data on a Continuous Basis | |
CN110880124A (zh) | 转化率评估方法及装置 | |
CN108268357A (zh) | 实时数据处理方法和装置 | |
CN111061704A (zh) | 一种财务分析报表生成方法及设备 | |
CN111915382A (zh) | 数据处理方法、系统及装置 | |
CN113469759A (zh) | 智能生成发票的方法、装置、设备及存储介质 | |
CN112418893A (zh) | 一种基于机器学习的供应链调整方法、装置及电子设备 | |
CN112445787A (zh) | 一种基于实时业务的数据稽核方法和系统 | |
CN110049358A (zh) | 一种基于电视的物品推送方法和系统 | |
CN111865753B (zh) | 媒体信息的参数确定方法和装置、存储介质、电子装置 | |
CN110825609A (zh) | 服务的测试方法、装置和系统 | |
CN115049456A (zh) | 金融产品组合的推荐方法及其装置、电子设备 | |
CN113869982A (zh) | 产品推荐系统 | |
CN113506171A (zh) | 一种银行套餐推荐方法及装置 | |
CN114253746A (zh) | 一种基于SaaS的产品应用服务管理方法、装置、设备和介质 | |
CN113781146A (zh) | 产品信息的推荐方法、装置、设备和存储介质 | |
KR20220051937A (ko) | 인플루언서를 활용한 광고 실행 결과의 분석 서비스 제공 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |