数据获取方法、装置和服务器
技术领域
本说明书属于互联网技术领域,尤其涉及一种数据获取方法、装置和服务器。
背景技术
在训练、建立针对网络平台上的某种业务处理的业务模型时,通常需要获取并使用到该平台相关的累积变量数据。
例如,后台技术人员在训练用于审核商户信誉的业务模型时,需要先获取最近30天内网络平台上累积下来的与商户关联的交易数据、评价数据等作为累积变量数据;再基于上述累积变量数据,通过模型训练建立对应的业务模型,以便后续可以通过该业务模型及时、准确地发现并警告信誉存在问题的商户。
目前,现有方法大多需要技术人员每次专门编写对应的脚本文件,再通过上述脚本文件对业务系统中一个时间段内累积的变量数据进行搜索、采集。基于上述方法,通常需要耗费较多资源和时间去运行上述脚本文件,以便对业务系统内的变量数据进行逐一的搜索、采集。导致具体实施时,往往会耗费掉较长的时间、占用较多的资源,同时实施过程也相对较为复杂、繁琐。因此,亟需一种高效、便利的累积变量数据的获取方法。
发明内容
本说明书目的在于提供一种数据获取方法、装置和服务器,以解决现有方法中存在的获取累积变量数据效率低、不方便的技术问题,达到高效、便利地获取累积变量数据,减少资源占用的技术效果。
本说明书提供的一种数据获取方法、装置和服务器是这样实现的:
一种数据获取方法,包括:接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
一种数据获取方法,包括:发送获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;接收所述预设数据接口根据所述获取请求反馈的累积变量数据。
一种数据获取装置,包括:接收模块,用于接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;调用模块,用于根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
一种服务器,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
本说明书提供的一种数据获取方法、装置和服务器,由于通过接收并根据能够指向预设数据接口的获取请求,调用预先设置在业务系统中用于记录存储累积变量数据的预设数据接口反馈相应的累积变量数据,从而解决了现有方法中存在的获取累积变量数据效率低、不方便的技术问题,达到高效、便利地获取累积变量数据,减少资源占用的技术效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是在一个场景示例中,应用本说明书实施例提供的数据获取方法的一种实施例的示意图;
图2是在一个场景示例中,应用本说明书实施例提供的数据获取方法的一种实施例的示意图;
图3是在一个场景示例中,应用本说明书实施例提供的数据获取方法的一种实施例的示意图;
图4是本说明书实施例提供的数据获取方法的流程的一种实施例的示意图;
图5是本说明书实施例提供的数据获取方法的流程的另一种实施例的示意图;
图6是本说明书实施例提供的服务器的结构的一种实施例的示意图;
图7是本说明书实施例提供的数据获取装置的结构的一种实施例的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
考虑到现有方法为了获取用于训练模型的累积变量数据,通常需要技术人员专门编写对应的脚本文件,再通过运行脚本文件对业务系统上某一时间段内累积的变量数据进行搜索采集,得到相应的累积变量数据。由于上述方法具体实施时,需要运行额外的脚本文件、占用业务系统之外的运算资源来采集累积变量数据,导致数据获取过程相对较为繁琐,耗时相对较长,效率相对较低。
针对上述情形,考虑可以现在业务系统上部署好预设数据接口,通过该预设数据接口可以基于业务系统本身的运算资源实时记录并存储业务系统线上的累积变量数据。这样当任意一个技术人员需要获取业务系统上的累积变量数据时,不用再额外地专门去编写、运行脚本文件,而可以直接向业务系统发送指向上述预设数据接口的获取请求。业务系统在接收到上述获取请求后,可以根据获取请求调用对应的预设数据接口向技术人员反馈所需要的累积变量数据。从而减少了获取累积变量数据的耗时时间,提高了获取效率,也减少了对资源的占用,同时也简化了获取过程,使得技术人员可以高效、便利地获取累积变量数据。
本说明书实施方式提供一种数据获取方法,所述数据获取方法可以应用于服务器和客户端的系统架构中。其中,具体的,上述客户端与服务器可以通过有线或无线的方式耦合,相互之间可以进行数据交互。具体的,上述客户端可以设置于技术人员一侧,技术人员可以通过客户端向服务器发送获取请求,以请求获取业务系统上某一时间段内的累积变量数据。上述服务器可以设置于业务系统一侧,其中,上述业务系统预先部署有用于记录并存储业务系统上的累积变量数据的预设数据接口。具体实施时,服务器可以接收客户端发送的获取请求,并根据上述获取请求,调用获取请求所指向的预设数据接口以向技术人员反馈所请求的累积变量数据。
在本实施方式中,所述服务器可以是一种应用于业务系统一侧,能够实现数据传输、数据处理等功能的后台服务器。具体的,所述服务器可以为一个具有数据运算、存储功能以及网络交互功能的电子设备;也可以为运行于该电子设备中,为数据处理、存储和网络交互提供支持的软件程序。在本实施方式中,并不具体限定所述服务器的数量。所述服务器具体可以为一个服务器,也可以为几个服务器,或者,由若干服务器形成的服务器集群等。
在本实施方式中,所述客户端可以是一种应用于用户,例如技术人员一侧的,能够实现指令输入、数据传输、数据显示等功能的前端设备。具体地,所述客户端例如可以为台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、具有网络访问功能的电视机等。或者,所述客户端也可以为能够运行于上述电子设备中的软件应用。例如,可以是在手机上运行的某理财APP等。
在一个场景示例中,可以参阅图1所示,技术人员可通过用本说明书实施例提供的数据获取方法获取某网络平台的业务系统的累积变量数据。
在本场景示例中,具体实施前,可以预先在该网络平台的业务系统上部署预设数据接口,用于实时记录并存储该网络平台的业务系统线上累积的变量数据。
其中,该网络平台具体可以是一种网上购物平台,也可以是针对线下商户进行评价、推荐的点评平台等。对于该网络平台的具体类型,本说明书不作限定。上述业务系统具体可以理解为与该网络平台对应的后台业务数据处理系统。
通常上述网络平台上实时都会生成、传输大量的信息数据,上述累积变量数据具体可以理解为一种在某个预设时间段内,该网络平台的业务系统上累积得到的与业务对象相关的信息数据。具体的,上述累积变量数据可以包括在预设时间段内业务系统累积得到的用于表征业务对象的特征属性的数据等。
在本场景实例中,以该网络平台为网上购物平台为例,上述累积变量数据具体可以包括在预设时间段(例如最近的30天)内,与该购物平台对象的业务系统时实时累积得到的用于表征商户的客户评价、交易情况、发货速度等特征属性的信息数据。当然,上述所列举的以商户为业务对象的累积变量数据只是一种示意性说明。具体实施时,根据具体业务场景,还可以包括其他类型的累积变量数据,例如,客户的信誉度、购物记录等等。对此,本说明书不作限定。
上述预设数据接口具体可以理解为一种预先部署于业务系统的一段具备记录、存储等功能的程序代码,通过该数据接口可以利用业务系统自身的资源自动地实时记录并存储业务系统中的与业务对象相关的信息数据,作为上述累积变量数据,以便后续提供给技术人员调取使用。
其中,上述预设数据接口可以包括多种类型的接口。具体的,例如可以是velocity接口,也可以是快照表等,还可以是上述多种类型接口的组合。当然,需要说明的是上述所列举的预设数据接口只是为了更好地说明本说明书实施方式。具体实施时,根据具体的应用场景和调用需求,还可以引入其他类型的接口作为上述预设数据接口,例如AntD接口。对此,本说明书不作限定。
具体的,上述velocity接口,又称为velocity存储设置接口,具体可以理解为是一种针对velocity这种模块化的可视界面系统设计的用于记录存储的数据接口。上述快照表具体可以理解为是一种按天分区,用于存储至当前天所有信息数据的数据表。
其中,上述快照表具体可以与预设于业务系统中的模型部署平台(简称uct)上的清洗模型相连,快照表中存储的数据具体可以包括上述清洗模型在某一时间段内运行过程中累积生成的信息数据。
上述清洗模型具体可以为一种由技术人员预先针对某一具体业务场景类型布设的虚拟模型,该模型可以根据技术人员具体输入的初始数据和设置的配置参数,模拟对应的业务场景中的业务数据处理,并记录下模拟过程中实时产生的相关的信息数据。这类信息数据是模拟具体业务场景生成的,具有较高的参考价值,可以用作累积变量数据供技术人员后续调取使用。
需要说明的是,通常在业务系统的模型部署平台中也会部署有一些模型,但所部署的模型往往都是预测模型。通过这类模型,技术人员只能对所建立的业务模型的优劣进行检验、评价,而无法获取得到上述累积变量数据。
在本场景示例中,技术人员想要训练得到一个用于审核商户口碑的业务模型。为了建立该模型需要获取近30天该网络平台上各个商户累积的所有客户评价数据,以便后续用于训练模型。
具体实施时,技术人员可以使用自己的台式电脑作为客户端,通过无线网络,向该网络平台的后台业务系统的服务器编辑并发送相应的获取请求。具体的,用户在通过客户端编辑生成获取请求时,可以编辑设置该获取请求所指向的预设数据接口。例如,技术人员可以在客户端上选中velocity接口作为该获取请求所指向的预设数据接口。这样得到的获取请求会携带有与所指向的预设数据接口匹配的接口标识。
其中,上述接口标识具体可以是一种按照一定规则排列组合得到的字符串,其中,每一组字符串分别与一种类型的预设数据接口匹配。例如,与velocity接口匹配的接口标识可以表示为:velocity_jk,而与快照表匹配的接口表示可以表示为:kzb_jk。当然,上述所列举的接口标识只是一种示意性说明。具体实施时,根据具体情况还可以选择使用其他能够区分不同预设数据接口类型的数据作为接口标识。对此,本说明书不作限定。
业务系统的服务器在接收到客户端发送的获取请求后,可以参阅图2所示,会先对获取请求进行解析,以提取得到获取请求中所携带的接口标识;再根据接口标识确定出获取请求所指向的预设数据接口;进而可以根据获取请求,调用对应的上述预设数据接口向客户端发送相应的累积变量数据。
具体的,服务器在确定获取请求所携带的接口标识:velocity_jk是与预设于业务系统上的velocity接口匹配的接口标识时,判定获取请求所指向的预设数据接口为velocity接口;进而服务器可以根据上述获取请求,调用velocity接口将该接口近30天以内所记录存储的该网络平台上各个商户累积的所有客户评价数据作为累积变量数据,通过无线网络发送至客户端。
客户端接收服务器通过上述预设数据接口反馈的累积变量数据,并将该累积变量数据提供给技术人员。这样技术人员便能高效、便利地得到所需要的累积变量数据。后续,技术人员可以利用上述累积变量数据进行模型训练,以建立得到用于审核商户口碑的业务模型。进而可以利用该业务模型自动地根据某一个时间段内该网络平台的商户评价为各个商户口碑进行评分,以及时发现评价较差、投诉较多的商户进行警告或者关店处理。
在另一个场景示例中,技术人员在通过客户端编辑生成获取请求的同时,还可以在获取请求通过设置获取请求的配置数据,来限定与所请求获取的累积变量数据关联的特征参数。
其中,上述特征参数具体可以理解为一种限定所请求获取的累积变量数据的属性特征的参数数据。具体的,上述特征参数可以包括以下至少之一:场景模式、主体对象、客体对象、变量函数、累积长度等。当然,上述所列举的特征参数只是一种示意性说明。具体实施时,根据具体的业务场景,还可以包含有其他用于描述累积变量数据的属性特征的参数数据作为上述特征参数。
其中,上述场景模式具体可以理解为与累积变量数据所关联的业务场景的场景类型。具体的,上述场景模式可以包括:审核场景(针对商户评价的考核场景)、直连BD场景(针对网络平台自己联络的商户拓展场景)、直连非BD场景(针对网络平台自己联络的非商户拓展的其他类型场景)、间连BD场景(针对非网络平台自己联络的商户拓展场景)、间连非BD场景(针对非网络平台自己联络的非商户拓展的其他类型场景)等。通常不同的场景模式会对应不同功能、类型的业务模型,技术人员可以根据待建立的业务模型的具体功能、用途,选择对应的场景模式下的累积变量数据进行获取。例如,技术人员要建立用于审核商户评价的业务模型时,可以有针对性地获取基于审核场景下的累积变量数据。
上述主体对象具体可以理解为累积变量数据所针对的业务对象的对象类型。具体的,上述主体对象可以包括商户或者客户等等。
上述客体对象具体可以理解为累积变量数据中所描述的关于业务对象的变量数据的属性类型。具体的,上述客体对象可以包括:评价、交易金额、成交量或者访问量等等。
上述变量函数具体可以理解为累积变量数据所依据的累积业务对象的变量数据的累积方式。具体的,上述变量函数可以包括:sum(求和函数)、count(统计函数)、distinct(去重函数)等等。
上述累积长度(也可称累积时间)具体可以理解为累积变量数据中累积业务对象的变量数据的时效范围。例如,累积长度为30天,则表示要求获取的累积变量数据为近30天内累积的业务对象的变量数据。当然,上述所列举的累积长度只是一种示意性说明。具体实施时,可以根据具体情况选择合适的时间长度作为上述累积长度。对此,本说明书不作限定。
这样服务器在接收到客户端发送的获取请求后,可以参阅图3所示,通过数据解析从获取请求中提取得到所携带的接口标识的同时,还会提取得到获取请求中携带的配置数据;并对配置数据进行进一步的处理,确定配置数据中的特征参数;进而可以调用预设的数据接口根据上述特征参数,对预设数据接口所存储的累积变量数据进行查找、检索,有针对性地从所存储的大量累积变量数据中选择出与特征参数匹配的部分累积变量数据反馈给客户端。
例如,服务器可以通过velocity接口,响应获取请求,从velocity接口所存储的大量累积变量数据中有针对性地筛选出审核场景下的,主体对象为商户,客体对象为客户评价,变量函数为sum,累积长度为30天的累积变量数据提供给技术人员。这样技术人员可以便捷地直接获取得到所需要的累积变量数据,而不需要再对获取的累积变量数据再作筛选处理,减少了技术人员的工作量,进一步简化了技术人员操作流程,提高了用户体验。
在另一场景示例中,考虑到具体实施时,通常通过清洗模型运行生成的累积变量数据的数据量相对较少,且具有较大概率是在记录以后的较短时间内就会被调取使用;而通过velocity接口记录的累积变量数据的数据量相对较为庞大,且通常在记录后的较短时间内被调取使用的概率较小。基于上述情况,为了进一步提高技术人员获取累积变量数据的体验,进一步提高实施效率,同时兼顾处理成本,可以对上述两种基于不同方式获取的累积变量数据进行区分,按照不同的方式存储上述两种累积变量数据。
进一步,又考虑到不同类型的存储器具备不同的特点。例如,SSD(Solid StateDisk,固态硬盘)存储器性能相对较好,读取速度相对较快,但成本也相对较高。而机械硬盘存储器成本较低,但性能差于SSD存储器。再结合通过不同方式得到累积变量数据的使用特点和要求,具体实施时,可以将上述velocity接口与机械硬盘存储器相连,这样通过velocity接口实时记录下来的累积变量数据可以先存储在设置于机械硬盘存储器的数据库中。后续velocity接口可以通过访问机械硬盘存储器的数据库,获取并向客户端反馈相应的累积变量数据。相应的,可以将上述快照表与SSD存储器相连,这样通过预设于模型部署平台上的清洗模型运行生成的累积变量数据可以先通过快照表存储在设置于SSD存储器的数据库中。后续快照表可以通过访问SSD存储器的数据库,获取并向客户端反馈相应的累积变量数据。
由上述场景示例可见,本说明书提供的数据获取方法,由于通过接收并根据能够指向预设数据接口的获取请求,调用预先设置在业务系统中用于记录存储累积变量数据的预设数据接口反馈相应的累积变量数据,从而解决了现有方法中存在的获取累积变量数据效率低、不方便的技术问题,达到高效、便利地获取累积变量数据,减少资源占用的技术效果。
参阅图4所示,本说明书实施例提供了一种数据获取方法,其中,该方法具体应用于业务系统的服务器一侧。具体实施时,该方法可以包括以下内容:
S41:接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据。
在本实施方式中,上述获取请求具体可以理解为一种技术人员通过客户端发出的,用于请求获取业务系统上的某个时间段内的累积变量数据的请求数据。
在本实施方式中,上述累积变量数据具体可以理解为一种在某个预设时间段内,该网络平台的业务系统上累积得到的与业务对象相关的信息数据。具体的,上述累积变量数据可以包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据等。例如,近一周内各个商户的访问量数据。
在本实施方式中,上述预设数据接口具体可以理解为一种预先部署于业务系统的一段具备记录、存储等功能的程序代码,通过该数据接口可以利用业务系统自身的资源自动地实时记录并存储业务系统中的与业务对象相关的信息数据,作为上述累积变量数据。
在本实施方式中,上述预设数据接口具体可以包括:velocity接口,和/或,快照表等。当然,上述所列举的多种类型的预设数据口只是为了更好地说明本说明书实施方式。具体实施时,根据具体应用场景,还可以包括有其他类型的预设数据接口,例如,AntD接口等。对此,本说明书不作限定。
在本实施方式中,上述velocity接口(即velocity存储设置接口),具体可以理解为是一种针对velocity这种模块化的可视界面系统设计的用于记录存储的数据接口。上述快照表具体可以理解为是一种按天分区,用于存储至当前天所有信息数据的数据表。
其中,上述快照表具体可以与预设于业务系统中的模型部署平台(可以简称为uct)上的清洗模型相连,快照表中存储的数据具体可以包括上述清洗模型在某一时间段内运行过程中累积生成的信息数据。上述清洗模型具体可以为一种由技术人员预先针对某一具体业务场景类型布设的虚拟模型,该模型可以根据技术人员具体输入的初始数据和设置的配置参数,模拟对应的业务场景中的业务数据处理,并记录下模拟过程中实时产生的相关的信息数据。这类信息数据是模拟具体业务场景生成的,具有较高的参考价值,可以用作累积变量数据供技术人员后续调取使用。需要说明的是,通常在业务系统的模型部署平台中也会部署有一些模型,但通常所部署的模型往往都是预测类模型。通过这类模型,技术人员只能对所建立的业务模型的优劣进行检验、评价,而无法获取得到上述累积变量数据。
在本实施方式中,具体实施时,根据具体的应用场景和处理要求,可以先在业务系统中单独部署velocity接口,也可以在业务系统中单独部署与预设于模型部署平台的清洗模型相连的快照表,还可以在业务系统中同时部署velocity接口和快照表。对此,本说明书不作限定。
在本实施方式中,上述获取请求具体携带有与所指向的预设数据接口匹配的接口标识,这样可以通过该接口标识指示所指向的预设数据接口。
在本实施方式中,上述接口标识具体可以是一种按照一定规则排列组合得到的字符串,其中,每一组字符串分别与一种类型的预设数据接口匹配。
在本实施方式中,具体实施时,服务器在接收到客户端发送的获取请求后,可以对获取请求进行解析,得到获取请求所携带的接口标识;根据接口标识,确定与接口标识匹配的预设数据接口作为获取请求所指向的数据接口。
S43:根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
在本实施方式中,具体实施时,服务器可以根据获取请求,调用获取请求所指向的预设数据接口获取并向客户端发送该预设数据接口记录存储的累积变量数据。
客户端可以通过有线或无线网络接收到服务器发送的累积变量数据,并将上述累积变量数据提供给技术人员使用。这样技术人员只需要简单地通过客户端向业务系统发送指向预设数据接口的获取请求;而不需要专门地编写脚本文件,再额外地消耗资源运行脚本文件自己去检索、收集,便可以高效、便利地获取得到业务系统某一时间段上的累积变量数据,从而简化了累积变量数据的获取过程,提高了获取效率。
由上可见,本说明书实施例提供的数据获取方法,由于通过接收并根据能够指向预设数据接口的获取请求,调用预先设置在业务系统中用于记录存储累积变量数据的预设数据接口反馈相应的累积变量数据,从而解决了现有方法中存在的获取累积变量数据效率低、不方便的技术问题,达到高效、便利地获取累积变量数据,减少资源占用的技术效果。
在一个实施方式中,所述预设数据接口具体可以包括:velocity接口,和/或,快照表等。当然,上述所列举的多种类型的预设数据口只是为了更好地说明本说明书实施方式。具体实施时,根据具体应用场景,还可以包括有其他类型的预设数据接口,例如,AntD接口等。对此,本说明书不作限定。
在本实施方式中,所述快照表具体可以与预设于业务系统中的模型部署平台上的清洗模型相连。这样具体实施时,可以通过清洗模型在某一时间段内运行模型生成相应的变量数据,再由快照表将所生成的变量数据进行记录存储,从而得到该时间段内的累积变量数据。
在一个实施方式中,所述获取请求携带有接口标识。
在本实施方式中,上述接口标识具体可以是一种按照一定规则排列组合得到的字符串,其中,每一组字符串分别与一种类型的预设数据接口匹配。获取请求可以通过所携带的接口标识表征出所指向的预设数据接口,即所匹配的预设数据接口。
在一个实施方式中,在确定所述接口标识与velocity接口匹配的情况下,根据所述获取请求,调用所述预设数据接口反馈累积变量数据,具体实施时,可以包括以下内容:调用velocity接口获取并发送业务系统线上的累积变量数据。
在本实施方式中,通过velcity接口反馈得到的累积变量数据具体可以包括业务系统线上的累积变量数据。其中,上述业务系统线上的累积变量数据具体可以是理解为在业务系统所对应的平台网络上真实出现过,且并velocity接口记录下的变量数据。
在本实施方式中,服务器在确定接口标识为与velocity接口匹配时,确定获取请求所指向的预设数据接口为velocity接口;进而可以调用预设在业务系统中velocity接口将该接口所记录存储的累积变量数据发送至客户端。
在一个实施方式中,在确定所述接口标识与清洗模型匹配的情况下,根据所述获取请求,调用所述预设数据接口发送累积变量数据,具体实施时,可以包括以下内容:调用预设于模型部署平台的清洗模型进行模型运算,并记录模型运算过程中生成的累积变量数据;将所记录的累积变量数据发送至所述快照表;通过所述快照表发送所述累积变量数据。
在本实施方式中,通过快照表反馈得到的累积变量数据具体可以包括由预设于模型部署平台上的清洗模型基于业务系统线上的累积变量数据或技术人员设置的初始数据,通过模型运算生成的变量数据。
在本实施方式中,服务器在确定接口标识为与清洗模型匹配时,确定获取请求所指向的预设数据接口为与该清洗模型相连的快照表;进而可以先调用预设于模型部署平台(即uct)上的清洗模型响应获取请求,根据业务系统线上的累积变量数据或技术人员设置的初始数据和配置参数进行某一时间段的模型运行,同时将运行过程中实时生成的变量数据发送至快照表,由快照表记录存储该时间内累积的变量数据,并将所记录的累积变量数据发送至客户端。
在一个实施方式中,考虑到不同方式记录存储的累积变量数据本身的数据特点、所针对的应用场景、使用需求存在差异,例如,通常通过清洗模型运行生成的累积变量数据的数据量相对较少,且具有较大概率是在记录以后的较短时间内就会被调取使用;而通过velocity接口记录的累积变量数据的数据量相对较为庞大,且通常在记录后的较短时间内被调取使用的概率较小。因此,为了进一步提高技术人员获取累积变量数据的体验,进一步提高实施效率,同时兼顾处理成本,可以对上述两种基于不同方式获取的累积变量数据进行区分,按照不同的方式存储上述两种累积变量数据。
在本实施方式中,进一步又考虑到不同类型的存储器具备不同的特点。例如,SSD(Solid State Disk,固态硬盘)通常存储器性能相对较好,读取速度相对较快,但成本也相对较高。而机械硬盘存储器成本较低,但性能差于SSD存储器。再结合通过不同方式得到累积变量数据本身数据特点、使用需求的差异,具体实施时,可以将上述velocity接口与机械硬盘存储器相连,这样通过velocity接口实时记录下来的累积变量数据可以先存储在设置于机械硬盘存储器的数据库中。后续velocity接口可以通过访问机械硬盘存储器的数据库,获取并向客户端反馈相应的累积变量数据。相应的,可以将上述快照表与SSD存储器相连,这样通过预设于模型部署平台上的清洗模型运行生成的累积变量数据可以先通过快照表存储在设置于SSD存储器的数据库中。后续快照表可以通过访问SSD存储器的数据库,获取并向客户端反馈相应的累积变量数据。
在一个实施方式中,在所述预设数据接口为velocity接口的情况下,所述方法具体实施时还可以包括:通过所述velocity接口记录业务系统线上的累积变量数据,并将所记录的累积变量数据存储于机械硬盘存储器中。
在一个实施方式中,在所述预设数据接口为快照表的情况下,所述方法具体实施时还可以包括:通过预设于模型部署平台的清洗模型生成累积变量数据,并将所述累积变量数据存储于SSD存储器中。
在一个实施方式中,所述获取请求还可以携带有配置数据,其中,所述配置数据用于限定累积变量数据的特征参数。
在本实施方式中,上述特征参数具体可以理解为一种限定所请求获取的累积变量数据的属性特征的参数数据。具体的,上述特征参数可以包括以下至少之一:场景模式、主体对象、客体对象、变量函数、累积长度等。当然,上述所列举的特征参数只是一种示意性说明。具体实施时,根据具体的业务场景,还可以包含有其他用于描述累积变量数据的属性特征的参数数据作为上述特征参数。
其中,上述场景模式具体可以理解为与累积变量数据所关联的业务场景的场景类型。具体的,上述场景模式可以包括:审核场景(针对商户评价的考核场景)、直连BD场景(针对网络平台自己联络的商户拓展场景)、直连非BD场景(针对网络平台自己联络的非商户拓展的其他类型场景)、间连BD场景(针对非网络平台自己联络的商户拓展场景)、间连非BD场景(针对非网络平台自己联络的非商户拓展的其他类型场景)等。通常不同的场景模式会对应不同功能、类型的业务模型,技术人员可以根据待建立的业务模型的具体功能、用途,选择对应的场景模式下的累积变量数据进行获取。例如,技术人员要建立用于审核商户评价的业务模型时,可以有针对性地获取基于审核场景下的累积变量数据。
上述主体对象具体可以理解为累积变量数据所针对的业务对象的对象类型。具体的,上述主体对象可以包括商户或者客户等等。
上述客体对象具体可以理解为累积变量数据中所描述的关于业务对象的变量数据的属性类型。具体的,上述客体对象可以包括:评价、交易金额、成交量或者访问量等等。
上述变量函数具体可以理解为累积变量数据所依据的累积业务对象的变量数据的累积方式。具体的,上述变量函数可以包括:sum(求和函数)、count(统计函数)、distinct(去重函数)等等。
上述累积长度(也可称累积时间)具体可以理解为累积变量数据中累积业务对象的变量数据的时效范围。例如,累积长度为30天,则表示要求获取的累积变量数据为近30天内累积的业务对象的变量数据。当然,上述所列举的累积长度只是一种示意性说明。具体实施时,可以根据具体情况选择合适的时间长度作为上述累积长度。对此,本说明书不作限定。
在本实施方式中,技术人员可以通过编辑配置获取请求中的参数,来设置配置数据,从而达到设置用于限定所请求获取的累积变量数据的特征参数。
在一个实施方式中,在获取请求携带有配置数据的情况下,上述调用velocity接口发送累积变量数据,具体实施时,可以包括以下内容:调用velocity接口搜索并获取与所述特征参数匹配的累积变量数据;通过所述velocity接口发送与所述特征参数匹配的累积变量数据。
在本实施方式中,服务器在接收到客户端发送的获取请求后,通过数据解析从获取请求中提取得到所携带的接口标识的同时,还会提取得到获取请求中携带的配置数据;并对配置数据进行进一步的处理,得到配置数据中所限定的特征参数;进而可以根据上述特征参数,对预设数据接口所存储的累积变量数据进行查找、检索,有针对性地从所存储的大量累积变量数据中选择出与特征参数匹配的部分累积变量数据反馈给客户端,供技术人员使用。这样技术人员就不需要自己再人工对所反馈的累积变量数据进行甄别、筛选,间轻了技术人员工作量,提高了用户体验。
由上可见,本说明书实施例提供的数据获取方法,由于通过接收并根据能够指向预设数据接口的获取请求,调用预先设置在业务系统中用于记录存储累积变量数据的预设数据接口反馈相应的累积变量数据,从而解决了现有方法中存在的获取累积变量数据效率低、不方便的技术问题,达到高效、便利地获取累积变量数据,减少资源占用的技术效果;还通过提取并根据获取请求中携带的特征参数,调用预设数据接口从所记录存储的大量的变量数据中有针对性选择与特征参数匹配,即符合技术人员要求的累积变量数据发送至客户端,供技术人员使用,减轻了技术人员的工作量,提高了用户体验。
参阅图5所示,本说明书实施例提供了一种数据获取方法,其中,该方法具体应用于客户端一侧。具体实施时,该方法可以包括以下内容:
S51:发送获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据。
在本实施方式中,技术人员想要获取业务系统上预设时间段内累积的变量数据,可以通过客户端向业务系统的服务器发送获取请求。其中,上述获取请求指向业务系统的预设数据接口,用于请求获取所指向的预设数据接口记录存储的预设时间段内用于表征业务对象的特征属性的累积变量数据。
S53:接收所述预设数据接口根据所述获取请求反馈的累积变量数据。
在本实施方式中,技术人员可以通过客户端接收到业务系统根据上述获取调用相应的预设数据接口所反馈的累积变量数据,从而可以根据该累积变量数据进行具体的分析和应用。
在一个实施方式中,在接收所述预设数据接口根据所述获取请求反馈的累积变量数据后,所述方法具体实施时还可以包括以下内容:根据所述累积变量数据,进行模型训练,得到业务模型。
在本实施方式中,上述业务模型可以为一种用于进行针对某种具体业务的数据处理模型。例如,上述业务模型具体可以是一种商户口碑模型,通过该模型可以根据一个时间段内商户累积得到客户评价,判断该商户的口碑情况,从而确定是否需要对某些口碑较差的商户进行警告或关店处理。上述业务模型还可以是一种客户购物习惯的分析模型,通过该模型可以根据一个时间段内客户的交易情况、交易金额等确定客户的交易习惯和购买规律等。当然,上述所列举的业务模型只是一种示意性说明。具体实施时,根据具体的应用场景还可以包括其他类型的业务模型。对此,本说明书不作限定。
在一个实施方式中,所述预设数据接口具体可以包括:velocity接口,和/或,快照表等。其中,所述快照表与预设于业务系统中的模型部署平台上的清洗模型相连。当然,上述所列举的多种类型的预设数据口只是为了更好地说明本说明书实施方式。具体实施时,根据具体应用场景,还可以包括有其他类型的预设数据接口,例如,AntD接口等。对此,本说明书不作限定。
在本实施方式中,上述velocity接口(即velocity存储设置接口),具体可以理解为是一种针对velocity这种模块化的可视界面系统设计的用于记录存储的数据接口。上述快照表具体可以理解为是一种按天分区,用于存储至当前天所有信息数据的数据表。
其中,上述快照表具体可以与预设于业务系统中的模型部署平台(可以简称为uct)上的清洗模型相连,快照表中存储的数据具体可以包括上述清洗模型在某一时间段内运行过程中累积生成的信息数据。上述清洗模型具体可以为一种由技术人员预先针对某一具体业务场景类型布设的虚拟模型,该模型可以根据技术人员具体输入的初始数据和设置的配置参数,模拟对应的业务场景中的业务数据处理,并记录下模拟过程中实时产生的相关的信息数据。这类信息数据是模拟具体业务场景生成的,具有较高的参考价值,可以用作累积变量数据供技术人员后续调取使用。需要说明的是,通常在业务系统的模型部署平台中也会部署有一些模型,但通常所部署的模型往往都是预测类模型。通过这类模型,技术人员只能对所建立的业务模型的优劣进行检验、评价,而无法获取得到上述累积变量数据。
在一个实施方式中,技术人员在通过客户端生成并发送获取请求时,还可以通过设置与所要求的累积变量数据相关的特征参数,设置获取请求所携带的配置数据。以便服务器可以根据获取请求所携带的配置数据解析得到相应的特征参数,再调用预设数据接口,例如velocity接口从所记录存储的累积变量数据中筛选出与特征参数匹配的累积变量数据反馈给技术人员。从而避免了技术人员还需要人工对所反馈的累积变量数据进行甄别、筛选,简化了技术人员的操作,进一步提高了技术人员的用户体验。
在一个实施方式中,上述特征参数具体可以理解为一种限定所请求获取的累积变量数据的属性特征的参数数据。具体的,上述特征参数可以包括以下至少之一:场景模式、主体对象、客体对象、变量函数、累积长度等。当然,上述所列举的特征参数只是一种示意性说明。具体实施时,根据具体的业务场景,还可以包含有其他用于描述累积变量数据的属性特征的参数数据作为上述特征参数。
由上可见,本说明书实施例提供的数据获取方法,由于通过向业务系统发送指向预设数据接口的获取请求,并通过该获取请求,调用预先设置在业务系统中用于记录存储累积变量数据的预设数据接口反馈相应的累积变量数据,从而解决了现有方法中存在的获取累积变量数据效率低、不方便的技术问题,达到高效、便利地获取累积变量数据,减少资源占用的技术效果。
本说明书实施例还提供了一种服务器,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器具体实施时可以根据指令执行以下步骤:接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
为了能够更加准确地完成上述指令,参阅图6所示,本说明书还提供了另一种具体的服务器,其中,所述服务器包括网络通信端口601、处理器602以及存储器603,上述结构通过内部线缆相连,以便各个结构可以进行具体的数据交互。
其中,所述网络通信端口601,具体可以用于接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据。
所述处理器602,具体可以用于根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
所述存储器603,具体可以用于存储经网络通信端口601接收的获取请求,以及相应的指令程序。
在本实施方式中,所述网络通信端口601可以是与不同的通信协议进行绑定,从而可以发送或接收不同数据的虚拟端口。例如,所述网络通信端口可以是负责进行web数据通信的80号端口,也可以是负责进行FTP数据通信的21号端口,还可以是负责进行邮件数据通信的25号端口。此外,所述网络通信端口还可以是实体的通信接口或者通信芯片。例如,其可以为无线移动网络通信芯片,如GSM、CDMA等;其还可以为Wifi芯片;其还可以为蓝牙芯片。
在本实施方式中,所述处理器602可以按任何适当的方式实现。例如,处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
在本实施方式中,所述存储器603可以包括多个层次,在数字系统中,只要能保存二进制数据的都可以是存储器;在集成电路中,一个没有实物形式的具有存储功能的电路也叫存储器,如RAM、FIFO等;在系统中,具有实物形式的存储设备也叫存储器,如内存条、TF卡等。
本说明书实施例还提供了一种基于上述数据获取方法的计算机存储介质,所述计算机存储介质存储有计算机程序指令,在所述计算机程序指令被执行时实现:接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
在本实施方式中,上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的,用于进行网络连接通信的接口。
在本实施方式中,该计算机存储介质存储的程序指令具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。
参阅图7所示,在软件层面上,本说明书实施例还提供了一种数据获取装置,该装置具体可以包括以下的结构模块:
接收模块71,具体可以用于接收获取请求,其中,所述获取请求指向业务系统的预设数据接口,所述预设数据接口用于记录并存储业务系统上的累积变量数据,所述累积变量数据包括在预设时间段内累积得到的用于表征业务对象的特征属性的数据;
调用模块72,具体可以用于根据所述获取请求,调用所述预设数据接口反馈累积变量数据。
在一个实施方式中,所述预设数据接口具体可以包括:velocity接口,和/或,快照表等,其中,所述快照表与预设于业务系统中的模型部署平台上的清洗模型相连。当然,需要说明的是,上述所列举的多种类型的预设数据口只是为了更好地说明本说明书实施方式。具体实施时,根据具体应用场景,还可以包括有其他类型的预设数据接口,例如,AntD接口等。对此,本说明书不作限定。
在一个实施方式中,所述获取请求具体可以携带有接口标识。
在本实施方式中,上述接口标识具体可以是一种按照一定规则排列组合得到的字符串,其中,每一组字符串分别与一种类型的预设数据接口匹配。获取请求可以通过所携带的接口标识表征出所指向的预设数据接口,即所匹配的预设数据接口。
在一个实施方式中,所述调用模块72在确定所述接口标识与velocity接口匹配的情况下,具体可以用于调用velocity接口获取并发送所述累积变量数据。
在一个实施方式中,所述调用模块72在确定所述接口标识与清洗模型匹配的情况下,具体可以用于调用预设于模型部署平台的清洗模型进行模型运算,并记录模型运算过程中生成的累积变量数据;将所记录的累积变量数据发送至所述快照表;通过所述快照表发送所述累积变量数据。
在一个实施方式中,所述获取请求还携带有配置数据,其中,所述配置数据具体可以用于限定累积变量数据的特征参数。
在一个实施方式中,上述特征参数具体可以理解为一种限定所请求获取的累积变量数据的属性特征的参数数据。具体的,上述特征参数可以包括以下至少之一:场景模式、主体对象、客体对象、变量函数、累积长度等。当然,上述所列举的特征参数只是一种示意性说明。具体实施时,根据具体的业务场景,还可以包含有其他用于描述累积变量数据的属性特征的参数数据作为上述特征参数。
在一个实施方式中,所述调用模块72具体还可以用于调用velocity接口搜索并获取与所述特征参数匹配的累积变量数据;通过所述velocity接口发送与所述特征参数匹配的累积变量数据。
需要说明的是,上述实施例阐明的单元、装置或模块等,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
由上可见,本说明书实施例提供的数据获取装置,由于通过接收模块接收能够指向预设数据接口的获取请求,通过调用模块根据上述获取请求调用预先设置在业务系统中用于记录存储累积变量数据的预设数据接口反馈相应的累积变量数据,从而解决了现有方法中存在的获取累积变量数据效率低、不方便的技术问题,达到高效、便利地获取累积变量数据,减少资源占用的技术效果。
虽然本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本说明书,本领域普通技术人员知道,本说明书有许多变形和变化而不脱离本说明书的精神,希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。