CN111064797B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN111064797B
CN111064797B CN201911330922.8A CN201911330922A CN111064797B CN 111064797 B CN111064797 B CN 111064797B CN 201911330922 A CN201911330922 A CN 201911330922A CN 111064797 B CN111064797 B CN 111064797B
Authority
CN
China
Prior art keywords
data
model training
model
client
joint debugging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911330922.8A
Other languages
English (en)
Other versions
CN111064797A (zh
Inventor
王洵湉
刘博�
郑文琛
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911330922.8A priority Critical patent/CN111064797B/zh
Publication of CN111064797A publication Critical patent/CN111064797A/zh
Application granted granted Critical
Publication of CN111064797B publication Critical patent/CN111064797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及金融科技(Fintech)技术领域,公开了一种数据处理方法及装置,其中方法包括:客户端向服务器发送模型训练请求,并在模型训练请求中携带待训练模型的标识,由服务器基于该标识创建联调地址,并将联调地址发送给客户端,如此,客户端接收并显示联调地址,根据联调地址将模型训练数据打包上传给服务器进行模型训练。现有技术需要用户在界面上将模型训练数据逐条上传给服务器,而本发明由客户端根据服务器创建的联调地址将模型训练数据直接打包上传给服务器,相比于现有技术来说,本发明可以降低用户对界面操作的复杂性,且,打包上传相对于逐条上传来说还可以有效缩短上传时间,提高服务器训练模型的效率。

Description

一种数据处理方法及装置
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种数据处理方法及装置。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。
为便于向用户提供模型训练服务,服务器通常向用户提供一个服务界面,当检测到用户在服务界面上上传了模型训练所需的数据后,服务器可以基于所述数据训练得到模型。
但是存在的问题是:用户需要在服务界面上逐条上传数据,比如用户需要按照顺序上传并提交每一条数据,或者用户需要先按照顺序上传全部数据,再提交全部数据,显然地,逐条上传数据的方式会增加用户对界面操作的复杂性,由于用户需要花费较长的时间才能完成对数据的上传,从而该种方式还会降低模型训练的效率。
发明内容
本发明提供一种数据处理方法及装置,用以使用用户上传的数据进行模型训练时,降低用户对界面操作的复杂性,提高模型训练的效率。
第一方面,本发明提供的一种数据处理方法,所述方法适用于客户端,所述方法包括:
向服务器发送模型训练请求,所述模型训练请求中携带有待训练模型的标识;接收并显示所述服务器根据所述标识创建的联调地址,并根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练。
在一种可能的实现方式中,所述根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练,包括:使用公钥加密所述模型训练数据,并根据所述联调地址将加密的模型训练数据打包上传给所述服务器。
在一种可能的实现方式中,所述根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练之前,还根据所述联调地址下载所述服务器上传的点击数据,将所述点击数据匹配的转化数据作为所述模型训练数据。
在一种可能的实现方式中,所述模型训练请求中还包括数据范围;所述数据范围用于所述服务器获取满足所述数据范围的所述点击数据。
在一种可能的实现方式中,所述根据联调地址将模型训练数据打包上传给所述服务器进行模型训练之后,还根据所述联调地址下载所述服务器上传的加密转化模型,并使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型;所述加密转化模型由所述服务器至少使用所述加密的模训练数据训练得到。
在一种可能的实现方式中,所述使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型之后,还根据所述联调地址将所述解密转化模型上传给所述服务器进行模型应用。
在一种可能的实现方式中,所述方法还包括:显示所述模型训练的当前进度。
第二方面,本发明提供的一种数据处理方法,所述方法适用于服务器,所述方法包括:
接收客户端发送的模型训练请求,所述模型训练请求中携带有待训练模型的标识;根据所述标识创建联调地址,并将所述联调地址发送给所述客户端进行显示,根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练。
在一种可能的实现方式中,所述根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练,包括:根据所述联调地址获取所述客户端打包上传的加密的模型训练数据,至少使用所述加密的模型训练数据训练得到加密转化模型;所述加密的模型训练数据由所述客户端使用公钥加密所述模型训练数据得到。
在一种可能的实现方式中,所述根据所述联调地址获取所述客户端打包上传的模型训练数据之前,还根据所述联调地址将点击数据上传给所述客户端进行数据匹配,所述数据匹配用于所述客户端将所述点击数据对应的转化数据作为所述模型训练数据。
在一种可能的实现方式中,所述模型训练请求中还包括数据范围;所述根据所述联调地址将点击数据上传给所述客户端进行数据匹配之前,还获取满足所述数据范围的所述点击数据。
在一种可能的实现方式中,所述根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练之后,还根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密。
在一种可能的实现方式中,所述根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密之后,还根据所述联调地址获取所述客户端上传的解密转化模型,进行模型应用。
第三方面,本发明提供的一种数据处理装置,所述装置包括:
收发模块,用于向服务器发送模型训练请求,并在所述模型训练请求中携带待训练模型的标识,接收所述服务器根据所述标识创建的联调地址;
显示模块,用于显示所述联调地址;
处理模块,用于根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练。
所述处理模块具体用于:使用公钥加密所述模型训练数据,并根据所述联调地址将加密的模型训练数据打包上传给所述服务器。
在一种可能的实现方式中,所述处理模块根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练之前,还用于:根据所述联调地址下载所述服务器上传的点击数据,将所述点击数据匹配的转化数据作为所述模型训练数据。
在一种可能的实现方式中,所述模型训练请求中还包括数据范围;所述数据范围用于所述服务器获取满足所述数据范围的所述点击数据。
在一种可能的实现方式中,所述处理模块根据联调地址将模型训练数据打包上传给所述服务器进行模型训练之后,还用于:根据所述联调地址下载所述服务器上传的加密转化模型,并使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型;所述加密转化模型由所述服务器至少使用所述加密的模训练数据训练得到。
在一种可能的实现方式中,所述处理模块使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型之后,还用于:根据所述联调地址将所述解密转化模型上传给所述服务器进行模型应用。
在一种可能的实现方式中,所述显示模块还用于:显示所述模型训练的当前进度。
第四方面,本发明提供的一种数据处理装置,所述装置包括:
收发模块,用于接收客户端发送的模型训练请求,所述模型训练请求中携带有待训练模型的标识;
创建模块,用于根据所述标识创建联调地址;
所述收发模块,还用于将所述联调地址发送给所述客户端进行显示;
处理模块,还用于根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练。
在一种可能的实现方式中,所述处理模块具体用于:根据所述联调地址获取所述客户端打包上传的加密的模型训练数据,至少使用所述加密的模型训练数据训练得到加密转化模型;所述加密的模型训练数据由所述客户端使用公钥加密所述模型训练数据得到。
在一种可能的实现方式中,所述处理模块根据所述联调地址获取所述客户端打包上传的加密的模型训练数据之前,还用于:根据所述联调地址将点击数据上传给所述客户端进行数据匹配,所述数据匹配用于所述客户端将所述点击数据对应的转化数据作为所述模型训练数据。
在一种可能的实现方式中,所述模型训练请求中还包括数据范围;所述处理模块根据所述联调地址将点击数据上传给所述客户端进行数据匹配之前,还用于:获取满足所述数据范围的所述点击数据。
在一种可能的实现方式中,所述处理模块根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练之后,还用于:根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密。
在一种可能的实现方式中,所述处理模块根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密之后,还用于:根据所述联调地址获取所述客户端上传的解密转化模型,进行模型应用。
第五方面,本发明提供的一种计算设备,包括至少一个处理器以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行上述第一方面或第二方面任意所述的数据处理方法。
第六方面,本发明提供的一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述程序在所述计算设备上运行时,使得所述计算设备执行上述第一方面或第二方面任意所述的数据处理方法。
本发明提供的数据处理方法及装置,通过创建模型训练对应的联调地址,使得客户端能够根据联调地址将模型训练数据直接打包上传给服务器,而无需用户在服务界面进行逐条上传,从而可以降低用户对界面操作的复杂性;且,打包上传的方式相对于逐条上传的方式来说可以有效的缩短上传时间,因此还可以提高服务器训练模型的效率。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种可能的系统架构示意图;
图2为本发明实施例提供的一种数据处理方法对应的交互流程示意图;
图3为本发明实施例提供的一种模型训练方法对应的交互流程示意图;
图4为本发明实施例提供的一种服务界面的界面示意图;
图5为本发明实施例提供的一种数据处理装置的结构示意图;
图6为本发明实施例提供的又一种数据处理装置的结构示意图;
图7为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种可能的系统架构示意图,如图1所示,该系统架构中包括服务器110和至少一个客户端,比如客户端121、客户端122和客户端123;其中,服务器110可以与每个客户端连接,比如可以通过有线方式连接,也可以通过无线方式连接,不作限定。
本发明实施例中,服务器110可以为全球广域网(World Wide Web,web)服务器,客户端可以为具有界面显示功能的任意终端设备,比如手机、笔记本电脑、Ipad等,客户端上部署有web浏览器,如此,服务器100可以通过客户端上部署的web浏览器显示服务界面。
基于图1所示意的系统架构,图2为本发明实施例提供的一种数据处理方法对应的交互流程示意图,该方法包括:
步骤201,客户端向服务器发送模型训练请求,所述模型训练请求中携带有待训练模型的标识。
在一个示例中,当用户存在模型训练需求时,可以先通过客户端的web浏览器访问预设链接,获取到服务器提供的服务界面,再通过操作服务界面触发客户端向服务器发送模型训练请求,比如可以通过鼠标点击服务界面上的设定图标来触发客户端向服务器发送模型训练请求,或者也可以在服务界面的设定区域按压键盘上的预设按键(比如单个按键或组合按键)来触发客户端向服务器发送模型训练请求,或者还可以在服务界面的设定输入框中输入预设语音或预设文字来触发客户端向服务器发送模型训练请求,或者还可以通过采集预设脑电波信号来触发客户端向服务器发送模型训练请求等等,不作限定。
步骤202,服务器根据模型训练请求中待训练模型的标识创建联调地址。
本发明实施例中,联调地址可以为服务器内存中的某个空间,或者也可以为与服务器连接的外部设备中的某个空间,联调地址可以与多个设备中的数据进行绑定,以使各个设备通过联调地址下载其他设备中的数据;且,根据待训练模型的标识创建的联调地址可以仅与本次模型训练相关联,一旦检测到本次模型训练结束,服务器即可释放联调地址,从而及时释放内存,降低无用的内存占用。
具体实施中,关联联调地址和本次模型训练的方式可以为:服务器接收到模型训练请求后,获取模型训练请求中待训练模型的标识,创建联调地址,并建立联调地址与待训练模型的标识的对应关系。其中,待训练模型的标识可以为待训练模型的名称、待训练模型的编号、发送模型训练请求的客户端的国际互联协议(Internet Protocol,IP)地址中的任意一项或任意多项,不作限定。
步骤203,服务器将联调地址发送给客户端。
在一个示例中,联调地址可以以加密形式发送给客户端,加密形式的联调地址可以保证只有服务器预先授权过的客户端才能访问到联调地址。具体实施时,当检测到客户端从联调地址中下载数据或上传数据时,服务器会分析客户端的权限,若确定客户端具有下载或上传权限,则允许客户端调用联调地址,若确定客户端不具有下载或上传权限,则不允许客户端调用联调地址,以提高模型训练的准确性。
步骤204,客户端显示联调地址。
具体实施中,客户端接收到服务器发送的联调地址后,可以在服务界面上显示联调地址,以便于用户通过服务界面查看模型训练的进度。比如,若用户在服务界面上成功查看到服务器创建的联调地址,则可以确定服务器已接收到客户端的模型训练请求,并认可本次模型训练,如此,用户可以执行步骤205;相应地,若用户在设定时长内一直未在服务界面上查看到联调地址,则可以确定服务器未接收到客户端的模型训练请求,如此,用户可以重新触发客户端向服务器发送模型训练请求,或者,若用户在服务界面上查看到权限鉴定不通过的提示信息,则可以确定服务器不认可本次模型训练,如此,用户可以查询原因并确定是否重新执行本次模型训练。
步骤205,客户端根据联调地址将模型训练数据打包上传给服务器。
在一个示例中,客户端打包上传模型训练数据之前,还可以使用公钥加密模型训练数据,以将加密的模型训练数据打包上传至联调地址。其中,公钥对应的私钥由客户端进行保管,如此,服务器接收到加密的模型训练数据后,由于服务器中不存在公钥对应的私钥,因此服务器无法解密模型训练数据得到模型训练数据,从而可以保护模型训练数据的安全。
步骤206,服务器根据联调地址获取客户端打包上传的模型训练数据。
步骤207,服务器使用模型训练数据进行模型训练。
具体实施中,服务器训练模型的过程可以基于具体的业务场景进行设置,比如若服务器仅具有模型训练的功能,则服务器可以只基于客户端上传在联调地址中的模型训练数据训练得到模型,若服务器还具有数据存储的功能,则服务器可以使用客户端上传在联调地址中的模型训练数据和服务器中存储的数据共同训练得到模型,若服务器还具有与第三方交互的功能,则服务器可以先从第三方获取第三方中的数据,再使用客户端上传在联调地址中的模型训练数据和第三方中的数据共同训练得到模型,等等。
本发明实施例中,通过设置模型训练对应的联调地址,使得用户能够通过联调地址将模型训练数据直接打包上传给服务器,而无需在服务界面上逐条上传给服务器,从而可以降低用户对界面操作的复杂性,且,直接上传全部数据相对于逐条上传来说可以有效的缩短上传时间,因此还可以提高服务器训练模型的效率。
为了便于理解,下面以广告推广为例描述本发明实施例中的模型训练方法,其中,服务器指广告平台,客户端指广告主。
图3为本发明实施例提供的一种模型训练方法对应的流程示意图,该方法包括:
步骤301,客户端在联调地址中上传加密的模型训练数据。
在一种可能的实现方式中,加密的模型训练数据可以通过如下步骤3011至步骤3015得到:
步骤3011,客户端向服务器发送模型训练请求,模型训练请求中携带有待训练模型的标识和数据范围。
具体实施中,若用户存在模型训练的需求,则用户可以在客户端显示的服务界面上输入待训练模型的标识和数据范围,以由客户端根据待训练模型的标识和数据范围生成模型训练请求。其中,数据范围可以包括时间范围、金额范围、对象所在的位置范围、对象性别、浏览时长中的任意一项或任意多项,或者也可以包括其它数据范围,不作限定。
步骤3012,服务器接收到模型训练请求后,根据模型训练请求中携带的待训练模型的标识创建联调地址。
步骤3013,服务器获取满足数据范围的点击数据。
其中,点击数据用于标识对象是否对预设行为感兴趣。在广告推广中,预设行为是指购买广告产品,而对象是指浏览过广告产品的广告页面的用户,点击数据包括对象在广告产品的广告页面上的操作信息,比如对象对广告页面的浏览时长、对象是否在广告页面上执行了点击操作等。
举例来说,若用户输入的数据范围包括时间范围和金额范围,则服务器可以先获取在该时间范围内观看到广告产品的广告页面的所有对象的点击数据,再从所有对象的点击数据中选取购买金额满足金额范围的对象的点击数据,作为满足数据范围的点击数据,或者也可以先获取购买金额满足金额范围的所有对象的点击数据,再从所有对象的点击数据中选取在该时间范围内观看到广告产品的广告页面的对象的点击数据,作为满足数据范围的点击数据。
步骤3014,服务器将点击数据上传至联调地址。
在一个示例中,服务器可以仅将点击数据中的对象标识上传至联调地址。
步骤3015,服务器将联调地址发送给客户端。
步骤3016,客户端接收服务器发送的联调地址后,显示联调地址。
在一种可能的实现方式中,客户端还可以通过服务界面向用户显示模型训练的当前阶段,以使用户根据模型训练的当前阶段监管模型训练的整个过程。模型训练的各个阶段可以基于模型训练流程进行设置,具体不作限定。
在一个示例中,客户端在接收到服务器发送的联调地址后,确定服务器已将满足数据范围的点击数据上传至联调地址,因此,客户端还可以更新模型训练的当前阶段为点击数据下载阶段,点击数据下载阶段用于向用户显示当前可执行从联调地址下载点击数据的操作;如此,若用户在服务界面上查看到模型训练的当前阶段处于点击数据下载阶段,则可以通过客户端到联调地址中下载点击数据。
步骤3017,客户端从联调地址下载点击数据。
在一个示例中,当通过联调地址下载点击数据之后,客户端还可以更新模型训练的当前阶段为加密数据回传阶段,加密数据回传阶段用于向用户显示当前可执行向联调地址回传加密的转化数据的操作;如此,若用户在服务界面上查看到模型训练的当前阶段处于加密数据回传阶段后,则可以通过客户端将步骤3017得到的加密的转化数据上传至联调地址。
其中,加密的转化数据即为加密的模型训练数据。
步骤3018,客户端获取点击数据匹配的转化数据,并使用公钥加密转化数据得到加密的模型训练数据。
具体实施中,客户端获取到点击数据后,可以基于每条点击数据中对象的标识来匹配每条点击数据对应的转化数据,比如,针对于任一点击数据,客户端可以从内存中获取与该点击数据中对象的标识匹配的转化数据,然后使用公钥加密该转化数据得到一条加密转化数据;且,用户还可以对该条加密转化数据设置标识,加密转化数据的标识同样基于转化数据中对象的标识进行设置,以便于后续服务器匹配加密转化数据对应的点击数据。
其中,转化数据用于标识对象是否执行了预设行为。在广告推广中,预设行为是指购买广告产品,而对象是指浏览过或未浏览过广告产品的广告页面的客户,转化数据包括对象对广告产品的购买信息,比如对象是否购买了广告产品、对象购买广告产品的数量、对象购买广告产品的频繁程度、对象购买广告产品的邮寄地址等。
本发明实施例中,公钥由客户端进行设置,各次模型训练所使用的公钥可以不同,公钥由客户端同步给服务器,而公钥对应的私钥仅由客户端来保管,以避免服务器使用私钥解密得到明文的转化数据,从而保护转化数据中对象的隐私数据的安全。
上述实现方式支持用户根据业务需要设置数据范围,以使服务器使用满足数据范围的点击数据和转化数据训练得到模型,从而灵活性更强,针对性更好,用户的满意度更高。
需要说明的是,上述仅是一种示例性的简单说明,在具体实施中,加密的转化数据也可以基于其它方式得到,比如也可以由客户端随机选取转化数据并加密得到,对此不作具体限定。
本发明实施例中,用户可以将加密转化数据和公钥同时上传至联调地址,也可以先将公钥同步给服务器,再将加密转化数据上传至联调地址,不作限定。
步骤302,服务器根据联调地址获取加密的模型训练数据。
步骤303,服务器至少使用加密的模型训练数据训练得到加密转化模型。
在一个示例中,服务器可以使用加密转化数据和对应的加密点击数据训练得到加密转化模型,实现过程包括:
步骤a,服务器获取加密转化数据对应的点击数据。
具体实施中,加密转化数据中包括多条加密的转化数据,每条加密的转化数据的标识基于转化数据中对象的标识进行设置,因此,服务器可以基于每条加密的转化数据的标识匹配得到对应的每条点击数据。
步骤b,服务器使用公钥对点击数据进行加密,得到加密点击数据。
具体实施中,针对于每条点击数据,服务器可以使用公钥加密该点击数据,得到一条加密的点击数据,且,服务器还可以对该条加密的点击数据设置标识,设置方式与加密的转化数据的标识的设置方式相同,比如可以为点击数据中对象的标识。
步骤c,服务器使用加密转化数据和加密点击数据训练得到加密转化模型。
本发明实施例中,通过联调地址完成对加密转化数据和加密点击数据的匹配,使得服务器能够使用匹配的加密转化数据和加密点击数据训练模型,通过过滤无用数据,服务器能够更有针对性地训练模型,从而提高模型的训练效率。
步骤304,服务器将加密转化模型上传至联调地址。
此处,将加密转化模型上传至联调地址,实际是指将加密转化模型的参数上传至联调地址。
在一个示例中,确定服务器将加密转化模型上传至联调地址之后,客户端还可以更新模型训练的当前阶段为加密模型下载阶段,加密模型下载阶段用于向用户显示当前可执行从联调地址下载加密转化模型的操作;如此,若用户在服务界面上查看到模型训练的当前阶段处于加密模型下载阶段后,则可以通过客户端从联调地址下载加密转化模型。
步骤305,用户从联调地址下载加密转化模型。
本发明实施例中,通过在服务界面上显示模型训练的当前阶段,使得用户能够实时跟踪模型训练的流程,一方面能够便于用户及时在联调地址中响应服务器(即在联调地址中下载数据或上传数据),提高模型训练的效率;另一方面用户能够随时掌控模型训练的阶段,相比于现阶段用户在传输明文的转化数据给服务器后即一直处于等待状态的方案来说,可以提高用户的体验。
步骤306,客户端使用公钥对应的私钥对加密转化模型进行解密,得到解密转化模型。
本发明实施例中,客户端解密得到解密转化模型后,可以直接使用解密转化模型进行模型应用,也可以将解密转化模型发送给第三方平台,经由第三方平台使用解密转化模型进行模型应用,不作限定。
在一种可能的实现方式中,客户端还可以通过服务器使用解密转化模型进行模型应用,该过程可以参照如下步骤3021-步骤3023:
步骤3021,客户端将解密转化模型上传至联调地址。
在一个示例中,在解密得到解密转化模型之后,客户端还可以更新模型训练的当前阶段为解密模型回传阶段,解密模型回传阶段用于向用户显示当前可执行向联调地址上回传解密转化模型的操作;如此,若用户在服务界面上查看到模型训练的当前阶段处于解密模型回传阶段,则用户可以将解密转化模型上传至联调地址。
此处,将解密转化模型上传至联调地址,实际是指将解密转化模型的参数上传至联调地址。
步骤3022,服务器从联调地址中获取解密转化模型。
步骤3023,服务器使用解密转化模型进行模型应用。
在一个示例中,服务器在获取解密转化模型后,还可以建立解密转化模型与客户端的对应关系,如此,在应用阶段,若接收到客户端发送的模型选择请求,则可以将客户端对应的全部模型的标识发送给客户端,客户端可以显示全部模型的标识,并可以监听用户在全部模型的标识中选择的目标模型的标识,然后根据目标模型的标识生成模型应用请求并发送给服务器,以使服务器使用目标模型进行模型应用。
其中,模型应用请求中还可以包括模型效果,以便于服务器基于模型效果使用目标模型进行模型应用。
在上述示例中,通过服务器存储客户端对应的训练过的全部解密转化模型,使得客户端在使用模型时可以根据需要从全部的解密转化模型中选择目标解密转化模型进行模型应用,而无需再重新训练模型,从而可以避免重复执行相同的模型训练操作,提高客户端的满意程度。
举例来说,在广告推广中,服务器的数据库中存储有海量的对象信息,在解析模型应用请求确定目标模型和模型效果后,服务器可以先基于模型效果设置设定转化概率,然后使用目标模型分析每个对象的转化概率,若转化概率大于或等于设定转化概率,则可以将该对象作为一个待推广对象,若转化概率小于设定转化概率,则可以将该对象作为一个非推广对象;当分析出全部的待推广对象后,服务器可以将广告产品的广告页面推广给每个待推广对象,比如显示在每个待推广对象的终端设备上。
在上述实现方式中,是否回传解密转化模型给服务器由客户端进行把控,经由客户端回传解密转化模型给服务器,使得模型应用过程在服务器中执行,而无需客户端自行执行,从而能够减轻客户端的工作压力。
图4为本发明实施例提供的一种服务界面的界面示意图,如图4所示,服务界面的中部依次设置有模型名称输入框和模型效果输入框,模型名称输入框用于用户输入待训练的模型名称,模型效果输入框用于用户输入待训练的模型的转化效果,当用户输入完成后,若确定执行模型训练,则可以点击模型效果输入框下侧的“确定”按钮,若确定取消模型训练,则可以点击模型效果输入框下侧的“取消”按钮。
具体实施中,若用户点击模型效果输入框下侧的“确定”按钮,则服务器可以创建对应的联调地址并发送给客户端,以由客户端在服务界面的下侧显示联调地址。如图4所示,当用户在模型效果输入框中输入“贷款模型”,在模型效果输入框中输入“留资”,并点击模型效果输入框下侧的“确定”按钮后,客户端可以在服务界面的下侧显示联调地址“Http://ad.aaaa.com/platform1/url1000208469.htmlipsum”,并启动模型训练。
相应地,在模型训练过程中,服务界面的上侧可以显示模型训练的执行阶段,如图4所示,模型训练包括依次设置的“点击数据下载”阶段、“加密数据回传”阶段、“加密模型下载”阶段和“解密模型回传”阶段,已执行过的阶段可以显示为深灰色,当前阶段显示为浅灰色,未执行的阶段显示为白色。当前阶段,贷款模型的训练过程已执行至“加密数据回传”阶段,说明客户端已在联调地址中下载了点击数据,用户可执行回传加密转化数据的操作。
需要说明的是,上述仅是一种示例性的简单说明,其所列举的界面布局形式仅是为了便于说明方案,并不构成对方案的限定,在具体实施中,界面布局形式可以由本领域技术人员根据经验进行设置,具体不作限定。
本发明的上述实施例中,客户端向服务器发送模型训练请求,并在模型训练请求中携带待训练模型的标识,进而由服务器基于该标识创建联调地址,并将联调地址发送给客户端,如此,客户端接收并显示联调地址,并根据联调地址将模型训练数据打包上传给服务器进行模型训练。本发明实施例中,通过创建模型训练对应的联调地址,使得客户端能够根据联调地址将模型训练数据直接打包上传给服务器,而无需用户在服务界面进行逐条上传,从而可以降低用户对界面操作的复杂性;且,打包上传的方式相对于逐条上传的方式来说可以有效的缩短上传时间,因此还可以提高服务器训练模型的效率。
针对上述方法流程,本发明实施例还提供一种数据处理装置,该装置的具体内容可以参照上述方法实施。
图5为本发明实施例提供的一种数据处理装置的结构示意图,该数据处理装置为客户端,该装置包括:
收发模块501,用于向服务器发送模型训练请求,并在所述模型训练请求中携带待训练模型的标识,以及,接收所述服务器根据所述标识创建的联调地址;
显示模块502,用于显示所述联调地址;
处理模块503,用于根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练。
可选地,所述处理模块503具体用于:
使用公钥加密所述模型训练数据,并根据所述联调地址将加密的模型训练数据打包上传给所述服务器。
可选地,所述处理模块503根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练之前,还用于:
根据所述联调地址下载所述服务器上传的点击数据,将所述点击数据匹配的转化数据作为所述模型训练数据。
可选地,所述模型训练请求中还包括数据范围;所述数据范围用于所述服务器获取满足所述数据范围的所述点击数据。
可选地,所述处理模块503根据联调地址将模型训练数据打包上传给所述服务器进行模型训练之后,还用于:
根据所述联调地址下载所述服务器上传的加密转化模型;所述加密转化模型由所述服务器至少使用所述加密的模训练数据训练得到;
使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型。
可选地,所述处理模块503使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型之后,还用于:
根据所述联调地址将所述解密转化模型上传给所述服务器进行模型应用。
可选地,所述显示模块502还用于:
显示所述模型训练的当前进度。
图6为本发明实施例提供的另一种数据处理装置的结构示意图,该装置为服务器,该装置包括:
收发模块601,用于接收客户端发送的模型训练请求,所述模型训练请求中携带有待训练模型的标识;
创建模块602,用于根据所述标识创建联调地址;
所述收发模块601,还用于将所述联调地址发送给所述客户端进行显示;
处理模块603,用于根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练。
可选地,所述处理模块603具体用于:
根据所述联调地址获取所述客户端打包上传的加密的模型训练数据,至少使用所述加密的模型训练数据训练得到加密转化模型;所述加密的模型训练数据由所述客户端使用公钥加密所述模型训练数据得到。
可选地,所述处理模块603根据所述联调地址获取所述客户端打包上传的加密的模型训练数据之前,还用于:
根据所述联调地址将点击数据上传给所述客户端进行数据匹配,所述数据匹配用于所述客户端将所述点击数据对应的转化数据作为所述模型训练数据。
可选地,所述模型训练请求中还包括数据范围;
所述处理模块603根据所述联调地址将点击数据上传给所述客户端进行数据匹配之前,还用于:
获取满足所述数据范围的所述点击数据。
可选地,所述处理模块603根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练之后,还用于:
根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密。
可选地,所述处理模块603根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密之后,还用于:
根据所述联调地址获取所述客户端上传的解密转化模型,进行模型应用。
从上述内容可以看出:本发明的上述实施例中,客户端向服务器发送模型训练请求,并在模型训练请求中携带待训练模型的标识,进而由服务器基于该标识创建联调地址,并将联调地址发送给客户端,如此,客户端接收并显示联调地址,并根据联调地址将模型训练数据打包上传给服务器进行模型训练。本发明实施例中,通过创建模型训练对应的联调地址,使得客户端能够根据联调地址将模型训练数据直接打包上传给服务器,而无需用户在服务界面进行逐条上传,从而可以降低用户对界面操作的复杂性;且,打包上传的方式相对于逐条上传的方式来说可以有效的缩短上传时间,因此还可以提高服务器训练模型的效率。
基于同一发明构思,本发明实施例还提供了一种计算设备,如图7所示,包括至少一个处理器701,以及与至少一个处理器连接的存储器702,本发明实施例中不限定处理器701与存储器702之间的具体连接介质,图7中处理器701和存储器702之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中,存储器702存储有可被至少一个处理器701执行的指令,至少一个处理器701通过执行存储器702存储的指令,可以执行前述的数据处理方法中所包括的步骤。
其中,处理器701是计算设备的控制中心,可以利用各种接口和线路连接计算设备的各个部分,通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据,从而实现数据处理。可选的,处理器701可包括一个或多个处理单元,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理下发指令。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。在一些实施例中,处理器701和存储器702可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器701可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合数据处理实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本发明实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于同一发明构思,本发明实施例还提供了一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述程序在所述计算设备上运行时,使得所述计算设备执行上述图2或图3所述的数据处理方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种数据处理方法,其特征在于,所述方法适用于客户端,所述方法包括:
向服务器发送模型训练请求,所述模型训练请求中携带有待训练模型的标识;
接收并显示所述服务器根据所述标识创建的联调地址;
根据所述联调地址下载所述服务器上传的点击数据,将所述点击数据匹配的转化数据作为模型训练数据;
根据所述联调地址将所述模型训练数据打包上传给所述服务器进行模型训练。
2.根据权利要求1所述的方法,其特征在于,所述根据所述联调地址将模型训练数据打包上传给所述服务器进行模型训练,包括:
使用公钥加密所述模型训练数据,并根据所述联调地址将加密的模型训练数据打包上传给所述服务器。
3.根据权利要求1所述的方法,其特征在于,所述模型训练请求中还包括数据范围;所述数据范围用于所述服务器获取满足所述数据范围的所述点击数据。
4.根据权利要求2所述的方法,其特征在于,所述根据联调地址将模型训练数据打包上传给所述服务器进行模型训练之后,还包括:
根据所述联调地址下载所述服务器上传的加密转化模型;所述加密转化模型由所述服务器至少使用所述加密的模型训练数据训练得到;
使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型。
5.根据权利要求4所述的方法,其特征在于,所述使用所述公钥对应的私钥解密所述加密转化模型得到解密转化模型之后,还包括:
根据所述联调地址将所述解密转化模型上传给所述服务器进行模型应用。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
显示所述模型训练的当前进度。
7.一种数据处理方法,其特征在于,所述方法适用于服务器,所述方法包括:
接收客户端发送的模型训练请求,所述模型训练请求中携带有待训练模型的标识;
根据所述标识创建联调地址;
将所述联调地址发送给所述客户端进行显示;
根据所述联调地址将点击数据上传给所述客户端进行数据匹配,所述数据匹配用于所述客户端将所述点击数据对应的转化数据作为模型训练数据;
根据所述联调地址获取所述客户端打包上传的所述模型训练数据进行模型训练。
8.根据权利要求7所述的方法,其特征在于,所述根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练,包括:
根据所述联调地址获取所述客户端打包上传的加密的模型训练数据,至少使用所述加密的模型训练数据训练得到加密转化模型;所述加密的模型训练数据由所述客户端使用公钥加密所述模型训练数据得到。
9.根据权利要求7所述的方法,其特征在于,所述模型训练请求中还包括数据范围;
所述根据所述联调地址将点击数据上传给所述客户端进行数据匹配之前,还包括:
获取满足所述数据范围的所述点击数据。
10.根据权利要求8所述的方法,其特征在于,所述根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练之后,还包括:
根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密。
11.根据权利要求10所述的方法,其特征在于,所述根据所述联调地址将所述加密转化模型上传给所述客户端进行模型解密之后,还包括:
根据所述联调地址获取所述客户端上传的解密转化模型,进行模型应用。
12.一种数据处理装置,其特征在于,所述装置包括:
收发模块,用于向服务器发送模型训练请求,并在所述模型训练请求中携带待训练模型的标识,接收所述服务器根据所述标识创建的联调地址;
显示模块,用于显示所述联调地址;
处理模块,用于根据所述联调地址下载所述服务器上传的点击数据,将所述点击数据匹配的转化数据作为模型训练数据;
所述处理模块,还用于根据所述联调地址将所述模型训练数据打包上传给所述服务器进行模型训练。
13.一种数据处理装置,其特征在于,所述装置包括:
收发模块,用于接收客户端发送的模型训练请求,所述模型训练请求中携带有待训练模型的标识;
创建模块,用于根据所述标识创建联调地址;
所述收发模块,还用于将所述联调地址发送给所述客户端进行显示;
处理模块,用于根据所述联调地址将点击数据上传给所述客户端进行数据匹配,所述数据匹配用于所述客户端将所述点击数据对应的转化数据作为所述模型训练数据;
所述处理模块,还用于根据所述联调地址获取所述客户端打包上传的模型训练数据进行模型训练。
14.一种计算设备,其特征在于,包括至少一个处理器以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行权利要求1~11任一权利要求所述的方法。
15.一种计算机可读存储介质,其特征在于,其存储有可由计算设备执行的计算机程序,当所述程序在所述计算设备上运行时,使得所述计算设备执行权利要求1~11任一权利要求所述的方法。
CN201911330922.8A 2019-12-20 2019-12-20 一种数据处理方法及装置 Active CN111064797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911330922.8A CN111064797B (zh) 2019-12-20 2019-12-20 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911330922.8A CN111064797B (zh) 2019-12-20 2019-12-20 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN111064797A CN111064797A (zh) 2020-04-24
CN111064797B true CN111064797B (zh) 2023-01-10

Family

ID=70301335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911330922.8A Active CN111064797B (zh) 2019-12-20 2019-12-20 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111064797B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209842A (zh) * 2015-06-29 2017-09-26 谷歌公司 隐私保护训练语料库选择
CN110297848A (zh) * 2019-07-09 2019-10-01 深圳前海微众银行股份有限公司 基于联邦学习的推荐模型训练方法、终端及存储介质
CN110378092A (zh) * 2019-07-26 2019-10-25 北京积加科技有限公司 身份识别系统及客户端、服务器和方法
CN110460600A (zh) * 2019-08-13 2019-11-15 南京理工大学 可抵御生成对抗网络攻击的联合深度学习方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148835A (zh) * 2011-04-27 2011-08-10 许式伟 一种电子文档传递和分享的方法和系统
US9779407B2 (en) * 2014-08-08 2017-10-03 Brighterion, Inc. Healthcare fraud preemption
WO2015196473A1 (zh) * 2014-06-27 2015-12-30 北京新媒传信科技有限公司 一种数据发送/接收方法、装置、智能终端及系统
CN109840591B (zh) * 2017-11-29 2021-08-03 华为技术有限公司 模型训练系统、方法和存储介质
US10795965B2 (en) * 2018-03-30 2020-10-06 Microsoft Technology Licensing, Llc Distributed in-browser deep learning for predictive pre-fetching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209842A (zh) * 2015-06-29 2017-09-26 谷歌公司 隐私保护训练语料库选择
CN110297848A (zh) * 2019-07-09 2019-10-01 深圳前海微众银行股份有限公司 基于联邦学习的推荐模型训练方法、终端及存储介质
CN110378092A (zh) * 2019-07-26 2019-10-25 北京积加科技有限公司 身份识别系统及客户端、服务器和方法
CN110460600A (zh) * 2019-08-13 2019-11-15 南京理工大学 可抵御生成对抗网络攻击的联合深度学习方法

Also Published As

Publication number Publication date
CN111064797A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN108197891B (zh) 一种基于区块链的电子签约装置及方法
JP6138978B2 (ja) 広告プライバシ管理
CN109255444B (zh) 基于迁移学习的联邦建模方法、设备及可读存储介质
CN104767735B (zh) 信息安全处理的方法、处理服务器及处理客户端
US9530126B2 (en) Secure mobile payment processing
CN109190409B (zh) 记录信息传播路径的方法、装置、设备及可读存储介质
CN110225032B (zh) 一种业务数据的交易方法及其设备
CN105099688A (zh) 一种电子账户的操作方法、支付页面的展示方法及装置
CN108230163B (zh) 保险产品推广方法、装置、设备及计算机可读存储介质
CN109447780A (zh) 消息推送方法、装置、计算机设备和存储介质
CN112035897A (zh) 区块链存证方法和相关装置
CN112199622A (zh) 页面跳转方法、系统及存储介质
CN114816499A (zh) 一种电子资源分享方法、装置和存储介质
CN111061984B (zh) 一种信息推送、信息关联方法、设备及计算机存储介质
CN105871785B (zh) 一种业务处理方法、装置和系统
CN112241298A (zh) 页面显示方法及装置、存储介质、电子装置
CN111064797B (zh) 一种数据处理方法及装置
CN111125734B (zh) 一种数据处理方法及系统
CN111131227B (zh) 一种数据处理方法及装置
CN115774824A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN113658010B (zh) 电子投保单生成方法、装置、设备及存储介质
CN115079880A (zh) 信息码展示方法、装置、终端设备及存储介质
CN109472661A (zh) 基于电子合同的数据处理方法、系统和计算机设备
WO2022241945A1 (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN110443684B (zh) 组合产品快照式价格信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant