一种数据处理方法及装置
技术领域
本发明涉及计算机技术领域,特别地涉及一种数据处理方法及装置。
背景技术
通常意义上所说的大数据,是信息技术所推动的网络社会中最广泛的事物,在网络社会,数字财富即流量金融是重要的私人资产。近几年随着移动互联网技术的快速发展,我国移动用户人数已达到12.93亿,我国网民平均有1/3左右的时间花在手机上,也因此产生了大量的手机数据。其中包括了大量的用户经济行为数据、健康数据、生活数据、社交数据等。这些数据都带有显著的经济特征,应当归属于用户所有,而现状是这些数据被互联网公司采集后以各种形式变现为其公司谋取了大量利益。亦即,迄今为止,互联网公司的商业模式都是建立在无偿占用或者说是无偿变现用户隐私的基础上。
主要表现例如:电信运营商以宽带资费或移动资费形式对用户收费;苹果公司借助苹果手机iPhone的庞大用户量,通过穿戴设备采集用户的健康数据并将这些数据在资本市场变现;支付宝收集用户的经济行为,衍生大量的金融产品获得利益等。
目前已知的互联网公司在数据采集方面都有独断性,不管是手机厂商(如:苹果公司)采集用户健康数据,还是软件应用商(如:阿里巴巴)采集用户的经济行为数据,都没有让用户获得数据的支配权和收益权,这些数据有些被商业公司变现,有些数据被闲置。目前没有系统明确地将用户的数据流量作为用户个人财产对待或者实现用户流量数据资产化。
本发明中即根据现有的情况提出了一种将用户数据流量财富化的体系,能够解决在严格保护用户隐私的前提下,把本来由用户创造的流量财富还给用户的问题。在该体系中,对用户流量金融资产进行了定义―——由个体及其家庭基于网络社会生活行为所创造的、且具有显著经济和金融属性的流量数据统称为流量金融资产。在该体系中,将用户流量资产化分为基础流量、派生流量和衍生流量三个层次。
基础流量,即个人通过电信运营商所购买的流量,能够在一定时间内对其中可剩余部分流量通过售出变现;
派生流量,即基于基础流量所派生的个人在移动终端消费过程中所创造和积累的行为数据流量,这是个人用户流量资产的核心;
衍生流量,即对个人用户基础流量和派生流量进行的大数据分析和云计算所衍生组合出来的具有广泛商业价值的流量数据,这是个人用户流量资产中的重要部分。
本发明即针对上述提出的三个层次的流量数据,在严格保护用户隐私,完全尊重用户的前提下,将用户的流量数据进行处理评估,并进一步换算为其他类型的数据,例如:金额等。另外,本发明还可以实现用户对流量数据的分享和自由交易。
发明内容
有鉴于此,本发明提供一种数据处理方法及装置,能够实现用户流量数据的处理及评估,并进一步推动以用户为主体的自主流量分享和交易,从而提高全球用户流量数据的利用率。
为实现上述目的,根据本发明的一个方面,提供了一种数据处理方法。
一种数据处理方法,包括:向终端发送数据采集请求;接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所述采集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的操作系统提供的应用程序编程接口获取;根据数据预处理规则对采集的行为数据进行过滤;根据数据处理规则对过滤后的行为数据进行评估以得到评估结果。
可选地,所述行为数据包括但不限于:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的行为轨迹。
可选地,所述用户的基本身份信息包括:用户的身份标识、学历信息、职业信息和月收入。
可选地,所述用户的手机套餐及使用情况包括:用户的月话费、手机号使用年限和数据流量套餐。
可选地,所述用户的行为习惯数据包括:用户的地理位置信息和闹钟信息。
可选地,所述用户的手机应用软件使用情况包括:用户的手机应用软件的数量、类别、启动次数、消耗流量、花费金额和运行时间。
可选地,根据数据预处理规则对采集的行为数据进行过滤的步骤包括:将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接口获取;通过将所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集的行为数据中删除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述行为数据最优参数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数表中保存了与当前数据处理相关的行为数据的参数。
可选地,根据数据处理规则对过滤后的行为数据进行评估以得到评估结果的步骤包括:根据所述行为数据的类型对所述过滤后的行为数据进行分类;计算每个类型的行为数据对应的权重得分;将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘以得到评估结果。
可选地,在得到评估结果之后,还包括:将所述评估结果换算为金额以及根据终端指示进行数据交易。
可选地,所述根据终端指示进行数据交易的步骤包括:对评估后的行为数据进行分类及整理;将所述分类及整理后的数据以列表的形式发送给所述终端;接收并保存所述终端提交的要出售的行为数据及其报价;从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成交易。
可选地,所述根据终端指示进行数据交易的步骤包括:对评估后的行为数据进行分类及整理;接收并保存数据买方通过终端提交的统计规则;根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行为数据并计算数据价值;将所述数据价值发送给终端以与用户达成交易。
根据本发明的另一方面,提供了一种数据处理装置。
一种数据处理装置,包括:请求发送模块,用于向终端发送数据采集请求;数据采集模块,用于接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所述采集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的操作系统提供的应用程序编程接口获取;数据过滤模块,用于根据数据预处理规则对采集的行为数据进行过滤;数据评估模块,用于根据数据处理规则对过滤后的行为数据进行评估以得到评估结果。
可选地,所述行为数据包括但不限于:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的行为轨迹。
可选地,所述数据过滤模块还用于:将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接口获取;通过将所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集的行为数据中删除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述行为数据最优参数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数表中保存了与当前数据处理相关的行为数据的参数。
可选地,所述数据评估模块还用于:根据所述行为数据的类型对所述过滤后的行为数据进行分类;计算每个类型的行为数据对应的权重得分;将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘以得到评估结果。
可选地,还包括:数据交易模块,用于在得到评估结果之后,将所述评估结果换算为金额以及根据终端指示进行数据交易。
可选地,所述数据交易模块还用于:对评估后的行为数据进行分类及整理;将所述分类及整理后的数据以列表的形式发送给所述终端;接收并保存所述终端提交的要出售的行为数据及其报价;从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成交易。
可选地,所述数据交易模块还用于:对评估后的行为数据进行分类及整理;接收并保存数据买方通过终端提交的统计规则;根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行为数据并计算数据价值;将所述数据价值发送给终端以与用户达成交易。
根据本发明的技术方案,通过多种方法全量采集用户的行为数据,可以建立动态、完整的用户行为数据库,以便能更全面地处理和使用用户的行为数据;按照数据预处理规则对采集的行为数据进行过滤,可以确保获取以及处理的数据的真实性和准确性;按照对应的数据处理规则对不同类型的数据进行评估,并将评估结果换算为金额等其他数据,可以将用户的行为数据流量资产化,从而推动了以用户为主体的自主流量分享和交易,以及提高了用户数据流量的利用率。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的一种数据处理方法的主要步骤示意图;
图2是根据本发明实施例的一种数据处理装置的模块示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的一种数据处理方法的主要步骤示意图。如图1所示,本发明的数据处理方法主要包括如下的步骤S11至步骤S14。
步骤S11:向终端发送数据采集请求;
步骤S12:接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所述采集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的操作系统提供的应用程序编程接口获取;
步骤S13:根据数据预处理规则对采集的行为数据进行过滤;
步骤S14:根据数据处理规则对过滤后的行为数据进行评估以得到评估结果。
根据本发明实施例的技术方案,行为数据包括但不限于:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的行为轨迹。
其中用户的基本身份信息包括:用户的身份标识、学历信息、职业信息和月收入;用户的手机套餐及使用情况包括:用户的月话费、手机号使用年限和数据流量套餐;用户的行为习惯数据包括:用户的地理位置信息和闹钟信息;用户的手机应用软件使用情况包括:用户的手机应用软件的数量、类别、启动次数、消耗流量、花费金额和运行时间等。
步骤S13中的根据数据预处理规则对采集的数据进行过滤的步骤可以具体包括:
将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接口获取;
通过将所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集的行为数据中删除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述行为数据最优参数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数表中保存了与当前数据处理相关的行为数据的参数。
步骤S14中根据数据处理规则对过滤后的数据进行评估以得到评估结果的步骤可以具体包括:
根据所述行为数据的类型对所述过滤后的行为数据进行分类;
计算每个类型的行为数据对应的权重得分;
将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘以得到评估结果。
另外,在得到评估结果之后,还可以将所述评估结果换算为金额以及根据终端指示进行数据交易。
其中,根据终端指示进行数据交易的步骤具体可以包括:
对评估后的行为数据进行分类及整理;
将所述分类及整理后的数据以列表的形式发送给所述终端;
接收并保存所述终端提交的要出售的行为数据及其报价;
从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成交易。
或者,根据终端指示进行数据交易的步骤具体还可以包括:
对评估后的行为数据进行分类及整理;
接收并保存数据买方通过终端提交的统计规则;
根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行为数据并计算数据价值;
将所述数据价值发送给终端以与用户达成交易。
以下将通过具体的实施例来介绍本发明的实施过程。
实施例一:
在数据采集及处理之前,需要先与用户就数据采集达成一致。首先,由服务器向终端发送数据采集请求,例如:可以通过将数据采集请求以签订协议等的形式发送给终端;当终端接收到数据采集请求后,用户会根据情况决定是否可以采集相关数据,并将相应的响应内容返回给服务器。当终端返回同意采集数据的响应内容后,服务器将根据与用户达成的协议采集用户的行为数据。
在进行用户的行为数据采集时,可以采用多种方式获取数据,例如:通过终端提交(即:终端接收用户输入的数据并发送给服务器)、通过网络运营商获取、通过应用软件厂商获取或/和通过手机的操作系统提供的应用程序编程接口获取等,可根据需要采集的数据的不同类型进行选择。主要需要采集的行为数据例如包括:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的行为轨迹等。
其中,用户的基本身份信息主要包括:用户的身份标识、学历信息、职业信息和月收入。这些行为数据的采集主要是通过终端提交的,亦即终端接收到用户手动输入的数据后发送给服务器。服务器接收到这些行为数据后,将进行认证,例如:对用户的身份标识进行认证,可通过与公安部的数据进行核对来进行;对用户的学历信息进行认证,可通过与学信网的数据进行核对来进行;对职业信息和月收入进行认证,可通过用户填写信息并上传证明文件来进行等。
用户的手机套餐及使用情况主要包括:用户的月话费、手机号使用年限和数据流量套餐等。这些行为数据的获取可以通过终端提交和/或从网络运营商处获得。由于之前已获得用户的授权,可以采集该部分数据,因此,可从运营商处获得相关数据,同时还可以根据相关数据划分为不同等级。
用户的手机硬件信息主要指的是用户的手机型号等数据,该部分数据可通过手机的操作系统提供的应用程序编程接口API(ApplicationProgrammingInterface)来获取。
用户的行为习惯数据例如包括:用户的地理位置信息和闹钟信息等。该部分数据可通过终端提交和/或通过手机的操作系统提供的API接口来获取。用户的行为习惯数据反映了用户的活动范围、生活习惯等信息。例如:一个人的开车时间这个数据,可用于保险公司在开展定制的保险业务时,依据这些数据反映的这个人的行车习惯确定不同程度的保费。
用户的手机应用软件使用情况主要包括:用户的手机应用软件的数量、类别、启动次数、消耗流量、花费金额和运行时间等数据。该部分数据可通过终端提交和/或通过手机的操作系统提供的API接口来获取。
用户在每个手机应用软件上的行为轨迹例如:用户在每个APP上的浏览记录、搜索记录等信息,可以通过终端提交、通过应用软件厂商获取和/或通过手机的操作系统提供的API接口来获取。
另外,采集的行为数据中还可以包括一些其他类型的数据,可根据需要选择相应的采集方式。
对需要的行为数据采集完毕后,将根据数据预处理规则对采集的行为数据进行过滤。对数据进行筛选和过滤,是为了确保数据的准确性和相关性。
由于通过应用软件厂商、网络运营商或通过手机的操作系统提供的应用程序编程接口等途径获取的数据的详细情况不尽相同,因此,用户的具体的行为数据会需要通过终端进行提交。例如:需要通过某厂商获取用户的行为数据,如果该厂商只愿提供用户一天内的消费总额,而其他的消费记录都不提供,那么这个时候就需要用户手动提交每笔记录的详情以及消费总额。但是通过终端提交的行为数据是由用户手动填写提交的,无法确保数据的真实性,而这些数据会直接影响数据处理的结果,因此需要确保提交的行为数据的准确性。在该例子中,可通过将从该厂商处获取的消费总额与终端提交的消费总额进行比对,来确定用户填写的数据的准确性,从而可筛选过滤掉冲突的数据。也就是说,判断行为数据的准确性的具体方法为:将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数据,其中,其他采集方法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接口获取。
另外,由于在采集用户的行为数据时采用的是全量采集的方式,因此其中可能会包含一些目前进行数据处理不相关的数据,但是随着社会发展变化,对不同类型的数据的需求程度是会变化的,也就是说目前阶段一些没有用的数据,并不代表将来没有用处。相应地,目前进行数据处理的数据也会不断地更新。因此,在进行数据处理前,需首先对所采集的行为数据进行统计分析,然后确定与当前数据处理相关的行为数据的参数,并保存在行为数据最优参数表中,然后通过将采集的行为数据的参数与行为数据最优参数表进行比对,从采集的行为数据中删除参数不包含在该行为数据最优参数表中的行为数据,从而得到与本发明的数据处理相关的数据。
之后,根据数据处理规则对过滤后的行为数据进行评估以得到评估结果。在进行行为数据的评估时,可以按照以下步骤进行:
根据所述行为数据的类型对所述过滤后的行为数据进行分类;
计算每个类型的行为数据对应的权重得分;
将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘以得到评估结果。
首先是根据进行数据采集时的行为数据的类型将过滤后的行为数据进行分类,主要包括:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的行为轨迹等几个类型,另外,根据需要还可以采集其他类型的数据。
之后再计算每个类型的行为数据对应的权重得分。对每个类型的行为数据的权重得分规则的设置可随需要进行调整,此处以字母A~G分别表示。
对于用户的基本身份信息及认证情况,如果信息符合要求且认证成功,则可以给出预定的权重得分A,否则,会进行相应百分比的折扣处理。
对于用户的手机套餐及使用情况,可以将获得的数据进行分级别后给出权重得分的方法来处理,比如可以根据用户的月话费金额划分为几个级别,按照级别分别给出权重得分等,并使用同样的方法对手机号使用年限和数据流量套餐进行处理,最后将各权重得分求和以得到用户的手机套餐及使用情况的权重得分B。
对于用户的手机硬件信息,如果成功获取该数据则给出权重得分C,否则进行相应百分比的折扣处理。
对于用户的行为习惯数据,其中用户的地理位置信息GPS的权重得分,是通过判断是否可以在持续的一段时间t内成功获取到用户的GPS信息,如果可以,则给出权重得分即为满分;否则,当出现一段时间t1内未获取到数据时,权重得分即为“满分*(t-t1)/t”。对于闹钟信息的权重得分,如果成功获取该数据则给出该项数据的权重得分,否则进行相应百分比的折扣处理。之后,将用户的地理位置信息的权重得分与闹钟信息的权重得分进行求和即可得到用户的行为习惯数据的权重得分D。
对于用户的手机应用软件APP使用情况,需综合考虑APP数量,APP类别,APP启动次数,APP消耗流量,APP花费金额,APP运行时间(在前台运行的时间)等几个方面。通过对实际应用中的各APP的使用情况进行统计分析,可得出相应的得分规则。根据获取的参数来得到用户的手机应用软件APP使用情况的权重得分可以包括如下的步骤S01至步骤S06。
步骤S01:首先是根据APP的不同类别设置每个APP的类别加权参数P1,如果APP属于较容易发生现金流(用户较容易花费流量及消费)并且是市场占有率高的APP,则设置其权重得分高一些,否则设置权重得分低一些。
步骤S02:计算每个APP的权重得分Q1,通过综合考虑该APP的启动次数、消耗流量、花费金额及运行时间(在前台运行的时间)等因素来进行评分。单个APP的权重得分Q可分为4个部分:启动次数权重得分(q1)、消耗流量权重得分(q2)、花费金额权重得分(q3)、运行时间权重得分(q4)。
本实施例中可采用统计处理的办法来计算得分。最初的一段时间为数据累积阶段,该项得分可取固定值(例如:该APP得分总值的一定百分比)。等数据累积达到一定程度后,得到各APP的运行情况的统计分布情况后再进行计算。以启动次数为例,启动次数权重得分q1的计算方法如下:
统计一段时间内所有用户每日启动该APP的次数,并求得其日均值n(根据实际情况可设置为日均值、周均值等),并根据n的大小分为不同等级,然后根据待计算得分的用户所处的等级确定得分。例如:可以n/2、2n为分割值划分为3个区间并分级计算得分。
对消耗流量权重得分q2、花费金额权重得分q3和运行时间权重得分q4的计算方法类似于启动次数权重得分q1的计算方法。
从而,可得到每个APP的权重得分Q=q1+q2+q3+q4。
步骤S03:计算类别加权后每个APP的得分Q2=Q1*P1,并根据得分高低进行排序。假设共有APP数量为n,那么,排序后即为:Q2(1)、Q2(2)、Q2(3)、…Q2(n)。
步骤S04:根据APP的数量计算每个APP的数量加权参数P2。由于实际应用过程中,使用频率高的用户APP数量并不会太多,一般会集中在某几个APP上。故可考虑设置当APP数量在一定个数(例如:40个)时,用户的使用频率最高,权重得分增长幅度也最大,当超过该个数时权重得分依然会增加,但是增长幅度会收敛于一个较小的值。故而,根据APP的数量n的不同,可设置p2(1)=p2(2)=p2(3)=0.12;n>=4时,p2(n)=0.07*0.89^(n-4)。其中,Q2(1)、p2(2)、p2(3)、…p2(n)分别为上述步骤S03中排序后的Q2(1)、Q2(2)、Q2(3)、…Q2(n)对应的数量加权参数。
步骤S05:计算数量加权后每个APP的得分Q3(N)=Q2(N)*p2(N),其中:N=1、2、3、…、n。
步骤S06:计算该用户的手机应用软件APP使用情况的权重得分E,即:所有APP的Q3(N)之和。
通过上述的步骤S01至步骤S06即可得到用户的手机应用软件APP使用情况的权重得分E。
最后,对于用户在每个手机应用软件上的行为轨迹,首先根据手机应用软件APP的功能进行分类,然后对用户在每个类型的APP上的行为轨迹数据进行评分。例如,根据功能可将常用的APP分为:电商类APP、浏览器类APP、影音类APP、运动类APP、阅读类APP等几类。以对电商类APP产生的数据进行评分为例,设置每n条浏览记录权重得分为f11,每n条购买记录权重得分为f12,每n条在某一商品的运行时间权重得分为f13,…,等等。对于在一段时间t内,重复记录的数据,其权重得分将以系数p(0<p<1)几何衰减。从而可得到电商类APP上的行为轨迹权重得分。同样地,用户在其他类型的APP上的行为轨迹的权重得分也可类似求得。从而,可得到用户在每个手机应用软件上的行为轨迹的权重得分F。
另外,在进行数据采集和处理时,还可以包括上述没有涉及的其他类型的数据,设定其权重得分为G。
经过上述过程,即可得到每个类型的行为数据对应的权重得分。之后,将这些权重得分求和后与预定的流量基数相乘即可得到评估结果。其中,流量基数可根据需要进行设定。若以w表示流量基数,以W表示评估结果,那么评估结果W=w*(A+B+C+D+E+F+G)。
在得到评估结果后,可根据需要将评估结果换算为其他数据,例如,将该评估结果换算为金额。根据市场利率,确定年利率P,则用户每日获得金额Y=W*P/365。为使用户得到的金额Y能与用户的流量数据的价值E相匹配,可调整流量基数w。
另外,在得到评估结果后,还可以根据终端指示进行数据交易。在进行数据交易时,可以包括如下的两种方法。
方法一:根据终端指示进行数据交易的过程主要包括如下的步骤S31至步骤S34。
步骤S31:对评估后的行为数据进行分类及整理。服务器对评估后的行为数据进行分类及整理时,主要执行的内容如下:
1、将用户的隐私数据屏蔽起来,例如:用户通过终端提交的身份验证信息、职位信息等,故而用户无法选择交易该部分隐私数据;
2、将行为数据进行统计并模糊描述,例如:从运营商那里获取的每月的话费使用情况,可能包含每个月通话多长时间,使用多少流量,使用多少短信等等,服务器会对该部分数据进行统计,给出一些描述统计量,如均值,极值等,并通过终端展示给用户,而不会交易详细的使用情况数据;
3、根据交易数据设定标签,这样,既可以以具体信息交易,又可以以标签方式交易的数据。比如某个用户的网上购物记录,有些购物记录对用户来说卖出去并不会造成什么影响,因此可以选择以具体信息交易;但是如果用户不想让他人知道曾经买过什么,只想以标签(记录某用户的特征,比如经常买手机,电子产品等,那么该用户的标签就是数码电子,又如,某个用户经常买裙子,那么该用户的标签就是裙子)的形式出售数据,那么该用户就可以选择只出售标签。
步骤S32:将所述分类及整理后的数据以列表的形式发送给所述终端。服务器将评估过的行为数据进行分类及整理后,以列表的形式将这些行为数据发送给终端以显示给用户。用户在得到数据列表后,根据其中的内容,选择要出售的行为数据,并根据之前的评估结果给出报价,然后通过终端提交给服务器以进行处理。
步骤S33:接收并保存所述终端提交的要出售的行为数据及其报价。
步骤S34:从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成交易。例如:数据买方选择“裙子”“月收入10000元以上”“韩式进口服装”等的3项标签,那么他将得到同时具备这三项标签的用户的一个统计信息,如:总共有1203429位这样的用户,平均报价5.25元,最高报价9.23元,最低报价0.25元。此时,数据买方可根据自己的需要设定能够接受的价位,如6元,那么6元以下的报价对应的行为数据将会全部成交。从而,实现了与数据买方达成交易。
方法二:根据终端指示进行数据交易的过程主要包括如下的步骤S41至步骤S44。
步骤S41:对评估后的行为数据进行分类及整理。该步骤的执行过程及原理同方法一步骤S31中所述。
步骤S42:接收并保存数据买方通过终端提交的统计规则。数据买方可以根据自己的需求提交自己的统计规则,其中包含了依据不同的结果提供的不同报价。例如:数据买方需要统计患有糖尿病的病人的信息,那么可设定“患有糖尿病”的统计结果报价为100元,相应的,“未患有糖尿病”的统计结果报价为1元。服务器接收并保存统计规则的同时,将与数据买方签订保密协议,例如:不会以任何形式透露该数据买方提供的统计规则,也不会加以利用;并且由该统计规则得到的结果,不会展示给其他数据买方。
步骤S43:根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行为数据并计算数据价值。根据数据买方通过终端提交的统计规则中包含的需要统计的数据项,以及不同数据项的不同结果对应的报价,可以从分类及整理后的数据中筛选出数据买方需要的行为数据并计算数据价值。其中,统计规则中需要统计的数据项可以包括一个或多个,每个数据项包括的内容可以不限于任何一种,且根据统计结果的不同给出不同的报价。例如:当需要统计“身高为165cm的女性”的数据项时,可以根据统计出来的不同结果给出不同的报价。相应地,在计算数据价值时,计算方法也不局限于不同项目的报价的简单相加等,而是可以根据数据买方通过终端提交的统计规则中包含的计算方法来进行。
步骤S44:将所述数据价值发送给终端以与用户达成交易。服务器将根据该统计规则计算的数据价值反馈给用户,由其根据统计结果的内容以及数据买方的报价选择是否交易该项数据。从而,实现与用户达成交易的过程。同时,在与用户进行交易的过程中,也会严格保护用户隐私,充分给予用户自主选择的权利。
如上所述的两种方法,均可以通过本发明提供的服务器实现用户和数据买方的交易。
另外,本发明的服务器还可以提供信息渠道的功能,例如:数据买方在购买了以上数据之后,想要向这部分用户推送一则最新款的裙子的广告以及链接,那么数据买方可以通过本发明提供的渠道,以视频,网页等形式展示给用户,需要购买这件商品的用户便可以购买这件商品。
实施例二:
本发明的实施过程还可以按照如下的步骤S50至步骤S59来具体执行。
步骤S50:获取用户行为数据(获取的行为数据如上述实施例一中出现的主要需要采集的行为数据,例如包括:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的行为轨迹等)。记对于第i个用户获取的数据为向量XU(i),称之为一条观测,这个向量中每个分量为一个变量,令全部变量个数为p,记变量向量
XU=(XU1,XU2…XUp)'。
步骤S51:分析市场上的数据价格情况(可参考贵阳大数据交易所数据交易价格),记市场上的数据标签(标签:对一类具有一定共性用户特征的描述)向量为:
XL=(XL1,XL2…XLn)'。
对每一条数据交易,交易价格记为yi。
其中,数据获取状态向量S,其各分量记录标签向量XL的每个分量获取与否,获取时为1,未获取时为0。
假设:在交易的各种数据,其标签类别可以是全部标签变量XL的任意组合,并且确实有足够的这样的数据交易存在。
在满足如上假设的条件下,市场上每条交易数据的状态向量记为SL(i),共有交易数据m条,每条交易价格为yi,那么样本数据阵SA:
价格向量Y:
步骤S52:对采集的行为数据,采取逐步回归的方法,确定最优变量及变量权重。记最优变量向量的状态向量为SR,那么
y=β'SR。
其中:
SR=(Si1,Si2…Sir)',
回归系数:
β=(βi1,βi2…βir)',
相应的最优数据标签为:
XLR=(XLi1,XLi2…XLir)',
其中最优变量集合满足:
步骤S53:根据获取的用户行为数据确定第i个用户的标签向量,记为XUL(i),
XUL(i)=(XLj1,XLj2…XLjs)',
且
然后确定第i个用户数据的状态向量SU(i),当能从获取的用户数据得到最优变量标签XLR中的某一分量时,这一分量对应的在SU中的状态记为1,否则为0。
步骤S54:计算第i个用户的数据价值Wi:
Wi=β'SU(i)。
步骤S55:在市场上存在交易的标签的基础上,增加分析出更多的标签,记新标签向量为XLP,标签数量变为n+t个。则:
XLP=(XL1,XL2…XLn,XL(n+1)…XL(n+t))'。
步骤S56:在新的标签向量XLP下,对用户标签数据XLP(i)做聚类分析,先随机抽取部分样本做系统聚类,再以每类重心做为凝聚点做动态聚类。从而,可分为G1,G2,G3…Gq共q类。
步骤S57:分类进行逐步回归,在类Gj内(j=1,2…q),样本数据阵为GjA:
用户数据价值向量Wj:
Wj=(Wj1,Wj2…Wjk)',
逐步回归可得
WGJ=αj'Xb,
其中,Xb为全部标签的最优向量。
步骤S58:依据上述的分类,分别计算每类数据中第i个用户的流量资产:
wi=αj'Xb(i)。
步骤S59:计算用户的每日获得流量资产。根据市场利率,确定年利率r,则用户每日可以获得财富为:
zi=wi*r/365。
用户每日所得将以现金或其它方式返还给用户。
另外,用户还可以根据自己的需求,通过服务器实现与数据买方的交易等操作,方法同实施例一中所介绍的方法一和/或方法二。
以上已通过具体的实施例介绍了本发明的实施过程。
图2是根据本发明实施例的一种数据处理装置的模块示意图。如图2所示,本发明的数据处理装置20主要包括:请求发送模块21、数据采集模块22、数据过滤模块23和数据评估模块24。另外,根据本发明实施例的技术方案,本发明的数据处理装置20还可以包括数据交易模块25。
请求发送模块21用于向终端发送数据采集请求;数据采集模块22用于接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所述采集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的操作系统提供的应用程序编程接口获取;数据过滤模块23用于根据数据预处理规则对采集的行为数据进行过滤;数据评估模块24用于根据数据处理规则对过滤后的行为数据进行评估以得到评估结果。
其中,行为数据主要包括但不限于:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的行为轨迹。
数据过滤模块23还可以用于,将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接口获取;通过将所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集的行为数据中删除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述行为数据最优参数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数表中保存了与当前数据处理相关的行为数据的参数。
数据评估模块24还可以用于根据所述行为数据的类型对所述过滤后的行为数据进行分类;计算每个类型的行为数据对应的权重得分;将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘以得到评估结果。
另外,本发明的数据处理装置还可以包括数据交易模块25,用于在得到评估结果之后,将所述评估结果换算为金额以及根据终端指示进行数据交易。
其中,数据交易模块25还可以用于对评估后的行为数据进行分类及整理;将所述分类及整理后的数据以列表的形式发送给所述终端;接收并保存所述终端提交的要出售的行为数据及其报价;从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成交易。
或者,数据交易模块25还可以用于对评估后的行为数据进行分类及整理;接收并保存数据买方通过终端提交的统计规则;根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行为数据并计算数据价值;将所述数据价值发送给终端以与用户达成交易。
根据本发明实施例的技术方案,通过多种方法全量采集用户的行为数据,可以建立动态、完整的用户行为数据库,以便能更全面地处理和使用用户的行为数据;按照数据预处理规则对采集的行为数据进行过滤,可以确保获取以及处理的数据的真实性和准确性;按照对应的数据处理规则对不同类型的数据进行评估,并将评估结果换算为金额等数据,可以将用户的行为数据流量资产化,从而推动了以用户为主体的自主流量分享和交易,以及提高了用户数据流量的利用率。
在本发明中,将评估结果换算为金额等数据后,用户还可以根据评估金额自主地挂牌交易自己的数据。数据的买方必须经过审核,且签署用户数据保密协议等之后,方可购买流量数据。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。