CN108205575B - 数据处理方法和装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法和装置，用于将用于用户画像的数据进行保密处理，促进用户画像的实现。本发明实施例方法包括：获取业务系统数据；对所述业务系统数据进行转化，得到转化数据，所述转化数据为具有保密性且能用于进行用户画像的数据；向画像平台发送所述转化数据，以使所述画像平台根据所述转化数据进行用户画像。这样，将业务系统数据方的业务系统数据进行保密处理后，可避免这些业务系统数据的敏感数据的信息泄露，且这样处理成的转化数据仍能用于用户画像，在画像平台，可根据该转化数据进行用户画像，促进实现业务系统数据方的数据和画像服务提供方的数据融合，以实现用户画像。

Description

数据处理方法和装置

技术领域

本发明涉及用户画像领域，尤其涉及一种数据处理方法和装置。

背景技术

用户画像是真实用户的虚拟代表，是建立在一系列真实数据之上的目标用户模型。一般来说，用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。用户画像的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。

要构建完善的用户画像，通常需要集成、打通各方的数据，例如，“服务购买商”的业务系统的数据，以及线上监测数据。

线上监测数据通常是海量、需要高性能的分布式集群来承载，且这些线上数据通常为技术平台服务提供商的核心数据资产。而“服务购买商”的业务系统数据由于涉及交易数据、个人隐私数据。若将这些业务系统数据发送给“用户画像技术平台提供商”，因业务系统数据包括用户身份数据、业务交易数据，这两种数据由于数据敏感性和商业机密等问题，使得这样的方式推行起来非常困难，会影响使用这种方式的画像系统的实际落地使用。

发明内容

本发明实施例提供了一种数据处理方法和装置，用于将用于用户画像的数据进行保密处理，促进用户画像的实现。

为了解决上述技术问题，本发明实施例提供了以下技术方案：

一种数据处理方法，所述方法包括：

获取业务系统数据；

对所述业务系统数据进行转化，得到转化数据，所述转化数据为具有保密性且能用于进行用户画像的数据；

向画像平台发送所述转化数据，以使所述画像平台根据所述转化数据进行用户画像。

为了解决上述技术问题，本发明实施例还提供了以下技术方案：

一种数据处理装置，所述装置包括：

获取单元，用于获取业务系统数据；

转化单元，用于对所述业务系统数据进行转化，得到转化数据，所述转化数据为具有保密性且能用于进行用户画像的数据；

发送单元，用于向画像平台发送所述转化数据，以使所述画像平台根据所述转化数据进行用户画像。

从以上技术方案可以看出，本发明实施例具有以下优点：

获取业务系统数据后，对所述业务系统数据进行转化，得到转化数据，该转化数据为具有保密性且能用于进行用户画像的数据；从而，向画像平台发送所述转化数据后，画像平台根据所述转化数据进行用户画像。这样，将业务系统数据方的业务系统数据进行保密处理后，可避免这些业务系统数据的敏感数据的信息泄露，且这样处理成的转化数据仍能用于用户画像，在画像平台，可根据该转化数据进行用户画像，促进实现业务系统数据方的数据和画像服务提供方的数据融合，以实现用户画像。

附图说明

图1为本发明实施例提供的一种数据处理方法的方法流程图；

图2为本发明实施例提供的一种数据处理方法的方法流程图；

图3为本发明实施例提供的一种数据处理装置的结构示意图。

具体实施方式

本发明实施例提供了一种数据处理方法和装置，用于将用于用户画像的数据进行保密处理，促进用户画像的实现。

图1为本发明实施例提供的一种数据处理方法的方法流程图。参阅图1，本发明实施例的方法包括：

步骤101：获取业务系统数据；

步骤102：对业务系统数据进行转化，得到转化数据，转化数据为具有保密性且能用于进行用户画像的数据；

步骤103：向画像平台发送转化数据，以使画像平台根据转化数据进行用户画像。

可选地，

业务系统数据包括用户身份信息，

对业务系统数据进行转化，得到转化数据，包括：

对用户身份信息进行不可逆映射处理，得到脱敏数据，以脱敏数据作为转化数据中的一种；

其中脱敏数据为不可逆向解读出用户身份信息的数据，脱敏数据用于对用户身份信息所属的用户进行标识。

可选地，

业务系统数据还包括与用户身份信息属于相同用户的业务数据，

对业务系统数据进行转化，得到转化数据，还包括：

对业务数据进行向量化，得到向量数据，以向量数据作为转化数据中的一种。

可选地，

对业务数据进行向量化，得到向量数据，包括：

对业务数据进行分段归一化，得到归一数据；

对归一数据进行向量化，得到向量数据。

可选地，

对业务数据进行向量化，得到向量数据之前，本发明实施例的方法还包括：

根据预设规则，从业务数据中确定目标业务数据；

对业务数据进行向量化，得到向量数据，包括：

对目标业务数据进行向量化，得到向量数据。

综上所述，获取业务系统数据后，对业务系统数据进行转化，得到转化数据，该转化数据为具有保密性且能用于进行用户画像的数据；从而，向画像平台发送转化数据后，画像平台根据转化数据进行用户画像。这样，将业务系统数据方的业务系统数据进行保密处理后，可避免这些业务系统数据的敏感数据的信息泄露，且这样处理成的转化数据仍能用于用户画像，在画像平台，可根据该转化数据进行用户画像，促进实现业务系统数据方的数据和画像服务提供方的数据融合，以实现用户画像。

图2为本发明实施例提供的一种数据处理方法的方法流程图。参考上述内容，以数据处理设备执行本发明实施例的方法为例，参阅图2，本发明实施例的方法包括：

步骤201：获取业务系统数据。

其中，业务系统数据包括用户身份信息、与该用户身份信息属于相同用户的业务数据。

数据处理设备获取业务系统数据，该业务系统数据可为画像服务购买商的数据，例如网络购物平台商、社交平台商等，业务系统数据方需要得到其上业务系统数据所属用户的画像，该业务系统数据例如，可包括用户的用户身份信息和该用户的业务数据。其中，业务系统数据方可以为服务购买商。

用户身份信息为有关用户的数据，这些数据能用于识别该用户，例如，可以为姓名、指纹或其他生物特征资料、电子邮件地址、住址、电话号码或社会安全号码、个人识别财务信息等。

业务数据为有关用户的数据，这些数据与用户的行为或属性相关。例如业务数据可包括敏感个人信息、商业敏感信息等。

敏感个人信息(英文缩写：SPI，英文全称：Sensitive Personal Information)或个人隐私信息指揭露名族、种族、性取向、政治观点、宗教或哲学信仰、工会关系、社会保险号或其他由政府颁发的身份证、信用卡号码的个人信息，或有关个人健康的信息等。而商业敏感信息：指对于涉及到公司的商业信息、个人交易信息等。

业务系统数据方需要得到其上业务系统数据所属用户的画像，为此，业务系统数据方要向画像平台方法发送这些业务系统数据，但是这些业务系统数据，例如上述的用户身份信息和业务数据，涉及到用户的私隐信息，以及业务系统数据方的商业敏感信息，若将这些业务系统数据直接发送给画像平台，以使画像平台进行画像操作，将会后暴露用户私隐和商业秘密的隐患。

为此，本发明实施例的方法，在数据处理系统获取到该业务系统数据后，要对业务系统数据进行转化，得到转化数据，其中，转化数据为具有保密性且能用于进行用户画像的数据。这样，数据处理设备可向画像平台发送该转化数据，以使画像平台根据转化数据进行用户画像。因该转化数据具有保密性，从而业务系统数据方不用担心用户私隐和商业秘密的泄露。

在业务系统数据包括用户身份数据和业务数据时，可分别对这些数据进行转化处理，例如，对用户身份信息进行不可逆映射处理，得到脱敏数据，以及对业务数据进行向量化，得到向量数据。这些脱敏数据和向量数据即属于转化数据的具体形式。

其中，数据处理设备可以是设置在业务系统数据方的设备，例如，部署在客户机房，这个数据处理设备的引擎的代码、和部署都需要通过客户的审核。

下面即对数据处理设备获取到业务系统数据后的具体处理方式进行详细的说明。

步骤202：对用户身份信息进行不可逆映射处理，得到脱敏数据。

其中，脱敏数据为不可逆向解读出用户身份信息的数据、该脱敏数据用于对用户身份信息所属的用户进行标识。该脱敏数据为转化数据中的一种具体形式，即转化数据包括脱敏数据。

业务系统数据中的该用户身份信息包含有用户的私隐，所以要对该用户身份信息进行不可逆脱敏映射脱敏处理，得到脱敏数据。这些脱敏数据读取不到用户的身份信息，也不可进行逆向解析得到用户的身份信息，但是该脱敏信息仍然能够用于对用户身份信息所属的用户进行标识，该标识具有唯一性，即该脱敏数据与用户身份信息所属的用户一一对应。

例如，对“业务系统中”的客户账号信息，如“手机号”、“个人身份证”等信息，通过MD5(英文名称：Message-Digest Algorithm5；中文名称：信息-摘要算法5)方式进行不可逆脱敏映射脱敏处理，处理之后的结果是一个不可读出该客户账号信息、且不可逆向解析的字符串，该字符串可称为MD5ID。

步骤203：根据预设规则，从业务数据中确定目标业务数据。

业务系统数据的业务数据包括多种类型的数据，如上所述，包括用户的民族、种族、交易数据等。在进行用户画像时，有些业务数据可以不用于画像，例如，业务系统数据方的画像购买商对用户画像结果有不同的使用场景，从而对用户画像提出不同的需求，画像平台即根据画像购买商的需求使用不同的业务数据进行画像处理。为此，数据处理设备可根据用户画像的需求对业务数据进行筛选，根据预设规则，确定出目标业务数据。

其中预设规则可以是进行用户画像时需要的业务数据的类型、业务系统数据方确定的业务数据类型等。

例如，用户画像系统服务于“精准营销”，而营销是具有时效性和行业性的特征。如，政治观点、种族等属于个人隐私信息，但是对于在汽车领域经营的“服务购买商”来说，这些信息并没大的价值，从而数据处理设备可从业务数据中剔除这些画像时不需用到的业务数据。

可以理解，在本发明有的实施例中，可以不包括步骤203，例如在进行业务数据向量化后，得到向量数据，画像平台获取到该向量数据根据画像的需要对向量的维度进行筛选，重新构造出用户画像时需要用到的向量，其中向量数据的不同向量维度对应于业务数据的不同类型。

步骤204：对目标业务数据进行分段归一化，得到归一数据；

在对业务数据的具体类型数据进行筛选后，得到目标业务数据，数据处理系统可对该目标业务数据进行分段归一化，得到归一数据。

分段归一化，即根据多个用户的业务数据，在同一业务数据类型下的业务数据，进行数据段整合，然后对具体用户的该类型的业务数据进行归一化，即确定出该用户的业务数据在对应的数据段中具体的位置。

进行目标业务数据的分段归一化，是为了在业务数据向量化后，避免最终的画像模型会由于某个向量维度的数据值非常大，而造成维度偏向性。其中向量的维度对应于具体类型的业务数据。

例如，

a、业务数据中包括年龄时，在有意义的业务范畴范围内，有效年龄段在“1岁～100岁”之间，从而将业务数据中的年龄分段成“1至100”，若某用户的年龄为20岁，将该20岁归一化，即20岁转化成“0至1”的范围则为：“0.2”，该0.2即为归一数据。

b、业务数据中包括经济收入时，在人群划分主要研究“低收入”、“中等收入”和“高收入”三种人群，而月收入在5万以上都视为“高收入人群”，可以将收入水平视为在“0～100000”之间。对月收入为1万的用户，月收入1万归一化之后为：“0.1”，即该归一数据为0.1。

可以理解，在不包括步骤203的实施例中，步骤204的具体实现方式是直接对业务数据进行分段归一化，得到归一数据。

可以理解，在本发明有的实施例中，可以不包括步骤204。

可以理解，在本发明有的实施例中，可以是对目标业务数据中的部分数据进行分段归一化，例如对涉及商业敏感信息、个人隐私信息进行分段归一化处理。

可以理解，在本发明有的实施例中，对业务数据进行向量化，得到向量数据中的对目标业务数据进行分段归一化，得到归一数据，具体分段归一化的执行过程是，预先构建向量维度编码表，如根据上述目标业务数据构建向量维度编码表，根据该向量维度编码表对目标业务数据进行向量表示，得到向量表示的目标业务数据，然后对该向量的各个维度的数据进行分段归一化，得到归一数据，然后使用该归一数据，得到向量数据。例如业务数据包括年龄：20岁和经济水平：1万/月，从而可构造向量维度：年龄是第1维，20岁；经济水平是第2维，1万/月。然后，即可对各个维度的数据进行分段归一化。

步骤205：对归一数据进行向量化，得到向量数据。

数据处理设备可使用该归一化的数据进行向量化，得到向量数据，即以向量的方式对归一数据进行表示，且该向量数据的维度对应于业务数据的类型。该向量数据为转化数据中的一种具体形式，即转化数据包括向量数据。

例如，某用户的业务数据包括年龄20岁、月收入1万，进行上述的分段归一化后，得到年龄类型的业务数据为0.2，月收入类型的业务数据0.1，从而根据这些归一数据，得到向量数据[0.2,0.1]。

对于业务数据进行向量维度转换、分段归一化，让数据变得模糊但这些数据仍足以用于画像建模计算。当很多用户的数据都被分段混在一起，数据隐私性和机密性就得到了降低，即对被向量化的这些数据进行了模糊化处理。

例如：收入1.35万被处理成1.3，这个数据用于画像方面已近足够，但是通过这数据不能反向推测商务平台的月度、年度或者每一天的总体交易额。这样，可解决数据敏感度的问题。

上述步骤204和步骤205，即为对业务数据进行向量化，得到向量数据的具体方式之一，在本发明有的实施例中，对业务数据进行向量化，得到向量数据，可以是不执行步骤204，直接使用业务数据或目标业务数据进行向量化，得到向量数据。

在本发明有的实施例中，对业务数据进行向量化，得到向量数据，可以是根据业务数据进行向量化后，得到原始向量数据，例如根据构建的向量维度编码表根据业务数据建立出原始向量数据，然后对原始向量数据的各维度的数据进行归一化处理，得到向量数据。

业务系统数据经过以上处理过程之后，已经难以还原出具体的用户身份信息和业务数据，例如，根据脱敏数据不知该信息是“谁”，根据向量数据不知“经济收入是1万还是1万5”等。但仍能使用这些脱敏数据和业务数据进行用户画像。

步骤206：向画像平台发送脱敏数据和向量数据。

数据处理设备将转化数据发送给画像平台，以使画像平台根据转化数据进行用户画像。在进过上述处理后，转化数据包括脱敏数据和向量数据，在转化数据属于多个用户时，将属于同一用户的脱敏数据和向量数据向画像平台发送。这些转化数据已经具有保密性质，获取到这些转化数据的设备，难以知道具体的用户身份信息和业务数据，但是仍可根据这些脱敏数据和向量数据进行用户画像操作，建立出符合业务系统数据方要求的用户画像。

画像平台获取到这些脱敏数据和向量数据后，即可根据这些脱敏数据和向量数据和画像平台获取到的其它数据进行融合画像，例如使用该具有标识用户作用的脱敏数据进行数据关联打通，以进行数据的融合画像。该画像平台例如可以是DMP(英文全称：Data-Management Platform；中文名称：数据管理平台)平台。DMP是把分散的多方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分的结果推向现有的互动营销环境。

画像平台可属于用户画像技术平台提供商，该用户画像技术平台提供商为业务系统数据方的服务购买商提供用户画像服务或者DMP平台服务，并且该用户画像技术平台提供商自身有丰富的数据、自身有处理大规模数据、用户画像能力。

例如，经过上述处理后向画像平台发送的数据为{MD5ID,向量[x,y....]}的形式，如{0001，[0.2,0.1]}，这些转化数据为MD5之后，可以标识唯一性的、敏感数据是毛糙化、但是足以进行画像建模的数据。将这些数据同步到“用户画像技术平台提供商”的DMP平台，通过MD5之后的ID，即MD5ID，进行数据关联打通，进行数据融合画像。

这样，对业务系统数据方的服务购买商的敏感数据进行不可逆脱敏处理后，用户画像技术提供商运用其海量数据以及大规模数据处理能力，以较低成本、较低实施代价实现“融合两方数据”进行用户精准画像。

综上所述，获取业务系统数据后，对业务系统数据进行转化，得到转化数据，该转化数据为具有保密性且能用于进行用户画像的数据；从而，向画像平台发送转化数据后，画像平台根据转化数据进行用户画像。这样，将业务系统数据方的业务系统数据进行保密处理后，可避免这些业务系统数据的敏感数据的信息泄露，且这样处理成的转化数据仍能用于用户画像，在画像平台，可根据该转化数据进行用户画像，促进实现业务系统数据方的数据和画像服务提供方的数据融合，以实现用户画像。

图3为本发明实施例提供的一种数据处理装置的结构示意图。该装置可集成在数据处理设备上，以执行上述图1和图2所示的数据处理方法，参阅图3，本发明实施例的数据处理装置包括：

获取单元301，用于获取业务系统数据；

转化单元302，用于对业务系统数据进行转化，得到转化数据，转化数据为具有保密性且能用于进行用户画像的数据；

发送单元303，用于向画像平台发送转化数据，以使画像平台根据转化数据进行用户画像。

可选地，

业务系统数据包括用户身份信息，

转化单元302，包括映射模块304，

映射模块304，用于对用户身份信息进行不可逆映射处理，得到脱敏数据，以脱敏数据作为转化数据中的一种；

其中脱敏数据为不可逆向解读出用户身份信息的数据，脱敏数据用于对用户身份信息所属的用户进行标识。

可选地，

业务系统数据还包括与用户身份信息属于相同用户的业务数据，

转化单元302，还包括向量模块305，

向量模块305，用于对业务数据进行向量化，得到向量数据，以向量数据作为转化数据中的一种。

可选地，

向量模块305，包括：

归一子单元306，用于对业务数据进行分段归一化，得到归一数据；

向量子单元307，用于对归一数据进行向量化，得到向量数据。

可选地，

本发明实施例的装置还包括：

确定单元308，用于根据预设规则，从业务数据中确定目标业务数据；

向量模块305，还用于对目标业务数据进行向量化，得到向量数据。

综上所述，获取单元301获取业务系统数据后，转化单元302对业务系统数据进行转化，得到转化数据，该转化数据为具有保密性且能用于进行用户画像的数据；从而，发送单元303向画像平台发送转化数据后，画像平台根据转化数据进行用户画像。这样，将业务系统数据方的业务系统数据进行保密处理后，可避免这些业务系统数据的敏感数据的信息泄露，且这样处理成的转化数据仍能用于用户画像，在画像平台，可根据该转化数据进行用户画像，促进实现业务系统数据方的数据和画像服务提供方的数据融合，以实现用户画像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据处理方法，其特征在于，所述方法包括：

获取业务系统数据；所述业务系统数据包括用户身份信息；

对所述业务系统数据进行转化，得到转化数据，所述转化数据为具有保密性且能用于进行用户画像的数据；所述对所述业务系统数据进行转化，得到转化数据，包括：对所述用户身份信息进行不可逆映射处理，得到脱敏数据，以所述脱敏数据作为所述转化数据中的一种；其中所述脱敏数据为不可逆向解读出所述用户身份信息的数据，所述脱敏数据用于对所述用户身份信息所属的用户进行标识；

向画像平台发送所述转化数据，以使所述画像平台根据所述转化数据进行用户画像。

2.根据权利要求1所述的方法，其特征在于，

所述业务系统数据还包括与所述用户身份信息属于相同用户的业务数据，

所述对所述业务系统数据进行转化，得到转化数据，还包括：

对所述业务数据进行向量化，得到向量数据，以所述向量数据作为所述转化数据中的一种。

3.根据权利要求2所述的方法，其特征在于，

所述对所述业务数据进行向量化，得到向量数据，包括：

对所述业务数据进行分段归一化，得到归一数据；

对所述归一数据进行向量化，得到向量数据。

4.根据权利要求2所述的方法，其特征在于，

所述对所述业务数据进行向量化，得到向量数据之前，所述方法还包括：

根据预设规则，从所述业务数据中确定目标业务数据；

所述对所述业务数据进行向量化，得到向量数据，包括：

对所述目标业务数据进行向量化，得到向量数据。

5.一种数据处理装置，其特征在于，所述装置包括：

获取单元，用于获取业务系统数据；所述业务系统数据包括用户身份信息；

转化单元，用于对所述业务系统数据进行转化，得到转化数据，所述转化数据为具有保密性且能用于进行用户画像的数据；所述转化单元，包括映射模块，所述映射模块，用于对所述用户身份信息进行不可逆映射处理，得到脱敏数据，以所述脱敏数据作为所述转化数据中的一种；其中所述脱敏数据为不可逆向解读出所述用户身份信息的数据，所述脱敏数据用于对所述用户身份信息所属的用户进行标识；

发送单元，用于向画像平台发送所述转化数据，以使所述画像平台根据所述转化数据进行用户画像。

6.根据权利要求5所述的装置，其特征在于，

所述业务系统数据还包括与所述用户身份信息属于相同用户的业务数据，

所述转化单元，还包括向量模块，

所述向量模块，用于对所述业务数据进行向量化，得到向量数据，以所述向量数据作为所述转化数据中的一种。

7.根据权利要求6所述的装置，其特征在于，

所述向量模块，包括：

归一子单元，用于对所述业务数据进行分段归一化，得到归一数据；

向量子单元，用于对所述归一数据进行向量化，得到向量数据。

8.根据权利要求6所述的装置，其特征在于，

所述装置还包括：

确定单元，用于根据预设规则，从所述业务数据中确定目标业务数据；

所述向量模块，还用于对所述目标业务数据进行向量化，得到向量数据。

Images