CN114707835A - 一种数据处理方法、装置、电子设备及计算机可读介质 - Google Patents

Abstract

本申请公开了数据处理方法、装置、电子设备及计算机可读介质，涉及大数据数据处理技术领域，该方法包括：接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；基于评价维度标识，从企业数据中提取对应的评价特征，进而生成对应企业标识的企业画像；将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；响应于匹配度小于预设阈值，调用调整程序以对评价指标信息进行调整直至匹配度大于预设阈值，确定各企业中的目标企业并输出；响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。平衡竞争与招投标，保证得到良好的交易条件，保证建筑工程的安全建设以及提升监管水平。

Description

一种数据处理方法、装置、电子设备及计算机可读介质

技术领域

本申请涉及大数据数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。

背景技术

通过招投标获得工程项目是市场经济的公平所在。市场之所以能在资源配置中发挥重要的乃至决定性的作用，其根本原因在于其中的竞争机制能够充分调动起各方主体的积极性。然而，当前对于竞争与招标存在明显的问题。

随着招标采购工作的深入开展，招标的复杂性日益加大，并已经成为融合法律、经济、管理及技术的专业学科。招标只是建筑工程采购的一种工具，使用该工具并不必然意味着好的采购效果。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：

通过招投标获得工程项目，只是建筑工程采购的一种工具，最终得到的交易条件及结果差。

发明内容

有鉴于此，本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读介质，能够解决现有的通过招投标获得工程项目，只是建筑工程采购的一种工具，最终得到的交易条件及结果差的问题。

为实现上述目的，根据本申请实施例的一个方面，提供了一种数据处理方法，包括：

接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；

基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像；

将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；

响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出；

响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。

可选地，根据评价特征生成对应企业标识的企业画像，包括：

确定评价特征在企业数据中出现的次数；

根据次数确定评价特征对应的特征权重；

基于评价特征和特征权重生成企业画像。

可选地，将企业画像与目标项目的评价指标信息进行匹配，包括：

对各企业画像进行词嵌入处理，以生成各企业画像向量；

对目标项目的评价指标信息进行词嵌入处理，以生成评价指标信息向量；

计算各企业画像向量和评价指标信息向量的相似度。

可选地，生成各企业画像向量，包括：

对各企业画像对应的评价特征进行词嵌入处理，以生成各评价特征向量；

将每一个企业画像对应的评价特征向量求平均值，以得到对应的企业画像向量。

可选地，确定企业画像对应的企业与目标项目的匹配度，包括：

将各相似度确定为对应的企业画像对应的企业与目标项目的匹配度。

可选地，在调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值之前，方法还包括：

确定小于预设阈值的匹配度对应的企业画像所对应的各评价特征向量与评价指标信息向量的相似度，进而将相似度小于预设相似度阈值的评价特征向量确定为目标评价特征向量；

将评价指标信息中与目标评价特征向量相对应的信息确定为待调整评价指标信息。

可选地，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，包括：

调用调整程序，以基于预设的梯度调整策略对待调整评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值。

另外，本申请还提供了一种数据处理装置，包括：

接收单元，被配置成接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；

企业画像生成单元，被配置成基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像；

匹配度确定单元，被配置成将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；

调整单元，被配置成响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出；

输出单元，被配置成响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。

可选地，企业画像生成单元进一步被配置成：

确定评价特征在企业数据中出现的次数；

根据次数确定评价特征对应的特征权重；

基于评价特征和特征权重生成企业画像。

可选地，匹配度确定单元进一步被配置成：

对各企业画像进行词嵌入处理，以生成各企业画像向量；

对目标项目的评价指标信息进行词嵌入处理，以生成评价指标信息向量；

计算各企业画像向量和评价指标信息向量的相似度。

可选地，匹配度确定单元进一步被配置成：

对各企业画像对应的评价特征进行词嵌入处理，以生成各评价特征向量；

将每一个企业画像对应的评价特征向量求平均值，以得到对应的企业画像向量。

可选地，匹配度确定单元进一步被配置成：

将各相似度确定为对应的企业画像对应的企业与目标项目的匹配度。

可选地，调整单元进一步被配置成：

确定小于预设阈值的匹配度对应的企业画像所对应的各评价特征向量与评价指标信息向量的相似度，进而将相似度小于预设相似度阈值的评价特征向量确定为目标评价特征向量；

将评价指标信息中与目标评价特征向量相对应的信息确定为待调整评价指标信息。

可选地，调整单元进一步被配置成：

调用调整程序，以基于预设的梯度调整策略对待调整评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值。

另外，本申请还提供了一种数据处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据处理方法。

另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据处理方法。

为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。

本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的数据处理方法。

上述发明中的一个实施例具有如下优点或有益效果：本申请通过接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像；将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出；响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。将企业画像应用到招投标的场景中，通过构建企业画像，并与招投标中目标项目的评价指标信息进行匹配，当所有的企业画像均不匹配时，通过对评价指标信息中对供应商企业的资格条件的要求、技术参数、评分办法及评标因素、合同条款等进行调整，以便在满足自身需求和促进合理竞争之间找到适当的平衡点。从而平衡竞争与招投标，保证得到良好的交易条件及结果，保证建筑工程的安全建设以及提升监管水平。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本申请，不构成对本申请的不当限定。其中：

图1是根据本申请第一实施例的数据处理方法的主要流程的示意图；

图2是根据本申请第二实施例的数据处理方法的主要流程的示意图；

图3是根据本申请第三实施例的数据处理方法的应用场景示意图；

图4是根据本申请实施例的数据处理装置的主要单元的示意图；

图5是本申请实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

图1是根据本申请第一实施例的数据处理方法的主要流程的示意图，如图1所示，数据处理方法包括：

步骤S101，接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识。

本实施例中，数据处理方法的执行主体(例如，可以是服务器)基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画可以通过有线连接或无线连接的方式，接收数据处理请求。具体地，数据处理请求可以是从众多的企业数据对应的企业中确定与招投标项目匹配的目标企业的请求。具体地，执行主体在接收到数据处理请求后，可以通过页面嵌入JS代码的方式获取企业填报、企业信用等数据，并且获取各服务器上生成的点击流日志数据，并进一步获取数据库中的业务数据(如企业基本信息、企业信用信息、企业财务信息等)及对数据分析有益的外部数据。外部数据包括客户反馈的数据，以及市场调研的数据和行业规模数据等，本申请实施例对外部数据的具体内容不做限定。

具体地，投标是基本建设领域促进竞争的全面经济责任制形式。由若干施工单位参与工程投标，招标企业(即负责建设的企业)择优入选，谁的工期短、造价低、质量高、信誉好，就把工程任务包给谁，由承建单位与发包单位签订合同，一包到底，按交钥匙的方式组织建设。

执行主体在接收到数据处理请求后，还可以获取该请求中携带的企业标识和评价维度标识。其中，企业标识可以是参与招标的各企业的名称(例如A企业、B企业等)或者代码(例如01、02等)。评价维度标识表征了投标的企业对各招标企业进行评价的维度，也就是从哪几方面对招标企业进行评价，以确定最终的目标招标企业。

步骤S102，基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像。

执行主体在获取评价维度标识后，可以从企业数据中提取与评价维度标识对应的评价特征。示例的，评价维度标识可以是CWBB、XY、RL等，分别代表财务报表、信用、人力。本申请实施例对评价维度标识所包含的内容不做具体限定。执行主体可以调用特征提取模型以基于评价维度标识从企业数据中提取像财务报表、信用、人力等的评价特征，并且根据提取的评价特征以及评价特征所占的权重分别生成与各企业标识对应的企业画像。该企业画像是针对招投标项目的企业画像。生成企业画像可以更精准地对各个招标企业进行匹配度的评判，从而能够保证最终得到良好的交易条件和交易结果。交易结果可以指的是最终得到的目标招标企业能够保证质量地完成对招标项目的建设。

步骤S103，将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度。

执行主体在得到各企业标识对应的招标企业的企业画像后，可以将各企业画像分别与目标项目(也就是招投标项目)的评价指标信息进行匹配。其中，目标项目的评价指标信息包括对招标企业的资格条件的要求、技术参数、评分办法及评标因素、合同条款等信息。本申请实施例对目标项目点饿评价指标信息的具体内容不做具体限定，可以根据实际情况进行实时调整。

执行主体可以首先将各企业画像以及目标项目的评价指标信息分别通过词嵌入的方法转换成向量，然后计算各企业画像对应的向量与评价指标信息对应的向量的相似度，也就是匹配度。

具体地，将企业画像与目标项目的评价指标信息进行匹配，包括：对各企业画像进行词嵌入处理，以生成各企业画像向量；对目标项目的评价指标信息进行词嵌入处理，以生成评价指标信息向量；计算各企业画像向量和评价指标信息向量的相似度。

具体地，计算各企业画像向量和评价指标信息向量的相似度可以是计算各企业画像向量和评价指标信息向量的余弦相似度、马氏距离、兰式距离等，本申请实施例对相似度的计算方法不做具体限定。

执行主体在将各企业画像与目标项目的评价指标信息进行匹配后，可以得到各企业画像与目标项目的匹配度。

具体地，生成各企业画像向量，包括：

对各企业画像对应的评价特征进行词嵌入处理，以生成各评价特征向量；各企业画像分别是根据从各企业的企业数据中提取的评价特征得到的，执行主体可以分别将每一个企业对应的评价特征转换为各评价特征向量，然后根据各评价特征向量得到对应的企业的企业画像向量。具体地，执行主体可以将每一个企业画像对应的评价特征向量求平均值(例如{9,17})，以得到对应的企业画像向量(例如{9,17})。当然，执行主体也可以将每一个企业画像对应的评价特征向量的中位数(例如{9,19})或者众数(例如{10,18})确定为对应的企业的企业画像向量。

具体地，确定企业画像对应的企业与目标项目的匹配度，包括：将各相似度(例如0.80、0.90、0.99)确定为对应的企业画像对应的企业与目标项目的匹配度。

步骤S104，响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出。

示例的，执行主体可以对招标文件中对供应商企业(也就是招标企业，也就是数据处理请求对应的企业标识所对应的企业)的资格条件的要求、技术参数、评分办法及评标因素、合同条款等进行调整，以便在满足自身需求和促进合理竞争之间找到适当的平衡点。

当执行主体确定所有招标企业与目标项目的匹配度都没有达到要求(也就是都没有达到预设阈值)时，执行主体可以调用调整程序以基于预设的梯度调整策略对目标项目的评价指标信息进行梯度调整，并继续执行各企业画像与不断调整的目标项目的评价指标信息的匹配进程，直至存在企业画像与调整后的目标企业的评价指标信息相匹配为止。例如，对某一个评价指标信息(例如供应商的资格条件)进行梯度1对应的信息(例如资格条件1)的调整，如果还没有匹配的企业画像，则继续对该评价指标信息进行梯度2对应的信息(例如资格条件2)的调整直至出现匹配的企业画像为止。从而可以从各候选的招标企业中筛选出最符合该目标项目的评价指标信息的目标企业(也即企业画像对应的企业与目标项目的匹配度大于预设阈值的企业)，以保证实现较好的交易条件和交易结果。可以理解的是，目标企业可以有一个，也可以有多个，本申请实施例对目标企业的个数不做具体限定。

具体地，在调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值之前，方法还包括：确定小于预设阈值的匹配度对应的企业画像所对应的各评价特征向量与评价指标信息向量的相似度，进而将相似度小于预设相似度阈值的评价特征向量确定为目标评价特征向量；将评价指标信息中与目标评价特征向量相对应的信息确定为待调整评价指标信息。

本申请实施例中，执行主体在执行对目标项目的评价指标信息进行调整之前，可以首先确定评价指标信息中要调整的信息。具体可以确定在匹配度小于预设阈值的企业画像中，匹配度最大的那个企业画像，然后将该匹配度最大的企业画像对应的各评价特征向量与评价指标信息向量进行相似度计算，将计算得到的相似度小于预设阈值的评价特征向量确定为目标特征向量，例如企业对应的财务报表对应的特征向量，从而将评价指标信息中与目标评价特征向量相对应的信息(例如评价指标信息中的与企业的财务报表对应的供应商企业的资格条件信息)确定为待调整评价指标信息。可以理解的是，待调整评价指标信息可以一条，也可以为多条，本申请实施例对待调整评价指标信息的条数不做具体限定，对调整待调整评价指标信息的时机也不做具体限定，可以同时调整，也可以分开在不同的预设时间进行调整。

具体地，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，包括：调用调整程序，以基于预设的梯度调整策略对待调整评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值。

步骤S105，响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。

当执行主体确定各企业的企业画像中存在企业画像与目标项目的评价指标信息匹配时，也就是各企业的企业画像中存在企业画像与目标项目的评价指标信息的匹配度大于预设阈值时，可以将该大于预设阈值的匹配度对应的企业确定为目标企业并输出。

本实施例通过接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像；将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出；响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。将企业画像应用到招投标的场景中，通过构建企业画像，并与招投标中目标项目的评价指标信息进行匹配，当所有的企业画像均不匹配时，通过对评价指标信息中对供应商企业的资格条件的要求、技术参数、评分办法及评标因素、合同条款等进行调整，以便在满足自身需求和促进合理竞争之间找到适当的平衡点。从而平衡竞争与招投标，保证得到良好的交易条件及结果，保证建筑工程的安全建设以及提升监管水平。

图2是根据本申请第二实施例的数据处理方法的主要流程示意图，如图2所示，数据处理方法包括：

步骤S201，接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识。

执行主体具体可以通过隔空投送的方式接收数据处理请求。在接收到数据处理请求后，可以获取该请求中携带的数据获取地址，进而跳转到该数据获取地址以获取对应的企业数据。企业数据可以包括企业的信用信息、企业的财务信息、企业的法人信息等。执行主体还可以获取企业标识(例如企业名称或企业代码等)和评价维度标识(例如企业的财务维度标识CW、企业的信用维度标识XY等)。

步骤S202，基于评价维度标识，从企业数据中提取对应的评价特征。

步骤S203，确定评价特征在企业数据中出现的次数。

企业数据，可以并不是直接以评价特征的形式存在。执行主体可以将评价特征转换为企业数据中的数据展示形式后，再统计确定评价特征对应的数据在企业数据中出现的次数。例如，评价特征为{1,2,3}，对应的数据为“企业信用”，则执行主体可以统计“企业信用”在相对应的企业数据中出现的次数。

步骤S204，根据次数确定评价特征对应的特征权重。

步骤S205，基于评价特征和特征权重生成企业画像。

企业画像，即企业信息标签化，通过收集企业社会属性、财务报表、信用及人力等各个维度的数据，进而对企业特征数据进行刻画，并对这些特征分析统计挖掘潜在的价值信息，从而抽象出一个企业的信息全貌。

企业画像不是企业标签的简单组合，需要与业务、项目结合，不同业务、项目的企业画像标签体系并不一致。

在企业画像中还包括构成企业画像的评价特征的特征权重。特征权重影响着对企业属性的归类，以保证对企业属性准确的归类，从而保证基于评价特征和特征属性得到的企业画像能够起到更准确的推荐、营销的作用。

具体地，对于每一个企业数据，执行主体可以确定该企业数据中的各评价特征在该企业数据中出现的次数，并将各次数按照递减顺序排序，对排序后的各次数对应的评价特征赋予递减的特征权重。也就是特征权重的大小与评价特征在对应的企业数据中出现的次数成正比。进而对于每一个企业标识对应的企业，执行主体可以以该企业对应的评价特征为节点，以评价特征对应的特征权重为连接线，将各节点以对应的连接线连接起来得到企业画像。

步骤S206，将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度。

步骤S207，响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出。

步骤S208，响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。

本申请实施例中，通过将企业画像应用到招投标的场景中，构建企业画像，及时预测未来各招标企业的潜在风险，保证招投标项目的安全建设，提升监管水平。

图3是根据本申请第三实施例的数据处理方法的应用场景示意图。本申请实施例的数据处理方法，应用于招投标过程中的数据处理场景。执行主体在接收到数据处理请求后，示例的，如图3所示，本申请实施例的数据处理的核心是：数据采集、数据存储与分析、数据共享、数据应用。其中，数据采集，可以从业务系统获取埋点日志数据文件，从Web系统获取埋点日志数据文件，从手机App获取埋点日志数据文件，从外部系统通过爬虫爬取外部数据，也可以从人工整理数据中获取手工文件。在采集到数据后，经由数据采集传输通道，传输到数据存储层进行数据存储与分析，数据存储与分析具体可以包括暂存处理、微批/流处理、流处理。其中，微批处理，定期检查是否有新数据到达，然后开启一个新的批次进行处理，微批处理模式下，当一条数据到达后，并不会立即处理，需要先处理完上一个批次，然后把这一个批次的offset记录后，才会处理。流处理，会对随时产生的数据进行计算。

具体地，暂存处理为通过数据仓库技术(Extract-Transform-Load，ETL)进行离线数据存储；微批/流处理为进行近线数据存储；流处理为进行实时数据存储。

离线数据存储为对在线存储数据的备份，以防范可能发生的数据灾难。离线存储的数据不常被调用，一般远离系统应用。离线存储介质上的数据在读写时是顺序进行的。当需要读取数据时，需要把磁带卷到头，然后进行定位。当需要对已经写入的数据进行修改时，所有的数据都需要全部进行改写。因此，离线存储的访问速度慢、效率较低。离线存储典型产品是磁带库，价格相对低廉。

近线数据存储为对不经常用到、或者数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。因此，近线数据存储对性能要求相对来说并不高，但要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的比较大的比重，这也就要求近线数据存储设备在需要容量相对较大。即把价值不同的数据分别放在不同性能的存储介质上进行存放。

实时数据存储，指的是存储设备和所存储的数据时刻保持“在线”状态，可供用户随意读取，满足计算平台对数据访问的速度要求。就像PC机中常用的磁盘存储模式一样。一般在线存储设备为磁盘和磁盘阵列等存储的设备，价格相对昂贵，但是性能较好。

在经过数据存储与分析后，执行主体可以对分析后的数据进行数据共享和数据应用。

本申请实施例中，Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。Spark是专为大规模数据处理而设计的快速通用的计算引擎。

其中，数据共享，可以为将各种业务数据库和网站日志等数据源，同步到HDFS等分布式文件系统。在HDFS对数据进行分析与计算上，可以使用数据仓库工具Hive。Hive具有丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式。非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析极其高效。执行主体可以将Spark和hive相结合，使用计算引擎Spark和SparkSQL来做分析和计算。由于大多数业务不可能直接从hdfs上获取数据，因此就需要一个数据共享的地方。业务系统譬如报表展示、接口调用都可以直接从数据共享层访问即可。Spark SQL是应用于Spark的一个组件。Spark SQL是一种可以通过SQL执行Spark任务的分布式解析引擎。它能够将用户编写的SQL语言解析成RDD对应的分布式任务，由于Spark是基于内存去处理、计算数据集，所以其执行速度非常快。具体可以使用分布式、高吞吐量、延时低、高可靠的实时计算框架Spark Streaming来进行数据分析和计算。执行主体可以基于任务调度与监控系统，调度和监控所有任务(包括数据采集任务、数据存储与分析任务、数据共享任务、数应用任务)的分配与运行。

其中，数据应用，可以包括招标企业的报表展示、数据分析、即时分析、数据挖掘、机器学习、深度学习和数据在线服务等。

随着信息技术的高速发展，数据开始爆发性增长。存储单位也从GB到TB，乃至PB、EB级别，建筑企业官网、政府各种网站以及有关建筑的各种网站，都成为了建筑企业数据的来源，这为企业画像和企业标签提供了数据支撑。广泛的数据来源，决定了大数据形式的多样性。数据库数据是结构化明显的数据，还有一些数据结构化不明显，例如文件、图片、音频、视频等。大数据的产生非常迅速，主要通过互联网传输。生活中每个建筑企业都离不开互联网，也就是说每天建筑企业的经营以及运作情况都在向大数据提供大量的资料。并且这些数据是需要及时处理的，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，要保证数据处理极快的速度以占据优势。针对建筑企业所产生的数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对政府、企业、个人有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现最新的经营情况，并运用于招投标、政府监管、企业管理人员等各个环节，从而达到建筑工程更好的建造、更好的改善企业管理，推进建筑行业更健康、更安全的发展。

大数据技术从全专业建模、计算工程量，到分析各专业技术冲突，以及对产业链全过程的信息对称能力，对产业链价值进行重分配，更有利于建筑行业的建设过程和建筑工程的安全建设。建筑业的生产方式，即使是一幢9层普通住宅楼的建造，也是面对海量数据的管理。建筑业要达到建设的精细度，要细到每一堵墙每一块砖都要事先排好，出好排布图，各种规格的砖的数量事先统计好，按数据通知供应商供货，安排运输班组按精细数据，按各堵墙用量的标注图，进行垂直运输和楼层就位，这也从根本上体现了建筑业大数据技术的应用价值。

大数据已经融入到世界的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会其他各个领域。整合和关联结构化数据、非结构化数据以及互联网采集数据、第三方合作数据，基于多维度海量数据库、语言关系认知能力和知识库表示结构，短时间内构建企业数据画像，及时预测未来潜在风险。例如：大数据在建筑企业中的应用，通过对历史工程项目的数据分析得出不同施工类型、不同劳务队的施工水平数据，从而保证建筑工程的安全建设以及提升政府的监管水平。

在本申请实施例中，执行主体在接收到数据处理请求时，首先，可以通过页面嵌入JS代码的方式获取企业填报、企业信用等信息，并发送到web服务的后台记录日志；然后，将各服务器上生成的点击流日志通过实时或批量的方式汇聚到HDFS文件系统中。HDFS文件系统的数据源还可以包含点击流数据，以及数据库中的业务数据(如企业基本信息、企业信用信息、企业财务信息等)及对分析有益的外部数据。通过大数据技术对采集到的流量数据进行预处理，比如清洗，格式整理，滤除脏数据等，并将预处理之后的数据导入到大数据仓库中相应的库和表中。本申请实施例可以根据需求开发ETL分析语句，得出各种统计结果以及建筑企业标签，将分析所得数据进行可视化。本申请实施例通过结合大数据技术，分析大量企业信息并得出评估结果，能提升监管的能力。

图4是根据本申请实施例的数据处理装置的主要单元的示意图。如图4所示，数据处理装置400包括接收单元401、企业画像生成单元402、匹配度确定单元403、调整单元404和输出单元405。

接收单元401，被配置成接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；

企业画像生成单元402，被配置成基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像；

匹配度确定单元403，被配置成将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；

调整单元404，被配置成响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出；

输出单元405，被配置成响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。

在一些实施例中，企业画像生成单元402进一步被配置成：确定评价特征在企业数据中出现的次数；根据次数确定评价特征对应的特征权重；基于评价特征和特征权重生成企业画像。

在一些实施例中，匹配度确定单元403进一步被配置成：对各企业画像进行词嵌入处理，以生成各企业画像向量；对目标项目的评价指标信息进行词嵌入处理，以生成评价指标信息向量；计算各企业画像向量和评价指标信息向量的相似度。

在一些实施例中，匹配度确定单元403进一步被配置成：对各企业画像对应的评价特征进行词嵌入处理，以生成各评价特征向量；将每一个企业画像对应的评价特征向量求平均值，以得到对应的企业画像向量。

在一些实施例中，匹配度确定单元403进一步被配置成：将各相似度确定为对应的企业画像对应的企业与目标项目的匹配度。

在一些实施例中，调整单元404进一步被配置成：确定小于预设阈值的匹配度对应的企业画像所对应的各评价特征向量与评价指标信息向量的相似度，进而将相似度小于预设相似度阈值的评价特征向量确定为目标评价特征向量；将评价指标信息中与目标评价特征向量相对应的信息确定为待调整评价指标信息。

在一些实施例中，调整单元404进一步被配置成：调用调整程序，以基于预设的梯度调整策略对待调整评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值。

在一些实施例中，接收单元401进一步被配置成：调用目标页面的页面嵌入脚本程序，以获取目标页面对应的点击流数据，获取数据库中的业务数据；将点击流数据和业务数据组成企业数据。

需要说明的是，在本申请数据处理方法和数据处理装置在具体实施内容上具有相应关系，故重复内容不再说明。

图5示出了可以应用本申请实施例的数据处理方法或数据处理装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有数据处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所提交的数据处理请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像；将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出；响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。将企业画像应用到招投标的场景中，通过构建企业画像，并与招投标中目标项目的评价指标信息进行匹配，当所有的企业画像均不匹配时，通过对评价指标信息中对供应商企业的资格条件的要求、技术参数、评分办法及评标因素、合同条款等进行调整，以便在满足自身需求和促进合理竞争之间找到适当的平衡点。从而平衡竞争与招投标，保证得到良好的交易条件及结果，保证建筑工程的安全建设以及提升监管水平。

需要说明的是，本申请实施例所提供的数据处理方法一般由服务器505执行，相应地，数据处理装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本申请实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本申请公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、企业画像生成单元、匹配度确定单元、调整单元和输出单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；基于评价维度标识，从企业数据中提取对应的评价特征，进而根据评价特征生成对应企业标识的企业画像；将企业画像与目标项目的评价指标信息进行匹配，以确定企业画像对应的企业与目标项目的匹配度；响应于匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对评价指标信息进行调整直至企业画像对应的企业与目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各企业中的目标企业并输出；响应于匹配度大于预设阈值，根据匹配度确定各企业中的目标企业并输出。

本申请的计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请实施例中的数据处理方法。

根据本申请实施例的技术方案，将企业画像应用到招投标的场景中，通过构建企业画像，并与招投标中目标项目的评价指标信息进行匹配，当所有的企业画像均不匹配时，通过对评价指标信息中对供应商企业的资格条件的要求、技术参数、评分办法及评标因素、合同条款等进行调整，以便在满足自身需求和促进合理竞争之间找到适当的平衡点。从而平衡竞争与招投标，保证得到良好的交易条件及结果，保证建筑工程的安全建设以及提升监管水平。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种数据处理方法，其特征在于，包括：

接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；

基于所述评价维度标识，从所述企业数据中提取对应的评价特征，进而根据所述评价特征生成对应所述企业标识的企业画像；

将所述企业画像与目标项目的评价指标信息进行匹配，以确定所述企业画像对应的企业与所述目标项目的匹配度；

响应于所述匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对所述评价指标信息进行调整直至所述企业画像对应的企业与所述目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各所述企业中的目标企业并输出；

响应于所述匹配度大于预设阈值，根据所述匹配度确定各所述企业中的目标企业并输出。

2.根据权利要求1所述的方法，其特征在于，所述根据所述评价特征生成对应所述企业标识的企业画像，包括：

确定所述评价特征在所述企业数据中出现的次数；

根据所述次数确定所述评价特征对应的特征权重；

基于所述评价特征和所述特征权重生成企业画像。

3.根据权利要求1所述的方法，其特征在于，所述将所述企业画像与目标项目的评价指标信息进行匹配，包括：

对各所述企业画像进行词嵌入处理，以生成各企业画像向量；

对目标项目的评价指标信息进行词嵌入处理，以生成评价指标信息向量；

计算所述各企业画像向量和所述评价指标信息向量的相似度。

4.根据权利要求3所述的方法，其特征在于，所述生成各企业画像向量，包括：

对各所述企业画像对应的评价特征进行词嵌入处理，以生成各评价特征向量；

将每一个企业画像对应的评价特征向量求平均值，以得到对应的企业画像向量。

5.根据权利要求3所述的方法，其特征在于，所述确定所述企业画像对应的企业与所述目标项目的匹配度，包括：

将各所述相似度确定为对应的企业画像对应的企业与所述目标项目的匹配度。

6.根据权利要求3所述的方法，其特征在于，在所述调用调整程序以基于预设的梯度调整策略对所述评价指标信息进行调整直至所述企业画像对应的企业与所述目标项目的匹配度大于预设阈值之前，所述方法还包括：

确定小于预设阈值的匹配度对应的企业画像所对应的各评价特征向量与所述评价指标信息向量的相似度，进而将相似度小于预设相似度阈值的评价特征向量确定为目标评价特征向量；

将所述评价指标信息中与所述目标评价特征向量相对应的信息确定为待调整评价指标信息。

7.根据权利要求6所述的方法，其特征在于，所述调用调整程序以基于预设的梯度调整策略对所述评价指标信息进行调整直至所述企业画像对应的企业与所述目标项目的匹配度大于预设阈值，包括：

调用调整程序，以基于预设的梯度调整策略对所述待调整评价指标信息进行调整直至所述企业画像对应的企业与所述目标项目的匹配度大于预设阈值。

8.一种数据处理装置，其特征在于，包括：

接收单元，被配置成接收数据处理请求，获取对应的企业数据、企业标识和评价维度标识；

企业画像生成单元，被配置成基于所述评价维度标识，从所述企业数据中提取对应的评价特征，进而根据所述评价特征生成对应所述企业标识的企业画像；

匹配度确定单元，被配置成将所述企业画像与目标项目的评价指标信息进行匹配，以确定所述企业画像对应的企业与所述目标项目的匹配度；

调整单元，被配置成响应于所述匹配度小于预设阈值，调用调整程序以基于预设的梯度调整策略对所述评价指标信息进行调整直至所述企业画像对应的企业与所述目标项目的匹配度大于预设阈值，根据大于预设阈值的匹配度确定各所述企业中的目标企业并输出；

输出单元，被配置成响应于所述匹配度大于预设阈值，根据所述匹配度确定各所述企业中的目标企业并输出。

9.根据权利要求8所述的装置，其特征在于，所述企业画像生成单元进一步被配置成：

确定所述评价特征在所述企业数据中出现的次数；

根据所述次数确定所述评价特征对应的特征权重；

基于所述评价特征和所述特征权重生成企业画像。

10.根据权利要求8所述的装置，其特征在于，所述匹配度确定单元进一步被配置成：

对各所述企业画像进行词嵌入处理，以生成各企业画像向量；

对目标项目的评价指标信息进行词嵌入处理，以生成评价指标信息向量；

计算所述各企业画像向量和所述评价指标信息向量的相似度。

11.根据权利要求10所述的装置，其特征在于，所述匹配度确定单元进一步被配置成：

对各所述企业画像对应的评价特征进行词嵌入处理，以生成各评价特征向量；

将每一个企业画像对应的评价特征向量求平均值，以得到对应的企业画像向量。

12.根据权利要求10所述的装置，其特征在于，所述匹配度确定单元进一步被配置成：

将各所述相似度确定为对应的企业画像对应的企业与所述目标项目的匹配度。

13.根据权利要求10所述的装置，其特征在于，所述调整单元进一步被配置成：

确定小于预设阈值的匹配度对应的企业画像所对应的各评价特征向量与所述评价指标信息向量的相似度，进而将相似度小于预设相似度阈值的评价特征向量确定为目标评价特征向量；

将所述评价指标信息中与所述目标评价特征向量相对应的信息确定为待调整评价指标信息。

14.一种数据处理电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images