CN116383311A - 一种建筑行业供应商画像数据实时融合搜索的方法 - Google Patents

Abstract

本发明公开了一种建筑行业供应商画像数据实时融合搜索的方法，包括构建供应商用户画像的数据模型；在HBase数据库中创建与数据模型物理映射的HBase表；在搜索引擎中创建与HBase表同名的索引表，开启动态映射；基于redis存储系统，编写通用的HBase协处理器；通过Flink流计算引擎，接入不同kafka分区用户数据，将用户不同数据实时写入对应HBase表；利用HBase协处理器，将HBase表中的用户数据实时同步到搜索引擎中。本发明利用HBase动态列的特性、Elasticsearch动态映射和数据易搜索的特性，并且结合Flink流计算引擎，快速实现建筑行业供应商海量数据多维度处理。

Description

一种建筑行业供应商画像数据实时融合搜索的方法

技术领域

本发明属于计算机技术领域，具体涉及一种建筑行业供应商画像数据实时融合搜索的方法。

背景技术

在大数据背景下，用户的画像数据对企业的经营尤为重要，是公司数字化营销的关键。但是不同的行业，用户的数据特征维度不一致，想要建立实时的用户画像模型数据十分困难。由于企业中用户的数据散落在各个业务系统，数据实时融合挑战巨大，并且模型的维度是不断增加的，这让实时融合的难度更上一层楼。

因此，本发明提供了一种建筑行业供应商画像数据实时融合搜索的方法，以至少解决上述部分技术问题。

发明内容

本发明要解决的技术问题是：提供一种建筑行业供应商画像数据实时融合搜索的方法，以至少解决上述部分技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种建筑行业供应商画像数据实时融合搜索的方法，包括以下步骤：

步骤1、构建供应商用户画像的数据模型；

步骤2、在HBase数据库中创建与所述数据模型物理映射的HBase表；

步骤3、在搜索引擎中创建与HBase表同名的索引表，并且开启动态映射；

步骤4、基于redis存储系统，编写通用的HBase协处理器；

步骤5、通过Flink流计算引擎，接入不同kafka分区的用户数据，将用户的不同数据分别实时写入对应HBase表；

步骤6、利用HBase协处理器，将HBase表中的用户数据实时同步到搜索引擎中，供用户搜索。

进一步地，所述搜索引擎为Elasticsearch。

进一步地，所述步骤4包括：步骤41、自定义供应商协处理器类，具体为：利用Hbase数据库的观察者模式的特性继承HBase提供的Base Region Observer类；步骤42、在start方法中初始化HBase和Elasticsearch的连接，创建Elasticsearch的客户端链接；初始化HBase和redis的连接，创建客户端；步骤43、在stop方法中释放HBase和Elasticsearch的连接，释放redis的连接。

进一步地，所述步骤5包括：步骤51、在Flink中编写通用的kafka 数据源，用于接收来自不同kafka 消息队列的用户数据；步骤52、在Flink自定义基础数据处理函数，用于判断是否为用户的基础数据，若为基础数据则逐一解析基础数据，然后映射成HBase的put结构写入HBase表中；步骤53、在Flink自定义评价数据处理函数，用于判断是否为用户的评价数据，若为评价数据则逐一解析评价数据，然后映射成HBase的put结构写入HBase表中；步骤54、由步骤52和步骤53判断处理后，剩余用户数据则为用户的交易数据，在Flink自定义键控的分区处理函数，对同一用户的交易数据进行对应指标计算，将计算出的指标数据映射成HBase的put结构写入HBase表中。

进一步地，在所述步骤52、步骤53和步骤54中，映射成HBase的put结构的行键均为该用户id的反转。

进一步地，在所述步骤51中，来自不同kafka topic的用户数据均为json数据。

进一步地，所述步骤6包括：步骤61、通过redisClient在redis中获取需要写入Elasticsearch的用户数据的索引表名称；步骤62、当写入Elasticsearch的用户数据的索引表名称与HBase表名称相同时，获取该HBase表的行键、以及当前行的列族所在列的逻辑存储单元的集合，HBase协处理器感知有新行数据增加或者修改时，将新行数据传递到列簇集合中，并且创建一个HashMap数据结构；步骤63、遍历列簇集合中的数据，将列簇集合逻辑单元的数据插入到HashMap数据结构中；步骤64、调用Elasticsearch的客户端链接，将HashMap数据结构的数据写入Elasticsearch。

进一步地，在所述步骤62中，HashMap数据结构的key为当前新行的行键。

进一步地，在所述步骤64中，设置Elasticsearch的id为当前HBase表的行键、Elasticsearch的数据源为HashMap数据结构的数据。

与现有技术相比，本发明具有以下有益效果：

本发明利用HBase动态列的特性、以及Elasticsearch动态映射和数据易搜索的特性，并且结合Flink流计算引擎，快速实现建筑行业供应商海量数据的多维度处理。

附图说明

图1为本发明的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

技术名词解释：

HBase数据库：一种分布式、可扩展、支持海量数据存储的NoSQL数据库；

HBase表：Hbase中的数据表；

Elasticsearch：位于 Elastic Stack 核心的分布式搜索和分析引擎；

redis存储系统：一种支持Key-Value等多种数据结构的存储系统；

Flink处理引擎：一个框架和分布式处理引擎；

Kafka：一种分布式的，基于发布/订阅的消息系统。

在建筑行业的供应链业务场景中，供应商的数据主要有三大类的数据，第一种是供应商的基本信息，称为基础数据；第二种是供应商在交易环节的业务数据、供应商招投标、供应商合同、供应商订单、供应商物流、供应商履约等，称为交易数据；第三种是采购商对合作中的评价，称为评价数据。

本发明提供的一种建筑行业供应商画像数据实时融合搜索的方法，包括以下步骤：

步骤1、构建供应商用户画像的数据模型；

步骤2、在HBase数据库中创建与所述数据模型物理映射的HBase表；

步骤3、在搜索引擎中创建与HBase表同名的索引表，并且开启动态映射；

步骤4、基于redis存储系统，编写通用的HBase协处理器；

步骤5、通过Flink处理引擎，接入不同kafka分区的用户数据，将用户的不同数据分别实时写入对应HBase表；

步骤6、利用HBase协处理器，将HBase表中的用户数据实时同步到搜索引擎中，供用户搜索。

所述步骤1构建的数据模型包含供应商的三大数据，每类数据又包括多维度的详细数据，例如表1所示，包括供应商id、以及该供应商的名称、经营区域、经营品类、累计投标次数、累计中标次数和累计履约金额等三大多维度数据。

表1

所述步骤2是在HBase数据库中创建与所述数据模型物理映射的HBase表，利用HBase存储引擎创建表的语法，例如：Create ‘supplier_portrayal’,‘s_f’，其中supplier_portrayal是HBase表的名称，‘s_f’是列族，HBase表的行键（rowKey）为该供应商id的反转，例如供应商的id为1234，则HBase表的行键为4321，如此以为了避免热点key，并且防止HBase表的数据分布不均衡。

所述步骤3是在搜索引擎中创建与HBase表同名的索引表，并且开启动态映射。搜索引擎采用Elasticsearch，Elasticsearch是一个实时搜索引擎，支持自动完成和即时搜索。

所述步骤4是编写通用HBase协处理器，所述步骤4包括：步骤41、自定义供应商协处理器类（Suppluer Processor类），具体为：利用Hbase数据库的观察者模式（HBaseObserver）的特性继承HBase提供的Base Region Observer类；步骤42、在start方法中初始化HBase和Elasticsearch的连接，创建Elasticsearch的客户端链接；初始化HBase和redis的连接，创建客户端（redisClient）；步骤43、在stop方法中释放HBase和Elasticsearch的连接，释放redis的连接。所述步骤步骤42、步骤43通过调用Elasticsearch提供的java版本的SDK接口实现。

所述步骤5是通过Flink处理引擎，将kafka分区的用户数据实时写入对应HBase表。所述步骤5包括：步骤51、在Flink中编写通用的kafka 数据源（kafka source），用于接收来自不同kafka消息队列（topic） 的用户数据，kafka 中的数据都是json格式的数据，不同的供应商的数据其json里面的字段内容不相同；步骤52、在Flink自定义基础数据处理函数（Base Map Function），用于判断是否为用户的基础数据，json中的数据dataType字段为base则为用户的基础数据，然后逐一解析基础数据，然后映射成HBase的put结构，调用HBase的Api接口将数据写入HBase表中，其中put的行键为供应商id的反转，否则将数据输出到下一个评价数据算子中；步骤53、在Flink自定义评价数据处理函数（Evaluate MapFunciton），用于判断是否为用户的评价数据，json中的数据dataType字段为evaluate则为用户的评价数据，然后逐一解析评价数据，然后映射成HBase的put结构，调用HBase的Api接口将数据写入HBase表中，同样put的行键为供应商id的反转，否则将数据输出到下一个交易数据算子中；步骤54、由步骤52和步骤53判断处理后，剩余用户数据则为用户的交易数据，在Flink自定义键控的分区处理函数（keyed Process Function），对同一用户的交易数据进行对应指标计算，比如累计的交易金额、累计的投标次数、累计的中标次数、近一年的合同次数、近3个月的平均订单金额等，然后将计算出的指标数据映射成HBase的put结构，调用HBase的Api接口将数据写入HBase表中。步骤5中，对多数据进行keyBy操作，将同一个供应商的数据输出到下游的同一个分区中。

由于用户数据均为json结构，没有提前在HBase中创建对应的列，而是利用HBase动态列的特性，HBase表中的列名和json格式中的key保持一致。在实际的实施过程中，如果用户数据json数据增加了一个维度，例如用户所在的省份province，那么通过步骤5的解析进而感知到json里面新增了一个province，在写入数据的时候，调用HBase的数据新增接口，那么province这个字段就会被动态写入到HBase表中。

所述步骤6是利用HBase协处理器，将HBase表中的用户数据实时同步到搜索引擎中，供用户搜索。所述步骤6包括：步骤61、通过redisClient在redis中获取需要写入Elasticsearch的用户数据的索引表名称；步骤62、当写入Elasticsearch的用户数据的索引表名称与HBase表名称相同时，获取该HBase表的行键（rowKey）、以及当前行（row）的列族所在列的逻辑存储单元的集合（Map），HBase协处理器感知有新行数据增加或者修改时，将新行数据传递到列簇集合（familyMap）中，并且创建一个HashMap数据结构，HashMap数据结构的key为当前新行的行键；步骤63、遍历列簇集合（familyMap）中的数据，将列簇集合逻辑单元（Cell）的数据插入到HashMap数据结构中；步骤64、调用Elasticsearch的客户端链接，将HashMap数据结构的数据写入Elasticsearch，在此设置Elasticsearch的id为当前HBase表的行键、Elasticsearch的数据源（source）为HashMap数据结构的数据。

最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，包括以下步骤：

步骤1、构建供应商用户画像的数据模型；

步骤2、在HBase数据库中创建与所述数据模型物理映射的HBase表；

步骤3、在搜索引擎中创建与HBase表同名的索引表，并且开启动态映射；

步骤4、基于redis存储系统，编写通用的HBase协处理器；

步骤5、通过Flink流计算引擎，接入不同kafka分区的用户数据，将用户的不同数据分别实时写入对应HBase表；

步骤6、利用HBase协处理器，将HBase表中的用户数据实时同步到搜索引擎中，供用户搜索。

2.根据权利要求1所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，所述搜索引擎为Elasticsearch。

3. 根据权利要求2所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，所述步骤4包括：步骤41、自定义供应商协处理器类，具体为：利用Hbase数据库的观察者模式的特性继承HBase提供的Base Region Observer类；步骤42、在start方法中初始化HBase和Elasticsearch的连接，创建Elasticsearch的客户端链接；初始化HBase和redis的连接，创建客户端；步骤43、在stop方法中释放HBase和Elasticsearch的连接，释放redis的连接。

4. 根据权利要求3所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，所述步骤5包括：步骤51、在Flink中编写通用的kafka 数据源，用于接收来自不同kafka 消息队列的用户数据；步骤52、在Flink自定义基础数据处理函数，用于判断是否为用户的基础数据，若为基础数据则逐一解析基础数据，然后映射成HBase的put结构写入HBase表中；步骤53、在Flink自定义评价数据处理函数，用于判断是否为用户的评价数据，若为评价数据则逐一解析评价数据，然后映射成HBase的put结构写入HBase表中；步骤54、由步骤52和步骤53判断处理后，剩余用户数据则为用户的交易数据，在Flink自定义键控的分区处理函数，对同一用户的交易数据进行对应指标计算，将计算出的指标数据映射成HBase的put结构写入HBase表中。

5.根据权利要求4所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，在所述步骤52、步骤53和步骤54中，映射成HBase的put结构的行键均为该用户id的反转。

6. 根据权利要求4所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，在所述步骤51中，来自不同kafka topic的用户数据均为json数据。

7.根据权利要求3所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，所述步骤6包括：步骤61、通过redisClient在redis中获取需要写入Elasticsearch的用户数据的索引表名称；步骤62、当写入Elasticsearch的用户数据的索引表名称与HBase表名称相同时，获取该HBase表的行键、以及当前行的列族所在列的逻辑存储单元的集合，HBase协处理器感知有新行数据增加或者修改时，将新行数据传递到列簇集合中，并且创建一个HashMap数据结构；步骤63、遍历列簇集合中的数据，将列簇集合逻辑单元的数据插入到HashMap数据结构中；步骤64、调用Elasticsearch的客户端链接，将HashMap数据结构的数据写入Elasticsearch。

8.根据权利要求7所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，在所述步骤62中，HashMap数据结构的key为当前新行的行键。

9.根据权利要求7所述的一种建筑行业供应商画像数据实时融合搜索的方法，其特征在于，在所述步骤64中，设置Elasticsearch的id为当前HBase表的行键、Elasticsearch的数据源为HashMap数据结构的数据。

Images