CN116383311B - 一种建筑行业供应商画像数据实时融合搜索的方法 - Google Patents
一种建筑行业供应商画像数据实时融合搜索的方法 Download PDFInfo
- Publication number
- CN116383311B CN116383311B CN202310655589.8A CN202310655589A CN116383311B CN 116383311 B CN116383311 B CN 116383311B CN 202310655589 A CN202310655589 A CN 202310655589A CN 116383311 B CN116383311 B CN 116383311B
- Authority
- CN
- China
- Prior art keywords
- data
- hbase
- search
- user
- provider
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000013499 data model Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000005192 partition Methods 0.000 claims abstract description 6
- 229920001971 elastomer Polymers 0.000 claims description 21
- 239000000806 elastomer Substances 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种建筑行业供应商画像数据实时融合搜索的方法,包括构建供应商用户画像的数据模型;在HBase数据库中创建与数据模型物理映射的HBase表;在搜索引擎中创建与HBase表同名的索引表,开启动态映射;基于redis存储系统,编写通用的HBase协处理器;通过Flink流计算引擎,接入不同kafka分区用户数据,将用户不同数据实时写入对应HBase表;利用HBase协处理器,将HBase表中的用户数据实时同步到搜索引擎中。本发明利用HBase动态列的特性、Elasticsearch动态映射和数据易搜索的特性,并且结合Flink流计算引擎,快速实现建筑行业供应商海量数据多维度处理。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种建筑行业供应商画像数据实时融合搜索的方法。
背景技术
在大数据背景下,用户的画像数据对企业的经营尤为重要,是公司数字化营销的关键。但是不同的行业,用户的数据特征维度不一致,想要建立实时的用户画像模型数据十分困难。由于企业中用户的数据散落在各个业务系统,数据实时融合挑战巨大,并且模型的维度是不断增加的,这让实时融合的难度更上一层楼。
因此,本发明提供了一种建筑行业供应商画像数据实时融合搜索的方法,以至少解决上述部分技术问题。
发明内容
本发明要解决的技术问题是:提供一种建筑行业供应商画像数据实时融合搜索的方法,以至少解决上述部分技术问题。
为实现上述目的,本发明采用的技术方案如下:
一种建筑行业供应商画像数据实时融合搜索的方法,包括以下步骤:
步骤1、构建供应商用户画像的数据模型;
步骤2、在HBase数据库中创建与所述数据模型物理映射的HBase表;
步骤3、在搜索引擎中创建与HBase表同名的索引表,并且开启动态映射;
步骤4、基于redis存储系统,编写通用的HBase协处理器;
步骤5、通过Flink流计算引擎,接入不同kafka分区的用户数据,将用户的不同数据分别实时写入对应HBase表;
步骤6、利用HBase协处理器,将HBase表中的用户数据实时同步到搜索引擎中,供用户搜索。
进一步地,所述搜索引擎为Elasticsearch。
进一步地,所述步骤4包括:步骤41、自定义供应商协处理器类,具体为:利用Hbase数据库的观察者模式的特性继承HBase提供的Base Region Observer类;步骤42、在start方法中初始化HBase和Elasticsearch的连接,创建Elasticsearch的客户端链接;初始化HBase和redis的连接,创建客户端;步骤43、在stop方法中释放HBase和Elasticsearch的连接,释放redis的连接。
进一步地,所述步骤5包括:步骤51、在Flink中编写通用的kafka 数据源,用于接收来自不同kafka 消息队列的用户数据;步骤52、在Flink自定义基础数据处理函数,用于判断是否为用户的基础数据,若为基础数据则逐一解析基础数据,然后映射成HBase的put结构写入HBase表中;步骤53、在Flink自定义评价数据处理函数,用于判断是否为用户的评价数据,若为评价数据则逐一解析评价数据,然后映射成HBase的put结构写入HBase表中;步骤54、由步骤52和步骤53判断处理后,剩余用户数据则为用户的交易数据,在Flink自定义键控的分区处理函数,对同一用户的交易数据进行对应指标计算,将计算出的指标数据映射成HBase的put结构写入HBase表中。
进一步地,在所述步骤52、步骤53和步骤54中,映射成HBase的put结构的行键均为该用户id的反转。
进一步地,在所述步骤51中,来自不同kafka topic的用户数据均为json数据。
进一步地,所述步骤6包括:步骤61、通过redisClient在redis中获取需要写入Elasticsearch的用户数据的索引表名称;步骤62、当写入Elasticsearch的用户数据的索引表名称与HBase表名称相同时,获取该HBase表的行键、以及当前行的列族所在列的逻辑存储单元的集合,HBase协处理器感知有新行数据增加或者修改时,将新行数据传递到列簇集合中,并且创建一个HashMap数据结构;步骤63、遍历列簇集合中的数据,将列簇集合逻辑单元的数据插入到HashMap数据结构中;步骤64、调用Elasticsearch的客户端链接,将HashMap数据结构的数据写入Elasticsearch。
进一步地,在所述步骤62中,HashMap数据结构的key为当前新行的行键。
进一步地,在所述步骤64中,设置Elasticsearch的id为当前HBase表的行键、Elasticsearch的数据源为HashMap数据结构的数据。
与现有技术相比,本发明具有以下有益效果:
本发明利用HBase动态列的特性、以及Elasticsearch动态映射和数据易搜索的特性,并且结合Flink流计算引擎,快速实现建筑行业供应商海量数据的多维度处理。
附图说明
图1为本发明的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图1,对本发明进一步详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
技术名词解释:
HBase数据库:一种分布式、可扩展、支持海量数据存储的NoSQL数据库;
HBase表:Hbase中的数据表;
Elasticsearch:位于 Elastic Stack 核心的分布式搜索和分析引擎;
redis存储系统:一种支持Key-Value等多种数据结构的存储系统;
Flink处理引擎:一个框架和分布式处理引擎;
Kafka:一种分布式的,基于发布/订阅的消息系统。
在建筑行业的供应链业务场景中,供应商的数据主要有三大类的数据,第一种是供应商的基本信息,称为基础数据;第二种是供应商在交易环节的业务数据、供应商招投标、供应商合同、供应商订单、供应商物流、供应商履约等,称为交易数据;第三种是采购商对合作中的评价,称为评价数据。
本发明提供的一种建筑行业供应商画像数据实时融合搜索的方法,包括以下步骤:
步骤1、构建供应商用户画像的数据模型;
步骤2、在HBase数据库中创建与所述数据模型物理映射的HBase表;
步骤3、在搜索引擎中创建与HBase表同名的索引表,并且开启动态映射;
步骤4、基于redis存储系统,编写通用的HBase协处理器;
步骤5、通过Flink处理引擎,接入不同kafka分区的用户数据,将用户的不同数据分别实时写入对应HBase表;
步骤6、利用HBase协处理器,将HBase表中的用户数据实时同步到搜索引擎中,供用户搜索。
所述步骤1构建的数据模型包含供应商的三大数据,每类数据又包括多维度的详细数据,例如表1所示,包括供应商id、以及该供应商的名称、经营区域、经营品类、累计投标次数、累计中标次数和累计履约金额等三大多维度数据。
表1
所述步骤2是在HBase数据库中创建与所述数据模型物理映射的HBase表,利用HBase存储引擎创建表的语法,例如:Create ‘supplier_portrayal’,‘s_f’,其中supplier_portrayal是HBase表的名称,‘s_f’是列族,HBase表的行键(rowKey)为该供应商id的反转,例如供应商的id为1234,则HBase表的行键为4321,如此以为了避免热点key,并且防止HBase表的数据分布不均衡。
所述步骤3是在搜索引擎中创建与HBase表同名的索引表,并且开启动态映射。搜索引擎采用Elasticsearch,Elasticsearch是一个实时搜索引擎,支持自动完成和即时搜索。
所述步骤4是编写通用HBase协处理器,所述步骤4包括:步骤41、自定义供应商协处理器类(Suppluer Processor类),具体为:利用Hbase数据库的观察者模式(HBaseObserver)的特性继承HBase提供的Base Region Observer类;步骤42、在start方法中初始化HBase和Elasticsearch的连接,创建Elasticsearch的客户端链接;初始化HBase和redis的连接,创建客户端(redisClient);步骤43、在stop方法中释放HBase和Elasticsearch的连接,释放redis的连接。所述步骤步骤42、步骤43通过调用Elasticsearch提供的java版本的SDK接口实现。
所述步骤5是通过Flink处理引擎,将kafka分区的用户数据实时写入对应HBase表。所述步骤5包括:步骤51、在Flink中编写通用的kafka 数据源(kafka source),用于接收来自不同kafka消息队列(topic) 的用户数据,kafka 中的数据都是json格式的数据,不同的供应商的数据其json里面的字段内容不相同;步骤52、在Flink自定义基础数据处理函数(Base Map Function),用于判断是否为用户的基础数据,json中的数据dataType字段为base则为用户的基础数据,然后逐一解析基础数据,然后映射成HBase的put结构,调用HBase的Api接口将数据写入HBase表中,其中put的行键为供应商id的反转,否则将数据输出到下一个评价数据算子中;步骤53、在Flink自定义评价数据处理函数(Evaluate MapFunciton),用于判断是否为用户的评价数据,json中的数据dataType字段为evaluate则为用户的评价数据,然后逐一解析评价数据,然后映射成HBase的put结构,调用HBase的Api接口将数据写入HBase表中,同样put的行键为供应商id的反转,否则将数据输出到下一个交易数据算子中;步骤54、由步骤52和步骤53判断处理后,剩余用户数据则为用户的交易数据,在Flink自定义键控的分区处理函数(keyed Process Function),对同一用户的交易数据进行对应指标计算,比如累计的交易金额、累计的投标次数、累计的中标次数、近一年的合同次数、近3个月的平均订单金额等,然后将计算出的指标数据映射成HBase的put结构,调用HBase的Api接口将数据写入HBase表中。步骤5中,对多数据进行keyBy操作,将同一个供应商的数据输出到下游的同一个分区中。
由于用户数据均为json结构,没有提前在HBase中创建对应的列,而是利用HBase动态列的特性,HBase表中的列名和json格式中的key保持一致。在实际的实施过程中,如果用户数据json数据增加了一个维度,例如用户所在的省份province,那么通过步骤5的解析进而感知到json里面新增了一个province,在写入数据的时候,调用HBase的数据新增接口,那么province这个字段就会被动态写入到HBase表中。
所述步骤6是利用HBase协处理器,将HBase表中的用户数据实时同步到搜索引擎中,供用户搜索。所述步骤6包括:步骤61、通过redisClient在redis中获取需要写入Elasticsearch的用户数据的索引表名称;步骤62、当写入Elasticsearch的用户数据的索引表名称与HBase表名称相同时,获取该HBase表的行键(rowKey)、以及当前行(row)的列族所在列的逻辑存储单元的集合(Map),HBase协处理器感知有新行数据增加或者修改时,将新行数据传递到列簇集合(familyMap)中,并且创建一个HashMap数据结构,HashMap数据结构的key为当前新行的行键;步骤63、遍历列簇集合(familyMap)中的数据,将列簇集合逻辑单元(Cell)的数据插入到HashMap数据结构中;步骤64、调用Elasticsearch的客户端链接,将HashMap数据结构的数据写入Elasticsearch,在此设置Elasticsearch的id为当前HBase表的行键、Elasticsearch的数据源(source)为HashMap数据结构的数据。
最后应说明的是:以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案,而非对其限制,当然更不是限制本发明的专利范围;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围;也就是说,但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色,其所解决的技术问题仍然与本发明一致的,均应当包含在本发明的保护范围之内;另外,将本发明的技术方案直接或间接的运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种建筑行业供应商画像数据实时融合搜索的方法,其特征在于,包括以下步骤:
步骤1、构建供应商用户画像的数据模型;
步骤2、在HBase数据库中创建与所述数据模型物理映射的HBase表;
步骤3、在搜索引擎中创建与HBase表同名的索引表,并且开启动态映射;
步骤4、基于redis存储系统,编写通用的HBase协处理器;
步骤5、通过Flink流计算引擎,接入不同kafka分区的用户数据,将用户的不同数据分别实时写入对应HBase表;
步骤6、利用HBase协处理器,将HBase表中的用户数据实时同步到搜索引擎中,供用户搜索;
所述搜索引擎为Elasticsearch;
所述步骤4包括:步骤41、自定义供应商协处理器类,具体为:利用Hbase数据库的观察者模式的特性继承HBase提供的Base Region Observer类;步骤42、在start方法中初始化HBase和Elasticsearch的连接,创建Elasticsearch的客户端链接;初始化HBase和redis的连接,创建客户端;步骤43、在stop方法中释放HBase和Elasticsearch的连接,释放redis的连接。
2. 根据权利要求1所述的一种建筑行业供应商画像数据实时融合搜索的方法,其特征在于,所述步骤5包括:步骤51、在Flink中编写通用的kafka 数据源,用于接收来自不同kafka 消息队列的用户数据;步骤52、在Flink自定义基础数据处理函数,用于判断是否为用户的基础数据,若为基础数据则逐一解析基础数据,然后映射成HBase的put结构写入HBase表中;步骤53、在Flink自定义评价数据处理函数,用于判断是否为用户的评价数据,若为评价数据则逐一解析评价数据,然后映射成HBase的put结构写入HBase表中;步骤54、由步骤52和步骤53判断处理后,剩余用户数据则为用户的交易数据,在Flink自定义键控的分区处理函数,对同一用户的交易数据进行对应指标计算,将计算出的指标数据映射成HBase的put结构写入HBase表中。
3.根据权利要求2所述的一种建筑行业供应商画像数据实时融合搜索的方法,其特征在于,在所述步骤52、步骤53和步骤54中,映射成HBase的put结构的行键均为用户id的反转。
4. 根据权利要求2所述的一种建筑行业供应商画像数据实时融合搜索的方法,其特征在于,在所述步骤51中,来自不同kafka topic的用户数据均为json数据。
5.根据权利要求1所述的一种建筑行业供应商画像数据实时融合搜索的方法,其特征在于,所述步骤6包括:步骤61、通过redisClient在redis中获取需要写入Elasticsearch的用户数据的索引表名称;步骤62、当写入Elasticsearch的用户数据的索引表名称与HBase表名称相同时,获取该HBase表的行键、以及当前行的列族所在列的逻辑存储单元的集合,HBase协处理器感知有新行数据增加或者修改时,将新行数据传递到列簇集合中,并且创建一个HashMap数据结构;步骤63、遍历列簇集合中的数据,将列簇集合逻辑单元的数据插入到HashMap数据结构中;步骤64、调用Elasticsearch的客户端链接,将HashMap数据结构的数据写入Elasticsearch。
6.根据权利要求5所述的一种建筑行业供应商画像数据实时融合搜索的方法,其特征在于,在所述步骤62中,HashMap数据结构的key为当前新行的行键。
7.根据权利要求5所述的一种建筑行业供应商画像数据实时融合搜索的方法,其特征在于,在所述步骤64中,设置Elasticsearch的id为当前HBase表的行键、Elasticsearch的数据源为HashMap数据结构的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310655589.8A CN116383311B (zh) | 2023-06-05 | 2023-06-05 | 一种建筑行业供应商画像数据实时融合搜索的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310655589.8A CN116383311B (zh) | 2023-06-05 | 2023-06-05 | 一种建筑行业供应商画像数据实时融合搜索的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116383311A CN116383311A (zh) | 2023-07-04 |
CN116383311B true CN116383311B (zh) | 2023-08-18 |
Family
ID=86971654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310655589.8A Active CN116383311B (zh) | 2023-06-05 | 2023-06-05 | 一种建筑行业供应商画像数据实时融合搜索的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116383311B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104216966A (zh) * | 2014-08-25 | 2014-12-17 | 浪潮软件股份有限公司 | 一种支持多种方式创建索引的方法 |
CN107577680A (zh) * | 2016-07-05 | 2018-01-12 | 滴滴(中国)科技有限公司 | 基于HBase大数据的实时全文检索系统及其实现方法 |
CN108667929A (zh) * | 2018-05-08 | 2018-10-16 | 浪潮软件集团有限公司 | 一种基于HBase协处理器同步数据到elasticsearch的方法 |
CN111563095A (zh) * | 2020-04-30 | 2020-08-21 | 上海新炬网络信息技术股份有限公司 | 一种基于HBase的数据检索装置 |
CN112800058A (zh) * | 2021-01-27 | 2021-05-14 | 浪潮云信息技术股份公司 | 一种HBase二级索引的实现方法 |
CN114139040A (zh) * | 2021-11-19 | 2022-03-04 | 杭州安恒信息技术股份有限公司 | 一种数据存储及查询方法、装置、设备及可读存储介质 |
CN114138735A (zh) * | 2021-10-29 | 2022-03-04 | 贵州数联铭品科技有限公司 | 一种Janusgraph数据快速批量装载的方法 |
CN114579667A (zh) * | 2022-04-28 | 2022-06-03 | 深圳市华曦达科技股份有限公司 | 一种HBase数据增量同步的方法、装置及系统 |
CN116049188A (zh) * | 2023-01-06 | 2023-05-02 | 深圳感臻智能股份有限公司 | 一种设备信息表的维护方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10831452B1 (en) * | 2019-09-06 | 2020-11-10 | Digital Asset Capital, Inc. | Modification of in-execution smart contract programs |
US11948003B2 (en) * | 2020-11-04 | 2024-04-02 | RazorThink, Inc. | System and method for automated production and deployment of packaged AI solutions |
-
2023
- 2023-06-05 CN CN202310655589.8A patent/CN116383311B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104216966A (zh) * | 2014-08-25 | 2014-12-17 | 浪潮软件股份有限公司 | 一种支持多种方式创建索引的方法 |
CN107577680A (zh) * | 2016-07-05 | 2018-01-12 | 滴滴(中国)科技有限公司 | 基于HBase大数据的实时全文检索系统及其实现方法 |
CN108667929A (zh) * | 2018-05-08 | 2018-10-16 | 浪潮软件集团有限公司 | 一种基于HBase协处理器同步数据到elasticsearch的方法 |
CN111563095A (zh) * | 2020-04-30 | 2020-08-21 | 上海新炬网络信息技术股份有限公司 | 一种基于HBase的数据检索装置 |
CN112800058A (zh) * | 2021-01-27 | 2021-05-14 | 浪潮云信息技术股份公司 | 一种HBase二级索引的实现方法 |
CN114138735A (zh) * | 2021-10-29 | 2022-03-04 | 贵州数联铭品科技有限公司 | 一种Janusgraph数据快速批量装载的方法 |
CN114139040A (zh) * | 2021-11-19 | 2022-03-04 | 杭州安恒信息技术股份有限公司 | 一种数据存储及查询方法、装置、设备及可读存储介质 |
CN114579667A (zh) * | 2022-04-28 | 2022-06-03 | 深圳市华曦达科技股份有限公司 | 一种HBase数据增量同步的方法、装置及系统 |
CN116049188A (zh) * | 2023-01-06 | 2023-05-02 | 深圳感臻智能股份有限公司 | 一种设备信息表的维护方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于协处理器的HBase内存索引机制的研究;朱松杰 等;《计算机工程与应用》;第56卷(第1期);98-105 * |
Also Published As
Publication number | Publication date |
---|---|
CN116383311A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103748579B (zh) | 在映射化简框架中处理数据 | |
US10452639B2 (en) | Processing joins in a database system using zero data records | |
EP3020017A1 (en) | Method and system for creating tax configuration templates | |
TWI643076B (zh) | 金融非結構化文本分析系統及其方法 | |
CN111339073A (zh) | 实时数据处理方法、装置、电子设备及可读存储介质 | |
US20130339293A1 (en) | Methods and systems for flexible and scalable databases | |
US20120197937A1 (en) | Method and system for providing detailed information in an interactive manner in a short message service (sms) environment | |
CN106934039B (zh) | 问卷生成方法及装置 | |
US8856179B2 (en) | Method to send a short message service (SMS) campaign to a related object by selecting the base object | |
CN111125266A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN110807016A (zh) | 一种应用于金融业务的数据仓库构建方法、装置和电子设备 | |
US20120166235A1 (en) | System and method for programmatically benchmarking performance of contact centers on social networks | |
CN112017062B (zh) | 基于客群细分的资源额度分配方法、装置及电子设备 | |
CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
CN116383311B (zh) | 一种建筑行业供应商画像数据实时融合搜索的方法 | |
US20180232418A1 (en) | Increasing database performance through query aggregation | |
Altalhi et al. | Developing a framework and algorithm for scalability to evaluate the performance and throughput of CRM systems | |
CN111368179B (zh) | 云平台流程应用业务审批环节中实现通用操作提示配置及展现控制的方法 | |
CN114186555A (zh) | 需求识别方法、装置、电子设备、介质和计算机程序 | |
US20140143278A1 (en) | Application programming interface layers for analytical applications | |
CN112965944B (zh) | 可视化的页面还原方法及系统、电子设备及存储介质 | |
US11681572B2 (en) | Extensible workflow access | |
US20150379534A1 (en) | Contact Engagement Analysis for Target Group Definition | |
CN113409136A (zh) | 组合服务相似度分析方法、装置、计算机系统及存储介质 | |
US20080065742A1 (en) | Contextually categorization of complex data repositories in an information architecture analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |