CN108733681A - 信息处理方法及装置 - Google Patents

信息处理方法及装置 Download PDF

Info

Publication number
CN108733681A
CN108733681A CN201710245985.8A CN201710245985A CN108733681A CN 108733681 A CN108733681 A CN 108733681A CN 201710245985 A CN201710245985 A CN 201710245985A CN 108733681 A CN108733681 A CN 108733681A
Authority
CN
China
Prior art keywords
user
attribute value
value
bitmap
property value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710245985.8A
Other languages
English (en)
Other versions
CN108733681B (zh
Inventor
季振峰
苏利
王抗战
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710245985.8A priority Critical patent/CN108733681B/zh
Priority to PCT/CN2018/083123 priority patent/WO2018188666A1/zh
Publication of CN108733681A publication Critical patent/CN108733681A/zh
Priority to US16/601,299 priority patent/US11132346B2/en
Application granted granted Critical
Publication of CN108733681B publication Critical patent/CN108733681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2237—Vectors, bitmaps or matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24537—Query rewriting; Transformation of operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24561—Intermediate data storage techniques for performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开一种信息处理方法及装置，该方法包括：获取用户信息表；根据用户信息表建立包括多个位图向量的位图索引；根据用户信息表建立用户标识数组；接收客户端发送的查询请求；根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果；将查询结果发送至客户端。通过以上方式，可实现针对即席查询的二次索引，并可通用于各种类型的数据库，无需对数据库进行修改，并且不改变原有数据插入和删除过程，便于后续维护。

Description

信息处理方法及装置
技术领域
本发明涉及信息技术领域，特别涉及一种信息处理方法及装置。
背景技术
用户信息表分析和存储用户的各种维度信息即标签信息，能完美地抽象出一个用户的信息全貌。为了能探索到具有相同条件标签信息的用户群组以发现优质用户群的需求，用户信息表需要具备支持即席查询的能力。
用户信息表通过数据库实现，在现有技术中，往往通过数据库实现用户信息表，现有技术常用的数据库例如为HBase(Hadoop Database，Hadoop数据库)，HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储数据库，可作为大数据平台的非关系型数据库，意在支持亿级行百万级列的随机实时访问和读写。
HBase具有的高可靠、面向列、开源等特点，越来越多的企业和用户使用HBase来存构建用户信息表。
举例而言，HBase构建的用户信息表具体如表1所示：
用户标识 性别 职业 标签1 标签2 标签3
00000001 男 工程师 1 0 1
00000002 女 教师 0 1 1
00000003 男 司机 1 1 0
00000004 男 教师 0 0 1
00000005 女 工程师 0 1 0
00000006 女 教师 1 1 0
…… …… …… …… …… ……
表1
在表1中，用户信息表包括用户标识(例如为rowkey，行主键)和对应不同属性的用户数据，其中用户信息表包括多行数据，每一行数据分别记录用户标识与用户数据的对应关系。
用户数据包括多个属性，属性如表1所示的性别、职业、标签1、标签2以及标签3，属性包括属性值，如表1中属性为性别，包括男和女的属性值，属性为标签1，包括1和0的属性值，其中1表示具有该标签1的属性，0表示不具有该标签1的属性，用户信息表记录所述用户标识和多个属性的属性值的对应关系。
HBase针对用户标识做索引，使得基于用户标识查询用户数据非常快速，但HBase并没有对表示用户数据属性值的Value(值)字段做索引，因此对根据特定用户属性值和标签组合查询筛选用户群(AD-HOC)的场景，只能基于HBase提供的column value filter(行值过滤器)按用户标识逐行查询用户属性值，而由于用户信息表的行数动辄上万，因此现有技术性能低下，查询速度很慢，无法满足即席查询筛选用户群的需求。
为了解决以上技术问题，在现有技术中，在通过HBase创建用户信息表时，会在HBase中同时创建二级索引表，二级索引表列出属性值与用户标识的对应关系，具体而言，通过修改HBase的源码，用HBase提供的Coprocessor(协处理器)将索引列写到二级索引表中，去当获取针对特定用户属性值的查询请求时，通过coprocessor钩子在二级索引表查询特定属性值对应的用户标识，再根据查询到的用户标识在用户信息表进行查询。
然而，在现有技术中，需要大量修改HBase源码，且每次在用户信息表中插入新的用户数据或删除用户数据时，均需要利用Coprocessor修改二级索引表，从而改变了原有的数据插入和删除过程，不利于后续维护。
发明内容
为解决现有技术的问题，本发明实施例提供一种信息处理方法及装置，可实现针对即席查询的二次索引，并通用于各种类型的数据库，无需对数据库进行修改，并且不改变原有数据插入和删除过程，便于后续维护。
第一方面，本发明实施例提供一种信息处理方法，包括：获取用户信息表，用户信息表包括用户标识和用户数据，其中，用户数据包括多个属性，属性包括属性值，用户信息表记录用户标识和多个属性的属性值的对应关系；根据用户信息表建立包括多个位图向量的位图索引，其中，每一个属性值分别对应一个位图向量，每一位图向量中的二进制数的排列顺序与用户信息表中用户标识的排列顺序一致；根据用户信息表建立用户标识数组，其中，用户标识数组以用户信息表中用户标识的排列顺序记录用户标识；接收客户端发送的查询请求，其中查询请求携带有多个属性值中的至少一个属性值；根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果；将查询结果发送至客户端。
在本发明实施例一种实现方式中，至少一个属性值包括第一属性值，查询请求携带有第一属性值，且查询请求针对具有第一属性值的用户数据，根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果的步骤具体包括：从位图索引中选择第一属性值对应的第一位图向量；根据第一位图向量查询用户标识数组，获取具有第一属性值的用户标识；在用户信息表查询具有第一属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值和第二属性值的用户数据，根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果的步骤具体包括：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；将第一位图向量与第二位图向量进行与运算；根据运算结果查询用户标识数组，获取具有第一属性值和第二属性值的用户标识；在用户信息表查询具有第一属性值和第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值而不具有第二属性值的用户数据，根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果的步骤具体包括：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；将第一位图向量与第二位图向量进行非运算；根据运算结果查询用户位置映射表，获取具有第一属性值而不具有第二属性值的用户标识；在用户信息表查询具有第一属性值而不具有第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值或具有第二属性值的用户数据，根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果的步骤具体包括：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；将第一位图向量与第二位图向量进行或运算；根据运算结果查询用户位置映射表，获取具有第一属性值或第二属性值的用户标识；在用户信息表查询具有第一属性值或第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，用户信息表为用户数据总表或对用户数据总表进行分区后获取的用户数据子表。
在本发明实施例另一种实现方式中，用户标识在用户信息表按预定顺序排列，预定顺序包括从小到大顺序和从大到小顺序。
第二方面，本发明实施例提供一种信息处理装置，包括：用户数据获取模块，用于获取用户信息表，用户信息表包括用户标识和用户数据，其中，用户数据包括多个属性，属性包括属性值，用户信息表记录用户标识和多个属性的属性值的对应关系；位图索引建立模块，用于根据用户信息表建立包括多个位图向量的位图索引，其中，每一个属性值分别对应一个位图向量，每一位图向量中的二进制数的排列顺序与用户信息表中用户标识的排列顺序一致；用户标识数组建立模块，用于根据用户信息表建立用户标识数组，其中，用户标识数组以用户信息表中用户标识的排列顺序记录用户标识；接收模块，用于接收客户端发送的查询请求，其中查询请求携带有多个属性值中的至少一个属性值；查询模块，用于根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果；发送模块，用于将查询结果发送至客户端。
在本发明实施例一种实现方式中，至少一个属性值包括第一属性值，查询请求携带有第一属性值，且查询请求针对具有第一属性值的用户数据，查询模块具体用于：从位图索引中选择第一属性值对应的第一位图向量；根据第一位图向量查询用户标识数组，获取具有第一属性值的用户标识；在用户信息表查询具有第一属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值和第二属性值的用户数据，查询模块具体用于：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；将第一位图向量与第二位图向量进行与运算；根据运算结果查询用户标识数组，产生具有第一属性值和第二属性值的用户标识；在用户信息表查询具有第一属性值和第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值而不具有第二属性值的用户数据，查询模块具体用于：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；将第一位图向量与第二位图向量进行非运算；根据运算结果查询用户位置映射表，获取具有第一属性值而不具有第二属性值的用户标识；在用户信息表查询具有第一属性值而不具有第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值或具有第二属性值的用户数据，查询模块具体用于：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；将第一位图向量与第二位图向量进行或运算；根据运算结果查询用户位置映射表，产生具有第一属性值或第二属性值的用户标识；在用户信息表查询具有第一属性值或第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
在本发明实施例另一种实现方式中，用户信息表为用户数据总表或对用户数据总表进行分区后获取的用户数据子表。
在本发明实施例另一种实现方式中，用户标识在用户信息表按预定顺序排列，预定顺序包括从小到大顺序和从大到小顺序。
第三方面，本发明实施例提供一种信息处理装置，包括处理器、存储器以及总线，处理器和存储器分别与总线连接，存储器存储有程序指令以执行第一方面所述的信息处理方法。
综上，本发明实施例所揭示的信息处理方法及装置根据用户信息表构造位图索引和用户标识数组，由于位图索引的位置信息和用户信息表的用户顺序有强制依赖，而用户数据属于不会频繁发生变化的冷数据，一旦需要在用户信息表新增用户数据(即在用户信息表的最底部增加用户数据)，只需对应在位图索引中每一位图向量尾部加入表示新增用户数据是否具有对应属性值的二进制数即可实现对应索引信息的修改；而用户信息表中不会出现删除的场景，因为即便是删除也只是disable(失效)该用户数据，不会在用户信息表删除该用户数据，故在disable用户数据时，无需对应修改位图索引。因此，本发明实施例所揭示的信息处理方法及装置可实现针对即席查询的二次索引，并可通用于各种类型的数据库，无需对数据库进行修改，并且不改变原有数据插入和删除过程，便于后续维护。
附图说明
图1是根据本发明实施例的信息处理系统的结构示意图；
图2是根据本发明实施例的信息处理方法的流程图；
图3是根据本发明实施例的信息处理方法的一子流程图；
图4是根据本发明实施例的信息处理方法的另一子流程图；
图5是根据本发明实施例的信息处理方法的另一子流程图；
图6是根据本发明实施例的信息处理方法的另一子流程图；
图7是根据本发明实施例的信息处理装置的装置结构图；
图8是根据本发明实施例的信息处理装置的另一装置结构图。
具体实施方式
首先请参见图1，图1是根据本发明实施例的信息处理系统的结构示意图，如他1所示，信息处理系统包括客户端20和服务器10，服务器10包括信息处理装置101和数据库102。
客户端20与信息处理装置101建立网络连接，客户端20可向信息处理装置101发送针对数据库102的查询请求，数据库102存储有用户信息表，信息处理装置101可访问数据库102。
在一些示例中，客户端20、信息处理装置101以及数据库102可分别设置在不同服务器10中，此时，客户端20与信息处理装置101通过网络连接，信息处理装置101与数据库102通过网络连接。
在另一些示例中，客户端20、信息处理装置101以及数据库102可设置在同一服务器10中。
举例而言，客户端20可为浏览器，提供页面以供用户输入查询请求；数据库102可包括HBase、MongoDB(Mongo Database，Mongo数据库)、DRDS(Distribute RelationalDatabase Service，分布型关系数据库服务)、VoltDB(Volt Database，Volt数据库)、和ScaleBase等分布式数据库。而信息处理装置101可为独立于数据库102的第三方组件，或作为数据库102本身自带的组件实现。
为进一步清楚说明，可参见图2，图2是根据本发明实施例的信息处理方法的流程图，如图2所示，该信息处理方法应用于信息处理装置101，且具体包括以下步骤：
步骤S301：获取用户信息表，用户信息表包括用户标识和用户数据，其中，用户数据包括多个属性，属性表扣属性值，用户信息表记录用户标识和多个属性的属性值的对应关系。
具体而言，用户信息表记录于数据库，信息处理装置从数据库获取用户信息表。
举例而言，用户信息表具体可为背景技术所示的表1，在表1中，用户标识包括0000001、00000002、00000003、00000004、00000005、00000006……，为便于理解，于下文将表1的前六个用户对应的用户数据进行具体说明。
进一步，在表1中，属性包括性别、职业以及标签，属性包括属性值，其中标签包括标签1、标签2以及标签3，在标签中，属性值为1表明此用户具有标签的属性，为0表示用户不具有标签的属性，举例而言，标签1可定义为会员资格，标签1的属性值为1，表示用户具有会员资格，标签1的属性值为0表示用户没有会员资格。
并且，职业具体包括工程师、教师和司机，性别具体包括男和女。
值得注意的是，本发明实施例仅以上述几个属性值进行具体说明，而在实际应用中，属性值的种类可为本领域技术人员所能联想到的其他属性值，本发明实施例对此不作限定。
步骤S302：根据用户信息表建立包括多个位图向量的位图索引，其中，每一个属性值分别对应一个位图向量，每一位图向量中的二进制数的排列顺序与用户信息表中用户标识的排列顺序一致。
举例而言，位图索引可如表2所示：
属性值 位图向量
男 101100
女 010011
标签1 101001
标签2 011011
标签3 110100
工程师 100010
教师 010101
司机 001000
表2
其中，信息处理装置101根据表1生成表2，在表2所示的位图索引中，包括多个属性值和多个位图向量，在位图向量中，1表示具有对应属性值，0表示不具有对应属性值，以属性值为“男”为例，其对应的位图向量为101100，由于101100中的二进制数的排列顺序与用户信息表中用户标识的排列顺序一致，因此101100表示表1所示的用户信息表所示的第一个用户(用户标识为00000001)为男，第二个用户(用户标识为00000002)不为男，第三个用户(用户标识为00000003)为男，第四个用户(用户标识为00000004)为男，第五个用户(用户标识为00000005)为不为男，第四个用户(用户标识为00000006)不为男。
其他位图向量与上述类似，于此不作赘述。
步骤S303：根据用户信息表建立用户标识数组，其中，用户标识数组以用户信息表中用户标识的排列顺序记录用户标识。
举例而言，根据表1所示的用户信息表建立的用户标识数组为：
[0000001，00000002，00000003，00000004，00000005，00000006]
用户标识数组中，用户标识的排列顺序与表1的用户标识的排列顺序一致。
值得注意的是，在表1中用户标识在用户信息表按预定顺序排列，且该预定顺序为从小到大顺序；在另一些示例中，预定顺序也可为从大到小顺序。以预定顺序设置对用户标识进行排序可加快根据用户标识查找对应属性值的速度。
步骤S304：接收客户端20发送的查询请求，其中查询请求携带有多个属性值中的至少一个属性值。
步骤S305：根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果。
以下将举例对本步骤的查询方式进行说明：
首先介绍至少一个属性值包括第一属性值且查询请求针对具有第一属性值的用户数据的情况，具体请参见图3，图3是根据本发明实施例的信息处理方法的一子流程图，在图3所示的方法中，步骤S304所述的查询请求携带有第一属性值，且针对具有第一属性值的用户数据，此时，步骤S305具体包括：
步骤S501：从位图索引中选择第一属性值对应的第一位图向量。
举例而言，第一属性值为“男”，根据表2选择属性值为“男”对应的第一位图向量为101100，表示表1中第1、3、和4位用户符合条件。
步骤S502：根据第一位图向量查询用户标识数组，获取具有第一属性值的用户标识。
举例而言，根据101100查询[0000001，00000002，00000003，00000004，00000005，00000006]第1、3、和4位，可得到属性值为“男”的用户标识包括0000001、0000003和00000004。
步骤S503：在用户信息表查询具有第一属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
举例而言，可在表1查询用户标识0000001、0000003和00000004对应的用户数据，并将该些用户数据作为查询结果。
以下介绍至少一个属性值包括第一属性值和第二属性值且查询请求针对具有第一属性值和第二属性值的用户数据的情况，具体请参见图4，图4是根据本发明实施例的信息处理方法的另一子流程图，在图4所示的方法中，步骤S304所述的查询请求携带有第一属性值和第二属性值，且针对具有第一属性值和第二属性值的用户数据，此时，步骤S305具体包括：
步骤S601：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量。
举例而言，第一属性值为“男”，第二属性值为“工程师”，根据表2选择属性值“男”，“男”对应的第一位图向量为101100，选择属性值“工程师”，“工程师”对应的第二位图向量为100010。
步骤S602：将第一位图向量与第二位图向量进行与运算。
由于需要查询同时具有第一属性值和第二属性值的用户数据，因此通过对第一位图向量和第二位图向量进行与运算来筛选同时具有以上属性值的位置。
举例而言，可对101100和100010进行与运算，可得100000，表示表1中第1位用户符合条件。
步骤S603：根据运算结果查询用户标识数组，获取具有第一属性值和第二属性值的用户标识。
举例而言，根据100000查询[0000001，00000002，00000003，00000004，00000005，00000006]中第1位，可得到具有属性值为“男”和“工程师”的用户标识包括0000001。
步骤S604：在用户信息表查询具有第一属性值和第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
举例而言，可在表1查询用户标识0000001对应的用户数据，并将该用户数据作为查询结果。
以下介绍至少一个属性值包括第一属性值和第二属性值且查询请求针对具有第一属性值而不具有第二属性值的用户数据的情况，具体请参见图5，图5是根据本发明实施例的信息处理方法的另一子流程图，在图5所示的方法中，步骤S304所述的查询请求携带有第一属性值和第二属性值，且针对具有第一属性值而不具有第二属性值的用户数据，此时，步骤S305具体包括：
步骤S701：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量。
举例而言，第一属性值为“男”，第二属性值为“工程师”，根据表2选择属性值“男”，“男”对应的第一位图向量为101100，选择属性值“工程师”，“工程师”对应的第二位图向量为100010。
步骤S702：将第一位图向量与第二位图向量进行非运算。
由于需要查询具有第一属性值而不具有第二属性值的用户数据，因此通过对第一位图向量和第二位图向量进行非运算来筛选具有第一属性值而不具有第二属性值的位置。
举例而言，可对101100和100010进行非运算，具体而言，先对100010进行非运算，得到011101，然后将011101与101100作与运算，可得001100，表示表1中第3和第4位用户符合条件。
步骤S703：根据进行运算结果查询用户位置映射表，获取具有第一属性值而不具有第二属性值的用户标识。
举例而言，根据001100查询[0000001，00000002，00000003，00000004，00000005，00000006]中第3和第4位，可得到具有属性值为“男”且属性值不是“工程师”的用户标识包括00000003和00000004。
步骤S704：在用户信息表查询具有第一属性值而不具有第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
举例而言，可在表1查询用户标识00000003和00000004对应的用户数据，并将该用户数据作为查询结果。
以下介绍至少一个属性值包括第一属性值和第二属性值且查询请求针对具有第一属性值或第二属性值的用户数据的情况，具体请参见图6，图6是根据本发明实施例的信息处理方法的另一子流程图，在图6所示的方法中，步骤S304所述的查询请求携带有第一属性值和第二属性值，且针对具有第一属性值或第二属性值的用户数据，此时，步骤S305具体包括：
步骤S801：从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量。
举例而言，第一属性值为“男”，第二属性值为“工程师”，根据表2选择属性值“男”，“男”对应的第一位图向量为101100，选择属性值“工程师”，“工程师”对应的第二位图向量为100010。
步骤S802：将第一位图向量与第二位图向量进行或运算。
由于需要查询同时具有第一属性值和第二属性值的用户数据，因此通过对第一位图向量和第二位图向量进行或运算来以上任一属性值的位置。
举例而言，可对101100和100010进行或运算，具体而言，可得101110，表示表1中第1、3、4、和5位用户符合条件。
步骤S803：根据运算结果查询用户位置映射表，获取具有第一属性值或第二属性值的用户标识。
举例而言，根据101110查询[0000001，00000002，00000003，00000004，00000005，00000006]中第1、3、4、和5位，可得到具有属性值为“男”且属性值是“工程师”的用户标识包括0000001，00000003，00000004和00000005。
值得注意的是，在另外一些示例中，查询方式还包括多种，如需要查询同时具有第一属性值和第二属性值而不具有第三属性值的用户数据，本领域技术人员根据以上示例可轻易联想到，由于篇幅所限，于此不一一列举。
步骤S804：在用户信息表查询具有第一属性值而不具有第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
举例而言，可在表1查询用户标识0000001，00000003，00000004和00000005对应的用户数据，并将该用户数据作为查询结果。
步骤S306：将查询结果发送至客户端20。
值得注意的是，在另外一些示例中，查询方式还包括多种，如需要查询同时具有第一属性值和第二属性值而不具有第三属性值的用户数据，各种查询组合本领域技术人员根据以上示例可轻易联想到，由于篇幅所限，于此不一一列举。
综上，本发明实施例所揭示的信息处理方法根据用户信息表构造位图索引和用户标识数组，由于位图索引的位置信息和用户信息表的用户顺序有强制依赖，而用户数据属于不会频繁发生变化的冷数据，一旦需要在用户信息表新增用户数据(即在用户信息表的最底部增加用户数据)，只需对应在位图索引中每一位图向量尾部加入表示新增用户数据是否具有对应属性值的二进制数即可实现对应索引信息的修改；而用户信息表中不会出现删除的场景，因为即便是删除也只是disable(失效)该用户数据，不会在用户信息表删除该用户数据，故在disable用户数据时，无需对应修改位图索引。
基于以上描述，可知本发明实施例所揭示的信息处理方法可实现针对即席查询的二次索引，并可通用于各种类型的数据库，无需对数据库进行修改，并且不改变原有数据插入和删除过程，便于后续维护。
值得注意的是，在上述实施例中，上述用户信息表可为用户数据总表。
在一些实施例中，上述用户信息表为对用户数据总表进行分区后获取的用户数据子表，具体而言，假设系用户数据总表总共需要记录1亿用户，不采用任何压缩的情况下，则每个位图向量占用空间100000000*1bit≈12M，在进行与或非运算时，需时较长。
对此，可以通过对用户信息表进行分区，举例而言，可对每1000万用户进行分区，则需要创建10个分区。每个分区为一个用户数据子表，可为每个用户数据子表的用户数据单独创建位图索引，采用分区后一个位图索引中的位图向量的值占用空间10000000*1bit≈1.5M，分别对用户数据子表分别进行图2所示的处理方法，并将在每一分区所得查询结果汇总后发送至客户端20。
由于分区可降低位图向量的值占用空间，因此在数据量极大的情况下，可明显提高处理速度。
本发明实施例进一步提供一种信息处理装置，具体请参见图7，图7是根据本发明实施例的信息处理装置的装置结构示意图，如图7所示，信息处理装置101包括：
用户数据获取模块1011，用于获取用户信息表，用户信息表包括用户标识和用户数据，其中，用户数据包括多个属性，属性包括属性值，用户信息表记录用户标识和多个属性的属性值的对应关系；
位图索引建立模块1012，用于根据用户信息表建立包括多个位图向量的位图索引，其中，每一个属性值分别对应一个位图向量，每一位图向量中的二进制数的排列顺序与用户信息表中用户标识的排列顺序一致；
用户标识数组建立模块1013，用于根据用户信息表建立用户标识数组，其中，用户标识数组以用户信息表中用户标识的排列顺序记录用户标识；
接收模块1014，用于接收客户端20发送的查询请求，其中查询请求携带有多个属性值中的至少一个属性值；
查询模块1015，用于根据位图索引、用户标识数组以及至少一个属性值在用户信息表进行查询以获取查询结果；
发送模块1016，用于将查询结果发送至客户端20。
可选地，至少一个属性值包括第一属性值，查询请求携带有第一属性值，且查询请求针对具有第一属性值的用户数据，查询模块1015具体用于：
从位图索引中选择第一属性值对应的第一位图向量；
根据第一位图向量查询用户标识数组，获取第一属性值的用户标识；
在用户信息表查询具有第一属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
可选地，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值和第二属性值的用户数据，查询模块1015具体用于：
从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；
将第一位图向量与第二位图向量进行与运算；
根据运算结果查询用户标识数组，获取具有第一属性值和第二属性值的用户标识；
在用户信息表查询具有第一属性值和第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
可选地，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值而不具有第二属性值的用户数据，查询模块1015具体用于：
从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；
将第一位图向量与第二位图向量进行非运算；
根据运算结果查询用户位置映射表，获取具有第一属性值而不具有第二属性值的用户标识；
在用户信息表查询具有第一属性值而不具有第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
可选地，至少一个属性值包括第一属性值和第二属性值，查询请求携带有第一属性值和第二属性值，且查询请求针对具有第一属性值或具有第二属性值的用户数据，查询模块1015具体用于：
从位图索引中选择第一属性值对应的第一位图向量和第二属性值对应的第二位图向量；
将第一位图向量与第二位图向量进行或运算；
根据运算结果查询用户位置映射表，产生具有第一属性值或第二属性值的用户标识；
在用户信息表查询具有第一属性值或第二属性值的用户标识对应的用户数据，将查询到的用户数据作为查询结果。
可选地，用户信息表为用户数据总表或对用户数据总表进行分区后获取的用户数据子表。
可选地，用户标识在用户信息表按预定顺序排列，预定顺序包括从小到大顺序和从大到小顺序。
综上，本发明实施例所揭示的信息处理装置根据用户信息表构造位图索引和用户标识数组，由于位图索引的位置信息和用户信息表的用户顺序有强制依赖，而用户数据属于不会频繁发生变化的冷数据，一旦需要在用户信息表新增用户数据(即在用户信息表的最底部增加用户数据)，只需对应在位图索引中每一位图向量尾部加入表示新增用户数据是否具有对应属性值的二进制数即可实现对应索引信息的修改；而用户信息表中不会出现删除的场景，因为即便是删除也只是disable(失效)该用户数据，不会在用户信息表删除该用户数据，故在disable用户数据时，无需对应修改位图索引。
基于以上描述，可知本发明实施例所揭示的信息处理装置可实现针对即席查询的二次索引，并可通用于各种类型的数据库，无需对数据库进行修改，并且不改变原有数据插入和删除过程，便于后续维护。
请进一步参见图8，图8是根据本发明实施例的信息处理装置的另一装置结构图，信息处理装置101包括处理器401、存储器402以及总线403，处理器401和存储器402分别与总线403连接，存储器402存储有程序指令，处理器401运行程序指令以执行图2至图6及其对应实施例所述的方法。
综上，本发明实施例所揭示的信息处理装置根据用户信息表构造位图索引和用户标识数组，由于位图索引的位置信息和用户信息表的用户顺序有强制依赖，而用户数据属于不会频繁发生变化的冷数据，一旦需要在用户信息表新增用户数据(即在用户信息表的最底部增加用户数据)，只需对应在位图索引中每一位图向量尾部加入表示新增用户数据是否具有对应属性值的二进制数即可实现对应索引信息的修改；而用户信息表中不会出现删除的场景，因为即便是删除也只是disable(失效)该用户数据，不会在用户信息表删除该用户数据，故在disable用户数据时，无需对应修改位图索引。
基于以上描述，可知本发明实施例所揭示的信息处理装置可实现针对即席查询的二次索引，并可通用于各种类型的数据库，无需对数据库进行修改，并且不改变原有数据插入和删除过程，便于后续维护。
需说明的是，以上描述的任意装置实施例都仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部进程来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，进程之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置或单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种信息处理方法，其特征在于，包括：
获取用户信息表，所述用户信息表包括用户标识和用户数据，其中，所述用户数据包括多个属性，所述属性包括属性值，所述用户信息表记录所述用户标识和所述多个属性的属性值的对应关系；
根据所述用户信息表建立包括多个位图向量的位图索引，其中，每一个属性值分别对应一个位图向量，每一位图向量中的二进制数的排列顺序与所述用户信息表中所述用户标识的排列顺序一致；
根据所述用户信息表建立用户标识数组，其中，所述用户标识数组以所述用户信息表中所述用户标识的排列顺序记录所述用户标识；
接收客户端发送的查询请求，其中所述查询请求携带有所述多个属性值中的至少一个属性值；
根据所述位图索引、所述用户标识数组以及所述至少一个属性值在所述用户信息表进行查询以获取查询结果；
将所述查询结果发送至所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述至少一个属性值包括第一属性值，所述查询请求携带有所述第一属性值，且所述查询请求针对具有所述第一属性值的用户数据，所述根据所述位图索引、所述用户标识数组以及所述至少一个属性值在所述用户信息表进行查询以获取查询结果的步骤具体包括：
从所述位图索引中选择所述第一属性值对应的第一位图向量；
根据所述第一位图向量查询所述用户标识数组，获取具有所述第一属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
3.根据权利要求1所述的方法，其特征在于，所述至少一个属性值包括第一属性值和第二属性值，所述查询请求携带有所述第一属性值和所述第二属性值，且所述查询请求针对具有所述第一属性值和所述第二属性值的用户数据，所述所述根据所述位图索引、所述用户标识数组以及所述至少一个属性值在所述用户信息表进行查询以获取查询结果的步骤具体包括：
从所述位图索引中选择所述第一属性值对应的第一位图向量和所述第二属性值对应的第二位图向量；
将所述第一位图向量与所述第二位图向量进行与运算；
根据运算结果查询所述用户标识数组，获取具有所述第一属性值和所述第二属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值和所述第二属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
4.根据权利要求1所述的方法，其特征在于，所述至少一个属性值包括第一属性值和第二属性值，所述查询请求携带有所述第一属性值和所述第二属性值，且所述查询请求针对具有所述第一属性值而不具有所述第二属性值的用户数据，所述根据所述位图索引、所述用户标识数组以及所述至少一个属性值在所述用户信息表进行查询以获取查询结果的步骤具体包括：
从所述位图索引中选择所述第一属性值对应的第一位图向量和所述第二属性值对应的第二位图向量；
将所述第一位图向量与所述第二位图向量进行非运算；
根据运算结果查询所述用户位置映射表，获取具有所述第一属性值而不具有所述第二属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值而不具有所述第二属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
5.根据权利要求1所述的方法，其特征在于，所述至少一个属性值包括第一属性值和第二属性值，所述查询请求携带有所述第一属性值和所述第二属性值，且所述查询请求针对具有所述第一属性值或具有所述第二属性值的用户数据，所述根据所述位图索引、所述用户标识数组以及所述至少一个属性值在所述用户信息表进行查询以获取查询结果的步骤具体包括：
从所述位图索引中选择所述第一属性值对应的第一位图向量和所述第二属性值对应的第二位图向量；
将所述第一位图向量与所述第二位图向量进行或运算；
根据运算结果查询所述用户位置映射表，获取具有所述第一属性值或所述第二属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值或所述第二属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述用户信息表为用户数据总表或对所述用户数据总表进行分区后获取的用户数据子表。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述用户标识在所述用户信息表按预定顺序排列，所述预定顺序包括从小到大顺序和从大到小顺序。
8.一种信息处理装置，其特征在于，包括：
用户数据获取模块，用于获取用户信息表，所述用户信息表包括用户标识和用户数据，其中，所述用户数据包括多个属性，所述属性包括属性值，所述用户信息表记录所述用户标识和所述多个属性的属性值的对应关系；
位图索引建立模块，用于根据所述用户信息表建立包括多个位图向量的位图索引，其中，每一个属性值分别对应一个位图向量，每一位图向量中的二进制数的排列顺序与所述用户信息表中所述用户标识的排列顺序一致；
用户标识数组建立模块，用于根据所述用户信息表建立用户标识数组，其中，所述用户标识数组以所述用户信息表中所述用户标识的排列顺序记录所述用户标识；
接收模块，用于接收客户端发送的查询请求，其中所述查询请求携带有所述多个属性值中的至少一个属性值；
查询模块，用于根据所述位图索引、所述用户标识数组以及所述至少一个属性值在所述用户信息表进行查询以获取查询结果；
发送模块，用于将所述查询结果发送至所述客户端。
9.根据权利要求7所述的装置，其特征在于，所述至少一个属性值包括第一属性值，所述查询请求携带有所述第一属性值，且所述查询请求针对具有所述第一属性值的用户数据，所述查询模块具体用于：
从所述位图索引中选择所述第一属性值对应的第一位图向量；
根据所述第一位图向量查询所述用户标识数组，获取具有所述第一属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
10.根据权利要求7所述的装置，其特征在于，所述至少一个属性值包括第一属性值和第二属性值，所述查询请求携带有所述第一属性值和所述第二属性值，且所述查询请求针对具有所述第一属性值和所述第二属性值的用户数据，所述查询模块具体用于：
从所述位图索引中选择所述第一属性值对应的第一位图向量和所述第二属性值对应的第二位图向量；
将所述第一位图向量与所述第二位图向量进行与运算；
根据运算结果查询所述用户标识数组进行与运算，获取具有所述第一属性值和所述第二属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值和所述第二属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
11.根据权利要求7所述的装置，其特征在于，所述至少一个属性值包括第一属性值和第二属性值，所述查询请求携带有所述第一属性值和所述第二属性值，且所述查询请求针对具有所述第一属性值而不具有所述第二属性值的用户数据，所述查询模块具体用于：
从所述位图索引中选择所述第一属性值对应的第一位图向量和所述第二属性值对应的第二位图向量；
将所述第一位图向量与所述第二位图向量进行非运算；
根据运算结果查询所述用户位置映射表，获取具有所述第一属性值而不具有所述第二属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值而不具有所述第二属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
12.根据权利要求7所述的装置，其特征在于，所述至少一个属性值包括第一属性值和第二属性值，所述查询请求携带有所述第一属性值和所述第二属性值，且所述查询请求针对具有所述第一属性值或具有所述第二属性值的用户数据，所述查询模块具体用于：
从所述位图索引中选择所述第一属性值对应的第一位图向量和所述第二属性值对应的第二位图向量；
将所述第一位图向量与所述第二位图向量进行或运算；
根据运算结果查询所述用户位置映射表，产生具有所述第一属性值或所述第二属性值的用户标识；
在所述用户信息表查询所述具有所述第一属性值或所述第二属性值的用户标识对应的用户数据，将查询到的所述用户数据作为所述查询结果。
13.根据权利要求8至12任一项所述的装置，其特征在于，所述用户信息表为用户数据总表或对所述用户数据总表进行分区后获取的用户数据子表。
14.根据权利要求8至12任一项所述的装置，其特征在于，所述用户标识在所述用户信息表按预定顺序排列，所述预定顺序包括从小到大顺序和从大到小顺序。
15.一种信息处理装置，其特征在于，包括处理器、存储器以及总线，所述处理器和所述存储器分别与所述总线连接，所述存储器存储有程序指令，所述处理器执行所述程序指令以使得所述信息处理装置执行下述步骤：
获取用户信息表，所述用户信息表包括用户标识和用户数据，其中，所述用户数据包括多个属性，所述属性包括属性值，所述用户信息表记录所述用户标识和所述多个属性的属性值的对应关系；
根据所述用户信息表建立包括多个位图向量的位图索引，其中，每一个属性值分别对应一个位图向量，每一位图向量中的二进制数的排列顺序与所述用户信息表中所述用户标识的排列顺序一致；
根据所述用户信息表建立用户标识数组，其中，所述用户标识数组以所述用户信息表中所述用户标识的排列顺序记录所述用户标识；
接收客户端发送的查询请求，其中所述查询请求携带有所述多个属性值中的至少一个属性值；
根据所述位图索引、所述用户标识数组以及所述至少一个属性值在所述用户信息表进行查询以获取查询结果；
将所述查询结果发送至所述客户端。
CN201710245985.8A 2017-04-14 2017-04-14 信息处理方法及装置 Active CN108733681B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710245985.8A CN108733681B (zh) 2017-04-14 2017-04-14 信息处理方法及装置
PCT/CN2018/083123 WO2018188666A1 (zh) 2017-04-14 2018-04-13 信息处理方法及装置
US16/601,299 US11132346B2 (en) 2017-04-14 2019-10-14 Information processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710245985.8A CN108733681B (zh) 2017-04-14 2017-04-14 信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN108733681A true CN108733681A (zh) 2018-11-02
CN108733681B CN108733681B (zh) 2021-10-22

Family

ID=63792217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710245985.8A Active CN108733681B (zh) 2017-04-14 2017-04-14 信息处理方法及装置

Country Status (3)

Country Link
US (1) US11132346B2 (zh)
CN (1) CN108733681B (zh)
WO (1) WO2018188666A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471786A (zh) * 2018-11-16 2019-03-15 苏州好玩友网络科技有限公司 一种数据采集方法、装置、设备和存储介质
CN109656930A (zh) * 2018-12-27 2019-04-19 广州华多网络科技有限公司 数据查询方法、装置及系统
CN109684495A (zh) * 2018-12-27 2019-04-26 中民筑友科技投资有限公司 一种装配式建筑的大样图审图方法、装置、设备及系统
CN110297836A (zh) * 2019-07-11 2019-10-01 杭州云梯科技有限公司 基于压缩位图方式的用户标签存储方法和检索方法
CN110321363A (zh) * 2019-04-19 2019-10-11 中国工商银行股份有限公司 数据检索方法及装置
CN110851431A (zh) * 2019-10-30 2020-02-28 中盈优创资讯科技有限公司 用于数据中台的数据处理方法及装置
CN111063394A (zh) * 2019-12-13 2020-04-24 人和未来生物科技（长沙）有限公司 基于基因序列的物种快速查找及建库方法、系统和介质
CN111080241A (zh) * 2019-12-04 2020-04-28 贵州非你莫属人才大数据有限公司 一种基于互联网平台的数据化人才管理分析系统
CN111489167A (zh) * 2020-04-17 2020-08-04 支付宝(杭州)信息技术有限公司 业务请求的风险识别方法、装置及处理设备
CN111552715A (zh) * 2020-05-06 2020-08-18 北京易数科技有限公司 用户查询方法和装置
CN111858617A (zh) * 2020-08-06 2020-10-30 贝壳技术有限公司 用户查找方法和装置、计算机可读存储介质、电子设备
CN112418878A (zh) * 2020-10-28 2021-02-26 深圳市橡树黑卡网络科技有限公司 权益业务数据处理方法、装置、设备及存储介质
CN112532748A (zh) * 2020-12-24 2021-03-19 北京百度网讯科技有限公司 消息推送方法、装置、设备、介质和计算机程序产品
CN113407537A (zh) * 2021-06-15 2021-09-17 维沃移动通信有限公司 数据处理方法、装置及电子设备
CN115017875A (zh) * 2022-08-09 2022-09-06 建信金融科技有限责任公司 企业信息处理方法、装置、系统、设备、介质和程序产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392606B2 (en) * 2019-10-30 2022-07-19 Disney Enterprises, Inc. System and method for converting user data from disparate sources to bitmap data
CN111382207B (zh) * 2020-03-23 2023-06-27 中国建设银行股份有限公司 一种数据处理方法、装置、系统和存储介质
CN111984653A (zh) * 2020-08-31 2020-11-24 政采云有限公司 一种数据查询的方法、系统、设备及可读存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1980179A (zh) * 2005-12-10 2007-06-13 华为技术有限公司 一种分组数据传输方法及设备
CN101141389A (zh) * 2007-09-29 2008-03-12 华为技术有限公司 增强多位Trie树查找方法和装置
CN101295316A (zh) * 2008-05-29 2008-10-29 北京握奇数据系统有限公司 位图索引方法以及智能卡
CN101572647A (zh) * 2008-04-30 2009-11-04 华为技术有限公司 一种数据查找的方法及装置
US20120117057A1 (en) * 2010-11-05 2012-05-10 Verizon Patent And Licensing Inc. Searching recorded or viewed content
CN102622432A (zh) * 2012-02-27 2012-08-01 北京工业大学 一种xml文档结构概要间的相似性度量方法
CN102663114A (zh) * 2012-04-17 2012-09-12 中国人民大学 面向并发olap的数据库查询处理方法
CN102663116A (zh) * 2012-04-11 2012-09-12 中国人民大学 面向列存储数据仓库的多维olap查询处理方法
CN103309958A (zh) * 2013-05-28 2013-09-18 中国人民大学 Gpu和cpu混合架构下的olap星型连接查询优化方法
CN103530322A (zh) * 2013-09-18 2014-01-22 深圳市华为技术软件有限公司 数据处理方法和装置
CN103984695A (zh) * 2014-03-21 2014-08-13 华为技术有限公司 一种数据库中的数据查询方法及装置
CN104156407A (zh) * 2014-07-29 2014-11-19 华为技术有限公司 索引数据的存储方法、装置及存储设备
CN104361118A (zh) * 2014-12-01 2015-02-18 中国人民大学 一种适应协处理器的混合olap查询处理方法
CN104361113A (zh) * 2014-12-01 2015-02-18 中国人民大学 一种内存-闪存混合存储模式下的olap查询优化方法
CN104572994A (zh) * 2015-01-06 2015-04-29 华为技术有限公司 用于搜索数据的方法和装置
US9052831B1 (en) * 2011-06-30 2015-06-09 Amazon Technologies, Inc. System and method for performing live partitioning in a data store
CN105550332A (zh) * 2015-12-21 2016-05-04 河海大学 一种基于双层索引结构的起源图查询方法
CN105701112A (zh) * 2014-11-26 2016-06-22 华为软件技术有限公司 一种数据处理方法、装置及系统
CN105868388A (zh) * 2016-04-14 2016-08-17 中国人民大学 一种基于fpga的内存olap查询优化方法
CN106250523A (zh) * 2016-08-04 2016-12-21 北京国电通网络技术有限公司 一种分布式列存储系统索引的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129539A1 (en) * 2007-11-14 2014-05-08 Paul Vincent Hayes System and method for personalized search
US20170032044A1 (en) * 2006-11-14 2017-02-02 Paul Vincent Hayes System and Method for Personalized Search While Maintaining Searcher Privacy
CN102387091B (zh) * 2010-08-31 2014-12-10 腾讯科技（深圳）有限公司 一种基于滑动检测的数据传输方法及装置
CN102890678A (zh) * 2011-07-20 2013-01-23 华东师范大学 一种基于格雷编码的分布式数据布局方法及查询方法
US20130132431A1 (en) * 2011-11-23 2013-05-23 David C. Platt Proximity Alert System
US20130262400A1 (en) * 2012-03-30 2013-10-03 Huawei Technologies Co., Ltd. Data index query method, apparatus and system
CN103379136B (zh) * 2012-04-17 2017-02-22 中国移动通信集团公司 一种日志采集数据压缩方法、解压缩方法及装置
US20160189065A1 (en) * 2013-03-15 2016-06-30 Vacation Finder, LLC Methods of Reserving and Managing Vacation Rental Properties
WO2015027085A1 (en) * 2013-08-22 2015-02-26 Genomoncology, Llc Computer-based systems and methods for analyzing genomes based on discrete data structures corresponding to genetic variants therein
CN106407201B (zh) * 2015-07-29 2020-12-01 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机可读存储介质
US10540332B2 (en) * 2016-08-03 2020-01-21 Microsoft Technology Licensing, Llc Efficient denormalization of data instances

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1980179A (zh) * 2005-12-10 2007-06-13 华为技术有限公司 一种分组数据传输方法及设备
CN101141389A (zh) * 2007-09-29 2008-03-12 华为技术有限公司 增强多位Trie树查找方法和装置
CN101572647A (zh) * 2008-04-30 2009-11-04 华为技术有限公司 一种数据查找的方法及装置
CN101295316A (zh) * 2008-05-29 2008-10-29 北京握奇数据系统有限公司 位图索引方法以及智能卡
US20120117057A1 (en) * 2010-11-05 2012-05-10 Verizon Patent And Licensing Inc. Searching recorded or viewed content
US9052831B1 (en) * 2011-06-30 2015-06-09 Amazon Technologies, Inc. System and method for performing live partitioning in a data store
CN102622432A (zh) * 2012-02-27 2012-08-01 北京工业大学 一种xml文档结构概要间的相似性度量方法
CN102663116A (zh) * 2012-04-11 2012-09-12 中国人民大学 面向列存储数据仓库的多维olap查询处理方法
CN102663114A (zh) * 2012-04-17 2012-09-12 中国人民大学 面向并发olap的数据库查询处理方法
CN103309958A (zh) * 2013-05-28 2013-09-18 中国人民大学 Gpu和cpu混合架构下的olap星型连接查询优化方法
CN103530322A (zh) * 2013-09-18 2014-01-22 深圳市华为技术软件有限公司 数据处理方法和装置
CN103984695A (zh) * 2014-03-21 2014-08-13 华为技术有限公司 一种数据库中的数据查询方法及装置
CN104156407A (zh) * 2014-07-29 2014-11-19 华为技术有限公司 索引数据的存储方法、装置及存储设备
CN105701112A (zh) * 2014-11-26 2016-06-22 华为软件技术有限公司 一种数据处理方法、装置及系统
CN104361113A (zh) * 2014-12-01 2015-02-18 中国人民大学 一种内存-闪存混合存储模式下的olap查询优化方法
CN104361118A (zh) * 2014-12-01 2015-02-18 中国人民大学 一种适应协处理器的混合olap查询处理方法
CN104572994A (zh) * 2015-01-06 2015-04-29 华为技术有限公司 用于搜索数据的方法和装置
CN105550332A (zh) * 2015-12-21 2016-05-04 河海大学 一种基于双层索引结构的起源图查询方法
CN105868388A (zh) * 2016-04-14 2016-08-17 中国人民大学 一种基于fpga的内存olap查询优化方法
CN106250523A (zh) * 2016-08-04 2016-12-21 北京国电通网络技术有限公司 一种分布式列存储系统索引的方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471786A (zh) * 2018-11-16 2019-03-15 苏州好玩友网络科技有限公司 一种数据采集方法、装置、设备和存储介质
CN109656930A (zh) * 2018-12-27 2019-04-19 广州华多网络科技有限公司 数据查询方法、装置及系统
CN109684495A (zh) * 2018-12-27 2019-04-26 中民筑友科技投资有限公司 一种装配式建筑的大样图审图方法、装置、设备及系统
CN110321363A (zh) * 2019-04-19 2019-10-11 中国工商银行股份有限公司 数据检索方法及装置
CN110297836A (zh) * 2019-07-11 2019-10-01 杭州云梯科技有限公司 基于压缩位图方式的用户标签存储方法和检索方法
CN110851431A (zh) * 2019-10-30 2020-02-28 中盈优创资讯科技有限公司 用于数据中台的数据处理方法及装置
CN110851431B (zh) * 2019-10-30 2022-12-20 中盈优创资讯科技有限公司 用于数据中台的数据处理方法及装置
CN111080241A (zh) * 2019-12-04 2020-04-28 贵州非你莫属人才大数据有限公司 一种基于互联网平台的数据化人才管理分析系统
CN111063394A (zh) * 2019-12-13 2020-04-24 人和未来生物科技（长沙）有限公司 基于基因序列的物种快速查找及建库方法、系统和介质
CN111063394B (zh) * 2019-12-13 2023-07-11 人和未来生物科技（长沙）有限公司 基于基因序列的物种快速查找及建库方法、系统和介质
CN111489167A (zh) * 2020-04-17 2020-08-04 支付宝(杭州)信息技术有限公司 业务请求的风险识别方法、装置及处理设备
CN111552715A (zh) * 2020-05-06 2020-08-18 北京易数科技有限公司 用户查询方法和装置
CN111552715B (zh) * 2020-05-06 2023-11-17 北京易数科技有限公司 用户查询方法和装置
CN111858617A (zh) * 2020-08-06 2020-10-30 贝壳技术有限公司 用户查找方法和装置、计算机可读存储介质、电子设备
CN112418878B (zh) * 2020-10-28 2023-09-29 深圳市橡树黑卡网络科技有限公司 权益业务数据处理方法、装置、设备及存储介质
CN112418878A (zh) * 2020-10-28 2021-02-26 深圳市橡树黑卡网络科技有限公司 权益业务数据处理方法、装置、设备及存储介质
CN112532748A (zh) * 2020-12-24 2021-03-19 北京百度网讯科技有限公司 消息推送方法、装置、设备、介质和计算机程序产品
CN113407537A (zh) * 2021-06-15 2021-09-17 维沃移动通信有限公司 数据处理方法、装置及电子设备
WO2022262663A1 (zh) * 2021-06-15 2022-12-22 维沃移动通信有限公司 数据处理方法、装置及电子设备
CN113407537B (zh) * 2021-06-15 2024-02-06 维沃移动通信有限公司 数据处理方法、装置及电子设备
CN115017875A (zh) * 2022-08-09 2022-09-06 建信金融科技有限责任公司 企业信息处理方法、装置、系统、设备、介质和程序产品
CN115017875B (zh) * 2022-08-09 2022-11-25 建信金融科技有限责任公司 企业信息处理方法、装置、系统、设备和介质

Also Published As

Publication number Publication date
US20200042507A1 (en) 2020-02-06
US11132346B2 (en) 2021-09-28
CN108733681B (zh) 2021-10-22
WO2018188666A1 (zh) 2018-10-18

Similar Documents

Publication Publication Date Title
CN108733681A (zh) 信息处理方法及装置
US6594673B1 (en) Visualizations for collaborative information
CN109614402B (zh) 多维数据查询方法和装置
DE202016008173U1 (de) Einbindung von auswählbaren Anwendungsverknüpfungen in Nachrichtenaustausch-Threads
CN109522357A (zh) 一种数据处理方法、装置、服务器及存储介质
WO2019024496A1 (zh) 企业推荐方法及应用服务器
CN105719104B (zh) 一种智能审批的方法及装置
CN102810094A (zh) 报表生成方法及装置
CN104142940A (zh) 信息推荐处理方法及装置
CN108897874B (zh) 用于处理数据的方法和装置
CN108509437A (zh) 一种ElasticSearch查询加速方法
CN113010255B (zh) 基于捆绑会话组的交互方法、装置和计算机设备
CN105589866A (zh) 一种信息显示方法及装置
CN115618032A (zh) 视图生成方法、装置、电子设备及存储介质
CN109033157B (zh) 一种基于自定义搜索条件树的复杂数据检索方法和系统
CN108416645B (zh) 一种针对用户的推荐方法、装置、存储介质和设备
CN106326295B (zh) 语义数据的存储方法及装置
CN109635829B (zh) 一种图片的分类方法、移动终端及计算机存储介质
CN107153674B (zh) 一种直播房间信息展示方法及系统
CN107943981A (zh) HBase行分页方法、服务器及计算机可读存储介质
US20180101615A1 (en) Systems, methods and techniques for customizable domain-based searching
KR102280213B1 (ko) 미디어 아이템을 제시하기 위한 랜딩 페이지
CN107147947A (zh) 关键帧识别方法及装置
CN112417018A (zh) 一种数据共享方法及装置
CN108614900A (zh) 一种数据快速检索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220303

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.