CN107391653B - 一种分布式NewSQL数据库系统及图片数据储存方法 - Google Patents

一种分布式NewSQL数据库系统及图片数据储存方法 Download PDF

Info

Publication number
CN107391653B
CN107391653B CN201710581256.XA CN201710581256A CN107391653B CN 107391653 B CN107391653 B CN 107391653B CN 201710581256 A CN201710581256 A CN 201710581256A CN 107391653 B CN107391653 B CN 107391653B
Authority
CN
China
Prior art keywords
picture data
unit
data table
data
user request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710581256.XA
Other languages
English (en)
Other versions
CN107391653A (zh
Inventor
晋彤
谭恒亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunrun Da Data Service Co ltd
Original Assignee
Yunrun Da Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunrun Da Data Service Co ltd filed Critical Yunrun Da Data Service Co ltd
Publication of CN107391653A publication Critical patent/CN107391653A/zh
Application granted granted Critical
Publication of CN107391653B publication Critical patent/CN107391653B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9017Indexing; Data structures therefor; Storage structures using directory or table look-up
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation
    • G06F16/24542Plan optimisation
    • G06F16/24545Selectivity estimation or determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • G06F16/316Indexing structures
    • G06F16/319Inverted lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/466Transaction processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • G06F9/5088Techniques for rebalancing the load in a distributed system involving task migration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5022Workload threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

本发明公开了一种分布式NewSQL数据库系统,包括:控制单元,用于以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元;其中,所述用户请求包括需要写入的图片数据;计划单元,用于解析所述用户请求,编译以及定制对应的执行计划;执行单元,用于根据执行计划,将所述图片数据生成MD5,将所述MD5写入原始数据表;同时,将所述图片数据写入图片数据表中;Hbase单元,用于储存所述原始数据表和所述图片数据表,其中Hbase单元的底层增加LOB类型。本发明还公开了一种图片数据储存方法。本发明提供LOB存储,满足图片存储需求。

Description

一种分布式NewSQL数据库系统及图片数据储存方法
技术领域
本发明涉及大数据技术领域,尤其涉及一种分布式NewSQL数据库系统和图片数据储存方法。
背景技术
Hbase存储的数据没有数据类型之分,均为byte数组。如若要存储图片数据即需要将图片数据序列化后和其他字段的数据一起存储。在实际场景中,图片数据属于一次写入多次读取的数据,而且图片的数据会比较大,其他字段却是会出现频繁的读写操作,这样会导致当只是读取其他字段时造成读取性能的下降。再者因为Hbase其region中的实质数据在flush到磁盘时是需要同时flush的,这样一并存储也会对写入数据的性能造成影响。
发明内容
本发明实施例的目的是提供一种分布式NewSQL数据库系统及图片数据储存方法,提供LOB存储,满足图片存储需求,解决图片数据储存而读取数据性能下降。
为实现上述目的,本发明实施例提供了一种分布式NewSQL数据库系统,包括:
控制单元,用于以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元;其中,所述用户请求包括需要写入的图片数据;
计划单元,用于解析所述用户请求,编译以及定制对应的执行计划;
执行单元,用于根据执行计划,将所述图片数据生成MD5,将所述MD5写入原始数据表;同时,将所述图片数据写入图片数据表中;
Hbase单元,用于储存所述原始数据表和所述图片数据表,其中Hbase单元的底层增加LOB类型。
与现有技术相比,本发明实施例提供的分布式NewSQL数据库系统,通过控制单元以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元;通过计划单元解析所述用户请求,编译以及生成对应的执行计划;通过执行单元根据执行计划,将图片数据生成MD5,将MD5写入Hbase单元的原始数据表;同时,将图片数据写入Hbase单元的图片数据表中的技术方案,提供LOB存储,满足图片存储需求,解决了现有技术中因图片数据储存而导致Hbase读取数据性能下降的问题。
进一步的,所述执行单元用于将所述Hbase单元的处理结果返回至所述控制单元;所述控制单元还用于将所述处理结果返回用户。
进一步的,还包括:分布式事务管理器,用于当所述执行计划中涉及分布式事务时,协调所述执行计划中的多方完成分布式事务管理。
进一步的,所述Hbase单元还包括过滤模块,所述过滤模块和协同处理模块,用于生成针对数据的所述索引表。
进一步的,所述数据库接口为JDBC或ODBC。
本发明实施例还提供了一种图片数据储存方法,基于上述本发明实施例提供的分布式NewSQL数据库系统,包括:
通过控制单元以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元;其中,所述用户请求包括需要写入的图片数据;
通过计划单元解析所述用户请求,编译以及定制对应的执行计划;
通过执行单元根据执行计划,将所述需要写入的图片数据生成MD5,将所述MD5写入原始数据表;同时,将所述图片数据写入图片数据表中;其中,Hbase单元的底层增加LOB类型,所述原始数据表和所述图片数据表储存于所述Hbase单元。
与现有技术相比,本发明实施例提供的一种图片数据储存方法,通过控制单元以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元;通过计划单元解析所述用户请求,编译以及生成对应的执行计划;通过执行单元根据执行计划,将图片数据生成MD5,将MD5写入Hbase单元的原始数据表;同时,将图片数据写入Hbase单元的图片数据表中的技术方案,提供LOB存储,满足图片存储需求,解决了现有技术中因图片数据储存而导致Hbase读取数据性能下降的问题。
进一步的,通过所述执行单元将所述图片数据写入图片数据表,还包括:
通过所述执行单元将所述Hbase单元的处理结果返回至所述控制单元;
所述控制单元将所述处理结果返回用户。
进一步的,还包括:
通过分布式事务管理器当所述执行计划中涉及分布式事务时,协调所述执行计划中的多方完成分布式事务管理。
进一步的,所述Hbase单元还包括过滤模块,所述过滤模块和所述协同处理模块,用于生成针对数据的所述索引表。
进一步的,所述数据库接口为JDBC或ODBC。
附图说明
图1是本发明实施例1提供的一种分布式NewSQL数据库的结构示意图;
图2是本发明实施例2提供的一种图片数据储存方法的流程示意图;
图3是本发明实施例2提供的一种图片数据储存方法的步骤S2中生成执行计划的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例1提供的一种分布式NewSQL数据库系统的结构示意图;本实施例的具体结构包括:
控制单元1,用于以数据库接口的方式接入用户请求,并将用户请求发送给计划单元2;其中,用户请求包括需要写入的图片数据;
计划单元2,用于解析用户请求,编译以及定制对应的执行计划;
执行单元3,用于根据执行计划,将图片数据生成MD5,将MD5写入原始数据表;同时,将图片数据写入图片数据表中;
Hbase单元4,用于储存原始数据表和图片数据表,其中Hbase单元4的底层增加LOB类型。
本实施例的Hbase单元4的底层增加LOB类型,提供LOB存储,而LOB可以高效的满足单条数据大小在几百K到10M的二进制存储需求,即Hbase单元4通过LOB存储图片数据。LOB类型参考了SQL中的BLOB类型的实现,将大对象存储为数据库中的一个位图,但是此处的LOB其实现为针对LOB类型建立另类索引,图片数据以位图存储在独立的数据表中,原始数据表仅仅存储索引数据,以此减少数据表大小。在图片的索引数据生成方面,图片数据通过MD5计算将MD5的结果作为图片数据的唯一索引数据。因为图片数据只能进行原子覆盖的修改以及相对独立的查询,在针对非图片字段的查询时能大大提升检索速度。
进一步的,执行单元3用于将Hbase单元4的处理结果返回至控制单元1;控制单元1还用于将处理结果返回用户。
进一步的,本实施例还包括分布式事务管理器,用于当执行计划中涉及事务时,协调执行计划中的多方完成分布式事务管理。分布式事务管理器利用Java事务处理API(JTA)实现分布式事务处理和事务管理;其中,JTA,即Java Transaction API,JTA允许应用程序执行分布式事务处理——在两个或多个网络计算机资源上访问并且更新数据。
进一步的,Hbase单元4还包括过滤模块,过滤模块和协同处理模块41,用于生成针对数据的索引表。
进一步的,数据库接口为JDBC或ODBC。
进一步的,控制单元1还连接一监视器,用于负责元数据管理以及用于监控底层hbase Region的负载,避免特定的region负载过高,以及利用协同处理模块41重新分配Region。
另外,控制单元1还用于协调多个角色之间的数据通讯、管理整体流程。
具体的,计划单元2用于接收到控制单元1的用户请求后,解析用户请求,并通过高速SQL引擎编译SQL,然后再生成执行计划。另外,执行单元3还用于执行计划生成后返回给控制单元1。而控制单元1在接收到执行计划后,还用于根据执行计划的内容判断是否需要分布式事务管理器的介入,如果需要,则启动分布式事务管理器。
计划单元2用于生成执行计划的过程,具体包括:
判断共享缓存池中是否存在与SQL语句相对应的预存SQL语句,若是,则输出与SQL语句对应的执行计划,若否,则
对SQL语句进行语法检查,若语法错误返回错误信息给用户,否则,
对SQL语句进行语义检查,若语义错误返回错误信息给用户,否则,
对SQL语句进行视图以及表达式转换,获得对应的转化结果;
根据转换结果选择优化器,获得对应的优化器选择结果;
根据优化器选择结果选择对应的数据连接方式以及连接顺序;
根据连接方式和连接顺序选择搜索的路径;
根据搜索路径生成执行计划,并输出执行计划。
具体实施时,通过控制单元1以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元2;通过计划单元2解析所述用户请求,编译以及生成对应的执行计划;接着,通过控制单元1根据执行计划的内容判断是否需要分布式事务管理器的介入,如果需要,则启动分布式事务管理器,通过分布式事务管理器协调执行计划中的多方完成分布式事务管理;通过执行单元3根据执行计划,将图片数据生成MD5,将MD5写入Hbase单元4的原始数据表;同时,将图片数据写入Hbase单元4的图片数据表中;最后返回Hbase单元4的处理结果至控制单元1,通过控制单元1将处理结果返回用户。
本实施例提供LOB存储,满足图片存储需求,解决图片数据储存而读取数据性能下降。
参见图2,图2是本发明实施例2提供的一种图片数据储存方法的流程示意图;本实施例2提供的一种图片数据储存方法基于上述实施例1提供的分布式NewSQL数据库系统,本实施例2包括下述步骤:
S1、通过控制单元1以数据库接口的方式接入用户请求,并将用户请求发送给计划单元2;其中,用户请求包括需要写入的数据字段;
S2、通过计划单元2解析用户请求,编译以及定制对应的执行计划;
S3、通过执行单元根据执行计划,将所述需要写入的图片数据生成MD5,将所述MD5写入原始数据表;同时,将所述图片数据写入图片数据表中;其中,Hbase单元的底层增加LOB类型,所述原始数据表和所述图片数据表储存于所述Hbase单元。
进一步的,在步骤S3后还包括步骤:
S4、通过所述执行单元将所述Hbase单元的处理结果返回至所述控制单元;
S5、所述控制单元将所述处理结果返回用户。
本实施例的Hbase单元4的底层增加LOB类型,提供LOB存储,而LOB可以高效的满足单条数据大小在几百K到10M的二进制存储需求,即Hbase单元4通过LOB存储图片数据。LOB类型参考了SQL中的BLOB类型的实现,将大对象存储为数据库中的一个位图,但是此处的LOB其实现为针对LOB类型建立另类索引,图片数据以位图存储在独立的数据表中,原始数据表仅仅存储索引数据,以此减少数据表大小。在图片的索引数据生成方面,图片数据通过MD5计算将MD5的结果作为图片数据的唯一索引数据。因为图片数据只能进行原子覆盖的修改以及相对独立的查询,在针对非图片字段的查询时能大大提升检索速度。
进一步的,本实施例步骤S2完成生成执行计划后,还包括将执行计划返回给控制单元1,由控制单元1在接收到执行计划后,还用于根据执行计划的内容判断是否需要分布式事务管理器的介入,如果需要,则启动分布式事务管理器,具体的,通过分布式事务管理器当执行计划中涉及事务时,协调执行计划中的多方完成分布式事务管理;如果不需要,则直接执行步骤S3。
进一步的,Hbase单元4还包括过滤模块和协同处理模块,过滤模块和协同处理模块,用于生成针对数据的索引表。
进一步的,数据库接口为JDBC或ODBC。
其中,参见图3,图3为步骤S2中通过计划单元2用于生成执行计划的流程示意图,具体包括:
S201、判断共享缓存池中是否存在与SQL语句相对应的预存SQL语句,若是,则输出与SQL语句对应的执行计划,若否,则
S202、对SQL语句进行语法检查,若语法错误返回错误信息给用户,否则,
S203、对SQL语句进行语义检查,若语义错误返回错误信息给用户,否则,
S204、对SQL语句进行视图以及表达式转换,获得对应的转化结果;
S205、根据转换结果选择优化器,获得对应的优化器选择结果;
S206、根据优化器选择结果选择对应的数据连接方式以及连接顺序;
S207、根据连接方式和连接顺序选择搜索的路径;
S208、根据搜索路径生成执行计划,并输出执行计划。
具体实施时,通过控制单元1以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元2;通过计划单元2解析所述用户请求,编译以及生成对应的执行计划;接着,通过控制单元1根据执行计划的内容判断是否需要分布式事务管理器的介入,如果需要,则启动分布式事务管理器,通过分布式事务管理器协调执行计划中的多方完成分布式事务管理;通过执行单元3根据执行计划,将图片数据生成MD5,将MD5写入Hbase单元4的原始数据表;同时,将图片数据写入Hbase单元4的图片数据表中;最后返回Hbase单元4的处理结果至控制单元1,通过控制单元1将处理结果返回用户。
本实施例提供LOB存储,满足图片存储需求,解决图片数据储存而读取数据性能下降。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种分布式NewSQL数据库系统,其特征在于,包括:
控制单元,用于以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元;其中,所述用户请求包括需要写入的图片数据;
计划单元,用于解析所述用户请求,编译以及定制对应的执行计划;
执行单元,用于根据执行计划,将所述图片数据生成MD5,将所述MD5写入原始数据表;同时,将所述图片数据写入图片数据表中;
Hbase单元,用于储存所述原始数据表和所述图片数据表,其中,Hbase单元的底层增加LOB类型;其中,LOB实现为针对LOB类型建立另类索引,图片数据以位图存储在独立的数据表中,原始数据表仅仅存储索引数据,以此减少数据表大小;在图片的索引数据生成方面,图片数据通过MD5计算将MD5的结果作为图片数据的唯一索引数据。
2.如权利要求1所述的分布式NewSQL数据库系统,其特征在于,所述执行单元用于将所述Hbase单元的处理结果返回至所述控制单元;所述控制单元还用于将所述处理结果返回用户。
3.如权利要求2所述的分布式NewSQL数据库系统,其特征在于,还包括:
分布式事务管理器,用于当所述执行计划中涉及分布式事务时,协调所述执行计划中的多方完成分布式事务管理。
4.如权利要求3所述的分布式NewSQL数据库系统,其特征在于,所述Hbase单元还包括过滤模块,所述过滤模块和协同处理模块,用于生成针对数据的所述索引表。
5.如权利要求4所述的分布式NewSQL数据库系统,其特征在于,所述数据库接口为JDBC或ODBC。
6.一种图片数据储存方法,基于上述权利要求1~5任一项所述的分布式NewSQL数据库系统,其特征在于,包括:
通过控制单元以数据库接口的方式接入用户请求,并将所述用户请求发送给计划单元;其中,所述用户请求包括需要写入的图片数据;
通过计划单元解析所述用户请求,编译以及定制对应的执行计划;
通过执行单元根据执行计划,将所述需要写入的图片数据生成MD5,将所述MD5写入原始数据表;同时,将所述图片数据写入图片数据表中;其中,Hbase单元的底层增加LOB类型,所述原始数据表和所述图片数据表储存于所述Hbase单元;其中,LOB实现为针对LOB类型建立另类索引,图片数据以位图存储在独立的数据表中,原始数据表仅仅存储索引数据,以此减少数据表大小;在图片的索引数据生成方面,图片数据通过MD5计算将MD5的结果作为图片数据的唯一索引数据。
7.如权利要求6所述的一种图片数据储存方法,其特征在于,通过所述执行单元将所述图片数据写入图片数据表,还包括:
通过所述执行单元将所述Hbase单元的处理结果返回至所述控制单元;
所述控制单元将所述处理结果返回用户。
8.如权利要求7所述的一种图片数据储存方法,其特征在于,还包括:
通过分布式事务管理器当所述执行计划中涉及分布式事务时,协调所述执行计划中的多方完成分布式事务管理。
9.如权利要求8所述的一种图片数据储存方法,其特征在于,所述Hbase单元还包括过滤模块,所述过滤模块和协同处理模块,用于生成针对数据的所述索引表。
10.如权利要求9所述的一种图片数据储存方法,其特征在于,所述数据库接口为JDBC或ODBC。
CN201710581256.XA 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统及图片数据储存方法 Expired - Fee Related CN107391653B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016108423997 2016-09-21
CN201610842399.7A CN106446153A (zh) 2016-09-21 2016-09-21 一种分布式newSQL数据库系统及方法

Publications (2)

Publication Number Publication Date
CN107391653A CN107391653A (zh) 2017-11-24
CN107391653B true CN107391653B (zh) 2020-05-19

Family

ID=58166840

Family Applications (24)

Application Number Title Priority Date Filing Date
CN201610842399.7A Pending CN106446153A (zh) 2016-09-21 2016-09-21 一种分布式newSQL数据库系统及方法
CN201710581273.3A Expired - Fee Related CN107451221B (zh) 2016-09-21 2017-07-17 一种数据库接口单元装置和分布式NewSQL数据库系统
CN201710580794.7A Expired - Fee Related CN107451214B (zh) 2016-09-21 2017-07-17 一种非主键查询方法和分布式NewSQL数据库系统
CN201710580431.3A Active CN107491485B (zh) 2016-09-21 2017-07-17 生成执行计划的方法、计划单元装置和分布式NewSQL数据库系统
CN201710581237.7A Expired - Fee Related CN107463635B (zh) 2016-09-21 2017-07-17 一种图片数据查询的方法和分布式NewSQL数据库系统
CN201710581275.2A Active CN107329837B (zh) 2016-09-21 2017-07-17 一种负载均衡的方法和单元、分布式NewSQL数据库系统
CN201710580796.6A Expired - Fee Related CN107402992B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和全文检索建立方法
CN201710581229.2A Expired - Fee Related CN107491345B (zh) 2016-09-21 2017-07-17 一种写入图片数据方法和分布式NewSQL数据库系统
CN201710580739.8A Expired - Fee Related CN107402990B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和半结构化数据储存方法
CN201710580423.9A Active CN107402987B (zh) 2016-09-21 2017-07-17 一种全文检索的方法和分布式NewSQL数据库系统
CN201710581193.8A Expired - Fee Related CN107451219B (zh) 2016-09-21 2017-07-17 一种建立二级索引的方法和分布式NewSQL数据库
CN201710581291.1A Expired - Fee Related CN107463637B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和数据储存方法
CN201710580752.3A Expired - Fee Related CN107247808B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统及图片数据查询方法
CN201710580416.9A Expired - Fee Related CN107291947B (zh) 2016-09-21 2017-07-17 一种半结构化数据查询的方法和分布式NewSQL数据库系统
CN201710580435.1A Expired - Fee Related CN107480198B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和全文检索方法
CN201710580791.3A Active CN107291948B (zh) 2016-09-21 2017-07-17 一种分布式newSQL数据库的访问方法
CN201710585103.2A Expired - Fee Related CN107402995B (zh) 2016-09-21 2017-07-17 一种分布式newSQL数据库系统及方法
CN201710580417.3A Expired - Fee Related CN107463632B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和数据查询方法
CN201710580403.1A Expired - Fee Related CN107368575B (zh) 2016-09-21 2017-07-17 一种负载均衡的分布式NewSQL数据库系统
CN201710580456.3A Expired - Fee Related CN107402988B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和半结构化数据查询方法
CN201710580720.3A Expired - Fee Related CN107402989B (zh) 2016-09-21 2017-07-17 一种全文检索建立的方法和分布式NewSQL数据库系统
CN201710580754.2A Expired - Fee Related CN107402991B (zh) 2016-09-21 2017-07-17 一种写入半结构化数据的方法和分布式NewSQL数据库系统
CN201710581256.XA Expired - Fee Related CN107391653B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统及图片数据储存方法
CN201710581195.7A Expired - Fee Related CN107451220B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统

Family Applications Before (22)

Application Number Title Priority Date Filing Date
CN201610842399.7A Pending CN106446153A (zh) 2016-09-21 2016-09-21 一种分布式newSQL数据库系统及方法
CN201710581273.3A Expired - Fee Related CN107451221B (zh) 2016-09-21 2017-07-17 一种数据库接口单元装置和分布式NewSQL数据库系统
CN201710580794.7A Expired - Fee Related CN107451214B (zh) 2016-09-21 2017-07-17 一种非主键查询方法和分布式NewSQL数据库系统
CN201710580431.3A Active CN107491485B (zh) 2016-09-21 2017-07-17 生成执行计划的方法、计划单元装置和分布式NewSQL数据库系统
CN201710581237.7A Expired - Fee Related CN107463635B (zh) 2016-09-21 2017-07-17 一种图片数据查询的方法和分布式NewSQL数据库系统
CN201710581275.2A Active CN107329837B (zh) 2016-09-21 2017-07-17 一种负载均衡的方法和单元、分布式NewSQL数据库系统
CN201710580796.6A Expired - Fee Related CN107402992B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和全文检索建立方法
CN201710581229.2A Expired - Fee Related CN107491345B (zh) 2016-09-21 2017-07-17 一种写入图片数据方法和分布式NewSQL数据库系统
CN201710580739.8A Expired - Fee Related CN107402990B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和半结构化数据储存方法
CN201710580423.9A Active CN107402987B (zh) 2016-09-21 2017-07-17 一种全文检索的方法和分布式NewSQL数据库系统
CN201710581193.8A Expired - Fee Related CN107451219B (zh) 2016-09-21 2017-07-17 一种建立二级索引的方法和分布式NewSQL数据库
CN201710581291.1A Expired - Fee Related CN107463637B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和数据储存方法
CN201710580752.3A Expired - Fee Related CN107247808B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统及图片数据查询方法
CN201710580416.9A Expired - Fee Related CN107291947B (zh) 2016-09-21 2017-07-17 一种半结构化数据查询的方法和分布式NewSQL数据库系统
CN201710580435.1A Expired - Fee Related CN107480198B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和全文检索方法
CN201710580791.3A Active CN107291948B (zh) 2016-09-21 2017-07-17 一种分布式newSQL数据库的访问方法
CN201710585103.2A Expired - Fee Related CN107402995B (zh) 2016-09-21 2017-07-17 一种分布式newSQL数据库系统及方法
CN201710580417.3A Expired - Fee Related CN107463632B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和数据查询方法
CN201710580403.1A Expired - Fee Related CN107368575B (zh) 2016-09-21 2017-07-17 一种负载均衡的分布式NewSQL数据库系统
CN201710580456.3A Expired - Fee Related CN107402988B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统和半结构化数据查询方法
CN201710580720.3A Expired - Fee Related CN107402989B (zh) 2016-09-21 2017-07-17 一种全文检索建立的方法和分布式NewSQL数据库系统
CN201710580754.2A Expired - Fee Related CN107402991B (zh) 2016-09-21 2017-07-17 一种写入半结构化数据的方法和分布式NewSQL数据库系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710581195.7A Expired - Fee Related CN107451220B (zh) 2016-09-21 2017-07-17 一种分布式NewSQL数据库系统

Country Status (1)

Country Link
CN (24) CN106446153A (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391744B (zh) * 2017-08-10 2020-06-16 东软集团股份有限公司 数据存储、读取方法、装置及其设备
CN107480260B (zh) * 2017-08-16 2021-02-23 北京奇虎科技有限公司 大数据实时分析方法、装置、计算设备及计算机存储介质
CN107688660B (zh) * 2017-09-08 2020-03-13 上海达梦数据库有限公司 并行执行计划的执行方法及装置
CN107766572A (zh) * 2017-11-13 2018-03-06 北京国信宏数科技有限责任公司 基于经济领域数据的分布式提取及可视化分析方法和系统
CN108228750A (zh) * 2017-12-21 2018-06-29 浪潮软件股份有限公司 一种分布式数据库及其对数据进行管理的方法
CN108038215A (zh) * 2017-12-22 2018-05-15 上海达梦数据库有限公司 数据处理方法及系统
CN109992409B (zh) * 2018-01-02 2021-07-30 中国移动通信有限公司研究院 数据存储区域的切分方法、装置、系统、电子设备和介质
CN108829507B (zh) * 2018-03-30 2019-07-26 北京百度网讯科技有限公司 分布式数据库系统的资源隔离方法、装置和服务器
CN110362624A (zh) * 2018-04-02 2019-10-22 蓝盾信息安全技术有限公司 一种基于安全隔离网闸系统的异构数据库同步方法
CN108664616A (zh) * 2018-05-14 2018-10-16 浪潮软件集团有限公司 一种基于ROWID的Oracle数据批量采集方法
CN108846044A (zh) * 2018-05-30 2018-11-20 浪潮软件股份有限公司 一种地图应用部署方法及装置
CN108920519A (zh) * 2018-06-04 2018-11-30 贵州数据宝网络科技有限公司 一对多数据供应系统及方法
CN109033209B (zh) * 2018-06-29 2021-12-31 新华三大数据技术有限公司 Spark存储过程处理方法及装置
CN109241076A (zh) * 2018-08-01 2019-01-18 上海依图网络科技有限公司 一种数据查询方法及装置
CN109271428A (zh) * 2018-09-11 2019-01-25 北京市计算中心 数据抽取方法及基于地理信息的数据展示方法
CN109408591B (zh) * 2018-10-12 2021-11-09 北京聚云位智信息科技有限公司 支持sql驱动的ai与特征工程的决策型分布式数据库系统
CN109298976B (zh) * 2018-10-17 2022-04-12 成都索贝数码科技股份有限公司 一种异构数据库集群备份系统及方法
CN109408515A (zh) * 2018-11-01 2019-03-01 郑州云海信息技术有限公司 一种索引执行方法与装置
CN109684412A (zh) * 2018-12-25 2019-04-26 成都虚谷伟业科技有限公司 一种分布式数据库系统
CN109726250B (zh) * 2018-12-27 2020-01-17 星环信息科技(上海)有限公司 数据存储系统、元数据库同步及数据跨域计算方法
CN111488340B (zh) * 2019-01-29 2023-09-12 菜鸟智能物流控股有限公司 数据处理方法、装置及电子设备
CN110046161A (zh) * 2019-03-18 2019-07-23 平安普惠企业管理有限公司 数据写入方法及装置、存储介质、电子设备
CN110086602B (zh) * 2019-04-16 2022-02-11 上海交通大学 基于gpu的sm3密码散列算法的快速实现方法
CN110110234B (zh) * 2019-05-13 2020-10-16 重庆天蓬网络有限公司 一种大数据实时搜索系统和方法
CN110275901B (zh) * 2019-06-25 2021-08-24 北京创鑫旅程网络技术有限公司 一种缓存数据调取方法及装置
CN110457363B (zh) * 2019-07-05 2023-11-21 中国平安人寿保险股份有限公司 基于分布式数据库的查询方法、装置及存储介质
CN110413642B (zh) * 2019-08-02 2022-05-27 北京快立方科技有限公司 一种应用无感知的分片数据库解析及优化方法
CN110569257B (zh) * 2019-09-16 2022-04-01 上海达梦数据库有限公司 数据处理方法、相应装置、设备及存储介质
CN110704437B (zh) * 2019-09-26 2022-05-20 上海达梦数据库有限公司 数据库查询语句的修改方法、装置、设备和存储介质
CN112688976A (zh) * 2019-10-17 2021-04-20 广州迈安信息科技有限公司 一种采用jdbc/http标准的数据处理传输服务系统
CN110888919B (zh) * 2019-12-04 2023-06-30 阳光电源股份有限公司 基于HBase的对大数据统计分析的方法及装置
CN113032479A (zh) * 2019-12-24 2021-06-25 上海昂创信息技术有限公司 一种HBase非主键索引的方法及HBase系统
CN111309581B (zh) * 2020-02-28 2023-09-12 中国工商银行股份有限公司 一种数据库升级场景下的应用性能检测方法及装置
CN111651453B (zh) * 2020-04-30 2024-02-06 中国平安财产保险股份有限公司 用户历史行为查询方法、装置、电子设备及存储介质
CN113760960A (zh) * 2020-06-01 2021-12-07 北京搜狗科技发展有限公司 一种信息生成方法、装置和用于生成信息的装置
CN111797112B (zh) * 2020-06-05 2022-04-01 武汉大学 一种PostgreSQL预备语句执行优化方法
CN113806611A (zh) * 2020-06-17 2021-12-17 海信集团有限公司 一种存储搜索引擎结果的方法及设备
CN111930705B (zh) * 2020-07-07 2023-03-14 中国电子科技集团公司电子科学研究院 二进制消息协议数据处理方法及装置
CN112148792B (zh) * 2020-09-16 2024-04-12 鹏城实验室 一种基于HBase的分区数据调整方法、系统及终端
CN112052347B (zh) * 2020-10-09 2024-06-04 北京百度网讯科技有限公司 图像存储方法、装置以及电子设备
CN112416925B (zh) * 2020-11-02 2024-04-09 浙商银行股份有限公司 基于有序分布式索引结构的查询方法和分布式数据库系统
CN112364033B (zh) * 2021-01-13 2021-04-13 北京云真信科技有限公司 一种数据检索系统
CN113760900B (zh) * 2021-02-19 2024-10-18 西安京迅递供应链科技有限公司 数据的实时汇总以及区间汇总的方法和装置
CN112905615B (zh) * 2021-03-02 2023-03-24 浪潮云信息技术股份公司 一种基于顺序校验的分布式一致性协议提交方法及系统
CN112925841B (zh) * 2021-03-26 2022-11-08 瀚高基础软件股份有限公司 分布式jdbc实现方法、设备及计算机可读存储介质
CN113407662B (zh) * 2021-08-19 2021-12-14 深圳市明源云客电子商务有限公司 敏感词识别方法、系统及计算机可读存储介质
CN113742370B (zh) * 2021-11-02 2022-04-19 阿里云计算有限公司 全加密数据库的数据查询方法、统计信息密文生成方法
CN115129724A (zh) * 2022-08-29 2022-09-30 畅捷通信息技术股份有限公司 一种统计型报表分页方法、系统、设备及介质
CN116861455B (zh) * 2023-06-25 2024-04-26 上海数禾信息科技有限公司 事件数据处理方法、系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902932A (zh) * 2012-09-18 2013-01-30 武汉华工安鼎信息技术有限责任公司 基于sql重写的数据库外部加解密系统及其使用方法
CN104731945A (zh) * 2015-03-31 2015-06-24 浪潮集团有限公司 一种基于HBase的全文检索方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477568A (zh) * 2009-02-12 2009-07-08 清华大学 一种结构化数据和非结构化数据综合检索的方法
CN101567006B (zh) * 2009-05-25 2012-07-04 中兴通讯股份有限公司 一种数据库系统及分布式sql语句执行计划重用方法
CN102163195B (zh) * 2010-02-22 2013-04-24 北京东方通科技股份有限公司 一种基于分布式、异构数据库统一视图的查询优化方法
CN102375853A (zh) * 2010-08-24 2012-03-14 中国移动通信集团公司 分布式数据库系统、在其中建立索引的方法和查询方法
CN102201010A (zh) * 2011-06-23 2011-09-28 清华大学 无共享架构的分布式数据库系统及其实现方法
CN102289482A (zh) * 2011-08-02 2011-12-21 北京航空航天大学 一种非结构化数据查询方法
CN103150304B (zh) * 2011-12-06 2016-11-23 郑红云 云数据库系统
CN103577407B (zh) * 2012-07-19 2016-10-12 国际商业机器公司 用于分布式数据库的查询方法及查询装置
US20140074860A1 (en) * 2012-09-12 2014-03-13 Pingar Holdings Limited Disambiguator
CN103092970A (zh) * 2013-01-24 2013-05-08 华为技术有限公司 一种数据库操作方法及设备
US9773021B2 (en) * 2013-01-30 2017-09-26 Hewlett-Packard Development Company, L.P. Corrected optical property value-based search query
CN103377292B (zh) * 2013-07-02 2017-02-15 华为技术有限公司 数据库结果集缓存方法及设备
US20150039587A1 (en) * 2013-07-31 2015-02-05 Oracle International Corporation Generic sql enhancement to query any semi-structured data and techniques to efficiently support such enhancements
CN103473321A (zh) * 2013-09-12 2013-12-25 华为技术有限公司 数据库管理方法与系统
CN104794123B (zh) * 2014-01-20 2018-07-27 阿里巴巴集团控股有限公司 一种为半结构化数据构建NoSQL数据库索引的方法及装置
CN103984726B (zh) * 2014-05-16 2017-03-29 上海新炬网络信息技术有限公司 一种数据库执行计划的局部修正方法
CN104133858B (zh) * 2014-07-15 2017-08-01 武汉邮电科学研究院 基于列存储的智能双引擎分析系统及方法
CN104503985A (zh) * 2014-12-03 2015-04-08 浪潮电子信息产业股份有限公司 一种Hbase数据自动化创建Solr索引文件的方法
CN104572895B (zh) * 2014-12-24 2018-02-23 天津南大通用数据技术股份有限公司 MPP数据库与Hadoop集群数据互通方法、工具及实现方法
CN104731922A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于分布式数据库HBase的结构化数据的快速检索系统及方法
CN104750815B (zh) * 2015-03-30 2017-11-03 浪潮集团有限公司 一种基于HBase的Lob数据的存储方法及装置
CN105389375B (zh) * 2015-11-18 2018-10-02 福建师范大学 一种基于可视域的图像索引设置方法、系统及检索方法
CN105740410A (zh) * 2016-01-29 2016-07-06 浪潮电子信息产业股份有限公司 一种基于Hbase二级索引的数据统计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902932A (zh) * 2012-09-18 2013-01-30 武汉华工安鼎信息技术有限责任公司 基于sql重写的数据库外部加解密系统及其使用方法
CN104731945A (zh) * 2015-03-31 2015-06-24 浪潮集团有限公司 一种基于HBase的全文检索方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Apache Phoenix;ApachePhoenix,Apache.org;《http://phoenix.apache.org/presentations/OC-HUG-2014-10-4x3.pdf》;20141029;第23-25页 *
Phoenix;James Taylor,Apache.org;《http://phoenix.apache.org/presentations/HadoopSummit2013-16x9.pdf》;20141029;第73-108页 *
一种基于内容的海量图像检索框架的设计与实现;林文煜;《电脑知识与技术》;20160331;第212-215页 *

Also Published As

Publication number Publication date
CN107451219B (zh) 2020-06-09
CN107402989B (zh) 2020-10-27
CN107451214A (zh) 2017-12-08
CN107402988B (zh) 2020-01-03
CN107451219A (zh) 2017-12-08
CN107291948B (zh) 2020-05-19
CN107463637A (zh) 2017-12-12
CN107491345B (zh) 2020-08-04
CN107402988A (zh) 2017-11-28
CN107247808A (zh) 2017-10-13
CN107463635B (zh) 2020-09-25
CN107247808B (zh) 2020-01-10
CN107463632A (zh) 2017-12-12
CN107291947A (zh) 2017-10-24
CN107329837B (zh) 2020-06-09
CN107491485B (zh) 2020-08-04
CN107480198A (zh) 2017-12-15
CN107291947B (zh) 2020-03-10
CN107402987A (zh) 2017-11-28
CN107402987B (zh) 2020-04-03
CN107368575A (zh) 2017-11-21
CN107491485A (zh) 2017-12-19
CN107329837A (zh) 2017-11-07
CN107291948A (zh) 2017-10-24
CN107402995A (zh) 2017-11-28
CN107391653A (zh) 2017-11-24
CN107402990B (zh) 2020-06-09
CN107402992B (zh) 2020-06-09
CN107480198B (zh) 2020-05-19
CN107402990A (zh) 2017-11-28
CN107402995B (zh) 2020-06-09
CN107402989A (zh) 2017-11-28
CN107451220A (zh) 2017-12-08
CN107451221A (zh) 2017-12-08
CN107368575B (zh) 2020-06-09
CN107402992A (zh) 2017-11-28
CN107451220B (zh) 2020-06-09
CN107463635A (zh) 2017-12-12
CN107463637B (zh) 2020-05-19
CN107451221B (zh) 2020-09-04
CN107402991B (zh) 2020-05-19
CN107463632B (zh) 2020-06-09
CN106446153A (zh) 2017-02-22
CN107402991A (zh) 2017-11-28
CN107491345A (zh) 2017-12-19
CN107451214B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN107391653B (zh) 一种分布式NewSQL数据库系统及图片数据储存方法
US20220350819A1 (en) System and method for improved performance in a multidimensional database environment
US9514211B2 (en) High throughput data modifications using blind update operations
US8122008B2 (en) Joining tables in multiple heterogeneous distributed databases
CN107038222B (zh) 数据库缓存实现方法及其系统
US9298774B2 (en) Changing the compression level of query plans
CN109471851B (zh) 数据处理方法、装置、服务器和存储介质
CN105630865A (zh) 用于内存列式存储的n比特压缩版本化列数据阵列
US20140046928A1 (en) Query plans with parameter markers in place of object identifiers
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN110134681B (zh) 数据存储与查询方法、装置、计算机设备及存储介质
CN104423982A (zh) 请求的处理方法和处理设备
CN114138776A (zh) 图结构和图属性分离设计的方法、系统、装置和介质
CN114925084A (zh) 分布式事务处理方法、系统、设备及可读存储介质
US10083192B2 (en) Deleted database record reuse
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN109614411B (zh) 数据存储方法、设备和存储介质
CN100527131C (zh) 一种ims数据库互动式访问方法和工具
CN104111962A (zh) 具有批量操作的增强型事务高速缓存
CN111752941B (zh) 一种数据存储、访问方法、装置、服务器及存储介质
US20200301922A1 (en) Multiform persistence abstraction
US20140207729A1 (en) Rapid Provisioning of Information for Business Analytics
CN111427902A (zh) 基于轻量型数据库的元数据管理方法、装置、设备及介质
CN111782834A (zh) 图像检索的方法、装置、设备及计算机可读存储介质
Kvet et al. Enhancing Analytical Select Statements Using Reference Aliases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200325

Address after: Room 5303, 1023 Gaopu Road, Tianhe Software Park, Tianhe District, Guangzhou City, Guangdong 510000

Applicant after: Yunrun Da Data Service Co.,Ltd.

Address before: 510000 Yuexiu District, Guangzhou Province, north of the text of the text of the North Road, No. 68, the east wing of the text of the building on the ground floor, No. six, No. 602, No.

Applicant before: GUANGZHOU TEDAO INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200519

Termination date: 20210717

CF01 Termination of patent right due to non-payment of annual fee