CN102646136A - 一种高效数据存储查询的方法及系统 - Google Patents
一种高效数据存储查询的方法及系统 Download PDFInfo
- Publication number
- CN102646136A CN102646136A CN2012100990360A CN201210099036A CN102646136A CN 102646136 A CN102646136 A CN 102646136A CN 2012100990360 A CN2012100990360 A CN 2012100990360A CN 201210099036 A CN201210099036 A CN 201210099036A CN 102646136 A CN102646136 A CN 102646136A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- storage
- client
- phone number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开一种高效数据存储查询方法，实现移动互联网用户数据记录高速写入、大容量存储及快速提取，并依据上述方法发明一种高效数据存储查询系统。
Description
技术领域
本发明涉及一种实现移动互联网用户数据业务记录存储的方法及系统，具体涉及技术领域的是索引转义、行列二维存储及用户数据业务记录存储所涉及的系统和方法。
背景技术
随着移动互联网和智能终端的快速普及，使用移动互联网数据业务的用户越来越多，移动互联网检测需要保存用户上网记录越来越多。传统关系型数据库成本高，写入速度慢，查询时间长，难以满足日益庞大的数据存储。
发明内容
本发明的主要目的是提供一种高效数据存储查询的方法，实现移动互联网用户数据记录高速写入、大容量存储及快速提取。
本发明的主要目的是提供一种高效数据存储查询的系统，实现移动互联网用户数据记录高速写入、大容量存储及快速提取。
为了实现上述目的，本发明公开一种高效数据存储查询方法，该方法将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时采用行列二维存储方式将每个用户的多条记录存放在一起，支持将手机号码、Client IP等信息自动转义成数字或数字组合索引，实现存储数据的快速查询定位，数据只有一次写入过程，可多次读取。
为了实现上述目的，本发明公开一种高效数据存储查询系统，该系统将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时采用行列二维存储方式将每个用户的多条记录存放在一起，支持将手机号码、Client IP自动转义成数字或数字组合索引，实现存储数据的快速查询定位，数据只有一次写入过程，可多次读取。
本发明实施例的高效数据存储查询系统能够在保证数据存储质量的同时，降低数据存储成本，提高数据存储和查询效率。支持每秒5万条500字节长度的记录插入，30亿条记录查询时间小于10秒。能有效解决当前海量数据存储成本高、容量小、存取速率低问题。
附图说明：
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1 高效数据存储查询系统实现原理图
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施例进行详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
高效数据存储查询系统按照行列二维存储方式保存数据。系统根据Client IP将数据分为块和行，Client IP前24位相同的数据都写入到相同的行块中，Client IP后8位分行，分行的原则是保证一个用户的数据都保存一个行块中。然后在行块中划分列，每一列就是一个数据库表空间的一个字段，由于一个用户存在多条数据记录，很多信息是相同的，包括手机号码、Client IP、URL等，所以按列存储可以对数据做压缩存储，可以大大减小硬盘I/O及存储容量。
高效数据存储查询系统由图一所示，本系统输入数据来自移动互联网用户使用数据业务记录，系统输入信息包含用户号码、Client IP、URL等数据信息。
系统接收到写入数据，按照上述所讲的行列二维存储统一分配存储空间，保证同一用户的信息存放在相邻位置，同时将用户号码、Client IP等信息转义成索引存储在系统中，便于以后的数据精确查询。
当用户查询记录时，系统都交予查询输出功能模块处理。该模块根据用户提交的查询条件到索引表中查询，目前支持的索引包括用户号码、Client IP、用户位置等，系统在设计时充分考虑过现场实际应用中的各种可能的索引条件，因此能满足现场的大部分应用。本系统的索引都是数字或数字组合方式，可根据索引快速定位到对应的信息记录中并取出。
本系统适用于海量移动互联网的用户数据存取，可以很好的解决传统关系型数据库成本高，写入速度慢，查询时间长问题。
应当理解的是，上述针对具体实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附。
Claims (2)
1.一种高效数据存储查询的实现方法，其特征在于将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时将每个用户的多条记录存放在一起，将手机号码、Client IP转义成数字或数字组合作为索引，实现存储数据的快速查询定位，所有数据支持一次写入多次读取。
2.一种高效数据存储查询系统，其特征在于将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时将每个用户的多条记录存放在一起，将手机号码、Client IP转义成索引，实现存储数据的快速查询定位，所有数据支持一次写入多次读取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210099036.0A CN102646136B (zh) | 2012-04-06 | 2012-04-06 | 一种高效数据存储查询的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210099036.0A CN102646136B (zh) | 2012-04-06 | 2012-04-06 | 一种高效数据存储查询的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102646136A true CN102646136A (zh) | 2012-08-22 |
| CN102646136B CN102646136B (zh) | 2014-04-02 |
Family
ID=46658955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210099036.0A Active CN102646136B (zh) | 2012-04-06 | 2012-04-06 | 一种高效数据存储查询的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102646136B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617275A (zh) * | 2013-12-06 | 2014-03-05 | 中国联合网络通信集团有限公司 | 一种移动终端上网详细记录查询方法和系统 |
| WO2015070788A1 (zh) * | 2013-11-15 | 2015-05-21 | 北京奇虎科技有限公司 | 一种识别ip地址的区域归属地信息的方法和装置 |
| CN108924850A (zh) * | 2015-06-24 | 2018-11-30 | 福建天晴数码有限公司 | 无线网络组网方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5471478A (en) * | 1991-09-13 | 1995-11-28 | Sundisk Corporation | Flash EEPROM array data and header file structure |
| CN101311930A (zh) * | 2007-05-21 | 2008-11-26 | Sap股份公司 | 具有重复值的表的块压缩 |
| CN101968806A (zh) * | 2010-10-22 | 2011-02-09 | 天津南大通用数据技术有限公司 | 数据存储方法、查询方法及装置 |
-
2012
- 2012-04-06 CN CN201210099036.0A patent/CN102646136B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5471478A (en) * | 1991-09-13 | 1995-11-28 | Sundisk Corporation | Flash EEPROM array data and header file structure |
| CN101311930A (zh) * | 2007-05-21 | 2008-11-26 | Sap股份公司 | 具有重复值的表的块压缩 |
| CN101968806A (zh) * | 2010-10-22 | 2011-02-09 | 天津南大通用数据技术有限公司 | 数据存储方法、查询方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杨栋: "Facebook数据仓库揭秘：RCFile高效存储结构", 《HTTP://WWW.CSDN.NET/ARTICLE/2011-04-29/296900》, 29 April 2011 (2011-04-29) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015070788A1 (zh) * | 2013-11-15 | 2015-05-21 | 北京奇虎科技有限公司 | 一种识别ip地址的区域归属地信息的方法和装置 |
| CN103617275A (zh) * | 2013-12-06 | 2014-03-05 | 中国联合网络通信集团有限公司 | 一种移动终端上网详细记录查询方法和系统 |
| CN108924850A (zh) * | 2015-06-24 | 2018-11-30 | 福建天晴数码有限公司 | 无线网络组网方法和装置 |
| CN108924850B (zh) * | 2015-06-24 | 2021-06-01 | 福建天晴数码有限公司 | 无线网络组网方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102646136B (zh) | 2014-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103294710B (zh) | 一种数据存取方法和装置 | |
| CN103390020B (zh) | 在数据库中存储数据的方法和系统 | |
| CN105718455A (zh) | 一种数据查询方法及装置 | |
| CN101782922B (zh) | 一种面向海量数据检索的多级桶哈希索引方法 | |
| CN102622434B (zh) | 数据存储方法、查找方法及装置 | |
| CN102682108B (zh) | 一种行列混合的数据库存储方法 | |
| CN104331428A (zh) | 一种小文件和大文件的存储及访问方法 | |
| CN104881481A (zh) | 一种存取海量时间序列数据的方法及装置 | |
| US20110040761A1 (en) | Estimation of postings list length in a search system using an approximation table | |
| CN103200293A (zh) | 一种导入通讯录文件过程中自动合并重名联系人的方法 | |
| CN102779138B (zh) | 实时数据的硬盘存取方法 | |
| JP2003237914A5 (zh) | ||
| CN103425785A (zh) | 数据存储系统及其用户数据存储、读取方法 | |
| CN102393854A (zh) | 一种获取音视频数据的方法及装置 | |
| CN102646136B (zh) | 一种高效数据存储查询的方法及系统 | |
| CN102622361B (zh) | 一种数据库查询方法 | |
| CN105912696A (zh) | 一种基于对数归并的dns索引创建方法及查询方法 | |
| CN102486775A (zh) | 业务数据的查询方法及装置 | |
| CN109299143B (zh) | 基于Redis缓存的数据互操作测试知识库的知识快速索引方法 | |
| CN108984626B (zh) | 一种数据处理方法、装置及服务器 | |
| CN101127990A (zh) | 一种查找手机短信的方法 | |
| CN102467523A (zh) | 索引文件的建立方法与利用索引文件查询数据区块的方法 | |
| CN109726176A (zh) | 铁路信号电气设备数据的快速存储与查询方法 | |
| CN103186542A (zh) | 一种数据查询的方法及装置 | |
| CN102902701B (zh) | 信息查询系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |