CN111159186A - 一种关于多维有限枚举数据的压缩存储方法 - Google Patents
一种关于多维有限枚举数据的压缩存储方法 Download PDFInfo
- Publication number
- CN111159186A CN111159186A CN201911382816.4A CN201911382816A CN111159186A CN 111159186 A CN111159186 A CN 111159186A CN 201911382816 A CN201911382816 A CN 201911382816A CN 111159186 A CN111159186 A CN 111159186A
- Authority
- CN
- China
- Prior art keywords
- data
- structured data
- compression configuration
- storage
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种关于多维有限枚举数据的压缩存储方法。它具体包括如下步骤：在视频结构化系统中，将摄像机抓拍到的结构化数据进行持久化存储，每一张抓拍都会有若干个结构化数据；设置压缩配置信息，压缩配置的首字节位为预留位，压缩配置的后续字节位根据业务的每个结构化数据最大取值来确定所占位数，根据压缩配置信息生成将多个结构化数据转换成一个二进制数据类型存储在数据库中；在业务应用启动时加载压缩配置信息即可，读取每一个结构化数据时，将存储的二进制数据类型根据压缩配置反推出每个结构化数据的具体数值即可，压缩配置信息的读取对存储读取性能不造成实际的影响。本发明的有益效果是：节省存储空间，写入和读取更快。
Description
技术领域
本发明涉及数据处理相关技术领域，尤其是指一种关于多维有限枚举数据的压缩存储方法。
背景技术
在一些结构化数据存储中，经常会使用int、long等数据类型来存储，而有些时候结构化数据是有限枚举值，只需少数几位字节存储即可，但受限于数据库字段类型的限制即使采用最小存储单元往往也是小几十位，浪费存储空间。
在实际的业务场景中，动态视频结构化数据有大量有限枚举结构化数据，比如：对视频流中的每一帧进行结构化分析，会得到人脸、形体、物体等等大量结构化数据，这些结构化数据中包含大量：是否戴眼镜、衣服颜色、是否戴帽子、年龄、性别等等有限枚举数据，这些数据采用传统的数据类型存储会占用大量存储空间。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种减少存储空间的关于多维有限枚举数据的压缩存储方法。
为了实现上述目的，本发明采用以下技术方案：
一种关于多维有限枚举数据的压缩存储方法，具体包括如下步骤：
(1)在视频结构化系统中，将摄像机抓拍到的结构化数据进行持久化存储，每一张抓拍都会有若干个结构化数据；
(2)设置压缩配置信息，压缩配置的首字节位为预留位，压缩配置的后续字节位根据业务的每个结构化数据最大取值来确定所占位数，根据压缩配置信息生成将多个结构化数据转换成一个二进制数据类型存储在数据库中；
(3)在业务应用启动时加载压缩配置信息即可，读取每一个结构化数据时，将存储的二进制数据类型根据压缩配置反推出每个结构化数据的具体数值即可，压缩配置信息的读取对存储读取性能不造成实际的影响。
采用本发明的压缩算法，可将多个枚举属性值存储在一个传统数据库数据类型字段中，大大节省了存储空间，写入和读取更快。采用本发明可成倍减少mysql、oracle等传统关系型数据库及非关系型数据库的存储空间。
作为优选，在步骤(1)中，在业务可知范围内这些参数的结构化数据都是有限枚举数据，有限枚举数据是指在业务可知范围内是可以确定枚举出具体几种取值的数据类型。
作为优选，在步骤(2)中，压缩配置指的是一个定义结构化数据存储先后及每个结构化数据最大取值的业务规则定义，固化在业务逻辑中或存储在数据库中。
作为优选，在步骤(2)中，根据实际压缩后的所占位数选择数据库存储的字段类型。
本发明的有益效果是：将多个枚举属性值存储在一个传统数据库数据类型字段中，大大节省了存储空间，写入和读取更快。
具体实施方式
下面结合具体实施方式对本发明做进一步的描述。
一种关于多维有限枚举数据的压缩存储方法，具体包括如下步骤：
(1)在视频结构化系统中，将摄像机抓拍到的结构化数据进行持久化存储，每一张抓拍都会有若干个结构化数据；在业务可知范围内这些参数的结构化数据都是有限枚举数据，有限枚举数据是指在业务可知范围内是可以确定枚举出具体几种取值的数据类型。
(2)设置压缩配置信息，压缩配置的首字节位为预留位，压缩配置的后续字节位根据业务的每个结构化数据最大取值来确定所占位数，根据压缩配置信息生成将多个结构化数据转换成一个二进制数据类型存储在数据库中；压缩配置指的是一个定义结构化数据存储先后及每个结构化数据最大取值的业务规则定义，固化在业务逻辑中或存储在数据库中。根据实际压缩后的所占位数选择数据库存储的字段类型。
(3)在业务应用启动时加载压缩配置信息即可，读取每一个结构化数据时，将存储的二进制数据类型根据压缩配置反推出每个结构化数据的具体数值即可，压缩配置信息的读取对存储读取性能不造成实际的影响。
本发明中所有对于字节位都是从0开始计算。计算机系统中最终存储的数据都是以二进制进行存储，在存储介质之上是操作系统驱动层，操作系统驱动一般会提供一些数据类型为上层应用层做应用开发，比如：int、long、float等等，本发明就是利用二进制特性将多个有限枚举数据压缩为一个或多个数据类型的二进制数据类型，以节省存储空间。比如：视频结构化数据中包含是否戴眼镜、是否戴帽子、衣服颜色等三个结构化数据，对于人员是否戴帽子的取值有：未知、戴眼镜了、没戴眼镜等取值，这三种取值可以使用1、2、3等值来表示；对于人员是否戴帽子的取值有：未知、戴帽子了、没戴帽子等取值，这三种取值可以使用1、2、3等值来表示；对于人员衣服颜色的取值有：未知、白色、黑色、红色、绿色等取值，这五种取值可以使用1、2、3、4、5等值来表示。压缩配置首位为预留位，默认为1。一帧抓拍人体结构化数据为：戴眼镜、不戴帽子、穿白色衣服，压缩存储的数据为：11011010，转换成十进制为218，mysql采用一个字节的tinyint类型即可存储。而传统数据库，如Mysql最小的存储字段类型为1个字节，占8位，示例中的一条存储数据，即每一维数据都以最小存储类型存储也需要占用24位，而采用本压缩算法只需要8位即可(节省了3倍空间)，存储的维度越多节省的空间越大；因为本发明将多个结构化数据从传统的多列存储压缩存储为单列或多列，写入和读取更快；对于大量有限枚举数据的结构化数据，可以指数级的减少存储空间，并可完整的反算出原始数据。
Claims (4)
1.一种关于多维有限枚举数据的压缩存储方法，其特征是，具体包括如下步骤：
(1)在视频结构化系统中，将摄像机抓拍到的结构化数据进行持久化存储，每一张抓拍都会有若干个结构化数据；
(2)设置压缩配置信息，压缩配置的首字节位为预留位，压缩配置的后续字节位根据业务的每个结构化数据最大取值来确定所占位数，根据压缩配置信息生成将多个结构化数据转换成一个二进制数据类型存储在数据库中；
(3)在业务应用启动时加载压缩配置信息即可，读取每一个结构化数据时，将存储的二进制数据类型根据压缩配置反推出每个结构化数据的具体数值即可，压缩配置信息的读取对存储读取性能不造成实际的影响。
2.根据权利要求1所述的一种关于多维有限枚举数据的压缩存储方法，其特征是，在步骤(1)中，在业务可知范围内这些参数的结构化数据都是有限枚举数据，有限枚举数据是指在业务可知范围内是可以确定枚举出具体几种取值的数据类型。
3.根据权利要求1所述的一种关于多维有限枚举数据的压缩存储方法，其特征是，在步骤(2)中，压缩配置指的是一个定义结构化数据存储先后及每个结构化数据最大取值的业务规则定义，固化在业务逻辑中或存储在数据库中。
4.根据权利要求2或3所述的一种关于多维有限枚举数据的压缩存储方法，其特征是，在步骤(2)中，根据实际压缩后的所占位数选择数据库存储的字段类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911382816.4A CN111159186A (zh) | 2019-12-28 | 2019-12-28 | 一种关于多维有限枚举数据的压缩存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911382816.4A CN111159186A (zh) | 2019-12-28 | 2019-12-28 | 一种关于多维有限枚举数据的压缩存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111159186A true CN111159186A (zh) | 2020-05-15 |
Family
ID=70558752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911382816.4A Pending CN111159186A (zh) | 2019-12-28 | 2019-12-28 | 一种关于多维有限枚举数据的压缩存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111159186A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103236846A (zh) * | 2013-05-02 | 2013-08-07 | 浙江中控技术股份有限公司 | 一种工业实时数据压缩方法及装置 |
| CN105024702A (zh) * | 2015-07-08 | 2015-11-04 | 西安理工大学 | 一种面向科学计算的浮点型数据无损压缩方法 |
| US20180137224A1 (en) * | 2016-11-17 | 2018-05-17 | Google Inc. | K-d tree encoding for point clouds using deviations |
-
2019
- 2019-12-28 CN CN201911382816.4A patent/CN111159186A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103236846A (zh) * | 2013-05-02 | 2013-08-07 | 浙江中控技术股份有限公司 | 一种工业实时数据压缩方法及装置 |
| CN105024702A (zh) * | 2015-07-08 | 2015-11-04 | 西安理工大学 | 一种面向科学计算的浮点型数据无损压缩方法 |
| US20180137224A1 (en) * | 2016-11-17 | 2018-05-17 | Google Inc. | K-d tree encoding for point clouds using deviations |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8386444B2 (en) | Techniques for selective compression of database information | |
| US8620111B2 (en) | Device, system, and method for indexing digital image frames | |
| Zneit et al. | A methodology to create a fingerprint for RGB color image | |
| JP2006345315A5 (zh) | ||
| CN104199892B (zh) | 一种基于压缩合并异步更新的索引读写方法 | |
| CN105933708B (zh) | 一种数据压缩和解压缩的方法和装置 | |
| CN110413624A (zh) | 一种基于列存的多列联合存储的方法 | |
| CN105096367B (zh) | 优化Canvas绘制性能的方法及装置 | |
| CN106327453B (zh) | 一种拼合图片资源的方法及图片资源拼合装置 | |
| CN111405294B (zh) | 一种图像栅格数据的存储及传输方法 | |
| WO2014122441A1 (en) | Improvements relating to use of columnar databases | |
| CN111159186A (zh) | 一种关于多维有限枚举数据的压缩存储方法 | |
| CN104115162A (zh) | 图像分析 | |
| CN112929672A (zh) | 一种视频压缩方法、装置、设备及计算机可读存储介质 | |
| CN109508782B (zh) | 基于神经网络深度学习的加速电路和方法 | |
| CN111177170B (zh) | 一种关于多维有限枚举数据的压缩更新方法 | |
| CN105871382B (zh) | 一种Micaps第四类格点数据无损压缩算法 | |
| CN104391891A (zh) | 一种数据库异构复制方法 | |
| CN117971821A (zh) | 数据存储方法、数据读取方法、设备、存储介质 | |
| CN114882444B (zh) | 一种图像融合处理方法、设备及介质 | |
| Guan et al. | Towards a hybrid approach of k-means and density-based spatial clustering of applications with noise for image segmentation | |
| US9129001B2 (en) | Character data compression for reducing storage requirements in a database system | |
| CN110990340A (zh) | 一种大数据多层次存储架构 | |
| Wong et al. | Merged-color histogram for color image retrieval | |
| KR20120132878A (ko) | 공정 제어 데이터베이스 시스템 구조 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |