CN111475475A - 一种数据矩阵的差异化压缩存储模型 - Google Patents

一种数据矩阵的差异化压缩存储模型 Download PDF

Info

Publication number
CN111475475A
CN111475475A CN202010251491.2A CN202010251491A CN111475475A CN 111475475 A CN111475475 A CN 111475475A CN 202010251491 A CN202010251491 A CN 202010251491A CN 111475475 A CN111475475 A CN 111475475A
Authority
CN
China
Prior art keywords
precision
data
matrix
areas
requirements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010251491.2A
Other languages
English (en)
Inventor
陈正生
郑晓龙
李邦杰
李雪瑞
杨晓云
管冬冬
郝辉
苏明晓
崔阳
吕浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN202010251491.2A priority Critical patent/CN111475475A/zh
Publication of CN111475475A publication Critical patent/CN111475475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2237—Vectors, bitmaps or matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种数据矩阵的差异化压缩存储模型，具体步骤如下：按照矩阵元素的物理或数学意义(即精度要求)，将矩阵分为高精度，一般精度，低精度等不同精度要求的区域；分别对这些区域设计相应的满足精度的数据结构；将不同区域或精度要求的数据，采用数据集合，分别单独存储。本发明在运用的过程中，易于数据结构实现，适用于各种编程语言，在满足必要精度的前提下，实现了矩阵的压缩，兼顾了数据精度和数据压缩的需求；与适应性广，有利于进行推广运用。

Description

一种数据矩阵的差异化压缩存储模型
技术领域
本发明涉及数据矩阵技术领域，尤其涉及一种数据矩阵的差异化压缩存储模型。
背景技术
针对数据矩阵的常规算法存在着：特殊矩阵存储只能适应少数的特殊矩阵，通用性不足、已有通用算法并没有考虑矩阵本身的特点、有损失的压缩存储往往造成了较大的精度损失的缺点，且常规的压缩算法虽然具有较好的通用性，但是没有考虑到矩阵具体的应用背景，因此压缩效果难以再提高。为此，我们提出了一种数据矩阵的差异化压缩存储模型。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种数据矩阵的差异化压缩存储模型。
为了实现上述目的，本发明采用了如下技术方案：
一种数据矩阵的差异化压缩存储模型，具体步骤如下：
S1：按照矩阵元素的物理或数学意义(即精度要求)，将矩阵分为高精度，一般精度，低精度等不同精度要求的区域；
S2：分别对这些区域设计相应的满足精度的数据结构；
S3：将不同区域或精度要求的数据，采用数据集合，分别单独存储。
优选的，在步骤S2中，所述的数据结构包括：双精度、单精度、半精度等。
本发明提出的一种数据矩阵的差异化压缩存储模型，有益效果在于：本方案在运用的过程中，实现简单，易于数据结构实现，适用于各种编程语言，在实现中，只需要将不同精度要求的数据，分区域分别存储即可；在满足必要精度的前提下，实现了矩阵的压缩，兼顾了数据精度和数据压缩的需求；与现有压缩算法兼容，可以在现有压缩算法基础上，实现矩阵的进一步压缩；适应性广，不仅适用于实例中用的浮点数，也适用于整形，字符串等其它类型的矩阵压缩，适用于对称矩阵，也适用于稀疏矩阵，且压缩倍率高，有利于进行推广运用。
附图说明
图1为具有不同区域特征的协方差矩阵的示意图；
图2为集中算法的压缩倍率趋势图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
一种数据矩阵的差异化压缩存储模型，具体步骤如下：
S1：按照矩阵元素的物理或数学意义(即精度要求)，将矩阵分为高精度，一般精度，低精度等不同精度要求的区域；
S2：分别对这些区域设计相应的满足精度的数据结构；
S3：将不同区域或精度要求的数据，采用数据集合，分别单独存储。
在步骤S2中，所述的数据结构包括：双精度、单精度、半精度等。
实施例1：
以测量平差中的平差矩阵计算为例。随着观测站点的数量的增加，平差矩阵的规模动辄上万阶次，给有限的存储和计算资源带来了困难。
在参数平差里面，主要有如下矩阵，系数阵
Figure BDA0002435645410000031
参数估值向量
Figure BDA0002435645410000032
常数向量
Figure BDA0002435645410000033
参数改正数向量
Figure BDA0002435645410000034
参数或改正数向量的协方差矩阵
Figure BDA0002435645410000035
以及法方程右手边向量
Figure BDA0002435645410000036
数据计算完毕后，需要存储这些有用的结果，其中重要的是参数向量
Figure BDA0002435645410000037
及其协方差矩阵
Figure BDA0002435645410000038
协方差矩阵是一个对称矩阵，常规存储法占用存储空间是对应参数向量存储空间的平方。但是协方差矩阵是一个对称阵。可以采用上、下三角矩阵的形式存储。然而即使这样存储后，仍然占用较大的存储空间。
对于协方差矩阵，采用本发明的存储方法如下：
首先将其划分不同的区域，如图1所示，本例中，可以划分三个区域，分别用中区域、上区域、下区域表示，其中上区域、下区域对称相等，即a[i,j]＝a[j,i]，因而只需要存储上区域或下区域其中一个区域即可。在协方差阵中，主对角线是对应参数的协方差估值，是最重要的计算指标之一，而非对角线部分是参数之间的联系数，通常只需要查看其相对数值，是次重要的数据。
不难得出，对于协方差阵这种对称矩阵，若不压缩，则需存储元素个数为m2个；采用三角形压缩存储算法需要存储的元素个数为:m+(m-1)+...+2+1＝m(m+1)/2。
m+(m-1)+...+2+1＝m(m+1)/2
若以本发明算法，令主对角线为重要数据，为m个，其它为非重点数据为m(m-1)/2个。设重点参数存储类型所占空间为a，非重点为b，则差异存储法所占空间为S＝a·m+b·m·(m-1)/2＝m(a+b(m-1)/2)
若以原始存储算法所占空间为被除数，改进算法存储空间为除数，可以得到所压缩存储空间的倍数，如下表1所示。
表1不同算法压缩的倍数
名称 所占存储空间 压缩倍数
原始存储法 am 1
高精度三角存储 am(m+1)/2 2m/(m+1)
差异三角存储 am+bm(m-1) a/[a+b(m-1)]
低精度三角存储 bm(m+1)/2 2ma/[(m+1)b]
对于协方差阵，以重点参数的精度需求为双精度(1个数值8byte)，而非重点为单精度(1个数值4byte)为例，差异存储法所占空间为S＝8·m+2·m·(m-1)＝2m(m+3)
根据矩阵的不同阶次，可得占用存储空间如下表2所示：
表2不同存储算法所占用的存储空间(单位：Byte)
Figure BDA0002435645410000051
进一步的从图2可以看出：在1000阶次以上时，采用三角存储的单双精度差异存储法与全单精度存储法的节约倍数基本一致都为4倍。
同样，按照精度够用原则，若非重要区域可以采用更低的数据结构如只有16位(2个字节)半精度浮点数，则最多可以压缩存储空间为16倍！
综上所述：本发明在运用的过程中，实现简单，易于数据结构实现，适用于各种编程语言，在实现中，只需要将不同精度要求的数据，分区域分别存储即可；在满足必要精度的前提下，实现了矩阵的压缩，兼顾了数据精度和数据压缩的需求；与现有压缩算法兼容，可以在现有压缩算法基础上，实现矩阵的进一步压缩；适应性广，不仅适用于实例中用的浮点数，也适用于整形，字符串等其它类型的矩阵压缩，适用于对称矩阵，也适用于稀疏矩阵，且压缩倍率高，有利于进行推广运用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种数据矩阵的差异化压缩存储模型，其特征在于，具体步骤如下：
S1：按照矩阵元素的物理或数学意义(即精度要求)，将矩阵分为高精度，一般精度，低精度等不同精度要求的区域；
S2：分别对这些区域设计相应的满足精度的数据结构；
S3：将不同区域或精度要求的数据，采用数据集合，分别单独存储。
2.根据权利要求1所述的一种数据矩阵的差异化压缩存储模型，其特征在于，在步骤S2中，所述的数据结构包括：双精度、单精度、半精度等。
CN202010251491.2A 2020-04-01 2020-04-01 一种数据矩阵的差异化压缩存储模型 Pending CN111475475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010251491.2A CN111475475A (zh) 2020-04-01 2020-04-01 一种数据矩阵的差异化压缩存储模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010251491.2A CN111475475A (zh) 2020-04-01 2020-04-01 一种数据矩阵的差异化压缩存储模型

Publications (1)

Publication Number Publication Date
CN111475475A true CN111475475A (zh) 2020-07-31

Family

ID=71750464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010251491.2A Pending CN111475475A (zh) 2020-04-01 2020-04-01 一种数据矩阵的差异化压缩存储模型

Country Status (1)

Country Link
CN (1) CN111475475A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627585A (en) * 1992-05-06 1997-05-06 Rheinmetall Jenoptik Optical Metrology Gmbh Arrangement for high-resolution scanning of large image formats with exact geometrical correspondence
US20040248339A1 (en) * 2003-06-06 2004-12-09 Lung Hsiang Lan High density chalcogenide memory cells
WO2010109359A2 (en) * 2009-03-24 2010-09-30 International Business Machines Corporation Processing of linear systems of equations
CN103886050A (zh) * 2014-03-12 2014-06-25 佛山科学技术学院 基于压缩感知的图像特征存储方法、图像检索方法和装置
CN105589833A (zh) * 2014-10-23 2016-05-18 陕西中浩源水电工程有限公司 基于lsqr法频率域波形反演的存储方法
CN106683185A (zh) * 2017-01-09 2017-05-17 中国科学院地理科学与资源研究所 一种基于大数据的高精度曲面建模方法
CN107590106A (zh) * 2017-08-08 2018-01-16 北京中科睿芯科技有限公司 一种应用于对称矩阵与向量乘法的计算方法
CN110289861A (zh) * 2019-05-20 2019-09-27 湖南大学 半精度压缩感知采样方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627585A (en) * 1992-05-06 1997-05-06 Rheinmetall Jenoptik Optical Metrology Gmbh Arrangement for high-resolution scanning of large image formats with exact geometrical correspondence
US20040248339A1 (en) * 2003-06-06 2004-12-09 Lung Hsiang Lan High density chalcogenide memory cells
WO2010109359A2 (en) * 2009-03-24 2010-09-30 International Business Machines Corporation Processing of linear systems of equations
CN103886050A (zh) * 2014-03-12 2014-06-25 佛山科学技术学院 基于压缩感知的图像特征存储方法、图像检索方法和装置
CN105589833A (zh) * 2014-10-23 2016-05-18 陕西中浩源水电工程有限公司 基于lsqr法频率域波形反演的存储方法
CN106683185A (zh) * 2017-01-09 2017-05-17 中国科学院地理科学与资源研究所 一种基于大数据的高精度曲面建模方法
CN107590106A (zh) * 2017-08-08 2018-01-16 北京中科睿芯科技有限公司 一种应用于对称矩阵与向量乘法的计算方法
CN110289861A (zh) * 2019-05-20 2019-09-27 湖南大学 半精度压缩感知采样方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张爱民等: "基于Intel Xeon Phi的稀疏矩阵向量乘性能优化", 《小型微型计算机系统》 *

Similar Documents

Publication Publication Date Title
US10224955B2 (en) Data compression and decompression method of demura table, and mura compensation method
CN109214504B (zh) 一种基于fpga的yolo网络前向推理加速器设计方法
WO2021036904A1 (zh) 数据处理方法、装置、计算机设备和存储介质
WO2017185412A1 (zh) 一种支持较少位数定点数的神经网络运算的装置和方法
WO2019238029A1 (zh) 卷积神经网络系统和卷积神经网络量化的方法
WO2021022685A1 (zh) 一种神经网络训练方法、装置及终端设备
CN110009565A (zh) 一种基于轻量化网络的超分辨率图像重建方法
WO2023045204A1 (zh) 一种有限状态熵编码表的生成方法、系统、介质及设备
WO2017049703A1 (zh) 图像对比度增强方法
CN110990612B (zh) 一种矢量大数据快速显示的方法及终端
WO2022027917A1 (zh) 图像处理方法、装置、系统、电子设备及可读存储介质
US11467968B2 (en) Memory-adaptive processing method for convolutional neural network
CN112529165A (zh) 深度神经网络剪枝方法、装置、终端及存储介质
CN111405294B (zh) 一种图像栅格数据的存储及传输方法
CN112540718A (zh) 面向申威众核架构的稀疏矩阵存储方法
CN111475475A (zh) 一种数据矩阵的差异化压缩存储模型
US20220012587A1 (en) Convolution operation method and convolution operation device
CN105608685A (zh) 一种直方图修正的二次直方图均衡图像增强方法及系统
CN112860818A (zh) 字典嵌套字典数据结构的稀疏矩阵压缩存储方法
CN106331719A (zh) 一种基于k‑l变换误差空间拆分的图像数据压缩方法
CN116226242A (zh) 数据库哈希连接处理方法、装置、设备及存储介质
CN115438114A (zh) 存储格式转换方法、系统、装置、电子设备及存储介质
CN110135568B (zh) 一种应用有界线性整流单元的全整数神经网络方法
TW202301130A (zh) 深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介
WO2019205527A1 (zh) 显示面板的灰阶值确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination