CN112905125A - 一种基于计算机高精度计算的数据存储及读取方法 - Google Patents
一种基于计算机高精度计算的数据存储及读取方法 Download PDFInfo
- Publication number
- CN112905125A CN112905125A CN202110240128.5A CN202110240128A CN112905125A CN 112905125 A CN112905125 A CN 112905125A CN 202110240128 A CN202110240128 A CN 202110240128A CN 112905125 A CN112905125 A CN 112905125A
- Authority
- CN
- China
- Prior art keywords
- value
- data
- array
- precision
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
- G06F3/0622—Securing storage systems in relation to access
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供了一种基于计算机高精度计算的数据存储及读取方法,包括:步骤1:将高精度数据转换为特定形式;步骤2:基于所述特定形式,确定有效位数字,并将所述有效位数字以预设个数字为单位,从左到右按照预设数值范围分配存储空间并存储数值;步骤3:获取所述特定形式中的符号以及指数值信息并进行存储;步骤4:基于所述步骤2‑3,建立存储结构;步骤5:基于所述存储结构,将存储后的所述高精度数据进行读取。可以极大的减少存储空间,提高系统效率,并且不丢失数据精度。
Description
技术领域
本发明涉及数据存储与传输技术领域,特别涉及一种基于计算机高精度计算的数据存储及读取方法。
背景技术
目前,对于高精度数据无法在计算机中正常存储的问题,一般是将高精度数据一位一位的拆开,用字符串方式进行存储,对于圆周率高精度数据使用如“3.1415926535897932384626433......”字符串存储;或者使用整数数组,将各个数字按顺序存储在数组中,如使用int类型的数值,将整数部分和小数部分按4位数字的整数存储在数组中,得到{3,1415,9265,3589,7932,3846,2643,3......}数组。
然而,在一般的科学计算中,会经常使用到小数点后几十位或上百位有效数字,也可能是几万万兆亿或更大的数字。一般这类数字统称为高精度数据。对于此类高精度数据在计算机中无法用通常的double类型进行存储。因为计算机系统中一般double类型的数据精度只有16位,也就是说,对于圆周率Pi=3.1415926535897932384626433......,使用double类型的数值来存储,只能精确到3.141592653589793(共16位有效数字),这对于在航天系统中16位有效数字的精度远远不够,在计算中会造成较大的误差,不能满足系统的精度要求。
目前对高精度数据提出的一些存储方法,对于软件系统中高精度数据在存储与传输占用空间较少的情况下是可行的。但是,对于航天仿真系统中,需要对大量的天体或航天器进行长时间的仿真计算,同时为了调试检验计算过程的正确性,经常在计算过程中输出中间计算结果值(大都是高精度数据)到日志文件以便分析查找与定位计算发生错误的位置,这就涉及到大量的高精度数据的存储问题。如果采用通常的高精度数据存储方法,得到的日志文件将非常庞大,同时也在一定程度上影响了系统运行的效率。因此,本文提出一种基于计算机高精度计算的数据存储及读取方法,可以极大的减少存储空间,提高系统效率,并且不丢失数据精度。
发明内容
本发明提供一种计算机软件高精度计算中数据存储及读取方法,用以通过将高精度数据进行形式转换,并根据转换后的形式为数据分配存储空间,同时,将存储后的高精度数据进行读取。
本发明提供一种基于计算机高精度计算的数据存储及读取方法,包括:
步骤1:将高精度数据转换为特定形式;
步骤2:基于所述特定形式,确定有效位数字,并将所述有效位数字以预设个数字为单位,从左到右按照预设数值范围分配存储空间并存储数值;
步骤3:获取所述特定形式中的符号以及指数值信息并进行存储;
步骤4:基于所述步骤2-3,建立存储结构;
步骤5:基于所述存储结构,将存储后的所述高精度数据进行读取。
优选的,一种基于计算机高精度计算的数据存储及读取方法,
所述特定形式为:所述特定形式为:0.a*10n,其中,a为有效位数字的正整数,且a的最高位数字不为0;n表示指数,且n为正整数或负整数。
优选的,一种基于计算机高精度计算的数据存储及读取方法,在步骤2中,基于所述特定形式,确定有效位数字,将所述有效位数字以预设个数字为单位,从左到右按照预设数值范围分配存储空间并存储数值的具体步骤,包括:
将所述有效位数字以预设个数字为单位从左到右进行分组,并获取子分组数值;
基于所述子分组数值的大小确定所述子分组数值所对应的数值范围;
判断所述数值范围的值是否大于第一标准数值;
若所述数值范围的值全都小于或等于所述第一标准数值,将所述子分组数值作为存储数值进行二进制数据化;
否则,获取第一设定值,并将所述第一设定值与所述子分组数值进行第一做差运算,同时,将第一做差结果作为存储数值进行二进制数据化;
基于所述数值范围确定所述存储数值的存储标识值、再分配位数;
同时,根据所述再分配位数,并基于二进制化后的结果,获取对应的有效数字存储结构。
优选的,一种基于计算机高精度计算的数据存储及读取方法,基于所述步骤3,对所述特定形式中的符号以及指数值信息并进行存储的具体步骤,包括:
步骤31:获取指数值信息,并基于所述指数值信息确定所述指数值的数值范围;
步骤32:根据所述指数值的数值范围获取指数值所对应的分配位数,同时,将所述指数值与第二设定值进行第一求和运算,并将第一求和结果作为存储值;
其中,所述第二设定值由所述指数值所对应的分配位数决定;
步骤32:将所述存储值进行二进制数据化;
步骤33:根据所述二进制数据化的结果以及所述指数值所对应的分配位数获取对应的指数存储结构。
优选的,一种基于计算机高精度计算的数据存储及读取方法,对所述存储值按照所述分配位数进行存储,还包括:以1字节为最小存储粒度进行存储,当最后不足分配位数时,以0补齐,其中,符号以1比特位存储,0标识正数,1标识负数;
同时,在所述存储结构的最高位上增加一个字节存储空间。
优选的,一种基于计算机高精度计算的数据存储及读取方法,对于步骤5,基于所述存储结构,将存储后的所述高精度数据进行读取的具体步骤包括:
步骤51:读取所述存储结构的第一字节值s,其中,以预设数值x标识当前读取的实际存储空间比特位数,其中,预设数据x的初始值为0;
步骤52:继续读取指定比特位数m,获取标识值t,并将所述预设数值x增加m比特位;
步骤53:基于所述标识值t,确定需要读取后续的比特位数以及所述预设数值需要增加的第三设定值;
其中,所述第三设定值由所述需要读取后续的比特位数决定;
将所述标识值t与第二标准数值进行比较;
若所述标识值t小于或等于所述第二标准数值时,基于所述比特位数,获取数值V,并将所述数值V作为读取值;
若所述标识值t大于所述第二标准数值时,则基于所述比特位数,获取数值V,同时,将所述第一设定值与所述数值V进行第二做差运算,且第二做差结果作为读取值;
步骤54:将所述预设数值x与所述第三设定值进行求和运算,并获取第二求和结果,并将所述第二求和结果作为所述预设数值x的值;
步骤55:判断所述第二求和结果是否等于指数需要的比特位数;
若等于,则所述高精度数据中的所述有效数字部分读取完毕;
否则,重复步骤52-54,直至完成对所述高精度数据中所述有效数字的读取;
步骤57:对所述有效数字读取完毕时,继续读取1比特位,获取所述高精度数据指数值的正负,其中,0标识正数,1标识负数;
步骤58:继续读取所述指数值所对应的分配位数,获取所述指数值,并将所述指数值与所述第二设定值进行第三做差运算,其中,第三做差结果即为所述高精度数据的真实指数值;
步骤59:基于所述高精度数据的有效数字以及真实指数值,完成对所述高精度数据的读取。
优选的,一种基于计算机高精度计算的数据存储及读取方法,所述步骤5:基于所述存储结构,将存储后的所述高精度数据进行读取后,对所述高精度数据进行传输,具体工作过程包括:
基于数据划分方法,将所述高精度数据划分为多个子数组,对每个子数组中的数据进行二进制化,获取子数组数据长度;
基于所述子数组数据长度匹配所述子数组中所述高精度数据所对应的编码序号;
根据所述子数组数据长度以及所述编码序号确定编码表格,并将所述子数组中的高精度数据按照所述编码表格进行编码,并获取编码结果;
基于所述编码结果,获取所述子数组的编码矩阵,并对所述编码矩阵进行计算,获取计算结果;
基于所述计算结果,确定所述子数组的数据标识,同时,基于所述数据标识,确定数组聚合参数;
其中,所述数组聚合参数包括所述子数组的数据标识以及所述数组中的关键字段;
基于所述数组聚合参数,将每个数组与其上一数组依次进行聚合;
将聚合好后的数组执行数组压缩,并生成压缩数组;
调用预设约束方式对所述压缩数组的传输方式进行约束,将所述压缩数组按照所述传输方式进行传输;
同时,当所述压缩数组到达指定数据库时,对所述压缩数组通过安全校验运算获取数组校验值;
将所述指定数据库中的数据校验值与所述数组校验值进行比较,判断所述压缩数组是否符合安全度标准;
若所述数据校验值与所述数组校验值不一致时,则判定所述压缩数组不符合所述安全度标准,同时,阻止所述压缩数组的传输;
否则,判定所述压缩数组符合安全度标准,并对所述压缩数组进行解压缩处理,提取数组,完成对所述高精度数据的传输。
优选的,一种基于计算机高精度计算的数据存储及读取方法,所述步骤2,还包括:
基于所述特定形式,确定有效位数字,并对所述有效位数字进行检测,获取所述有效位数字的失误率,同时,基于所述有效位数字的失误率,计算所述有效位数字存储的准确度,具体步骤包括:
对所述有效位数字进行检测,并确定数据干扰因子;
获取有效位数字所占空间长度,并基于所述有效位数字所占空间长度,确定所述有效位数字需要的检测时间;
基于所述有效位数字所占空间长度、检测时间以及数据干扰因子,计算所述有效位数字的失误率;
其中,η表示所述有效位数字的失误率;μ表示数据干扰因子,且取值范围为(1.2*10-5,3.6*10-3);v表示对所述有效位数字进行检测的检测速度;t表示对所述有效位数字进行检测的检测时间;σ表示所述有效位数字中存在的数据误差系数;δ表示在对所述有效位数字进行检测时存在的漏检因子,且取值范围为(0.25*10-3,1.8*10-2);m表示所述有效位数字的方差值;ξ表示所述有效位数字的数字重复率;l表示所述有效位数字所占空间长度;f表示对所述有效位数字进行检测的检测频率;
基于所述有效位数字的失误率,计算所述有效位数字存储的准确度;
其中,λ表示所述有效位数字存储的准确度;η表示所述有效位数字的失误率;U表示存储空间的总容量;k表示存储到预定位置的数据量;k0表示未存储到预定位置的数据量;q表示存储在预定位置的数据是准确概率;β表示存储位置系数;u表示有效位数字的容量;
基于将所述有效位数字存储的准确度,搭建多尺度卷积神经网络的数据质量评估模型;
将所述有效位数字在所述数据质量评估模型中获取数据质量评估报告;
结合所述数据质量评估报告,确定所述高精度数据的存储质量;
若所述数据质量评估报告显示结果为数据质量低,则需要重新获取有效数字,并将所述有效数字重新进行存储;
否则,所述有效数字存储合格。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种计算机软件高精度计算中数据存储及读取方法流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本实施例提供了一种基于计算机高精度计算的数据存储及读取方法,如图1所示,包括:
步骤1:将高精度数据转换为特定形式;
步骤2:基于所述特定形式,确定有效位数字,并将所述有效位数字以预设个数字为单位,从左到右按照预设数值范围分配存储空间并存储数值;
步骤3:获取所述特定形式中的符号以及指数值信息并进行存储;
步骤4:基于所述步骤2-3,建立存储结构;
步骤5:基于所述存储结构,将存储后的所述高精度数据进行读取。
该实施例中,特定形式为:0.a*10n,其中,a为有效位数字的正整数,且a的最高位数字不为0;n表示指数,且n为正整数或负整数。例如:
将高精度数据40350324195861287.986004418,转为形式0.40350324195861287986004418*10^(17)。
该实施例中,有效位数字指的是数字0以后,各位上有实际意义的数字,例如在0.40350324195861287986004418中,有效数字为40350324195861287986004418。
该实施例中,预设数值范围是提前设定好的,指的是0至15、16至63、64至255、256至511、512至743、744至935、936至983、984至999
该实施例中,符号包括正号(+)和负号(-)。
该实施例中,预设个数字为单位可以是至于选择以3个数字为一组,进行划分存储,是经过大量应用统计得到的最优结果,当然也可以使用4个数字一组,分配更多的存储位数存储相应的值。
上述技术方案的有益效果是:通过将高精度数据进行形式转换,并根据转换后的形式为数据分配存储空间,可以极大的减少存储空间,提高系统效率,并且不丢失数据精度。
实施例2:
在上述实施例1的基础上,本实施例提供了一种基于计算机高精度计算的数据存储及读取方法,,其特征在于,在步骤2中,基于所述特定形式,确定有效位数字,将所述有效位数字以以预设个数字为单位,从左到右按照预设数值范围分配存储空间并存储数值的具体步骤,包括:
将所述有效位数字以预设个数字为单位从左到右进行分组,并获取子分组数值;
基于所述子分组数值的大小确定所述子分组数值所对应的数值范围;
判断所述数值范围的值是否大于第一标准数值;
若所述数值范围的值全都小于或等于所述第一标准数值,将所述子分组数值作为存储数值进行二进制数据化;
否则,获取第一设定值,并将所述第一设定值与所述子分组数值进行第一做差运算,同时,将第一做差结果作为存储数值进行二进制数据化;
基于所述数值范围确定所述存储数值的存储标识值、再分配位数;
同时,根据所述再分配位数,并基于二进制化后的结果,获取对应的有效数字存储结构。
该实施例中,预设个数字为单位可以是至于选择以3个数字为一组,进行划分存储,是经过大量应用统计得到的最优结果,当然也可以使用4个数字一组,分配更多的存储位数存储相应的值。
该实施例中,有效位数字例如以三个数字为单位进行如下解释:
存储小数点0后的一系列有效位数字,以三个数字(假设数值为V)为单位,从左到右按下面数值范围分配存储空间并存储数值:
V范围0至15,需要3位存储标识值0,再分配位数4位,存储V值;
V范围16至63,需要3位存储标识值1,再分配位数6位;存储V值;
V范围64至255,需要3位存储标识值2,再分配位数8位;存储V值;
V范围256至511,需要3位存储标识值3,再分配位数9位;存储V值;
V范围512至743,需要3位存储标识值4,再分配位数9位;存储999-V值;
V范围744至935,需要3位存储标识值5,再分配位数8位;存储999-V值;
V范围936至983,需要3位存储标识值6,再分配位数6位;存储999-V值;
V范围984至999,需要3位存储标识值7,再分配位数4位;存储999-V值,
例如:对于高精度数据-0.356752314243986004418*10^(-3),存储小数点0后的一系列有效位数字356752314243986004418,以三个数字为单位,从左到右,分别为356、752、314、243、986、004、418;那么分配的位数及存储的数值为如下:
[356]需要3位存储标识值3,再分配位数9位;存储值V=356,二进制值是101100100.
[752]需要3位存储标识值5,再分配位数8位;存储值999-752=247,二进制值是11110111.
[314]需要3位存储标识值3;再分配位数9位;存储值V=314,二进制值是100111010.
[243]需要3位存储标识值2;再分配位数8位;存储值V=243,二进制值是11110011.
[986]需要3位存储标识值7;再分配位数4位;存储值999-986=13,二进制值是1101.
[004]需要3位存储标识值0;再分配位数4位;存储值V=4,二进制值是0100.
[418]需要3位存储标识值3;再分配位数9位;存储值V=418,二进制值是110100010。
这样,得到该高精度数据小数点0后的一系列有效位数字的存储结构如下:
该实施例中,第一标准值在子分组数值的取值范围中,且值为511。
该实施例中,第一设定值可以是是一个固定常数为999。
上述技术方案的有益效果是:通过将高精度数据以三个数字为单位进行分组,确保了在对高精度数据存储时,极大的节省存储空间,提高了系统的工作效率,同时也便于在对数据读取时进行快速准确的调用。
实施例3:
在上述实施例1的基础上,本实施例提供了一种基于计算机高精度计算的数据存储及读取方法,基于所述步骤3,对所述特定形式中的符号以及指数值信息并进行存储的具体步骤,包括:
步骤31:获取指数值信息,并基于所述指数值信息确定所述指数值的数值范围;
步骤32:根据所述指数值的数值范围获取指数值所对应的分配位数,同时,将所述指数值与第二设定值进行第一求和运算,并将第一求和结果作为存储值;
其中,所述第二设定值由所述指数值所对应的分配位数决定;
步骤32:将所述存储值进行二进制数据化;
步骤33:根据所述二进制数据化的结果以及所述指数值所对应的分配位数获取对应的指数存储结构。
该实施例中,将高精度数据按小数点后一系列有效位数字、符号和指数值信息进行存储,以1字节为最小存储粒度进行存储,最后不足8bit位时以0补齐。
其中,符号以1bit位存储,0标识正数,1标识负数;
指数值exp在【-63,63】之间时,分配7bit位(存储范围0到127)存储值exp+63.
指数值在【-127,127】之间时,分配8bit(存储范围0到255)位存储值exp+127;
指数值在【-255,255】之间时,分配9bit(存储范围0到511)位存储值exp+255;
例如,对于高精度数据-0.356752314243986004418*10^(-3),使用7bit存储空间来存储指数值,此时,得到最后的二进制存储结构如下:
由于采用二进制方式存储数据,这样对于连续2个高精度数据,只根据二进制存储结构无法区分2个数据的分割点,因此,需要在每个高精度数据的二进制存储结构的第一个字节保存本数据实际的存储空间大小。一般来说,高精度数据的实际存储空间不超过255字节大小,因此分配1个字节来存储该数值是满足大小需求的。因此,对于高精度数据-0.356752314243986004418*10^(-3),最后得到如下的内存存储结构:
该实施例中,通常指数分配9位足够一般应用需求,在实际应用中,根据系统的高精度数据数值范围,统一确定使用7bit存储空间还是8bit、9bit存储空间来存储指数值exp。
上述技术方案的有益效果是:通过将有效数字和符号以及指数进行分开存储,便于对高精度数据的符号和指数进行准确记录,便于在调用数据时准确找到数据对应的符号以及指数,同时也提高了存储效率,极大的节省了存储空间
实施例4:
在上述实施例1的基础上,本实施例提供了一种基于计算机高精度计算的数据存储及读取方法,对所述存储值按照所述分配位数进行存储,还包括:以1字节为最小存储粒度进行存储,当最后不足分配位数时,以0补齐,其中,符号以1比特位存储,0标识正数,1标识负数;
同时,在所述存储结构的最高位上增加一个字节存储空间。
上述技术方案的有益效果是:通过对转换形式后的高精度数据进行二进制转化,并对不足分配位数的进行补领操作,同时用数字准确表示数据的正负,为准确区分数据的正负提供了便利。
实施例5:
在上述实施例1的基础上,本实施例提供了一种基于计算机高精度计算的数据存储及读取方法,对于步骤5,基于所述存储结构,将存储后的所述高精度数据进行读取的具体步骤包括:
步骤51:读取所述存储结构的第一字节值s,其中,以预设数值x标识当前读取的实际存储空间比特位数,其中,预设数据x的初始值为0;
步骤52:继续读取指定比特位数m,获取标识值t,并将所述预设数值x增加m比特位;
步骤53:基于所述标识值t,确定需要读取后续的比特位数以及所述预设数值需要增加的第三设定值;
其中,所述第三设定值由所述需要读取后续的比特位数决定;
将所述标识值t与第二标准数值进行比较;
若所述标识值t小于或等于所述第二标准数值时,基于所述比特位数,获取数值V,并将所述数值V作为读取值;
若所述标识值t大于所述第二标准数值时,则基于所述比特位数,获取数值V,同时,将所述第一设定值与所述数值V进行第二做差运算,且第二做差结果作为读取值;
步骤54:将所述预设数值x与所述第三设定值进行求和运算,并获取第二求和结果,并将所述第二求和结果作为所述预设数值x的值;
步骤55:判断所述第二求和结果是否等于指数需要的比特位数;
若等于,则所述高精度数据中的所述有效数字部分读取完毕;
否则,重复步骤52-54,直至完成对所述高精度数据中所述有效数字的读取;
步骤57:对所述有效数字读取完毕时,继续读取1比特位,获取所述高精度数据指数值的正负,其中,0标识正数,1标识负数;
步骤58:继续读取所述指数值所对应的分配位数,获取所述指数值,并将所述指数值与所述第二设定值进行第三做差运算,其中,第三做差结果即为所述高精度数据的真实指数值;
步骤59:基于所述高精度数据的有效数字以及真实指数值,完成对所述高精度数据的读取。
该实施例中,预设数值可以是readSize,是为了在高精度数据在读取或接受解析过程中取的实际存储空间位数。
该实施例中,读取或接受解析过程。首先读取第一个字节值,获得该高精度数据的实际存储空间大小s值;此时,以数值readSize=0标识当前读取的实际存储空间bit位数;
然后读3bit位,得到标识值t,对应步骤二中的存储标识值,可知,
当t=0时,需要读后续的4bit位得到数值V,此时将数值readSize增加7;
当t=1时,需要读后续的6bit位得到数值V,此时将数值readSize增加9;
当t=2时,需要读后续的8bit位得到数值V,此时将数值readSize增加11;
当t=3时,需要读后续的9bit位得到数值V,此时将数值readSize增加12;
当t=4时,需要读后续的9bit位得到数值V,重新设置V值为999-V,此时将数值readSize增加12;
当t=5时,需要读后续的8bit位得到数值V,重新设置V值为999-V,此时将数值readSize增加11;
当t=6时,需要读后续的6bit位得到数值V,;重新设置V值为999-V;此时将数值readSize增加9.
当t=7时,需要读后续的4bit位得到数值V,重新设置V值为999-V,此时将数值readSize增加7。
此时,判断数值readSize是否小于(s*8-1-指数分配位数),若是,则该高精度数据的小数点后有效数字部分读取完毕;否则继续读3bit位,得到标识值t,按上述步骤循环处理;
当对小数点后有效数字部分读取完毕时,继续读1bit位,如果=0标识该数据是正数,1标识该数据是负数;再读后续7bit(或8bit,或9位)指数分配得到数值exp,将exp减去63(或127,或255)便得到该高精度数据的真实指数值,如此得到准确的高精度数据;
例如:对于表的内存数据,
首先读取第一个字节值得到s=10字节,
然后读3bit位,得到标识值t=3,需要读后续的9bit位得到数值V=35;此时将数值readSize=12,
判断readSize<(80-1-7)=72,继续读3bit位,得到标识值t=5,需要读后续的8bit位得到数值247,重新设置V值为999-V=752;此时数值readSize=23,
判断readSize<72,继续读3bit位,得到标识值t=3,需要读后续的9bit位得到数值V=314;此时将数值readSize=35,判断readSize<72,继续读3bit位,得到标识值t=2,需要读后续的8bit位得到数值V=243;此时数值readSize=46,
判断readSize<72,继续读3bit位,得到标识值t=7,需要读后续的4bit位得到数值V=13,重新设置V值为999-13=986;此时数值readSize=53,
判断readSize<72,继续读3bit位,得到标识值t=0,需要读后续的4bit位得到数值V=4;此时将数值readSize增加7,readSize=60,
判断readSize<72,继续读3bit位,得到标识值t=3,需要读后续的9bit位得到数值V=418;此时将数值readSize=72,
判断readSize不小于72,对小数点后有效数字部分读取完毕;继续读1bit位得到数值1,表示此高精度数据是负数,再读后续7bit(假设该应用系统设置高精度数据的范围可以使用7bit来存储指数值)得到指数值exp=60,将exp减去63得到-3,此时,该高精度数据便是-0.356 752 314 243 986 004 418*10^(-3),与本方法处理之前的数值完全相同。
该实施例中,在组合小数点后有效数字部分时,如果数值V是一位数字或二位数字,需要以0补充为00V或0V三个数字形式,如V=4时补充0组合为004,V=24时补充0组合为024。
该实施例中,第二标准数值属于标识值t的范围内,且值为4。
上述技术方案的有益效果是:通过依次确定存储数据指数位、有效数字、符号位,完成对已存储数据的准确读取,提高了读取的准确度以及速率,提高了系统效率,并且不丢失数据精度。
实施例6:
在实施例1的基础上,本实施例提供了一种基于计算机高精度计算的数据存储及读取方法,所述步骤5:基于所述存储结构,将存储后的所述高精度数据进行读取后,对所述高精度数据进行传输,具体工作过程包括:
基于数据划分方法,将所述高精度数据划分为多个子数组,对每个子数组中的数据进行二进制化,获取子数组数据长度;
基于所述子数组数据长度匹配所述子数组中所述高精度数据所对应的编码序号;
根据所述子数组数据长度以及所述编码序号确定编码表格,并将所述子数组中的高精度数据按照所述编码表格进行编码,并获取编码结果;
基于所述编码结果,获取所述子数组的编码矩阵,并对所述编码矩阵进行计算,获取计算结果;
基于所述计算结果,确定所述子数组的数据标识,同时,基于所述数据标识,确定数组聚合参数;
其中,所述数组聚合参数包括所述子数组的数据标识以及所述数组中的关键字段;
基于所述数组聚合参数,将每个数组与其上一数组依次进行聚合;
将聚合好后的数组执行数组压缩,并生成压缩数组;
调用预设约束方式对所述压缩数组的传输方式进行约束,将所述压缩数组按照所述传输方式进行传输;
同时,当所述压缩数组到达指定数据库时,对所述压缩数组通过安全校验运算获取数组校验值;
将所述指定数据库中的数据校验值与所述数组校验值进行比较,判断所述压缩数组是否符合安全度标准;
若所述数据校验值与所述数组校验值不一致时,则判定所述压缩数组不符合所述安全度标准,同时,阻止所述压缩数组的传输;
否则,判定所述压缩数组符合安全度标准,并对所述压缩数组进行解压缩处理,提取数组,完成对所述高精度数据的传输。
该实施例中,基于子数组数据长度匹配子数组中所述高精度数据所对应的编码序号可以是首先获取数组长度,基于数组长度将其按照预设比例进行平均化,平均后的结果再进行编码,从而获取编码序号,例如是:将数组长度为10,将其按照5的比例进行平均化,结果就是将数组长度分成2个长度为一组进行编码。
该实施例中,子数组的标识数据可以是对数组进行识别的标志,且隶属于子数组中的数据。
该实施例中,数组的关键字段可以是与高精度数据的有效位数字相关联,为了保证数组传输的无误性。
该实施例中,预设约束方式可以是MySQL外键约束方式。
该实施例中,安全度标准可以是与数据校验值相符合,当低于数据校验值或高于数据校验值时,即为不符合安全度标准。
上述技术方案的有益效果是:
通过将高精度数据划分后获取子数组从而有利于进行编码,通过编码获取相关的数组聚合参数,并通过将每个数组与其上一数组依次进行聚合,从而有利于对数组进行压缩,将压缩好的数组进行安全校验,有利于保证到达指定数据库的数组中数据的安全性,从而完成对高精度数据的传输,该方法有利于节省传输时间与提高安全性,从而保证了高精度数据的传输效率、
实施例7:
在实施例1的基础上,本实施例提供了一种基于计算机高精度计算的数据存储及读取方法,所述步骤2,还包括:
基于所述特定形式,确定有效位数字,并对所述有效位数字进行检测,获取所述有效位数字的失误率,同时,基于所述有效位数字的失误率,计算所述有效位数字存储的准确度,具体步骤包括:
对所述有效位数字进行检测,并确定数据干扰因子;
获取有效位数字所占空间长度,并基于所述有效位数字所占空间长度,确定所述有效位数字需要的检测时间;
基于所述有效位数字所占空间长度、检测时间以及数据干扰因子,计算所述有效位数字的失误率;
其中,η表示所述有效位数字的失误率;μ表示数据干扰因子,且取值范围为(1.2*10-5,3.6*10-3);v表示对所述有效位数字进行检测的检测速度;t表示对所述有效位数字进行检测的检测时间;σ表示所述有效位数字中存在的数据误差系数;δ表示在对所述有效位数字进行检测时存在的漏检因子,且取值范围为(0.25*10-3,1.8*10-2);m表示所述有效位数字的方差值;ξ表示所述有效位数字的数字重复率;l表示所述有效位数字所占空间长度;f表示对所述有效位数字进行检测的检测频率;
基于所述有效位数字的失误率,计算所述有效位数字存储的准确度;
其中,λ表示所述有效位数字存储的准确度;η表示所述有效位数字的失误率;U表示存储空间的总容量;k表示存储到预定位置的数据量;k0表示未存储到预定位置的数据量;q表示存储在预定位置的数据是准确概率;β表示存储位置系数;u表示有效位数字的容量;
基于将所述有效位数字存储的准确度,搭建多尺度卷积神经网络的数据质量评估模型;
将所述有效位数字在所述数据质量评估模型中获取数据质量评估报告;
结合所述数据质量评估报告,确定所述高精度数据的存储质量;
若所述数据质量评估报告显示结果为数据质量低,则需要重新获取有效数字,并将所述有效数字重新进行存储;
否则,所述有效数字存储合格。
该实施例中,数据干扰因子可以是对在检测过程中的存在有干扰的数据,例如是,检测发生混乱的数据,起到对数据检测干扰的作用,对有效位数字的失误率提供了基数。
该实施例中,有效位数字中存在的数据误差系数,可以是对有效位数字中有关于错误数据,无关数据以及重复数据等的数字。
该实施例中,漏检因子可以是,在检测过程中,对高精度数据进行检测时所存在漏检的数据,其漏检因子是经过多次数据检测所得出的,在对数据检测过程中,将漏检因子计算在内可以有效判定数据失误率的情况。
该实施例中,存储位置系数可以是决定存储的位置有影响的数字,例如系数是5,则其存储的位置可以是排列在第五个位置中。
上述技术方案的有益效果是:
通过特定形式,确定有效位数字,并对有效位数字进行检测,从而有利于准确获取有效位数字的失误率,进而计算出有效位数字存储的准确度,通过基于有效位数字存储的准确度搭建多尺度卷积神经网络的数据质量评估模型,可以准确完成对有效位数字的质量评估,从而有利于提高有效位数字的存储质量。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于计算机高精度计算的数据存储及读取方法,其特征在于,包括:
步骤1:将高精度数据转换为特定形式;
步骤2:基于所述特定形式,确定有效位数字,并将所述有效位数字以预设个数字为单位,从左到右按照预设数值范围分配存储空间并存储数值;
步骤3:获取所述特定形式中的符号以及指数值信息并进行存储;
步骤4:基于所述步骤2-3,建立存储结构;
步骤5:基于所述存储结构,将存储后的所述高精度数据进行读取。
2.根据权利要求1所述的一种基于计算机高精度计算的数据存储及读取方法,其特征在于,
所述特定形式为:0.a*10n,其中,a为有效位数字的正整数,且a的最高位数字不为0;n表示指数,且n为正整数或负整数。
3.根据权利要求1所述的一种基于计算机高精度计算的数据存储及读取方法,其特征在于,在步骤2中,基于所述特定形式,确定有效位数字,将所述有效位数字以预设个数字为单位,从左到右按照预设数值范围分配存储空间并存储数值的具体步骤,包括:
将所述有效位数字以预设个数字为单位从左到右进行分组,并获取子分组数值;
基于所述子分组数值的大小确定所述子分组数值所对应的数值范围;
判断所述数值范围的值是否大于第一标准数值;
若所述数值范围的值全都小于或等于所述第一标准数值,将所述子分组数值作为存储数值进行二进制数据化;
否则,获取第一设定值,并将所述第一设定值与所述子分组数值进行第一做差运算,同时,将第一做差结果作为存储数值进行二进制数据化;
基于所述数值范围确定所述存储数值的存储标识值、再分配位数;
同时,根据所述再分配位数,并基于二进制化后的结果,获取对应的有效数字存储结构。
4.根据权利要求1所述的一种基于计算机高精度计算的数据存储及读取方法,其特征在于,基于所述步骤3,对所述特定形式中的符号以及指数值信息并进行存储的具体步骤,包括:
步骤31:获取指数值信息,并基于所述指数值信息确定所述指数值的数值范围;
步骤32:根据所述指数值的数值范围获取指数值所对应的分配位数,同时,将所述指数值与第二设定值进行第一求和运算,并将第一求和结果作为存储值;
其中,所述第二设定值由所述指数值所对应的分配位数决定;
步骤32:将所述存储值进行二进制数据化;
步骤33:根据所述二进制数据化的结果以及所述指数值所对应的分配位数获取对应的指数存储结构。
5.根据权利要求1所述的一种基于计算机高精度计算的数据存储及读取方法,其特征在于,
对所述存储值按照所述分配位数进行存储,还包括:以1字节为最小存储粒度进行存储,当最后不足分配位数时,以0补齐,其中,符号以1比特位存储,0标识正数,1标识负数;
同时,在所述存储结构的最高位上增加一个字节存储空间。
6.根据权利要求1所述的一种基于计算机高精度计算的数据存储及读取方法,其特征在于,对于步骤5,基于所述存储结构,将存储后的所述高精度数据进行读取的具体步骤包括:
步骤51:读取所述存储结构的第一字节值s,其中,以预设数值x标识当前读取的实际存储空间比特位数,其中,预设数据x的初始值为0;
步骤52:继续读取指定比特位数m,获取标识值t,并将所述预设数值x增加m比特位;
步骤53:基于所述标识值t,确定需要读取后续的比特位数以及所述预设数值需要增加的第三设定值;
其中,所述第三设定值由所述需要读取后续的比特位数决定;
将所述标识值t与第二标准数值进行比较;
若所述标识值t小于或等于所述第二标准数值时,基于所述比特位数,获取数值V,并将所述数值V作为读取值;
若所述标识值t大于所述第二标准数值时,则基于所述比特位数,获取数值V,同时,将所述第一设定值与所述数值V进行第二做差运算,且第二做差结果作为读取值;
步骤54:将所述预设数值x与所述第三设定值进行求和运算,并获取第二求和结果,并将所述第二求和结果作为所述预设数值x的值;
步骤55:判断所述第二求和结果是否等于指数需要的比特位数;
若等于,则所述高精度数据中的所述有效数字部分读取完毕;
否则,重复步骤52-54,直至完成对所述高精度数据中所述有效数字的读取;
步骤57:对所述有效数字读取完毕时,继续读取1比特位,获取所述高精度数据指数值的正负,其中,0标识正数,1标识负数;
步骤58:继续读取所述指数值所对应的分配位数,获取所述指数值,并将所述指数值与所述第二设定值进行第三做差运算,其中,第三做差结果即为所述高精度数据的真实指数值;
步骤59:基于所述高精度数据的有效数字以及真实指数值,完成对所述高精度数据的读取。
7.根据权利要求1所述的一种基于计算机高精度计算的数据存储及读取方法,其特征在于,所述步骤5:基于所述存储结构,将存储后的所述高精度数据进行读取后,对所述高精度数据进行传输,具体工作过程包括:
基于数据划分方法,将所述高精度数据划分为多个子数组,对每个子数组中的数据进行二进制化,获取子数组数据长度;
基于所述子数组数据长度匹配所述子数组中所述高精度数据所对应的编码序号;
根据所述子数组数据长度以及所述编码序号确定编码表格,并将所述子数组中的高精度数据按照所述编码表格进行编码,并获取编码结果;
基于所述编码结果,获取所述子数组的编码矩阵,并对所述编码矩阵进行计算,获取计算结果;
基于所述计算结果,确定所述子数组的数据标识,同时,基于所述数据标识,确定数组聚合参数;
其中,所述数组聚合参数包括所述子数组的数据标识以及所述数组中的关键字段;
基于所述数组聚合参数,将每个数组与其上一数组依次进行聚合;
将聚合好后的数组执行数组压缩,并生成压缩数组;
调用预设约束方式对所述压缩数组的传输方式进行约束,将所述压缩数组按照所述传输方式进行传输;
同时,当所述压缩数组到达指定数据库时,对所述压缩数组通过安全校验运算获取数组校验值;
将所述指定数据库中的数据校验值与所述数组校验值进行比较,判断所述压缩数组是否符合安全度标准;
若所述数据校验值与所述数组校验值不一致时,则判定所述压缩数组不符合所述安全度标准,同时,阻止所述压缩数组的传输;
否则,判定所述压缩数组符合安全度标准,并对所述压缩数组进行解压缩处理,提取数组,完成对所述高精度数据的传输。
8.根据权利要求1所述的一种基于计算机高精度计算的数据存储及读取方法,其特征在于,所述步骤2,还包括:
基于所述特定形式,确定有效位数字,并对所述有效位数字进行检测,获取所述有效位数字的失误率,同时,基于所述有效位数字的失误率,计算所述有效位数字存储的准确度,具体步骤包括:
对所述有效位数字进行检测,并确定数据干扰因子;
获取有效位数字所占空间长度,并基于所述有效位数字所占空间长度,确定所述有效位数字需要的检测时间;
基于所述有效位数字所占空间长度、检测时间以及数据干扰因子,计算所述有效位数字的失误率;
其中,η表示所述有效位数字的失误率;μ表示数据干扰因子,且取值范围为(1.2*10-5,3.6*10-3);v表示对所述有效位数字进行检测的检测速度;t表示对所述有效位数字进行检测的检测时间;σ表示所述有效位数字中存在的数据误差系数;δ表示在对所述有效位数字进行检测时存在的漏检因子,且取值范围为(0.25*10-3,1.8*10-2);m表示所述有效位数字的方差值;ξ表示所述有效位数字的数字重复率;l表示所述有效位数字所占空间长度;f表示对所述有效位数字进行检测的检测频率;
基于所述有效位数字的失误率,计算所述有效位数字存储的准确度;
其中,λ表示所述有效位数字存储的准确度;η表示所述有效位数字的失误率;U表示存储空间的总容量;k表示存储到预定位置的数据量;k0表示未存储到预定位置的数据量;q表示存储在预定位置的数据是准确概率;β表示存储位置系数;u表示有效位数字的容量;
基于将所述有效位数字存储的准确度,搭建多尺度卷积神经网络的数据质量评估模型;
将所述有效位数字在所述数据质量评估模型中获取数据质量评估报告;
结合所述数据质量评估报告,确定所述高精度数据的存储质量;
若所述数据质量评估报告显示结果为数据质量低,则需要重新获取有效数字,并将所述有效数字重新进行存储;
否则,所述有效数字存储合格。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110240128.5A CN112905125B (zh) | 2021-03-04 | 2021-03-04 | 一种基于计算机高精度计算的数据存储及读取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110240128.5A CN112905125B (zh) | 2021-03-04 | 2021-03-04 | 一种基于计算机高精度计算的数据存储及读取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112905125A true CN112905125A (zh) | 2021-06-04 |
CN112905125B CN112905125B (zh) | 2023-02-07 |
Family
ID=76107620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110240128.5A Active CN112905125B (zh) | 2021-03-04 | 2021-03-04 | 一种基于计算机高精度计算的数据存储及读取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112905125B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114268323A (zh) * | 2021-12-24 | 2022-04-01 | 成都索贝数码科技股份有限公司 | 支持行存的数据压缩编码方法、装置及时序数据库 |
WO2023030555A1 (zh) * | 2022-06-16 | 2023-03-09 | 加特兰微电子科技(上海)有限公司 | 数据存储位宽的确定方法及装置、存储指数数据的方法 |
CN116545771A (zh) * | 2023-07-05 | 2023-08-04 | 上海伯镭智能科技有限公司 | 一种智能驾驶系统测试数据的智能存储方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000174624A (ja) * | 1998-12-04 | 2000-06-23 | Mitsubishi Electric Corp | 信号処理装置 |
CN1471077A (zh) * | 2002-06-20 | 2004-01-28 | ���µ�����ҵ��ʽ���� | 浮点存储方法及浮点运算装置 |
US20100023568A1 (en) * | 2008-07-22 | 2010-01-28 | International Business Machines Corporation | Dynamic Range Adjusting Floating Point Execution Unit |
CN102411616A (zh) * | 2011-10-28 | 2012-04-11 | 北京地拓科技发展有限公司 | 一种数据存储方法和系统及数据管理方法 |
CN110825323A (zh) * | 2019-10-25 | 2020-02-21 | 上海钒兆钛智能科技有限公司 | 浮点数数据的存储、读取方法和计算机可读存储介质 |
-
2021
- 2021-03-04 CN CN202110240128.5A patent/CN112905125B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000174624A (ja) * | 1998-12-04 | 2000-06-23 | Mitsubishi Electric Corp | 信号処理装置 |
CN1471077A (zh) * | 2002-06-20 | 2004-01-28 | ���µ�����ҵ��ʽ���� | 浮点存储方法及浮点运算装置 |
US20100023568A1 (en) * | 2008-07-22 | 2010-01-28 | International Business Machines Corporation | Dynamic Range Adjusting Floating Point Execution Unit |
CN102411616A (zh) * | 2011-10-28 | 2012-04-11 | 北京地拓科技发展有限公司 | 一种数据存储方法和系统及数据管理方法 |
CN110825323A (zh) * | 2019-10-25 | 2020-02-21 | 上海钒兆钛智能科技有限公司 | 浮点数数据的存储、读取方法和计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
饶拱维 等: "在 VB 中使用分组存储法实现数的高精度计算", <<福建电脑>> * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114268323A (zh) * | 2021-12-24 | 2022-04-01 | 成都索贝数码科技股份有限公司 | 支持行存的数据压缩编码方法、装置及时序数据库 |
CN114268323B (zh) * | 2021-12-24 | 2023-07-07 | 成都索贝数码科技股份有限公司 | 支持行存的数据压缩编码方法、装置及时序数据库 |
WO2023030555A1 (zh) * | 2022-06-16 | 2023-03-09 | 加特兰微电子科技(上海)有限公司 | 数据存储位宽的确定方法及装置、存储指数数据的方法 |
CN116545771A (zh) * | 2023-07-05 | 2023-08-04 | 上海伯镭智能科技有限公司 | 一种智能驾驶系统测试数据的智能存储方法及系统 |
CN116545771B (zh) * | 2023-07-05 | 2023-09-15 | 上海伯镭智能科技有限公司 | 一种智能驾驶系统测试数据的智能存储方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112905125B (zh) | 2023-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112905125B (zh) | 一种基于计算机高精度计算的数据存储及读取方法 | |
CN107807982B (zh) | 一种异构数据库的一致性校验方法及装置 | |
CN111160617B (zh) | 一种电力日负荷预测方法及装置 | |
CN111596924B (zh) | 一种微服务划分方法和装置 | |
CN112994701A (zh) | 数据压缩方法、装置、电子设备及计算机可读介质 | |
Shah et al. | Optimum Featurs and Graph Isomorphism | |
CN115687038B (zh) | 一种基于大数据的硬盘故障预测系统及方法 | |
CN115687952A (zh) | 一种基于黎曼流形聚类的配电网线变关系辨识方法及装置 | |
CN116610731B (zh) | 一种大数据分布式存储方法、装置、电子设备及存储介质 | |
CN104718706A (zh) | 分段图像数据的格式识别 | |
CN108763379B (zh) | 一种数据压缩方法、数据解压缩方法、装置及电子设备 | |
CN116384949A (zh) | 一种基于数字化管理的智慧政务信息数据管理系统 | |
CN109753227B (zh) | 存储方法、装置、移动终端、服务器和可读存储介质 | |
CN109495113A (zh) | 一种脑电信号的压缩方法及装置 | |
CN115794964A (zh) | 一种数据验证方法、装置、计算机设备和存储介质 | |
CN115862653A (zh) | 音频去噪方法、装置、计算机设备和存储介质 | |
CN115358755A (zh) | 一种网格精细化分层的方法及装置 | |
CN110362580B (zh) | 一种bim建筑工程数据检索优化归类方法及其系统 | |
CN111552689B (zh) | 一种基金审计的去重指标计算方法、装置及设备 | |
CN118013409A (zh) | 一种终端设备的故障预测方法、装置、设备及存储介质 | |
CN112232025A (zh) | 一种字符串存储方法、装置及电子设备 | |
CN113539371B (zh) | 一种序列的编码方法及装置、可读存储介质 | |
CN110046159B (zh) | 银行账号存储方法、装置、计算机设备及存储介质 | |
CN117333272A (zh) | 一种银行业务数据智能化管理系统 | |
CN113239032A (zh) | 一种配电网配电设备运维监控方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |