CN116010423A - 数据库的精确数据处理方法、存储介质与计算机设备 - Google Patents

Abstract

本发明提供了一种数据库的精确数据处理方法、存储介质与计算机设备。其中上述方法包括：获取作为精确数据类型进行存储的数据字符串；统计数据字符串的数字位数；根据数字位数确定数字表现形式；按照数字表现形式对数据字符串进行转换，得到转换数字值；在数据库的精确数据存储结构的数字区域存储转换数字值。通过这样的方法，可以在数据库中智能地区分出小数值的精确数字类型，并将其转换为计算速度更快的数据类型进行存储，提升数据库对应此类数据的计算速度，提升数据库的性能。

Description

数据库的精确数据处理方法、存储介质与计算机设备

技术领域

本发明涉及数据库技术，特别是涉及一种数据库的精确数据处理方法、存储介质与计算机设备。

背景技术

对于类似金融场景，动辄存储巨大的数值，以及对数据精度的高要求，哪怕再小的精度损失都是不可接受的。市面上各式各样的数据库基本都包含精确数据类型(例如Numeric类型)，通过字符串来精确存储每一位数，做到浮点数都做不到的精确计算。

精确数据类型在数据库中一般采用结构化方式进行存储，例如对于Numeric数据类型，分为weight(权重),dscale(对数据的标记，包括正负及数据宽度)及_n_data(数字区域)部分，数值中所有位的数字按照结构化的方式存储在数组中。对于精确数据类型(例如Numeric数据类型)的计算方式一般分为两种：第一种先读取数字数组，随后读取权重，根据权重值进行数值的转换及计算，接着对转换后的数值进行计算；第二种是利用链式存储结构表示超长数值，进而实现超高精度的数值计算。

在现有的Numeric实现方案中，能够实现超大精度的数值计算，但是在小数值计算性能上没有整型与浮点类型高。对于小数值的计算，均采用与超大数值相同的存储方式及计算方式。对于小数值的Numeric数字类型的计算速度有些过于繁琐。

发明内容

本发明的一个目的是能够合理存储精确数据类型的数据。

本发明一个进一步的目的是提升小数值精确数据类型的计算速度。

本发明一个进一步的目的是智能地选择数据最适合计算的数字类型。

特别地，本发明提供了一种数据库的精确数据处理方法，其包括：

获取作为精确数据类型进行存储的数据字符串；

统计数据字符串的数字位数；

根据数字位数确定数字表现形式；

按照数字表现形式对数据字符串进行转换，得到转换数字值；

在数据库的精确数据存储结构的数字区域存储转换数字值。

可选地，根据数字位数确定数字表现形式的步骤包括：

将数字位数与预设的数值范围区间进行匹配，每个数值范围区间与一种数字表现形式相对应；

确定与数字位数所在数值范围区间对应的数字表现形式。

可选地，在数据库的精确数据存储结构的数字区域存储转换数字值的步骤之前包括：

在精确数据存储结构的标志位中写入与数字表现形式对应的标识值。

可选地，获取作为精确数据类型进行存储的数据字符串的步骤之后还包括：

判断数据字符串是否合规；

若是，继续执行后续操作；

若否，则输出报错提示信息，结束操作。

可选地，在数据库的精确数据存储结构的数字区域存储转换数字值的步骤之后包括：

获取计算数据库中存储的精确数据的触发事件；

获取数据库中待计算的精确数据；

根据精确数据中的标识值在精确数据中读取有效数据；

对有效数据进行计算，得到计算结果数据；

将计算结果数据存储至数据库中。

可选地，获取数据库中待计算的精确数据的步骤包括：

读取数据库磁盘中的精确数据的磁盘表示形式；

将磁盘表示形式的精确数据转换为内存形式作为待计算的精确数据。

可选地，根据精确数据中的标识值在精确数据中读取有效数据的步骤包括：

根据标识值确定精确数据的存储方式；

根据存储方式读取精确数据存储结构的数字区域中对应字节位数的数据内容作为有效计算数据。

可选地，将计算结果数据存储至数据库中的步骤包括：

将计算结果数据作为数据字符串，以精确数字类型进行存储。

根据本发明的另一个方面，还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种的数据库的精确数据处理方法。

根据本发明的又一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现上述任一种的数据库的精确数据处理方法。

本发明的数据库的精确数据处理方法，对于精确数据类型的数字字符串，根据该数字字符串的数字位数，匹配预设的不同数值范围区间，从而获取对应的数值范围区间内的数字表现形式；随后根据该表现形式对数据字符串进行转换，将转换后的数据存储在数据库的精确数据存储结构的数字区域。通过这样的方法，能够在数据库存储数据时，面对精确数据类型的数据时，自动根据精确数据类型的数据位数将其转换为计算速度更快的数据类型进行存储，提升数据库对应此类数据的计算速度，提升数据库的性能。

进一步地，本发明的数据库的精确数据处理方法，在获取到计算数据库中存储的精确数据的触发事件之后，会获取数据库中待计算的精确数据；根据精确数据中的标识值找到数据存储的数字区域，提取对应的字节位数的有效数据；对此有效数据进行计算，得到计算结果数据；将计算结果数据再次通过相同的存储方式存储至数据库中。通过这样的方法，能够在计算小数值精确数据类型时，极大的提升计算速度，提升数据库的性能。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是现有技术中的精确数据类型的数据存储结构示意图；

图2是根据本发明一个实施例的数据库的精确数据处理方法的流程示意图；

图3是根据本发明一个实施例的数据库的精确数据处理方法的数据库处理数据的流程示意图；

图4是根据本发明一个实施例的数据库的精确数据处理方法的数据库存储精确数据的示意图；

图5是根据本发明一个实施例的数据库的精确数据处理方法的数据库计算精确数据的流程示意图；

图6是根据本发明一个实施例的数据库的精确数据处理方法中机器可读存储介质的示意图；以及

图7是根据本发明一个实施例的数据库的精确数据处理方法中计算机设备的示意图。

具体实施方式

本领域技术人员应当理解的是，下文所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，该一部分实施例旨在用于解释本发明的技术原理，并非用于限制本发明的保护范围。基于本发明提供的实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本发明的保护范围之内。

在数据库中，对于精确数据类型，一般按照结构化方式进行存储，例如Numeric数字类型，分为weight(权重),dscale(对数据的标记，包括正负及数据宽度)及_n_data(数字区域)部分，数值中所有位的数字按照结构化的方式存储在数组中。对于Numeric数据类型的计算方式一般分为两种：第一种先读取数字数组，随后读取权重，根据权重值进行数值的转换及计算，接着对转换后的数值进行计算；第二种是利用链式存储结构表示超长数值，进而实现超高精度的数值计算。

在现有的Numeric实现方案中，能够实现超大精度的数值计算，但是在小数值计算性能上没有整型与浮点类型高。对于小数值的计算，均采用与超大数值相同的存储方式及计算方式。对于小数值的Numeric数字类型的计算速度有些过于繁琐。

其中图1是现有技术中的精确数据类型的数据存储结构示意图。

需要说明的是，本示意图中Numeric数据类型是为了更好地说明精确数据类型的数据存储结构的一种具体示例，其包括：

Numeric数据类型101中包括了NumericData 102(Numeric的数据内容)；NumericData 102其内储存有变长数组头11和格式字段12；其中格式字段12中uint16 n_header 103表示16位无符号整型的头；还包含了NumericLong 104和NumericShort 105两种存储方式。

其中，NumericLong 104是对长数据进行存储的一种方式，其存储结构包括Uint16n_sign_dscale 13、Int16 n_weight 14、NumericDigit n_data 15。其中Uint16 n_sign_dscale 13表示用16位无符号整型来储存头信息，其中2位表示数字符号，剩余14位表示小数的有效位数；Int16 n_weight 14表示数字的权重；NumericDigit n_data 15表示弹性数组，用来存储数值字符串。

NumericShort 105是对短数据进行存储的一种方式，其存储结构包括uint16n_header 16、NumericDigit n_data 17。uint16 n_header 16表示用16位无符号整型来储存头信息；NumericDigit n_data 17用来存储数值字符串。

通过上述几种存储方式对Numeric数据类型进行存储。

本方法对精确数据类型的存储进行了改进，图2是根据本发明一个实施例的数据库的精确数据处理方法的流程示意图。

为了更加清楚地说明本方法，提供一种具体的示例如Numeric数据类型，本领域专业人员可以用相同的逻辑处理其他精确数据类型。

步骤S201，获取作为精确数据类型进行存储的数据字符串。即获取输入数据库中准备以Numeric数据类型进行存储的数据字符串。同时在本步骤之前还包括：判断输入的数据字符串是否合规；若是，继续执行后续操作；若否，则输出报错提示信息，结束操作。

步骤S202，统计数据字符串的数字位数。

步骤S203，根据数字位数确定数字表现形式。本步骤包括根据步骤S202得到的数字位数与预设的数值范围区间进行匹配，每个数值范围区间都与一种数字表现形式相对应；确定与数字位数所在数值范围区间对应的数字表现形式。一种可选的具体示例如：预先设定数字位数在0-64位的数，采用int64值直接封装的方式进行数值存储；对于65～128位的数值，采用int128值直接封装的方式进行数值的存储，对于大于128位值的方式，采用标准Numeric处理方式进行处理。本领域专业人员可以根据实际情况选择对应的数值范围并确定每一数值范围对应的封装方式。

步骤S204，按照数字表现形式对数据字符串进行转换，得到转换数字值。

步骤S205，在数据库的精确数据存储结构的数字区域存储转换数字值。在本步骤之前还包括：在精确数据存储结构的标志位中写入与该数字表现形式对应标识值。

对于本步骤一种具体的示例如：

对于数字位数在0～64区间的数字，设置Numeric结构头中的标志位为01,表示原始int64存储方式，随后将数字值转换为int64表示形式，并按照8字节存储于Numeric结构的数字区域。

对于数字位数在65～128区间的数字，设置Numeric结构头中的标志位为10，表示原始int128存储方式，数字值转换为int128表示形式，并按照16字节存储于Numeric结构的数字区域。

采用Numeric序列化方法把数值的内存表示形式转化为磁盘表示形式，并存储于数据表中。

本领域专业人员可以根据此方法选择其他的分类方式处理精确数据类型。

通过这种方法可以在输入的数据想要以Numeric精确数据类型进行存储小数值的数据时，通过匹配预设的数值位数范围找到对应的转换方法，将输入数据进行转换之后，在Numeric数据类型的结构头中设置对应的标识值，并将转换后的数据存入Numeric数据类型的数据域中；接着按照Numeric数据类型的序列化方法将数据的内存表示形式转化内磁盘表示形式，并存储于数据表中。这样可以将原本是Numeric精确数据类型的数据转换为计算速度更快的数据类型存储在数据库中。

图3是根据本发明一个实施例的数据库的精确数据处理方法的数据库处理数据的流程示意图。

为了更加清楚地说明本方法，提供一种具体的示例如Numeric数据类型，本领域专业人员可以用相同的逻辑处理其他精确数据类型。该方法一般性地包括以下步骤：

步骤S301，获取输入模块31的输入数据，并将数据存储至Numeric存储模块32中。本步骤包括：获取到输入模块31的输入数据之后，根据输入数据的数字位数与预设的数值范围区间进行匹配，根据匹配结果选择对应的数字表现形式，即确定以何种数据类型进行存储该输入数据；随后在Numeric的存储结构头中写入对应的标识值，并将转换后的数据存入Numeric的存储结构的数据区之中。

步骤S302，Numeric存储模块32将待计算数据取出发给解析模块33中解析，得到解析后的数据。本步骤包括：在数据库获取到计算数据库中存储的精确数据的触发事件时，Numeric存储模块32开始获取数据库中待计算的精确数据，随后将该精确数据发送给解析模块33，解析模块33根据精确数据的结构头中的标识值确定该精确数据所转换的数据类型；随后在精确数据的结构的数据区中读取有效数据。

步骤S303，解析模块33将解析后的数据传入Numeric计算模块34进行计算。

步骤S304，Numeric计算模块34将计算完毕的数据发送至Numeric存储模块32中进行数据格式转换，并按照步骤S301的存储方式进行存储。

步骤S305，Numeric存储模块32在获取到需要输出数据的触发事件时，将数据转换为原本的数据格式发送至输出模块35，随后输出模块35执行结果输出36的操作。

通过此流程，可以在数据库内部智能地判断出小数值的精确数据类型，并将该数据转换为更适合运算数据类型，由此来提高数据库计算精确数据类型的执行速度，提升数据库的效率。

图4是根据本发明一个实施例的数据库的精确数据处理方法的数据库存储精确数据的示意图。

为了更加清楚地说明本方法，提供一种具体的示例如Numeric数据类型，本领域专业人员可以用相同的逻辑处理其他精确数据类型。包括：

Numeric 401在数据库中有两种存储形式，NumericVar内存存储401和NumericData磁盘存储405。NumericVar内存存储401是Numeric数据类型在内存中保存的存储格式，在本方案的具体示例中，NumericVar内存存储401中新增了NumericShort int64值403和NumericShort int128值404，分别表示对于小数值的Numeric数据，当数值位数在0-64时则将该数据转换为int64的数据类型存储至NumericShort的存储结构中；当数值位数在65-128时则将该数据转换为int128的数据类型存储至NumericShort的存储结构中。

NumericData磁盘存储405是Numeric数据类型在磁盘中保存的一种存储格式。NumericLong 406是存储Numeric长数据类型的一种存储方式；NumericShort 407是存储Numeric短数据类型的一种存储方式，其包括长度标记408和n_data数据区域409。其中，在本方案的具体示例中，n_data数据区域409中存储了三种形式的数据，包括int64二进制410、int128二进制411和长Numeric数值412。

图5是根据本发明一个实施例的数据库的精确数据处理方法的数据库计算精确数据的流程示意图。

为了更加清楚地说明本方法，提供一种具体的示例如Numeric数据类型，本领域专业人员可以用相同的逻辑处理其他精确数据类型。该方法一般性地包括以下步骤：

步骤S501，读取Numeric存储类型标记。本步骤包括：获取计算数据库中存储的精确数据的触发事件；随后获取数据库中待计算的精确数据；读取精确数据中标识位置的标记。

步骤S502，判断该标记是否为int64。

步骤S503，在步骤S502判断为是的情况下，读取该精确数据存储结构的数据区中指定位置偏移8字节的数据，即64位的数据。

步骤S504，在步骤S502判断为否的情况下，判断该标记是否为int128。

步骤S505，在步骤S504判断为是的情况下，读取该精确数据存储结构的数据区中指定位置偏移16字节的数据，即128位的数据

步骤S506，在步骤S504判断为否的情况下，则按照标准Numeric格式获取数据，即正常获取该精确数据存储结构的数据区中的全部数据。

步骤S507，判断读取出的值是否为int64数据类型的值。

步骤S508，在步骤S507判断为是的情况下，按照int64类型参与计算。

步骤S509，在步骤S507判断为否的情况下，判断读取出的值是否为int128数据类型的值。

步骤S510，在步骤S509判断为是的情况下，按照int128类型参与计算。

步骤S511，在步骤S509判断为否的情况下，采用标准Numeric计算方式参与计算。

通过上述方法，能够在计算数据库中数据时，对于精确数据类型的数据根据其标识提取对应的数据，随后根据数据的不同类型选择不同方式的计算方法，由此将小数值的精确数据类型的值转换为其他更加便于计算的数据类型，依次来提高数据库的计算速度。通过实验验证，采用此方案后，对于int64与numeric的计算，能够提升20％～30％的性能；对于int128与numeric的计算，能够提升15％～20％的性能。

本实施还提供了一种机器可读存储介质和计算机设备。图6是根据本发明一个实施例的机器可读存储介质601的示意图，图7是根据本发明一个实施例的计算机设备703的示意图。

机器可读存储介质601其上存储有机器可执行程序602，机器可执行程序602被处理器执行时实现上述任一实施例的数据库的精确数据处理方法。

计算机设备703可以包括存储器701、处理器702及存储在存储器701上并在处理器702上运行的机器可执行程序602，并且处理器702执行机器可执行程序602时实现上述任一实施例的数据库的精确数据处理方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，数据计算模块，可以具体实现在任何机器可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本实施例的描述而言，机器可读存储介质601可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。机器可读存储介质601的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，机器可读存储介质601甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

计算机设备703可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备703可以是云计算节点。计算机设备703可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备703可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

计算机设备703可以包括适于执行存储的指令的处理器702、在操作期间为所述指令的操作提供临时存储空间的存储器701。处理器702可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器701可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

处理器702可以通过系统互连(例如PCI、PCI-Express等)连接到适于将计算机设备703连接到一个或多个I/O设备(输入/输出设备)的I/O接口(输入/输出接口)。I/O设备可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等等。I/O设备可以是计算机设备703的内置组件，或者可以是外部连接到计算设备的设备。

处理器702也可以通过系统互连链接到适于将计算机设备703连接到显示设备的显示接口。显示设备可以包括作为计算机设备703的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备703的计算机监视器、电视机或投影仪等。此外，网络接口控制器(network interface controller，NIC)可以适于通过系统互连将计算机设备703连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN))、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。

本实施例提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种数据库的精确数据处理方法，包括：

获取作为精确数据类型进行存储的数据字符串；

统计所述数据字符串的数字位数；

根据所述数字位数确定数字表现形式；

按照所述数字表现形式对所述数据字符串进行转换，得到转换数字值；

在所述数据库的精确数据存储结构的数字区域存储所述转换数字值。

2.根据权利要求1所述的数据库的精确数据处理方法，其中，

所述根据所述数字位数确定数字表现形式的步骤包括：

将所述数字位数与预设的数值范围区间进行匹配，每个所述数值范围区间与一种数字表现形式相对应；

确定与所述数字位数所在数值范围区间对应的所述数字表现形式。

3.根据权利要求1所述的数据库的精确数据处理方法，其中，

所述在所述数据库的精确数据存储结构的数字区域存储所述转换数字值的步骤之前包括：

在精确数据存储结构的标志位中写入与所述数字表现形式对应的标识值。

4.根据权利要求1所述的数据库的精确数据处理方法，其中，

所述获取作为精确数据类型进行存储的数据字符串的步骤之后还包括：

判断所述数据字符串是否合规；

若是，继续执行后续操作；

若否，则输出报错提示信息，结束操作。

5.根据权利要求1所述的数据库的精确数据处理方法，其中，

所述在所述数据库的精确数据存储结构的数字区域存储所述转换数字值的步骤之后包括：

获取计算数据库中存储的精确数据的触发事件；

获取数据库中待计算的精确数据；

根据所述精确数据中的标识值在所述精确数据中读取有效数据；

对所述有效数据进行计算，得到计算结果数据；

将所述计算结果数据存储至所述数据库中。

6.根据权利要求5所述的数据库的精确数据处理方法，其中，

所述获取数据库中待计算的精确数据的步骤包括：

读取所述数据库磁盘中的所述精确数据的磁盘表示形式；

将所述磁盘表示形式的精确数据转换为内存形式作为所述待计算的精确数据。

7.根据权利要求5所述的数据库的精确数据处理方法，其中，

所述根据所述精确数据中的所述标识值在所述精确数据中读取有效数据的步骤包括：

根据所述标识值确定所述精确数据的存储方式；

根据所述存储方式读取所述精确数据存储结构的数字区域中对应字节位数的数据内容作为有效计算数据。

8.根据权利要求5所述的数据库的精确数据处理方法，其中，

所述将所述计算结果数据存储至所述数据库中的步骤包括：

将所述计算结果数据作为所述数据字符串，以所述精确数字类型进行存储。

9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的数据库的精确数据处理方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的数据库的精确数据处理方法。

Images