CN115526800A - 数据处理方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及一种数据处理方法、装置、设备及介质。本发明通过基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，从而将统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。通过上述过程，可以基于不同备选移位位数下多个图像矩阵对应的残差数据的统计数据实现目标移位位数的确定，使得目标移位位数下多个图像矩阵对应的残差数据满足设定条件，以减小基于目标移位位数进行数据定点化处理时的误差，从而可以提高残影消除的效果。

Description

数据处理方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

微型发光二极管(Mini Light Emitting Diode，Mini LED)直显屏作为一种可以有效提升像素密度和显示效果的新型显示技术，在市场上的需求越来越大。但是，Mini LED直显屏长时间点亮同一图案会出现“残影”现象，为了消除“残影”，需要预先定制残影消除算法，以便通过现场可编程门阵列(Field－Programmable Gate Array，FPGA)芯片执行定制好的残影消除算法，以实现对 Mini LED直显屏所显示的残影的消除。

然而，FPGA芯片由于硬件本身的一些技术限制，无法进行浮点数运算，而残影消除算法中一般都会涉及到浮点数运算，因此，在通过FPGA芯片执行残影消除算法时，需要将算法执行过程中涉及到的浮点数转换为定点数，以便可以通过FPGA芯片实现残影消除算法的执行。

相关技术中，在将浮点数转换为定点数时，主流方法是采用移位的方式将浮点数扩展为更大的浮点数，然后对扩展之后的浮点数进行四舍五入或者截断，以实现浮点数到定点数的转换。

在上述实现过程中，由于在将浮点数转换为定点数的过程中进行了四舍五入或者截断，从而会导致定点化之后的计算结果与浮点数算法计算结果之间存在误差，而误差的大小会最终会影响残影消除的效果。因此，亟需一种数据处理方法，用于确定数据定点化过程中所使用的移位位数，以降低定点化过程中所形成的误差，进而提高残影消除效果。

发明内容

本发明提供一种数据处理方法、装置、设备及介质，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种数据处理方法，该方法包括：

基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，移位位数为量化比特数，残差数据基于对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵确定；

将统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。

在一些实施例中，基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，包括：

对于任一备选移位位数，将图像数据集中各个图像对应的图像矩阵分别代入第一关系数据，得到每个图像矩阵对应的残差数据，第一关系数据用于指示对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵之间的差值；

基于多个图像矩阵分别对应的残差数据，确定多个残差数据的平均值和方差；

确定多个残差数据的平均值和方差之和，作为多个图像矩阵对应的残差数据的统计数据。

在一些实施例中，该方法还包括：

对于任一图像，将图像对应的图像矩阵中的每个元素扩大目标倍数，以实现对图像矩阵的移位处理，得到图像矩阵对应的第一矩阵，目标倍数为2 的指数次幂，幂次为备选移位位数；

丢弃移位处理所得到的第一矩阵中每个元素的小数部分，以实现对第一矩阵的截位处理，得到图像矩阵对应的第二矩阵。

在一些实施例中，设定条件为在满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的情况下，目标移位位数对应统计数据的取值最小；

其中，第一截位数据为对图像矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果，第二截位数据为对图像矩阵经过移位处理后所得到的矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果。

在一些实施例中，备选移位位数位于预先设定的最小允许移位位数和最大允许移位位数之间；

该方法包括：

从最小允许移位位数开始进行遍历，在当前遍历到的备选移位位数满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的条件时，记录当前遍历到的备选移位位数下统计数据的取值；

在最大允许移位位数遍历完成的情况下，将所记录的统计数据中取值最小的统计数据对应的备选移位位数确定为目标移位位数。

在一些实施例中，对于图像数据集中的任一图像，图像对应的图像矩阵包括用于表示图像的第一图像矩阵和/或基于第一图像矩阵进行处理得到的第二图像矩阵。

在一些实施例中，该方法还包括：

对于图像数据集中的图像对应的图像处理过程所涉及的标量数据，基于标量数据的数据位数和预先设定的定点化位数，确定最大允许移位位数，其中，不超过最大允许移位位数的移位位数取值作为备选移位位数；

确定基于每个备选移位位数对标量数据进行定点化处理所得到的定点化数值，得到多个定点化数值；

将多个定点化数值中小数部分取值最小的定点化数值所对应的备选移位位数，确定为目标移位位数。

根据本发明实施例的第二方面，提供一种数据处理装置，该装置包括：

第一确定模块，用于基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，移位位数为量化比特数，残差数据基于对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵确定；

第二确定模块，用于将述统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。

在一些实施例中，第一确定模块，在用于基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据时，用于：

对于任一备选移位位数，将图像数据集中各个图像对应的图像矩阵分别代入第一关系数据，得到每个图像矩阵对应的残差数据，第一关系数据用于指示对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵之间的差值；

基于多个图像矩阵分别对应的残差数据，确定多个残差数据的平均值和方差；

确定多个残差数据的平均值和方差之和，作为多个图像矩阵对应的残差数据的统计数据。

在一些实施例中，该装置还包括：

移位处理模块，用于对于任一图像，将图像对应的图像矩阵中的每个元素扩大目标倍数，以实现对图像矩阵的移位处理，得到图像矩阵对应的第一矩阵，目标倍数为2的指数次幂，幂次为备选移位位数；

截位处理模块，用于丢弃移位处理所得到的第一矩阵中每个元素的小数部分，以实现对第一矩阵的截位处理，得到图像矩阵对应的第二矩阵。

在一些实施例中，设定条件为在满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的情况下，目标移位位数对应统计数据的取值最小；

其中，第一截位数据为对图像矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果，第二截位数据为对图像矩阵经过移位处理后所得到的矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果。

在一些实施例中，备选移位位数位于预先设定的最小允许移位位数和最大允许移位位数之间；

该装置还包括：

记录模块，用于从最小允许移位位数开始进行遍历，在当前遍历到的备选移位位数满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的条件时，记录当前遍历到的备选移位位数下统计数据的取值；

第二确定模块，还用于在最大允许移位位数遍历完成的情况下，将所记录的统计数据中取值最小的统计数据对应的备选移位位数确定为目标移位位数。

在一些实施例中，对于图像数据集中的任一图像，图像对应的图像矩阵包括用于表示图像的第一图像矩阵和/或基于第一图像矩阵进行处理得到的第二图像矩阵。

在一些实施例中，第二确定模块，还用于对于图像数据集中的图像对应的图像处理过程所涉及的标量数据，基于标量数据的数据位数和预先设定的定点化位数，确定最大允许移位位数，其中，不超过最大允许移位位数的移位位数取值作为备选移位位数；

第二确定模块，还用于确定基于每个备选移位位数对标量数据进行定点化处理所得到的定点化数值，得到多个定点化数值；

第二确定模块，还用于将多个定点化数值中小数部分取值最小的定点化数值所对应的备选移位位数，确定为目标移位位数。

根据本发明实施例的第三方面，提供一种计算设备，计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如上述第一方面以及第一方面的任一实施例所提供的数据处理方法所执行的操作。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有程序，程序被处理器执行如上述第一方面以及第一方面的任一实施例所提供的数据处理方法所执行的操作。

根据本发明实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述第一方面以及第一方面的任一实施例所提供的数据处理方法所执行的操作。

根据上述实施例可知，本发明通过基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，从而将统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。通过上述过程，可以基于不同备选移位位数下多个图像矩阵对应的残差数据的统计数据实现目标移位位数的确定，使得目标移位位数下多个图像矩阵对应的残差数据满足设定条件，以减小基于目标移位位数进行数据定点化处理时的误差，从而可以提高残影消除的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明根据一示例性实施例示出的一种数据处理方法的流程图；

图2是本发明根据一示例性实施例示出的一种目标移位位数的确定过程的流程图；

图3是本发明根据一示例性实施例示出的一种数据处理装置的框图；

图4是本发明根据一示例性实施例示出的一种计算设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

相关技术中，FPGA芯片作为一种可以通过现场编程实现任意电路功能的通用集成电路芯片，无需在出厂时为FPDA芯片设置特定的功能，而通过FPGA 专用电子设计自动化(Electronic Design Automation，EDA)软件现场对硬件进行编程，以实现用户需要的具体功能。而且，FPGA芯片可以进行实时流水线运算，以使数据处理过程可以达到较高的实时性。

基于FPGA芯片的上述特性，结合残影消除算法属于需要高度定制化的算法，且Mini LED直显屏显示数据量巨大，需要极快的处理速度的需求，采用 FPGA芯片来定制残影消除算法是较合适的实现方案。

然而，由于FPGA芯片在硬件本身和运算方式上的一些设置，FPGA芯片的寄存器只可以表示无符号整型数，而无法表示小数，所以在计算结果要求比较精确时，就需要做一些定点化处理，将浮点数转为定点数后再进行计算。

在通过FPGA芯片实现对Mini LED直显屏中所显示的残影进行消除时，需要算法人员编写用于进行残影消除的浮点数算法，再将浮点数算法转换为定点数算法，以便将定点数算法移植到FPGA芯片中，以实现通过FPGA芯片定制残影消除算法。而在将浮点数算法转换为定点数算法时，需要确定出进行数据定点化时所使用的移位位数，以便基于移位位数实现对浮点数数据的定点化处理。

为便于理解，首先对浮点数转换为定点数的一些知识进行介绍：

定点数也即是小数点位置固定的数据，浮点数也即是小数点位置不固定的数据，例如，对于1.35*2.7＝3.645以及1.35*20＝27这两个乘法运算，经过计算后小数点位置是不确定的，因此属于浮点数运算。

相关技术中，在将浮点数运算转换为定点数运算时，往往需要通过定点转换、定点数计算这两个过程。以浮点数运算为2.918*3.1415926＝9.1671672068 为例，可以通过如下过程实现浮点数运算到定点数运算的转换：

(1)定点转换

2.918*2¹²＝11952.168＝11952；

3.1415926*2¹²＝12867.8632896＝12868；

其中，12即为移位位数。

(2)定点数计算(本例中是定点数相乘)

11952*12868＝153798336。

通过上述过程，即把浮点数运算转换为了定点数运算，此外，还可以基于移位位数将定点数运算的结果还原为浮点数，仍以2.918*3.1415926＝ 9.1671672068的浮点数运算为例，转换为定点数计算所得到的结果为153798336，通过153798336/2²⁴＝9.167095184326171875，即可将结果转换回浮点数，并且转换得到的浮点数与直接进行浮点数运算所得到的计算结果差距(也即是量化误差)非常小。

但是，小数点的位置不同带来的量化误差不同，小数位数越多，量化误差越小，相应地，量化精度也就越高。

本发明提供了一种数据处理方法，用于提供一种带约束的数据定点化方案，以基于图像数据集中的图像以及预先编写好的残影消除算法实现目标移位位数的确定，以便后续通过FPGA芯片执行该残影消除算法的过程中，均可以沿用该目标移位位数，来实现浮点数与定点数之间的转换。

上述仅为对本发明应用场景的一种示例性说明，并不构成对本发明应用场景的限制，在更多可能的实现方式中，本发明所提供的数据处理方法还可以应用在其他涉及到浮点数与定点数转换的过程中，本发明对数据处理方法的具体应用场景不加以限定。

上述数据处理方法可以由计算设备执行，计算设备可以为终端设备，如台式计算机、便携式计算机、笔记本电脑、智能手机、平板电脑、智能手表等，或者，计算设备可以为服务器，如一台服务器、多台服务器、服务器集群、云计算平台等，本发明对计算设备的设备类型不加以限定。

在介绍了本发明的应用场景和实施环境之后，下面对本发明所提供的数据处理方法进行详细介绍。

参见图1，图1是本发明根据一示例性实施例示出的一种数据处理方法的流程图，如图1所示，该方法包括：

步骤101、基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，移位位数为量化比特数，残差数据基于对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵确定。

需要说明的是，图像数据集可以是CIFAR-10数据集、MNIST数据集、 Imagenet数据集、NLPR-LSCGB数据集等，或者，图像数据集可以是基于相关技术人员自行收集的图像所构建的数据集，本发明对图像数据集的具体类型以及图像数据集所包括的图像数量不加以限定。

其中，移位位数可以为对数据进行定点化时所使用的量化比特数，或者说，移位位数可以是基于2的指数次幂对数据进行定点化处理时的幂次。以对浮点数2.918进行定点化处理为例，2.918*2¹²＝11952.168＝11952，其中，12即为移位位数。

而备选移位位数可以由相关技术人员根据实际技术需求设置得到，例如，相关技术人员可以设置最小允许移位位数和最大允许移位位数，则大于等于最小允许移位位数且小于等于最大允许移位位数的正整数，均为备选移位位数。

需要说明的是，在确定最大允许移位位数时，可以根据一些通用的策略实现，例如，可以通过如下确定定点化最大bit数的策略实现最大允许移位位数的确定：

对于图像矩阵的定点化处理过程，图像矩阵中的元素值(像素点的像素值) 最大为255，其所占的最大整数bit位是8bit。但是在图像处理过程中，经过各种乘加操作后，其浮点数表示位数可以是32bit、64bit甚至更高的位数。因此在对处理过程中的图像数据进行定点化操作时，定点数的位数理论上可以是无限大的。

对于待量化的图像矩阵来说，定点化时向左移位的bit数越多，定点化后的值也越大，最终的计算结果也越精确。但是，定点化过程不能无限制对数据增加bit数，一方面，数据所占的bit数越多，进行存储和计算时所需的资源也越多，硬件处理速度也越慢；另一方面，定点化数太大没有必要。因为在图像处理过程中，进行计算的图像灰度值最大范围是0–255，对图像进行计算的结果即使精确到了小数点后很多位，最终也会被舍弃掉，因此无需对定点数进行太大的量化。

在实际应用过程中，FPGA对于数据的存储根据实际项目的不同会确定一个最大的数据位数，在数据存储和处理过程中，数据不能超过此最大位数，否则将造成溢出。

在设置了多个备选移位位移的情况下，即可确定每个备选移位位数下多个图像矩阵对应的残差数据的统计数据，从而可以基于所确定出的统计数据，确定满足设定条件时的统计数据对应的备选移位位数，以使以满足设定条件时的统计数据对应的备选移位位数对数据进行定点处理时，可以减少定点化误差。

步骤102、将统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。

通过本发明所提供的方案，可以基于不同备选移位位数下多个图像矩阵对应的残差数据的统计数据实现目标移位位数的确定，使得目标移位位数下多个图像矩阵对应的残差数据满足设定条件，以减小基于目标移位位数进行数据定点化处理时的误差，从而可以实现与浮点数算法近乎一致的残影消除效果。

在介绍了本发明的数据处理方法的基本实现过程之后，下面介绍本发明的各个可选实施例。

在一些实施例中，对于步骤101，在基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据时，可以通过如下步骤实现：

步骤1011、对于任一备选移位位数，将图像数据集中各个图像对应的图像矩阵分别代入第一关系数据，得到每个图像矩阵对应的残差数据，第一关系数据用于指示对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵之间的差值。

需要说明的是，对于图像数据集中的任一图像，该图像对应的图像矩阵可以包括用于表示该图像的第一图像矩阵和/或基于该第一图像矩阵进行处理得到的第二图像矩阵。

以残影消除过程为例，对于图像数据集中的任一图像，可以以矩阵(记为第一图像矩阵)的形式来表示该图像，以将图像转换为计算设备可以识别的数据形式，而计算设备可以通过执行残影消除算法，来对图像进行处理，以实现对Mini LED直显屏的残影消除，而在对图像进行处理的过程中，可能会涉及到对第一图像矩阵的卷积处理、四则运算处理等计算过程，通过这些过程，会得到与第一图像矩阵不同的至少一个第二图像矩阵，这些第二图像矩阵也可以作为图像数据集中的图像对应的图像矩阵。

需要说明的是，第一关系数据可以通过如下公式(1)表示：

sub(X)＝X*2^N-trunc(X*2^N) (1)

其中，sub(X)表示残差数据，X表示图像矩阵，N表示备选移位位数，trunc 表示对数据进行小数值丢弃(也即是截位处理)。

需要说明的是，图像矩阵X可以是任意高维向量、矩阵数据，对于图像而言，其对应的图像矩阵的维度一般为H×W×C，其中，H表示图像高度， W表示图像宽度，C表示图像通道数(一般为3)。

其中，X*2^N表示对图像矩阵进行移位处理，也即是，对于任一图像，将图像对应的图像矩阵中的每个元素扩大目标倍数，以实现对图像矩阵的移位处理，得到图像矩阵对应的第一矩阵。trunc(X*2^N)表示对第一矩阵进行截位处理，也即是，对于任一图像，丢弃移位处理所得到的第一矩阵中每个元素的小数部分，以实现对第一矩阵的截位处理，得到图像矩阵对应的第二矩阵。可选地，目标倍数可以为2的指数次幂，幂次可以为备选移位位数。

可选地，在确定出多个备选移位位数后，即可将每个备选移位位数代入上述公式(1)，以得到不同备选移位位数下用于确定残差数据的第一关系数据，以便可以通过第一关系数据，实现残差数据的确定。

对于任一备选移位位数下用于确定残差数据的第一关系数据，在通过第一关系数据确定残差数据时，可以将图像数据集中每个图像对应的至少一个图像矩阵分别代入到第一关系数据中，以得到每个图像矩阵对应的残差数据。

步骤1012、基于多个图像矩阵分别对应的残差数据，确定多个残差数据的平均值和方差。

在一种可能的实现方式中，可以向对多个图像矩阵分别对应的残差数据进行取平均运算，以得到多个残差数据的平均值，从而基于每个图像矩阵对应的残差数据以及已确定出的平均值，确定多个残差数据的方差。

步骤1013、确定多个残差数据的平均值和方差之和，作为多个图像矩阵对应的残差数据的统计数据。

在一种可能的实现方式中，可以通过如下公式(2)来确定多个图像矩阵对应的残差数据的统计数据：

f(x)＝mean(sub(X))+std(sub(X)) (2)

其中，f(x)表示统计数据，sub(X)表示残差数据，mean表示求平均运算， std表示求方差运算。

通过上述过程，即可确定出不同备选移位位数下多个残差数据对应的统计数据，以便可以通过步骤102，基于每个备选移位位数对应的统计数据，实现目标移位位数的确定。

需要说明的是，在进行优化求解的过程中，对于要求解的参数，往往需要设置一定的约束条件，以通过所设置的约束条件限制要求解的参数的取值，以在满足约束条件的取值中寻找最优解。

上文中已经提到了确定备选移位位数时，可以通过设置最小允许移位位数和最大允许移位位数的方式实现，这其实已经在无形之中形成了对于求解目标移位位数的一个约束条件，也即是，minNum<N<maxNum，其中，N表示要求解的目标移位位数，minNum表示最小允许移位位数，maxNum表示最大允许移位位数。

此外，还可以为目标移位位数的优化求解过程设置更多的约束条件，例如，可以将满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值设置为约束条件。其中，第一截位数据为对图像矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果，第二截位数据为对图像矩阵经过移位处理后所得到的矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果。

其中，设定数量阈值可以基于图像矩阵总数和设定比例确定。可选地，可以将图像矩阵总数与设定比例的乘积作为设定数量阈值，设定比例可以为任意取值，例如，设定比例可以为90％，相应地，设定数量阈值即为图像矩阵总数的90％，以图像矩阵总数为10000为例，设定数量阈值也即是9000。

可选地，可以通过如下公式(3)来表示上述约束条件中第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的内容：

trunc(X*maxNum)＝trunc(X*2^N*maxNum)>>N (3)

其中，trunc表示对数据进行小数值丢弃(也即是截位处理)，X表示图像矩阵，N表示备选移位位数，maxNum表示最大允许移位位数。

通过设置上述约束条件，可以保证通过对浮点数进行数据定点化处理所得到的定点数乘以最大数以后再移位回去，得到的值跟不进行定点化的结果进行截断的效果是一样的，以减小数据定点化处理过程的误差，从而可以提高数据处理过程的准确性。

通过设置约束条件，即可在满足上述约束条件的备选移位位数中进行目标移位位数的确定，以将满足上述约束条件的备选移位位数中对应统计数据最小的备选移位位数确定为目标移位位数。

也即是，对于步骤102，在将统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数时，该设定条件可以为在满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的情况下，目标移位位数对应统计数据的取值最小。

可选地，在通过上述步骤101至步骤102实现目标移位位数的确定时，可以先确定出每个备选移位位数对应的统计数据，再根据所设置的约束条件筛选满足约束条件的备选移位位数，从而从满足约束条件的备选移位位数中，确定出目标移位位数。

可选地，还可以按照从大到小的顺序对备选移位位数进行遍历，以直接获取到满足约束条件的备选移位位数对应的统计数据，从而基于满足约束条件的备选移位位数对应的统计数据，确定目标移位位数。也即是，在一种可能的实现方式中，可以通过如下过程实现目标移位位数的确定：

步骤一、从最小允许移位位数开始进行遍历，在当前遍历到的备选移位位数满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的条件时，记录当前遍历到的备选移位位数下统计数据的取值。

步骤二、在最大允许移位位数遍历完成的情况下，将所记录的统计数据中取值最小的统计数据对应的备选移位位数确定为目标移位位数。

参见图2，图2是本发明根据一示例性实施例示出的一种目标移位位数的确定过程的流程图，如图2所示，可以由相关技术人员根据实际技术需求预先设置最小允许移位位数(也即是minNum)和最大允许移位位数(也即是maxNum)，以便可以从N＝minNum开始向上遍历，对于每个N值，按照 a＝trunc(x*maxNum)和b＝trunc(x*2^N*maxNum)的公式计算a和b的取值，若a＝b且90％的数据满足a＝b>>N，则按照f(x)＝mean(sub(x))+std(sub(x))的公式计算该N值对应的统计数据(也即是f(x))，并记录计算得到的统计数据以及对应的N值，然后将N值加1，继续计算下一个N值对应的统计数据，以此类推，直至遍历到maxNum，即可得到多个满足约束条件的备选移位位数对应的统计数据，从而即可将统计数据最小时的N值作为目标移位位数。

上述过程主要介绍了确定矢量数据定点化时所使用的目标移位位数的过程，本发明还提供了一种用于确定标量数据定点化时所使用的目标移位位数的方式，需要说明的是，对于标量数据的定点化，只需选择所要舍弃的小数部分取值最小的移位位数作为目标移位位数，即可实现最终的定点化误差最小。

在一种可能的实现方式中，对于图像数据集中的图像对应的图像处理过程所涉及的标量数据，可以通过如下步骤实现目标移位位数的确定：

步骤一、基于标量数据的数据位数和预先设定的定点化位数，确定最大允许移位位数，其中，不超过最大允许移位位数的移位位数取值作为备选移位位数。

在一种可能的实现方式中，可以将定点化位数与数据位数的差值，确定为最大允许移位位数，也即是，最大允许移位位数＝定点化位数-数据位数。

例如，对于标量数据3.09的定点化过程，如果要对其进行13bit以内的定点化，预先设定的定点化位数也即是13，数据位数也即是3(3.09可以由 3bit数据进行表示)，则最大允许移位位数也即是10。

步骤二、确定基于每个备选移位位数对标量数据进行定点化处理所得到的定点化数值，得到多个定点化数值。

在一种可能的实现方式中，可以从移位位数为0开始向上遍历，直至遍历到最大允许移位位数，以得到每个备选移位位数所对应的定点化数值。

仍以标量数据3.09的定点化过程为例，遍历备选移位位数所得到的结果可以参见如下表1：

表1

移位位数	数据值
		0	3.09
1	6.18
		2	12.36
3	24.72
		4	49.44
5	98.88
		6	197.76
7	395.52
		8	791.04
9	1582.08
		10	3164.16

上表1中展示了从移位位数为0到移位位数为10(也即是最大允许移位位数)之间各个备选移位位数对应的定点化数值。

步骤三、将多个定点化数值中小数部分取值最小的定点化数值所对应的备选移位位数，确定为目标移位位数。

仍以标量数据3.09的定点化过程为例，如上表1所示，发现备选移位位数为8(也即是移位8bit后)所形成的数791.04中，小数部分0.04为多个定点化数值的小数部分最小的，所以可以将备选移位位数8确定为目标移位位数。

通过本发明所提供的定点化方案，可以求解出定点化误差最小的目标移位位数，利用此目标移位位数对数据进行定点化，可以得到定点化误差最小的高维数据定点化值，对此高维定点化数据进行运算后可以保证在固定的定点化位数内误差的最小化。

另外，需要说明的是，在利用此目标移位位数对数据进行定点化的过程中，为了尽量减小计算误差，在定点化计算过程中，需要注意如下问题：

1、确定相乘最大数

定点化后的数往往需要进行一些相乘或者相加的操作，与定点化数进行运算的数的大小会形成不一样的误差。因此为了保证定点化以后的数值与其他数值进行运算以后的误差不会对最终的算法结果产生影响，需要在选择定点化位数的时候考虑与之进行运算的数值的最大值，如果最大值经过运算再移位回浮点数，其结果与直接基于浮点数进行运算所得到的结果之间的误差在可以接受的范围诶，那么此时的定点化位数是可以接受的。

2、定点化边界值映射

在软件仿真定点化时，常遇到的一个问题是设定某个数值是用Nbit表示，但是实际这个数值并不能达到Nbit表示的最大值。在浮点运算中，需要求这个数关于1的补数的时候是用1减去这个数，但是在定点计算中，将1进行定点化后减去这个数的定点数的时候，由于定点数的最大值没能达到Nbit所能表示的最大值，所以求出的补数偏大。

所以，在设定某个数值用Nbit表示的时候，需要映射这个数的最大值到Nbit 所能表示的最大值。

本发明采用的最优化定点化方法可以应用于任意的高维数据定点化过程中，降低定点化带来的误差，并有效提高资源利用率，提高了FPGA实现残影校正算法过程中的资源利用，为Mini LED直显屏残影校正整体解决方案降低了成本。

与前述方法的实施例相对应，本发明还提供了相应的数据处理装置及其所应用的计算设备的实施例。

如图3所示，图3是本发明根据一示例性实施例示出的一种数据处理装置的框图，该装置包括：

第一确定模块301，用于基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，移位位数为量化比特数，残差数据基于对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵确定；

第二确定模块302，用于将述统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。

在一些实施例中，第一确定模块301，在用于基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据时，用于：

对于任一备选移位位数，将图像数据集中各个图像对应的图像矩阵分别代入第一关系数据，得到每个图像矩阵对应的残差数据，第一关系数据用于指示对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵之间的差值；

基于多个图像矩阵分别对应的残差数据，确定多个残差数据的平均值和方差；

确定多个残差数据的平均值和方差之和，作为多个图像矩阵对应的残差数据的统计数据。

在一些实施例中，该装置还包括：

移位处理模块，用于对于任一图像，将图像对应的图像矩阵中的每个元素扩大目标倍数，以实现对图像矩阵的移位处理，得到图像矩阵对应的第一矩阵，目标倍数为2的指数次幂，幂次为备选移位位数；

截位处理模块，用于丢弃移位处理所得到的第一矩阵中每个元素的小数部分，以实现对第一矩阵的截位处理，得到图像矩阵对应的第二矩阵。

在一些实施例中，设定条件为在满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的情况下，目标移位位数对应统计数据的取值最小；

其中，第一截位数据为对图像矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果，第二截位数据为对图像矩阵经过移位处理后所得到的矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果。

在一些实施例中，备选移位位数位于预先设定的最小允许移位位数和最大允许移位位数之间；

该装置还包括：

记录模块，用于从最小允许移位位数开始进行遍历，在当前遍历到的备选移位位数满足第一截位数据与第二截位数据相等且第一截位数据与第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的条件时，记录当前遍历到的备选移位位数下统计数据的取值；

第二确定模块302，还用于在最大允许移位位数遍历完成的情况下，将所记录的统计数据中取值最小的统计数据对应的备选移位位数确定为目标移位位数。

在一些实施例中，对于图像数据集中的任一图像，图像对应的图像矩阵包括用于表示图像的第一图像矩阵和/或基于第一图像矩阵进行处理得到的第二图像矩阵。

在一些实施例中，第二确定模块302，还用于对于图像数据集中的图像对应的图像处理过程所涉及的标量数据，基于标量数据的数据位数和预先设定的定点化位数，确定最大允许移位位数，其中，不超过最大允许移位位数的移位位数取值作为备选移位位数；

第二确定模块302，还用于确定基于每个备选移位位数对标量数据进行定点化处理所得到的定点化数值，得到多个定点化数值；

第二确定模块302，还用于将多个定点化数值中小数部分取值最小的定点化数值所对应的备选移位位数，确定为目标移位位数。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明还提供了一种计算设备，参见图4，图4是本发明根据一示例性实施例示出的一种计算设备的结构示意图。如图4所示，计算设备包括处理器410、存储器420和网络接口430，存储器420用于存储可在处理器410上运行的计算机指令，处理器410用于在执行计算机指令时实现本发明任一实施例所提供的数据处理方法，网络接口430用于实现输入输出功能。在更多可能的实现方式中，计算设备还可以包括其他硬件，本发明对此不做限定。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质可以是多种形式，比如，在不同的例子中，计算机可读存储介质可以是：RAM (Random Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。特殊的，计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明任一实施例所提供的数据处理方法。

本发明还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本发明任一实施例所提供的数据处理方法。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、装置、计算设备、计算机可读存储介质或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算设备所对应的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在本发明的范围内。在一些情况下，在本发明中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如现场可编程门阵列(Field ProgrammableGate Array，FPGA)或专用集成电路(Application Specific Integrated Circuit，ASIC)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PersonalDigital Assistant，PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统 (GlobalPositioning System，GPS)接收机、或例如通用串行总线(Universal Serial Bus，USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、 EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM 和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在本发明的范围以内。在某些情况下，本发明中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。也即是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

以上所述仅为本说明书的可选实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，所述移位位数为量化比特数，所述残差数据基于对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵确定；

将所述统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。

2.根据权利要求1所述的方法，其特征在于，所述基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，包括：

对于任一备选移位位数，将所述图像数据集中各个图像对应的图像矩阵分别代入第一关系数据，得到每个图像矩阵对应的残差数据，所述第一关系数据用于指示对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵之间的差值；

基于多个图像矩阵分别对应的残差数据，确定多个残差数据的平均值和方差；

确定所述多个残差数据的平均值和方差之和，作为所述多个图像矩阵对应的残差数据的统计数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对于任一图像，将所述图像对应的图像矩阵中的每个元素扩大目标倍数，以实现对所述图像矩阵的移位处理，得到所述图像矩阵对应的第一矩阵，所述目标倍数为2的指数次幂，幂次为所述备选移位位数；

丢弃移位处理所得到的第一矩阵中每个元素的小数部分，以实现对第一矩阵的截位处理，得到所述图像矩阵对应的第二矩阵。

4.根据权利要求1所述的方法，其特征在于，所述设定条件为在满足第一截位数据与第二截位数据相等且所述第一截位数据与所述第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的情况下，所述目标移位位数对应统计数据的取值最小；

其中，所述第一截位数据为对所述图像矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果，所述第二截位数据为对所述图像矩阵经过移位处理后所得到的矩阵与预先设定的最大允许移位位数的乘积进行截位处理所得到的结果。

5.根据权利要求4所述的方法，其特征在于，所述备选移位位数位于预先设定的最小允许移位位数和最大允许移位位数之间；

所述方法包括：

从所述最小允许移位位数开始进行遍历，在当前遍历到的备选移位位数满足所述第一截位数据与所述第二截位数据相等且所述第一截位数据与所述第二截位数据均大于备选移位位数的图像矩阵的数量大于设定数量阈值的条件时，记录当前遍历到的备选移位位数下所述统计数据的取值；

在最大允许移位位数遍历完成的情况下，将所记录的统计数据中取值最小的统计数据对应的备选移位位数确定为所述目标移位位数。

6.根据权利要求1所述的方法，其特征在于，对于所述图像数据集中的任一图像，所述图像对应的图像矩阵包括用于表示所述图像的第一图像矩阵和/或基于所述第一图像矩阵进行处理得到的第二图像矩阵。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对于所述图像数据集中的图像对应的图像处理过程所涉及的标量数据，基于所述标量数据的数据位数和预先设定的定点化位数，确定最大允许移位位数，其中，不超过所述最大允许移位位数的移位位数取值作为备选移位位数；

确定基于每个备选移位位数对所述标量数据进行定点化处理所得到的定点化数值，得到多个定点化数值；

将所述多个定点化数值中小数部分取值最小的定点化数值所对应的备选移位位数，确定为目标移位位数。

8.一种数据处理装置，其特征在于，所述装置包括：

第一确定模块，用于基于图像数据集中各个图像对应的图像矩阵，确定不同备选移位位数下各个图像矩阵对应的残差数据的统计数据，所述移位位数为量化比特数，所述残差数据基于对图像矩阵进行移位处理所得到的第一矩阵以及对第一矩阵进行截位处理所得到的第二矩阵确定；

第二确定模块，用于将所述统计数据满足设定条件时所对应的备选移位位数，确定为在进行数据定点化时所使用的目标移位位数。

9.一种计算设备，其特征在于，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据处理方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时，实现如权利要求1至7中任一项所述的数据处理方法所执行的操作。

Images