CN118152793A - 数据处理方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种数据处理方法、装置、电子设备以及存储介质。该数据处理方法包括：获取N个待处理数据对象；对N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；从N个处理后数据对象中，选择出M个特定数据对象，M小于N；根据M个特定数据对象的关键特征数据，表征N个待处理数据对象。

Description

数据处理方法、装置、电子设备以及存储介质

技术领域

本公开涉及数据处理技术领域，具体可以涉及供应链管理智能化技术领域，具体涉及一种数据处理方法、装置、设备及可读介质。

背景技术

由于数据的多维度特性，会导致数据具有复杂的结构。在实际的应用中，结构复杂的数据对应会涉及较大的计算量，计算效率低，可能会限制实际应用。因此，如何以结构简单的数据表达结构复杂的数据显得尤为关键。

发明内容

为了解决上述问题，第一方面，本公开实施例提供一种数据处理方法，包括：获取N个待处理数据对象；对N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；从N个处理后数据对象中，选择出M个特定数据对象，其中，M小于N；根据M个特定数据对象的关键特征数据，表征N个待处理数据对象。

根据本公开的实施例，对N个待处理数据对象进行数据压缩处理，包括：获取每个待处理数据对象的至少一个特征数据；从至少一个特征数据中选取至少一个关键特征数据。

根据本公开的实施例，从至少一个特征数据中选取至少一个关键特征数据，包括：确定至少一个特征数据包含的累积信息量，选取累积信息量达到第一预设阈值的至少一个特征数据作为关键特征数据。

根据本公开的实施例，对待处理数据对象进行数据压缩处理，还包括：对于每个待处理数据对象，根据其对应的至少一个关键数据特征，建立待处理数据对象的一个数据压缩表达式；其中，数据压缩表达式由至少一个关键特征数据、每个关键特征数据对应特征项系数以及N个待处理数据均值组成；对于每个待处理数据对象，确定其对应的数据压缩表达式中的所有特征项系数。

根据本公开的实施例，对于每个待处理数据对象，确定其对应的数据压缩表达式中的所有特征项系数，包括：对一个特定数据压缩表达式中的一个特征项系数，以特定变化值在特征项系数取值范围内穷举特征项系数取值，基于穷举的所述特征项系数取值，确定一个特定数据压缩表达式的值；基于一个特定数据压缩表达式的值及齐套计算公式，确定最大齐套数，取使得齐套数最大的特征项系数取值作为该特征项系数值；如果一个特定数据压缩表达式中所有特征项系数值都被确定，则得到一个对应的确定特征项系数的数据压缩表达式；对于N个待处理数据对象，获取N个确定特征项系数的数据压缩表达式。

根据本公开的实施例，从N个处理后数据对象中，选择出M个特定数据对象，包括：对于一个确定特征项系数的数据压缩表达式，基于齐套计算公式计算齐套数，得到第一齐套数、第二齐套数；如果当第一齐套数、第二齐套数之间的差值小于第二预设阈值，则基于第一齐套数、第二齐套数之间的数量关系，确定M个确定特征项系数的数据压缩表达式对应的待处理数据对象所能达到的最优齐套数；基于最优齐套数从N个处理后数据对象中确定一个特定的数据对象。

根据本公开的实施例，根据M个特定数据对象的关键特征数据l表征N个待处理数据对象，包括：根据M个特定的数据对象对应的确定特征项系数的数据压缩表达式中关键特征数据、各项系数，构建N个待处理数据对象的数据压缩表达式。

第二方面，本公开实施例提供一种数据对象处理装置，包括：获取模块，用于获取N个待处理数据对象；处理模块，用于对N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；选择模块，用于从N个处理后数据对象中，选择出M个特定数据对象，M小于N；表征模块，用于根据M个特定数据对象的关键特征数据，表征N个待处理数据对象。

第三方面，本公开实施例提供一种电子设备，电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行下述的方法：获取N个待处理数据对象；对N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；从N个处理后数据对象中，选择出M个特定数据对象，M小于N；根据M个特定数据对象的关键特征数据，表征N个待处理数据对象。

第四方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现下述的方法：获取N个待处理数据对象；对N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；从N个处理后数据对象中，选择出M个特定数据对象，M小于N；根据M个特定数据对象的关键特征数据，表征N个待处理数据对象。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的数据处理方法的应用场景100；

图2示意性示出了根据本公开实施例的数据处理方法的流程图；

图3示意性示出了根据本公开一实施例的对象进行数据压缩处理的方法流程图；

图4示意性示出了根据本公开另一实施例的对象进行数据压缩处理的方法流程图；

图5A示意性示出了根据本公开实施例的BOM时域频域转换原理图；

图5B示意性示出了根据本公开实施例的不同周期内BOM频域表达式构建的流程图；

图6示意性示出了根据本公开实施例的9个物料和16个产品的BOM图；

图7示意性示出了根据本公开实施例的数据处理装置的框图；以及

图8示意性示出了可以用来实施本公开实施例的方法的示例电子设备800的示意性框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1示意性示出了根据本公开实施例的数据处理方法的应用场景100。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，应用场景100的实现目的为：对结构复杂的数据对象进行处理，得到结构简单的数据对象，该结构简单的数据对象能够表征结构复杂的数据对象。电子设备110例如可以是手机、平板电脑，笔记本电脑等具备数据处理能力的显示设备。

在应用场景100中，电子设备110上配置有存储单元120，电子设备110可以从存储单元120上获取待处理数据对象，待处理数据对象为结构复杂的数据对象，对待处理数据对象进行处理，得到结构简单的数据对象，该结构简单的数据对象能够表征该结构复杂的数据对象。电子设备110还可以将结构简单的数据对象存储在存储单元120中，以供后续调用。

存储单元120可以采用便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。存储单元还可以采用双倍速率同步动态随机存储芯片(DDR)，例如DDR3、DDR4、DDR5等，也可以是低功耗双倍数据速率内存芯片(LPDDR)，例如LPDDR3、LPDDR4、LPDDR5等。

在一个示例中，应用场景100可以是供应链智能化管理场景。在供应链智能化管理场景中，通常采用计算机辅助进行智能化生产管理，这就需要计算机能够读出制造的产品构成和所有要涉及的物料。为了便于计算识别，需要将图示表达的产品结构转化成某种数据格式，这种以数据格式来描述产品结构的文件就是物料清单(Bill of Material，BOM)。BOM在生产系统中是非常重要的基础数据。在物料需求计划、生产备料设备维修等过程中，需要对BOM的数据进行频繁的读取，以获取产成品、半成品的结构信息。

BOM差异的维度有很多种，例如，研发和生产的BOM，物料的属性，物料的依赖关系，自制，采购，以及时间不同，地点不同，都会导致BOM的结构多样性，而且幻象层的引入也会导致BOM变得异常复杂。然而，结构简单的BOM对于生产管理尤为关键，能够提升生产的效率。目前，为了简化BOM的结构，大多方法都是以牺牲BOM多种属性行为为代价，压缩BOM结构，简化齐套计算。将本公开实施例提供的数据处理方法应用于供应链智能化管理场景中时，能够将复杂结构的BOM简单化，在同等产品规模下，以简单结构的BOM描述大规模的产品结构，减少了生产管理过程中涉及的数据量，提升生产管理的效率。

应该理解，图1中的电子设备110、存储单元120的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的电子设备110、存储单元120。

图2示意性示出了根据本公开实施例的数据处理方法的流程图。

如图2所示，该数据处理方法200包括操作S210～操作S240。

在操作S210，获取N个待处理数据对象。

根据本公开的实施例，N个待处理数据对象可以为结构复杂的数据处理对象，结构复杂可以理解为数据量大、数据多样性，数据维度高等。

根据本公开的实施例，在实际应用中，一般待处理数据比较多，可能包含多个同类型的数据，这些同类型的相互之间具备内存联系，可以对多个同类型的数据进行同时处理，挖掘数据之间的内在联系及规律，以便能够确定更能够表达数据整体特性的基准数据。

在一个示例中，对于BOM而言，不同的时间、不同的地点、不同的工厂、不同的产线等，对应的BOM都可能会有所不同，但其包含的产物料可能相同，并且一般BOM都是大规模的。为了能够更好地对BOM的结构进行优化，可以获取不同的时间、不同的地点、不同的工厂、不同的产线分别对应的BOM进行处理，例如，每周获取BOM，获得多个BOM作为待处理数据对象。

在操作S220，对N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象。

根据本公开的实施例，分别对每个待处理数据对象进行压缩，得到与各个待处理数据分别对应的处理后数据对象，组成N个处理后数据对象。其中，每个处理后数据对象包括与该处理后数据对象对应的待处理数据对象的关键数据特征。

在一个示例中，待处理数据对象的压缩可以是将高维的待处理数据对象降维成低维的处理后数据对象。

在操作S230，从N个处理后数据对象中，选择出M个特定数据对象。

根据本公开的实施例，可以根据N个处理后数据对象对应的关键数据特征从N个处理后数据对象中选择M个特定数据对象，M小于N。

例如，对于待处理数据对象为BOM而言，特定数据对象可以是最优齐套数最大的待处理数据对象对应的处理后数据对象。其中，齐套数用于表示BOM种可以组成产品套数的数量。

在操作S240，根据M个特定数据对象的关键特征数据，表征N个待处理数据对象。

根据本公开的实施例，表征N个待处理数据可以理解为以特定数据对象的关键特征数据为基准数据，对N个待处理数据对象进行表示。

在一个示例中，对于待处理数据对象为BOM而言，对N个BOM进行降维优化处理，从N个BOM中筛选出M个BOM，以该M个BOM的关键数据特征为基准，将其余N-M个BOM在这个基准中进行表示。

通过本公开实施例的数据处理方法，对多个待处理数据对象进行压缩处理筛选出一个特定数据对象，再以特定数据对象的关键特征数据为基准，对其余待处理数据对象进行表征，这样能够将高维的数据对象低维化，将多样性的数据对象统一化，从而实现可复杂结构的数据对象的简单化。并且，由于是以关键特征数据对待处理数据对象进行表征，使得简单化后的数据对象依旧包含重要特征，避免了以牺牲数据的多重属性对数据进行简化处理。

图3示意性示出了根据本公开一实施例的对象进行数据压缩处理的方法流程图。

如图3所示，操作S120中对N个待处理数据对象进行数据压缩处理，可以包括操作S310～操作S320。

在操作S310，获取每个待处理数据对象的至少一个特征数据。

在操作S320，从至少一个特征数据中选取至少一个关键特征数据。

一般情况下，待处理数据都会包括至少一个数据特征，但并不是每个数据特征对后续的数据表征都是有效特征，因此，可以去除待处理数据中的无效特征，以更少的有效数据特征表征待处理数据对象。

在一个示例中，对于待处理数据对象为BOM而言，可以每周获取BOM，得到N个BOM。为了便于计算，可以基于BOM中的实际数据构建样本集，样本集的表达式可以如公式(1)：

其中，i表示获取BOM的时间周期的编号，A_i，sample表示第i个时间周期获取的BOM对应的物料信息矩阵，c为物料的编号，Z_c，j为物料c对应的第j个产品的使用情况，T表示转置。

获取BOM的特征数据可以包括：分别对每个物料信息矩阵进行主成分分析，提取对应每个BOM的特征值和特征向量，物料信息矩阵的特征值对应于BOM的特征数据。

基于组成成分分析的原理，需要求解第c个物料信息矩阵A_i，sample的协方差矩阵Cov(A_i，sample)，Cov(A_i，sample)的表达式可以参见公式(2)：

其中，协方差矩阵中的每一个元素表示A_i，sample两列/>的协方差，1≤m≤j，1≤n≤j。

按照公式(2)，可以得到各个时间周期i应的协方差矩阵Cov(A_1，sample)，Cov(A_2，sample)，……，Cov(A_i，sample)，对每个协方差矩阵分别计算特征值和特征向量，得到特征值系列。

协方差矩阵Cov(A_i，sample)与多个特征值满足公式(3)：

其中，λ＝{λ₁，λ₂，…，λ_Ni}表示多个特征值，表示第k个特征值对应的特征向量，N_i为特征值总数量，k的取值为1到Ni之间的整数，E为j阶单位矩阵。

将每个BOM特征数据的获取过程转化为上述矩阵运算过程，即可获得每个BOM的特征数据，由此，可以从多个特征数据中选取至少一个关键特征数据。

通过本公开实施例的数据处理方法，采用提取关键特征数据的方式压缩待处理的数据，使得压缩后数据对象保留了重要的特征，从而保证后采用关键特征数据表征待处理数据对象的精度。

进一步地，在本公开的实施例中，从至少一个特征数据中选取至少一个关键特征数据，可以包括：计算至少一个特征数据包含的累积信息量，取累积信息量达到第一预设阈值的至少一个特征数据作为关键特征数据。

一般情况下，累积信息量越大，表明特征数据包含的信息量越丰富，越能够代表原始数据，因此，可以基于累积信息量是否达到第一预设阈值来确定关键数据特征。

在一个示例中，对于待处理数据对象为BOM而言，可以根据前述获取的特征值来计算BOM包含的累积信息量，具体计算方式如公式(4)：

其中，K_d为特征值λ₁～λ_d对应的特征数据的包含的累积信息量，d为计算累积信息量的特征值的数量，p、q表示特征值的序号，λ_q为第q个特征值，λ_p为第p个特征值，1≤d≤N_i。

基于公式(4)可以看出，当，K_d大于给定的阈值时，则关键特征值为λ₁～λ_d对应的特征数据确定为关键特征数据。

通过本公开实施例的数据处理方法，采用计算特征数据包含的累积信息量的方式确定关键特征数据，能够准确地筛选出信息量丰富的特征数据作为关键特征数据，从而保证后采用关键特征数据表征待处理数据对象的精度。

图4示意性示出了根据本公开另一实施例的对象进行数据压缩处理的方法流程图。

如图4所示，操作S120中对N个待处理数据对象进行数据压缩处理，可以包括操作S410～操作S420。

在操作S410，对于每个待处理数据对象，根据其对应的至少一个关键数据特征，建立待处理数据对象的一个数据压缩表达式；

在操作S420，对于每个待处理数据对象，确定其对应的数据压缩表达式中的所有特征项系数。

根据本公开的实施例，数据压缩表达式由至少一个关键特征数据、每个关键特征数据对应特征项系数以及N个待处理数据均值组成。在建立数据压缩表达式后，关键特征数据对应特征项系数是未知的，需要通过计算确定。

需要说明的是，不同类型的待处理数据对象，其构建的数据压缩表达式可以不一样，并且确定关键特征数据对应特征项系数的方式也可以包括多种，具体本公开不做限制。

在一个示例中，对于待处理数据对象为BOM而言，可以通过对BOM进行主成分分析，识别BOM各个层级过程中的变化特征值与其对应的特征向量，再采用Karhunen-Loève(K-L)展开方法将时域BOM结构描述为频域内BOM结构特征项的线性函数，从而得到BOM的数据压缩表达式。

下面结合图5A和图5B对BOM的数据压缩表达式的构建进行说明。图5A示意性示出了根据本公开实施例的BOM时域频域转换原理图，图5B示意性示出了根据本公开实施例的不同周期内BOM频域K-L展开式构建的流程图。

如图5A所示，“时域分析”对应的曲线反应的是所有物料随时间变化的情况，例如，各个物料的使用情况随时间的变化情况，变化规律很复杂(曲线相互重叠)。其中一些物料(次要物料)的使用情况对产品产量情况的分析贡献较小，一些物料(主要物料)的使用情况对产品产量情况的分析贡献较大，例如电子设备制造时，螺丝是次要物料，内存、芯片是主要物料。因此，所有物料的随时间的变化情况累积到一起不利于后续产品产量情况的分析。因此，基于前述的主成分分析，可以将主要物料的使用情况抽象出来，作为后续分析的基础，主要物料的使用情况对应于“频域分析”的三条曲线。应当理解，图5A中的三条曲线代表三个主要物料的使用情况只是示意性的，根据实现需要，可以选择对应数量的主要物料，也即图5A中“频域分析”的曲线数量不仅限于三条。

如图5B所示，对于每个BOM，可以以至少一个关键数据特征作为输入，采用K-L展开式构建每个BOM中各物料在不同周期内的产品使用情况，K-L展开式如公式(5)所示：

其中，Z_i(i)为物料c第i个时间周期内的使用量；为调度过程样本集中物料c第i个时间周期内物料使用量平均值；λ_c，l，ψ_c，l(i)分别为物料c第l个特征项对应的特征值与第t个时间周期的特征函数值；ξ_c，l为特征项系数；M为选取的关键特征数据的数量。此时，特征项系数ξ_c，l是未知的。

进一步地，在本公开的实施例中，确定其对应的数据压缩表达式中的所有特征项系数，可以包括：对一个特定数据压缩表达式中的一个特征项系数，以特定变化值在特征项系数取值范围内穷举特征项系数取值，基于穷举的特征项系数取值，确定一个特定数据压缩表达式的值，也即将穷举的特征项系数取值代入一个特定数据压缩表达式中。基于一个特定数据压缩表达式的值及齐套计算公式，确定最大齐套数，即将数据压缩表达式代入齐套计算公式，齐套计算公式用于计算最大齐套数，取使得齐套数最大的特征项系数取值作为该特征项系数值。重复上述步骤直至确定一个特定数据压缩表达式中所有特征项系数值，得到一个对应的确定特征项系数的数据压缩表达式。对于N个待处理数据对象，获取N个确定特征项系数的数据压缩表达式。

在一个示例中，对于待处理数据对象为BOM而言，可以采用迭代优化思路，单次迭代的计算过程可以为：

对于任一特征项系数ξ_c，l，固定其余特征项系数保持不变，以预设步长生成可行域范围内的所有系数状态值，按照公式(5)计算Z_c(i)，并由代入公式(6)求出对应的目标函数值，目标函数即为齐套计算公式，目标函数值即为齐套数。选择目标值最大(最大齐套数)的作为特征项系数ξ_c，l的最优值；采用同样思路逐次对其余阶段的特征项系数进行迭代寻优，直至满足给定的收敛条件。最大齐套数为当前BOM中能生成的最大产品数。

齐套计算公式(6)可以为：

其中，K为固定系数，J为物料c的需求时段，I为参与计算的总产品数，Z_c，i为第i个时间周期内物料c的使用量，H_c，i为i个时间周期内物料c的最大使用量，Δh为单一时间段周数。Z_c，i和H_c，i可以基于公式(5)进行表示。

基于公式(6)，将齐套数最大的特征项系数取值作为该特征项系数值。重复上述计算过程，就可以确定所有特征项系数值，得到一个对应的确定特征项系数的数据压缩表达式。

对于每个BOM，执行上述操作，获取N个确定特征项系数的数据压缩表达式。

通过本公开实施例的数据处理方法，采用K-L展开方法将时域BOM结构描述为频域内前述BOM结构特征项的线性函数，并通过各项的随机系数组合确定特定来料对应的BOM的形成过程，能够显著提高BOM结构优化的计算效率，在同等产品规模下，提高了超大规模BOM结构优化的计算效率。

在本公开的实施例中，操作S230中从N个处理后数据对象中，选择出一个特定数据对象，可以包括：对于一个确定特征项系数的数据压缩表达式，基于齐套计算公式计算齐套数，得到第一齐套数、第二齐套数；如果当第一齐套数、第二齐套数之间的差值小于第二预设阈值，则基于第一齐套数、第二齐套数之间的数量关系，确定一个确定特征项系数的数据压缩表达式对应的待处理数据对象所能达到的最优齐套数；基于最优齐套数从N个处理后数据对象中确定一个特定的数据对象。

在一个示例中，对于一个确定特征项系数的数据压缩表达式，将其代入齐套计算公式中两次，得到第一齐套数、第二齐套数。当第一齐套数、第二齐套数差值小于预设阈值时即结束计算。取第一齐套数、第二齐套数中较大的作为一个确定特征项系数的数据压缩表达式对应的待处理数据对象所能达到的最优齐套数。选取最优齐套数最大的待处理数据对象对应的处理后数据对象为一个特定的数据对象。

例如，可以判定第一齐套数与第二齐套数差值的绝对值是否足够逼近e^-6，若是，则计算结束，否则继续迭代，直到第一齐套数与第二齐套数差值的绝对值足够逼近e^-6。

通过本公开实施例的数据处理方法，采用迭代计算的方式，基于两次迭代的齐套数差值是否小于预设阈值判定迭代计算是否收敛，既保证的迭代计算的准确性，也保证了迭代计算的效率。

在本公开的实施例中，操作S240中根据M个特定数据对象的关键特征数据，表征N个待处理数据对象，包括：根据M个特定的数据对象对应的确定特征项系数的数据压缩表达式中关键特征数据、各项系数，构建N个待处理数据对象的数据压缩表达式。

例如，比如初始有10个BOM，通过降维、系数优化，筛选出1一个BOM，以这1个BOM的关键特征数据(特征值与特征向量)，作为一个基准的坐标系，其余9个BOM均可以在这个基准的坐标系中进行表示。

通过本公开实施的数据处理方法，以特定数据对象的关键特征数据为基准，对其余待处理数据对象进行表征，这样能够将高维的数据对象低维化，将多样性的数据对象统一化，从而实现可复杂结构的数据对象的简单化。

为了更清楚的阐述本公开实施例提供的数据处理方法，下面列举一个具体的例子进行说明。

例如，当前未经处理的针对PC的BOM的体量已经达到，根据销售订单进行展开已经达到3万的体量，根据3万的订单数生成的物料清单大概是43万的数量，物料清单最大层深可以达到10层以上。由于物料清单在不同的时间地点甚至于不同工厂之间都会有所不同，导致限制的BOM结构非常复杂，包括有时间、地点、工厂、价格、自制/采购。

对于计划中的齐套计算，最为关键的一步就是BOM展开，获取底层物料使用情况，所以BOM展开对于每次计算是不可或缺的。BOM高效的处理影响着整个供应链计划的步骤。本公开实施例采取了一系列特征提取的方式，对于物料结构进行分析，并且计算每个特征数据累积包含的数据量。

图6示意性示出了根据本公开实施例的9个物料和16个产品的BOM图。

如图6所示，每一行代表一个物料，9行代表9个物料。每一行中包含的一个数值“0”代表一个产品，16和数值“0”代表16个产品。图6展示了两周在第四个物料和第六个物料发生了变化，由第四个物料的供应换成了第三个物料，也即第15个产品需要供应的物料从由第四个物料的供应换成了第三个物料。由第六个物料的供应换成了第五个物料，也即第3个产品和第14个产品需要供应的物料从由第六个物料的供应换成了第五个物料。这里涉及的特征提取按照产品按照周分别进行提取，此时，最关键的有两点，一方面是特征提取，另一方面是对于每次提取的特征数据分别进行计算，逐次对于各阶段的BOM进行迭代寻优，直到找到最优结果。

图7示意性示出了根据本公开实施例的数据处理装置的框图。

如图7所示，数据处理装置700包括读取模块710、处理模块720、选择模块730以及表征模块740。

根据本公开的一些实施例，数据处理装置700可以用于实现参考图1～图6描述的根据本公开实施例的数据处理方法。

获取模块710可以执行例如操作S210，用于获取N个待处理数据对象。

处理模块720可以执行例如操作S220，用于对N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象。

选择模块730可以执行例如操作S230，用于从N个处理后数据对象中，选择出M个特定数据对象，M小于N。

表征模块740可以执行例如操作S240，用于根据M个特定数据对象的关键特征数据，表征N个待处理数据对象。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，读取模块710、处理模块720、选择模块730以及表征模块740中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，读取模块710、处理模块720、选择模块730以及表征模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，读取模块710、处理模块720、选择模块730以及表征模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本公开的实施例中数据处理装置部分与本公开的实施例中数据处理方法部分是相对应的，其具体实施细节及带来的技术效果也是相同的，具体请参见图1-图6所示的数据处理方式实施例部分，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开实施例的方法的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取N个待处理数据对象；

对所述N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，所述N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；

从所述N个处理后数据对象中，选择出M个特定数据对象，其中，M小于N；

根据所述M个特定数据对象的关键特征数据，表征所述N个待处理数据对象。

2.根据权利要求1所述的方法，其特征在于，所述对所述N个待处理数据对象进行数据压缩处理，包括：

获取每个待处理数据对象的至少一个特征数据；

从所述至少一个特征数据中选取至少一个关键特征数据。

3.根据权利要求2所述方法，其特征在于，所述从所述至少一个特征数据中选取至少一个关键特征数据，包括：

确定所述至少一特征数据包含的累积信息量，选取累积信息量达到第一预设阈值的至少一个特征数据作为关键特征数据。

4.根据权利要求1所述的方法，其特征在于，所述对所述待处理数据对象进行数据压缩处理，还包括：

对于每个待处理数据对象，根据其对应的至少一个关键数据特征，建立所述待处理数据对象的一个数据压缩表达式；其中，所述数据压缩表达式由所述至少一个关键特征数据、每个关键特征数据对应特征项系数以及所述N个待处理数据均值组成；

对于每个待处理数据对象，确定其对应的数据压缩表达式中的所有特征项系数。

5.根据权利要求4所述的方法，其特征在于，所述对于每个待处理数据对象，确定其对应的数据压缩表达式中的所有特征项系数，包括：

对一个特定数据压缩表达式中的一个特征项系数，以特定变化值在所述特征项系数取值范围内穷举所述特征项系数取值，基于穷举的所述特征项系数取值，确定所述一个特定数据压缩表达式的值；

基于所述一个特定数据压缩表达式的值及齐套计算公式，确定最大齐套数，取使得齐套数最大的特征项系数取值作为该特征项系数值；

如果所述一个特定数据压缩表达式中所有特征项系数值都被确定，则得到一个对应的确定特征项系数的数据压缩表达式；

对于N个待处理数据对象，获取N个确定特征项系数的数据压缩表达式。

6.根据权利要求1所述的方法，其特征在于，所述从所述N个处理后数据对象中，选择出M个特定数据对象，包括：

对于一个确定特征项系数的数据压缩表达式，基于齐套计算公式计算齐套数，得到第一齐套数、第二齐套数；

如果第一齐套数、第二齐套数之间的差值小于第二预设阈值，则基于第一齐套数、第二齐套数之间的数量关系，确定所述一个确定特征项系数的数据压缩表达式对应的待处理数据对象所能达到的最优齐套数；

基于所述最优齐套数从所述N个处理后数据对象中确定M个特定的数据对象。

7.根据权利要求1所述方法，其特征在于，所述根据所述M个特定数据对象的关键特征数据，表征所述N个待处理数据对象，包括：

根据所述M个特定的数据对象对应的确定特征项系数的数据压缩表达式中关键特征数据、各项系数，构建所述N个待处理数据对象的数据压缩表达式。

8.一种数据对象处理装置，其特征在于，包括：

获取模块，用于获取N个待处理数据对象；

处理模块，用于对所述N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，所述N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；

选择模块，用于从所述N个处理后数据对象中，选择出M个特定数据对象，M小于N；

表征模块，用于根据所述M个特定数据对象的关键特征数据，表征所述N个待处理数据对象。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行下述的方法：

获取N个待处理数据对象；

对所述N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，所述N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；

从所述N个处理后数据对象中，选择出M个特定数据对象，M小于N；

根据所述M个特定数据对象的关键特征数据，表征所述N个待处理数据对象。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现下述的方法：

获取N个待处理数据对象；

对所述N个待处理数据对象进行数据压缩处理，得到对应的N个处理后数据对象，其中，所述N个处理后数据对象包括对应的N个待处理数据对象的关键特征数据；

从所述N个处理后数据对象中，选择出M个特定数据对象，M小于N；

根据所述M个特定数据对象的关键特征数据，表征所述N个待处理数据对象。