CN112912938A - 用于改进与聚合物产品的生产有关的预测的方法 - Google Patents

Abstract

本发明涉及一种用于改进与聚合物产品的生产有关的预测的方法，其中提供了用于在计算机系统（5）上描述生产参数（2）与产品性质数据（3）之间的函数关系的预测模型（1），该生产参数（2）包括配方部分数据，配方部分数据指定了用于生产相应聚合物产品的原材料部分，并且该生产参数（2）包括处理参数数据，处理参数数据指定了在生产该聚合物产品期间的机器过程性质，产品性质数据（3）与该聚合物产品相关联，该生产参数（2）和产品性质数据（3）形成了相应聚合物产品的数据条目性质，其中提供了包括用户产品目标的用户输入，用户产品目标仅指定了数据条目性质的一部分，其中由计算机系统（5）生成具有数据条目性质的新数据条目（7）以用于实现用户产品目标，其中针对新数据条目（7），确定指定数据条目性质，其中由计算机系统（5）基于所确定的数据条目性质来确定奖励度量（8），并且其中基于奖励度量（8），由计算机系统（5）来更新预测模型（1）。

Description

用于改进与聚合物产品的生产有关的预测的方法

本发明涉及一种用于改进与聚合物产品的生产有关的预测的方法。

存在用于聚合物产品的宽泛范围的不同应用。因此，针对这些聚合物产品，还规定了范围宽泛且强烈变化的不同产品性质规格。这些不同的规格确定了相应聚合物产品的重量、刚度、辐射、温度耐久性和许多其他特征的期望值或值范围。此外，聚合物产品性质不仅取决于用于聚合物产品的生产的配方，该配方指定了聚合物产品的材料成分，而且聚合物产品性质还取决于聚合物产品的生产过程中所应用的不同过程参数，包括所使用的生产工具的性质。聚合物产品性质还可以取决于聚合物产品的生产过程期间的生产参数环境变量。

通常的过程涉及从得到具有已知性质的产品的已知配方和已知过程参数来进行，并且然后基于先前的经验和一般考虑来进行调整。基于这些调整，生产多个样品产品，并且通过实验来确定它们的相关性质。从这种观察中，还可能存在根据公式而导出和表述的依赖关系。这然后允许基于配方数据来预测产品性质，或者反之亦然。然而，这种公式的表述预先假定的是：分析依赖关系的人会想到正确的公式或公式类型（即，假设）来应用和测试（即，验证）该假设。可能发生的是，由于没有想到正确的假设，因此存在对于这种方法仍然十分难以捉摸（elusive）的函数关系。

本发明从其中进行的WO 2005/019948 A1公开了用于制造产品的模制（molding）和过程控制技术。描述了一种计算机辅助建模技术，该技术允许制造者预测对于实现所制造产品的目标性能性质必要的多变量输出的简档。选择产品的期望性能性质，并且基于所选的性能性质，产品控制中心调用反向化学计量模型（reverse chemometric model）以预测所需的多变量输出。产品控制中心确定必要的操作参数以实现所预测的多变量输出，并且产品根据该操作参数而被生产。

因此，本发明的目的是提供一种用于改进与聚合物产品的生产有关的预测的方法，该方法能够基于纯分析性方法来标识难以查找或查找成本高的依赖关系。

本发明的目的通过具有权利要求1的特征的一种用于改进与聚合物产品的生产有关的预测的方法来实现。

本发明基于以下认识：强化学习可以用于开发和改进如下预测模型，该预测模型至少在某些情况下可能比由纯分析性考虑或由其他形式的机器学习（诸如，监督学习）生成的预测模型更准确且更具探索性。特别地，对于一方面的产品性质与另一方面的产品参数和配方数据之间的复杂、微妙且潜在反直觉的相关性而言，这种演化式方法可能是实现期望预测模型的最高效方法。然后，预测中的所得改进既可以用于基于生产参数和配方数据来确定产品性质，又可以用于基于期望产品性质来确定生产参数和配方数据。

根据本发明的方法用于改进与聚合物产品的生产有关的预测。

聚合物产品可以是聚氨酯产品或聚异氰脲酸酯产品。因此，聚合物产品性质可以是聚氨酯或聚异氰脲酸酯产品性质，聚合物生产可以是聚氨酯或聚异氰脲酸酯生产，并且聚合物配方可以是聚氨酯或聚异氰脲酸酯配方。替代地或附加地，聚合物产品可以是泡沫产品。因此，替代地或附加地，聚合物产品性质可以是泡沫产品性质，聚合物生产可以是泡沫生产，并且聚合物配方可以是泡沫配方。

优选地，聚合物产品是聚碳酸酯产品。因此，聚合物产品性质可以是聚碳酸酯产品性质，聚合物生产可以是聚碳酸酯生产，并且聚合物配方可以是聚碳酸酯配方。

在根据本发明的方法中，提供了一种用于在计算机系统上描述生产参数与产品性质数据之间的函数关系的预测模型，该生产参数包括配方部分数据，配方部分数据指定了用于生产相应聚合物产品的原材料部分，并且该生产参数包括处理参数数据，处理参数数据指定了在生产该聚合物产品期间的机器过程性质，产品性质数据与该聚合物产品相关联。换句话说，该预测模型是计算机程序或用于计算机程序的参数集，该计算机程序在计算机设备上执行，并且提供了用以基于给定其他生产参数和/或其他产品性质数据来确定至少一些生产参数和/或一些产品性质数据的方式。因此，例如，该预测模型可以将至少产品性质数据作为输入，并且提供至少生产参数作为输出。这也可能是反过来的。具有微处理器的任何电子设备呈现了当前意义上的计算机设备。该预测模型构成了在强化学习的情景中被理解为策略（policy）的事物的一部分。

在根据本发明的方法中，生产参数和产品性质数据形成了相应聚合物产品的数据条目性质。数据条目性质除了生产参数和产品性质数据之外还可以包括进一步的变量或数据。在当前意义上，机器可以是用于聚合物材料生产的任何或所有步骤的任何种类的装置、并且特别是实验室装置。换句话说，配方部分指定了使用什么原材料以及以什么比例来生产聚合物产品。这还涉及可以在聚合物产品的生产中使用、但是实质上不是聚合物产品的一部分的材料，诸如发泡剂。处理参数可以包括针对处理原材料以便获得聚合物产品的机器或机器组的设置。处理参数还可以包括机器或机器组的恒定特性。这些特性可以包括机器或机器组的几何尺寸、最大功率等。

优选地，生产参数包括描述了生产聚合物产品期间的环境的环境参数。这种环境参数可以描述温度、压力、湿度、日照强度、和/或环境的其他物理参数。

附加地，生产参数还可以包括用于描述原材料部分的动态表现的配方描述数据。例如，如果聚合物生产是泡沫生产，并且泡沫是根据原材料部分、通过原材料的反应而产生的，则配方描述数据可以描述与该反应有关的性质。因此，配方描述数据可以指定开始时间、上升时间（rising time）和/或设置时间。

产品性质数据原则上可以涉及聚合物产品的任何物理或化学性质。特别地，产品性质数据可以包括密度、压缩特性、恢复特性、压缩硬度、导热率、压缩强度、扭转刚度和/或阻燃性。

在该预测模型的第一遍（first pass）之前，在仅提供平凡近似或零阶近似关系的意义上，该预测模型可以为空。替代地，该预测模型的参数是随机设置或填充的。通过该方法的连续迭代，可以递增地建立该预测模型。

在根据本发明的方法中，提供了包括用户产品目标的用户输入，用户产品目标仅指定了数据条目性质的一部分。

换句话说，用户输入提供了上述用户产品目标，用户产品目标可以描述聚合物产品的至少一些期望产品性质数据，以及（作为替代或补充）描述至少一些配方部分数据和处理参数数据。因此，用户可以指定产品性质数据并且寻找生产参数，以便生产出具有该产品性质数据的聚合物产品。用户还可以指定生产参数，并且想要确定所得的产品性质数据。仍进一步地，用户可以指定一些生产参数和一些产品性质数据，并且获得附加的生产参数以及由此定义的相应聚合物产品的附加产品性质数据作为输出。

用户产品目标还可以指代值中括号（value bracket）而不是具体的个体值。还可以例如通过参考已知聚合物产品的已知产品性质数据来间接地给出用户产品目标。

在根据本发明的方法中，由计算机系统通过将用户产品目标应用于预测模型来生成新数据条目，以用于实现用户产品目标。新数据条目的生成至少部分地基于将用户产品目标应用于预测模型，即通过将用户产品目标作为输入提供给预测模型。以上内容意味着所得的新数据条目（其还包括数据条目性质，该数据条目性质进而包括产品性质数据和生产参数）将会使得将至少通过依据根据预测模型的新数据条目的数据条目性质所生产的聚合物产品来逼近用户产品目标。对于不同的情况而言，这些用户产品目标实际上被实现的程度可能是不同的。

将用户产品目标应用于预测模型还可以包括：预测模型基于用户产品目标来确定并且特别是计算出导出值或中间值。然后，可以使用这些导出值或中间值以根据预测模型来计算新数据条目。

在根据本发明的方法中，针对新数据条目，确定指定数据条目性质。按照强化学习的说法，具有数据条目性质的任何新数据条目构成了具有关联值的状态。该确定呈现了对预测模型的投影的验证，并且可以以不同的方式来完成，这将在下面更详细地讨论。在任何情况下，由于目标是验证和检查预测模型，因此该确定基本上独立于预测模型而发生。

此外，在根据本发明的方法中，由计算机系统基于所确定的数据条目性质来确定奖励度量。在此，奖励度量表示如下变量：该变量指示所确定的数据条目与在某种意义上将被鼓励的新数据相对应的程度，即，其呈现了正确方向上的一步。原则上，如何定义这种正确方向是任意的，并且存在若干种可能性。性质与用户产品目标相对应，并且在某种程度上已经通过数据条目性质的确定而验证了预测模型的预测。在强化的情境下，这是奖励，取决于预测模型的成功，奖励可能是正面的或负面的。

在根据本发明的方法中，由计算机系统基于奖励度量来更新预测模型。换句话说，在高奖励的情况下，向预测模型反馈所生成的新数据条目是“正确的”，如该奖励所量化的那样。它至少在正确方向上进行了预测。在低遵从性奖励的情况下，反馈在错误方向上所生成的新数据条目的信息。该反馈导致了预测模型中的对应改变和进一步完善。

该计算机系统可以包括可通过任何种类的网络互连的任何种类的一个或多个计算机。该计算机系统还可以完全地或部分地由云计算环境来实现。

在根据本发明的方法中，将新数据条目录入到具有数据条目性质的数据条目的配方数据库中。

按照强化学习的说法，新数据条目的生成被称为动作。

在根据本发明的方法中，通过从配方数据库中选择基本数据条目并且基于将用户产品目标应用于预测模型来修改基本数据条目的至少一个数据条目性质，从而生成新数据条目。因此，新数据条目（即，新状态）是对现有数据条目（即，所选数据条目）的修改。优选地，基于基本数据条目的数据条目性质与用户产品目标所指定的数据条目性质的相似性来选择来自配方数据库的基本数据条目。

优选地，修改至少一个数据条目性质包括：通过修改值来改变至少一个数据条目性质。这可以是数据条目性质的对应原始值加上修改值、减去修改值、乘以修改值、或除以修改值。

原则上，可以以基本上确定性的方式来完成上述修改。在该方法的进一步优选实施例中，生成新数据条目包括伪随机或演化式确定。这种伪随机性特别适合于强化学习。在此，进一步优选的是，选择基本数据条目和/或确定修改值和/或选择至少一个数据条目性质以用于修改包括伪随机或演化式确定。

原则上，修改值可以具有任意值，并且可以任意地选择基本条目。然而，关于什么状态是被允许的、以及相应地什么种类的动作可能用以获得新状态，可能存在限制和边界。按照强化学习的说法，任何这种规则、限制或边界也形成了策略的一部分。根据该方法的优选实施例，优选地由用户来提供修改边界参数，该修改边界参数限制了对基本条目的选择。因此，可能是基本条目被限制为配方数据库的数据条目的子集。替代地或附加地，修改边界参数限制了哪个至少一个数据条目性质可以被选择以用于修改。因此，并非所有数据条目性质都可用于修改。当已知相应的性质与手头的问题无关时，这种限制特别有用。替代地或附加地，修改边界参数提供了针对修改值的数值限制。因此，如果已知存在很大的数值灵敏度，则可以将该修改限制到小的程度。特别地，它们可以取决于被选择用于修改的至少一个数据条目性质来提供针对修改值的数值限制。因此，可以考虑不同数据条目性质的潜在不同的灵敏度。

在根据本发明的方法中，奖励度量是基于所确定的数据条目性质与用户产品目标之间的遵从性的接近度度量，并且预测模型被更新，以使得针对指示了较高遵从性的接近度度量、特别是利用奖励度量所基于的标准，加强对所修改的至少一个数据条目性质的修改，而针对指示了较低遵从性的接近度度量，削弱对所修改的至少一个数据性质的修改。

在该方法的进一步优选实施例中，用户产品目标指定产品性质数据。因此，寻求用于生产出具有用户产品目标的聚合物产品的生产参数。在此，所优选的是，通过修改生产参数来修改数据条目以生成新数据条目。

根据该方法的优选实施例，用户产品目标指定生产参数。然后，寻求对应聚合物产品的所得产品性质数据。优选地，然后通过修改产品性质数据来修改数据条目以生成新数据条目。

确定新数据条目的指定数据条目性质的一种优选方式是通过实验。因此，根据本发明的进一步优选实施例，针对新数据条目，通过如下方式来确定指定数据条目性质：根据新数据条目的生产参数来生产聚合物产品，并且测量指定数据条目性质中的至少一些。进一步优选的是，应用新数据条目的生产参数以将根据配方部分的原材料提供给用于聚合物生产的机器。特别地，可能机器过程性质包括用户可设置的机器过程设置，并且应用新数据条目的生产参数以选择用于聚合物生产的机器中的机器过程设置，使得该机器从原材料中生产聚合物产品。因此，在该优选实施例中，该方法以生产实际聚合物产品而告终，该产品然后可以形成对预测模型的可靠反馈的基础。

对聚合物产品进行这种测量的替代方案是基于计算模型的计算，该计算模型进而可以基于已知公式。因此，在该方法的优选实施例中，针对新数据条目，通过将计算模型应用于新数据条目的数据条目性质中的至少一些来确定指定数据条目性质。优选地，计算模型是物理模型。附加地或替代地，它也可以是化学模型。

通常，对于强化学习而言，单次迭代不足以得出足够精确的预测模型。因此，在该方法的进一步优选实施例中，重复生成新数据条目、确定新数据条目的指定数据条目性质、确定奖励度量、以及更新预测模型的循环，直到生成如下新数据条目为止：针对该新数据条目，奖励度量超过了预定限制。例如，当奖励度量是接近度度量时，重复该循环，直到预测足够精确为止。

用户输入可以包括该预定限制。以这种方式，用户可以至少间接地影响该模型将要发展到的精度。

在根据本发明的方法中，用户输入包括对来自计算机系统中预定义的原材料列表的原材料的用户选择，从而定义了用于聚合物配方的原材料的组合，并且针对新数据条目，配方部分指定了来自对原材料的用户选择的原材料部分。当由于经济、物流或其他原因而不可能使用或无法迅速使用某些原材料时、或者尤其优选使用某些其他原材料时，这可能是有用的。

原则上，用于聚合物生产的任何原材料都可以由配方部分来指定，即使最终聚合物产品中不存在该原材料也是如此。根据该方法的进一步优选实施例，用户选择的原材料包括异氰酸酯和多元醇。用于选择的原材料还可以包括多种异氰酸酯和/或多种多元醇。用户选择的原材料还可以包括发泡剂。优选地，用户选择的原材料进一步包括：扩链剂、交联剂、用于加速聚氨酯形成的催化剂、阻燃剂、颜料、至少一种填料和/或表面活性剂。

机器过程性质原则上可以涉及被应用于聚合物产品的生产中所涉及的设备、机器或工厂的任何设置，或者描述这种设备、机器或工厂的任何恒定特性。特别地，用户可设置的机器过程设置可以包括用于在聚合物产品的生产中可变地调整机器的操作的机器过程设置。根据该方法的进一步优选实施例，机器过程性质、优选地是用户可设置的机器过程设置包括组件温度、混合时间、混合比例、工具温度、放料容量（discharge capacity）和/或生产线速度（line speed）。所有描述的机器过程性质特别地用于聚合物产品的生产。

配方数据库可以是单个数据库，或者可以是若干个数据库的系统，其中在这若干个数据库的每一个中具有不同种类的信息。

优选地，配方数据库至少部分地基于实验结果。因此，在优选实施例中，配方数据库的至少一些数据条目基于在用户输入之前生产的聚合物产品，使得配方部分数据指定了用于生产相应聚合物产品的原材料部分，并且处理参数数据指定了在生产该聚合物产品期间的机器过程性质。

根据本发明的计算机系统的优选实施例、特征和优点对应于根据本发明的方法的那些，并且反之亦然。

在关于附图的以下描述中讨论了进一步的有利和优选特征。在下文中，它被示出在如下各图中：

图1 根据本发明的方法的实施例的示意图；以及

图2 用于执行根据本发明的方法的实施例的计算机系统的示意图。

图1中图示的示例性方法涉及作为示例性聚合物产品的聚氨酯产品。在执行该方法的开始阶段，预测模型1（其形成策略4的一部分）可能仅由初级的（rudimentary）一阶计算模型组成，该一阶计算模型基于期望产品性质数据3来确定特定生产参数2作为输出。在本示例中，这种产品性质数据3包括密度。在本示例中，生产参数2包括原材料部分，该原材料部分与按比例的水含量和按比例的异氰酸酯含量有关。在本示例中，生产参数2还包括处理参数，该处理参数与异氰酸酯在生产期间的温度有关。

在当前情况下，确定用于获得针对其期望50 kg/m^3的密度的聚氨酯产品的生产参数可能是合期望的，50 kg/m^3的密度呈现了作为用户输入的一部分的用户产品目标。

除了上述预测模型1之外，策略4还包括修改边界参数6。在本示例中，这些参数指定了：按比例的水含量可以在0%与2%之间（采用中括号）并且具有0.1%的修改步长，按比例的异氰酸酯含量可以具有10份的修改步长，并且异氰酸酯在生产期间的温度可以具有2℃的修改步长，并且在0与100份之间（采用中括号），并且异氰酸酯在生产期间的温度可以在20℃与50℃之间。

然后，由计算机系统5、并且更精确地由代理11来生成新数据条目7，其中每个数据条目包括生产参数2和产品性质数据3，该代理11也是在计算机系统5上运行的软件。借助于动作9并且根据策略4、即特别地基于预测模型1和修改边界参数6来完成新数据条目7的生成。在本示例中，新数据条目7的生成通过修改默认数据条目10而发生，该默认数据条目10是预定的或随机给出的。特别地，按比例的水含量从默认数据条目10的生产参数2的值开始以0.1％来增加。

所生成的新数据条目7包括所生成的生产参数2，使得基于所生成的生产参数2，生产出对应的聚氨酯产品，并且确定指定数据条目性质（即，在本例中是密度）以及其他产品性质3。在本示例中，对所生产的聚氨酯产品的测量得出了40 kg/m^3的密度。

通过将该测量结果与50 kg/m^3的用户产品目标进行比较来确定奖励度量8（在本例中是接近度度量），并且基于与该目标的紧密度来生成更高或更低的奖励度量8。

在本示例中，借助于代理11将该奖励度量8反馈给策略4、并且特别是预测模型1，以加强或削弱作为生成新数据条目7的基础的修改。

然后，重复该循环，并且基于对先前生成的新数据条目7的修改来生成下一个新数据条目7，直到奖励度量8如此之高以致于实现了由奖励度量8所定义的目标为止。

在图2中，示出了其中可以实现上述步骤的示例性计算机系统5。

Claims (12)

1.一种用于改进与聚合物产品的生产有关的预测的方法，其中提供了用于在计算机系统（5）上描述生产参数（2）与产品性质数据（3）之间的函数关系的预测模型（1），该生产参数（2）包括配方部分数据，配方部分数据指定了用于生产相应聚合物产品的原材料部分，并且该生产参数（2）包括处理参数数据，处理参数数据指定了在生产该聚合物产品期间的机器过程性质，产品性质数据（3）与该聚合物产品相关联，该生产参数（2）和产品性质数据（3）形成了相应聚合物产品的数据条目性质，其中提供了包括用户产品目标的用户输入，用户产品目标仅指定了数据条目性质的一部分，其中由计算机系统（5）生成具有数据条目性质的新数据条目（7）以用于实现用户产品目标，并且新数据条目（7）被录入到具有数据条目性质的数据条目的配方数据库中，并且其中针对新数据条目（7），确定指定数据条目性质，其特征在于，通过从配方数据库中选择基本数据条目并且基于将用户产品目标应用于预测模型（1）来修改基本数据条目的至少一个数据条目性质从而生成新数据条目（7），由计算机系统（5）基于所确定的数据条目性质来确定奖励度量（8），基于奖励度量（8），由计算机系统（5）来更新预测模型（1），用户输入包括对来自计算机系统（5）中预定义的原材料列表的原材料的用户选择，从而定义了用于聚合物配方的原材料的组合，针对新数据条目（7），配方部分数据指定了来自对原材料的用户选择的原材料部分，奖励度量（8）是基于所确定的数据条目性质与用户产品目标之间的遵从性的接近度度量，以及预测模型（1）被更新，以使得针对指示了较高遵从性的接近度度量，加强对所修改的至少一个数据条目性质的修改，并且针对指示了较低遵从性的接近度度量，削弱对所述至少一个数据性质的修改。

2.根据权利要求1所述的方法，其特征在于，修改至少一个数据条目性质包括：通过修改值来改变至少一个数据条目性质。

3.根据权利要求2所述的方法，其特征在于，生成新数据条目（7）包括伪随机确定，优选地，选择基本数据条目和/或确定修改值和/或选择至少一个数据条目性质以用于修改包括伪随机确定。

4.根据权利要求2或3所述的方法，其特征在于，优选地由用户来提供修改边界参数（6），所述修改边界参数限制了对基本条目的选择，和/或限制了哪个至少一个数据条目性质可以被选择以用于修改，和/或提供了针对修改值的数值限制、特别是取决于被选择用于修改的至少一个数据条目性质来提供针对修改值的数值限制。

5.根据权利要求1至4中的一项所述的方法，其特征在于，用户产品目标指定了产品性质数据（3），优选地，通过修改生产参数（2）来修改数据条目以生成新数据条目（7）。

6.根据权利要求1至5中的一项所述的方法，其特征在于，用户产品目标指定了生产参数（2），优选地，通过修改产品性质数据（3）来修改数据条目（7）以生成新数据条目（7）。

7.根据权利要求1至6中的一项所述的方法，其特征在于，针对新数据条目（7），通过根据新数据条目（7）的生产参数（2）来生产聚合物产品并且通过测量指定数据条目性质中的至少一些来确定指定数据条目性质，优选地，应用新数据条目（7）的生产参数（2）以将根据配方部分的原材料提供给用于聚合物生产的机器，优选地，机器过程性质包括用户可设置的机器过程设置，并且应用新数据条目（7）的生产参数以选择用于聚合物生产的机器中的机器过程设置，使得由所述机器从原材料中生产聚合物。

8.根据权利要求1至7中的一项所述的方法，其特征在于，针对新数据条目（7），通过将计算模型、优选地物理模型和/或化学模型应用于新数据条目（7）的数据条目性质中的至少一些来确定指定数据条目性质。

9.根据权利要求1至8中的一项所述的方法，其特征在于，重复生成新数据条目（7）、确定新数据条目（7）的指定数据条目性质、确定奖励度量（8）、以及更新预测模型（1）的循环，直到生成如下新数据条目（7）为止：针对所述新数据条目（7），奖励度量（8）超过了预定限制。

10.根据权利要求1至9中的一项所述的方法，其特征在于，对原材料的用户选择包括异氰酸酯和多元醇，特别地还包括发泡剂，优选地进一步包括扩链剂、交联剂、用于加速聚氨酯形成的催化剂、阻燃剂、颜料、水、至少一种填料和/或表面活性剂。

11.根据权利要求1至10中的一项所述的方法，其特征在于，机器过程性质、优选地是用户可设置的机器过程设置包括组件温度、混合时间、混合比例、工具温度、放料容量和/或生产线速度。

12.根据权利要求1至11中的一项所述的方法，其特征在于，配方数据库的数据条目中的至少一些基于在用户输入之前生产的聚合物产品，使得配方部分数据指定了用于生产相应聚合物产品的原材料部分，并且处理参数数据指定了在生产该聚合物产品期间的机器过程性质，优选地，产品性质数据（3）包括从相应聚合物产品测量的测量数据。

Images