CN110210654A - 产品模型设计系统及方法 - Google Patents

Abstract

本申请实施例提供了一种产品模型设计系统及方法。该系统包括：强化学习模块，用于基于预先训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；产品预测模块，用于基于预先训练好的产品预测模型，对所述产品模型进行预测，生成产品预测结果；根据所述产品预测结果，由所述强化学习模型对所述产品设计参数进行调整，以更新所述产品模型，生成满足产品指标参数的所述产品模型。该系统通过样本模型的设计行为数据对强化学习模型以及产品预测模型进行训练，产品模型的设计通过训练好的强化学习模型以及产品预测模型完成，替代了工业软件，有效克服人类手工方法的费时费力，解放了设计人员的身心，缩短了产品模型的研发周期。

Description

产品模型设计系统及方法

技术领域

本申请实施例涉及产品模型的设计开发技术领域，尤其涉及一种基于人工智能的产品模型设计系统及方法。

背景技术

产品模型是对实体工业产品的一种虚拟，是将实体工业产品中的各个模块转化成数据整合到一个虚拟的体系中，在这个体系中模拟实现工业产品中的每一项工作和功能。随着产品复杂度越来越高，必须通过计算机上运行的工业软件在虚拟环境中建立产品模型。

产品模型设计的根本是利用虚拟模型呈现真实世界产品的特点和功能，伴随着工业、科技的发展，产品模型设计已经被世界上很多企业广泛地应用到工业产品设计的各个环节中，使产品设计发生了质的飞跃。产品规模的不断扩大和复杂度的持续提升，使产品模型设计的重要程度日益突出。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种产品模型设计系统及方法，通过预先训练好的强化学习模型以及产品预测模型，实现对产品模型的预测，替代工业软件生成满足产品指标参数的产品模型。

为达上述目的及其他相关目的，本申请实施例提供一种产品模型设计系统，包括：强化学习模块，用于基于预先训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；产品预测模块，用于基于预先训练好的产品预测模型，对所述产品模型进行预测，生成产品预测结果；根据所述产品预测结果，由所述强化学习模型对所述产品设计参数进行调整，以更新所述产品模型，生成满足产品指标参数的所述产品模型。

可选地，在本申请的任一实施例中，所述强化学习模型为基于深度强化学习技术的深度神经网络模型。

可选地，在本申请的任一实施例中，所述产品模型设计系统还包括：价值判断模块，用于将所述产品预测结果与产品计算结果进行比较，生成产品比较结果，响应于所述产品比较结果不一致，所述产品预测模型根据所述产品比较结果对自身参数进行调整，其中，所述产品计算结果为标准软件对所述产品模型进行计算生成。

可选地，在本申请的任一实施例中，所述产品模型设计系统还包括：数据采集模块，用于采集所述产品模型的任务需求，明确所述产品模型需要验证的任务。

可选地，在本申请的任一实施例中，所述产品模型设计系统还包括：需求量化模块，用于对所述任务需求进行量化生成所述产品设计参数以及产品指标参数。

可选地，在本申请的任一实施例中，通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练，其中，所述设计行为数据包括：样本设计参数、样本指标参数。

本申请实施例还提供一种产品模型设计方法，包括：基于预先训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；基于预先训练好的产品预测模型，对所述产品模型进行预测，生成产品预测结果；根据所述产品预测结果，通过所述强化学习模型对所述产品设计参数进行调整，以生成满足产品指标参数的所述产品模型。

可选地，在本申请的任一实施例中，所述产品模型设计方法还包括：确认标准软件对所述产品模型进行计算生成产品计算结果；将所述产品预测结果与所述产品计算结果进行比较，响应于所述比较结果不一致，根据所述比较结果由所述产品预测模型对其自身参数进行调整。

可选地，在本申请的任一实施例中，所述产品模型设计方法还包括：采集所述产品模型的任务需求，明确所述产品模型需要验证的任务。

可选地，在本申请的任一实施例中，所述产品模型设计方法还包括：对所述任务需求进行量化生成所述产品设计参数以及产品指标参数。

可选地，在本申请的任一实施例中，所述产品模型设计方法还包括：通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练，其中，所述设计行为数据包括：样本设计参数、样本指标参数。

可选地，在本申请的任一实施例中，所述通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练包括：确认所述标准软件对所述样本模型进行计算，得样本计算结果；确认所述产品预测模型对所述样本模型进行预测，得样本预测结果；将所述样本计算结果与所述样本预测结果进行比较，根据样本比较结果确定对所述强化学习模型以及产品预测模型进行训练。

可选地，在本申请的任一实施例中，所述将所述样本比较结果与所述样本预测结果进行比较，根据样本比较结果确定对所述强化学习模型以及产品预测模型进行训练包括：基于预设的阈值函数，确定所述样本计算结果和样本预测结果之间的差值与预设的差异阈值的关系，确定对所述强化学习模型以及产品预测模型进行训练。

可选地，在本申请的任一实施例中，所述确定所述样本计算结果和样本预测结果之间的差值与预设的差异阈值之间的关系，确定对所述强化学习模型以及产品预测模型进行训练包括：响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则继续对所述强化学习模型以及产品预测模型进行训练；或者，响应于所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则对所述强化学习模型以及产品预测模型的训练完成。

可选地，在本申请的任一实施例中，所述响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则继续对所述强化学习模型以及产品预测模型进行训练包括：响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则所述样本比较结果不一致，根据所述样本比较结果由所述产品预测模型对其自身参数进行调整，以及根据所述样本计算结果由所述强化学习模型对所述样本设计参数进行调整，以更新所述样本模型，直至生成满足所述样本指标参数的所述样本模型。

可选地，在本申请的任一实施例中，所述响应于所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则对所述强化学习模型以及产品预测模型的训练完成包括：所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则所述样本比较结果一致，对所述强化学习模型以及产品预测模型的训练完成。

由上可知，本申请实施例所提供的产品模型设计系统及方法，通过样本模型的设计行为数据对强化学习模型以及产品预测模型进行训练；基于训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；由训练好的产品预测模型对产品模型进行预测，生成产品预测结果；根据产品预测结果，由强化学习模型对产品设计参数进行调整，以更新产品模型，直至生成满足产品指标参数的产品模型。产品模型的设计通过强化学习模型以及产品预测模型完成，替代了工业软件，有效克服人类手工方法的费时费力，解放了设计人员的身心，缩短了产品模型的研发周期。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1为根据本申请一实施例所示的产品模型设计系统示意图；

图2为根据本申请的实施例中对强化学习模型以及产品预测模型进行训练的训练系统示意图；

图3为根据本申请一实施例所示的产品模型设计方法流程图；

图4为根据本申请的实施例中对所述强化学习模型以及产品预测模型进行训练的训练流程图。

具体实施方式

实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

图1为根据本申请一实施例所示的产品模型设计系统示意图。如图1所示，本实施例的产品模型设计系统包括：强化学习模块103，用于基于预先训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；产品预测模块105，用于基于预先训练好的产品预测模型，对所述产品模型进行预测，生成产品预测结果；根据所述产品预测结果，由所述强化学习模型对所述产品设计参数进行调整，以更新所述产品模型，生成满足产品指标参数的所述产品模型。

需要说明的是，强化学习模型以及产品预测模型可以从已有的模型设计中进行学习，与已有的模型设计进行大量交互，学习优化设计产品的策略，以能够生成合理的模型版本。也就是说，通过一系列已经观察到的模型设计及其仿真结果和给出的模型设计命令，由强化学习模型以及产品预测模型协作预测生成未来模型及其仿真结果。通过训练好的强化学习模型和产品预测模型对产品模型进行预测设计，得到符合要求的未来模型，与传统强化学习神经网络相比，提高了训练速度，需要数据量也比传统强化学习神经网络小。

进一步地，所述产品设计参数包括：尺寸参数、元件物理参数、元件材质、元件数量、接口位置、固定方式。具体的，尺寸参数包括：长x宽x高以及安装尺寸、可用空间等；元件物理参数包括：密度、体积、重量等。然而，并不以此为限，可依据实际需求进行调整。

进一步地，所述产品指标参数包括：工作性能指标参数、结构特征指标参数、运行环境指标参数、规格指标参数。具体的，通过产品指标参数将一些不具体、模糊的因素用数据表示出来，从而达到可分析的目的。比如，电路外壳的产品指标参数还包括电路外壳中待设置的芯片类型参数、芯片数量参数；流体力学产品的产品指标参数还包括流体力学中待设置的边界条件，以及流体力学产品的尺寸参数、流体入口及出口位置参数、流体信息参数、流速信息参数等；微波器件产品的产品指标参数还包括电特性指标参数：中心频率、带内波动、中心插损等；运行环境指标参数包括：工作温度指标参数、存储温度指标参数等；规格指标参数包括：外形尺寸指标参数、元件类型数量指标参数等。然而，并不以此为限，可依据实际需求而进行调整。

根据不同的产品设计参数生成不同的产品模型，如力学产品模型(流体力学模型、结构力学模型等)、电子产品模型(如有源集成电路模型、无源集成电路模型等)等，然而，并不以此为限，可以依据实际需求进行调整。

进一步地，所述预测结果包括：性能参数、温漂参数、功率参数、功耗参数、应力参数、应变参数。产品预测模型对产品模型进行预测，生成预测结果，具体的是对产品模型的功能进行衡量，生成产品模型的功能参数，使能够对产品模型进行价值评估。

进一步地，所述强化学习模型为基于深度强化学习技术的深度神经网络模型。具体的，该神经网络模型是可以学习产品设计动作(产品设计参数)与产品模型的映射关系的神经网络，输入是产品模型，输出是进一步优化产品模型的设计动作即优化后的产品设计参数。基于深度强化学习技术的深度神经网络模型具有感知决策能力，强化学习由于其优秀的决策能力在人工智能领域得到了广泛的应用，它以试错的机制与环境进行交互，通过最大化累积奖赏来学习最优策略。为此，结合了深度学习和强化学习的深度强化学习(deepreinforcement learning，简称DRL)技术可以用于解决复杂高维状态空间中的感知决策问题。需要说明的是，产品预测模型还可以是程序化的函数或程序化的经验。具体的，程序化的函数是指基于输入的产品模型计算产品性能指标的函数。程序化的经验是软件开发人员根据设计师的设计经验和智慧，编写的计算产品性能指标的经验模型。

进一步地，所述深度神经网络模型为卷积神经网络模型或循环神经网络模型。具体的，卷积神经网络是包含卷积计算且具有深度结构的前馈神经网络，具有强大的表征能力和泛化能力，因此它可以对产品设计过程中所产生的数据进行分析，从而得到设计数据的显著特征，为产品模型的设计决策奠定基础。循环神经网络是以序列数据为输入，在序列的演进方向进行递归且循环单元按链式连接的递归神经网络，具有记忆性、参数共享并且图灵完备，因此能以很高的效率对序列的非线性特征进行学习。常用的有双向循环神经网络和长短期记忆神经网络。此外，也可以通过将卷积神经网络或循环神经网络相结合以构成深度神经网络模型。

可选地，在一应用场景中，本实施例的产品模型设计系统还包括：价值判断模块106，用于将所述产品预测结果与产品计算结果进行比较，生成产品比较结果，其中，所述产品计算结果为标准软件104对所述产品模型进行计算生成；响应于所述产品比较结果不一致，根据所述产品比较结果由所述产品预测模型对自身参数进行调整。

需要明确说明的是，标准软件为在行业或领域内广泛使用、普遍认可的产品模型设计/计算/仿真软件，通过标准软件对产品模型进行计算的得到的产品计算结果是具有参考意义的标准计算结果。价值判断模块106将产品预测结果与标准计算结果相比较，生成产品比较结果。根据产品比较结果，找出二者之间的规律、差异，判断产品模型的优劣以及是否需要修改，如果产品比较结果不一致，则产品预测模型根据比较结果对自身参数进行调整，以提高对产品模型的预测准确性。

与此同时，将产品预测结果反馈给强化学习模型，由强化学习模型根据产品预测结果对产品设计参数进行调整，以更新产品模型。然后再由产品预测网络对新的产品模型进行预测，生成新的产品预测结果；由标准软件对新的产品模型进行计算，生成新的产品计算结果；再由价值判断模块106对新的产品计算结果以及新的产品预测结果进行比较，生成新的产品比较结果。如此循环，直至生成满足产品指标参数的产品模型为止。

可选地，在一应用场景中，本实施例的产品模型设计系统还包括：数据采集模块101，用于采集所述产品模型的任务需求，明确所述产品模型需要验证的任务。

在此步骤中，根据实际任务需求，明确要进行设计/计算/仿真的类型及其具体要求，以便后续获取产品模型。不同的设计/计算/仿真对应需求不同的产品模型，如，电磁仿真对应需要的就是电磁模型、流体仿真对应需要的就是流体模型、力学仿真对应需要的就是力学模型。

进一步地，通过采集所述任务需求为原始问题和目标建立逻辑模型。具体的，通过采集任务需求，准确理解项目的功能、性能、可靠性等具体要求，将非形式的需求转化为完整的需求定义，确定项目的约束条件、响应时间、与其它项目之间的关系等，确定项目的综合要求，清除模糊性、歧义性和不一致的需求，为原始问题和目标建立逻辑模型。

进一步地，本实施例的产品模型设计系统还包括：需求量化模块102，用于对所述任务需求进行量化生成所述产品设计参数以及产品指标参数。

具体的，对任务需求进行量化生成产品设计参数以及产品指标参数，是通过对原始问题和目标建立的逻辑模型进行分析，将逻辑模型需求以参数化、指标化的形式表达出来，通过可衡量的数值(参数、指标等)对将要生成的产品模型进行衡量。在对任务需求量化过程中，将一些不具体的、模糊的因素用数据表示出来，从而达到可以分析的目的。通过任务需求量化生成产品设计参数以及产品指标参数，使产品模型的设计进入参数化设计阶段，使要生成的产品模型能够在可变参数的作用下，由系统自动维护不变参数，在产品模型中建立各种约束关系，体现任务需求的本质意图。

可选地，在一应用场景中，本实施例的产品模型设计系统通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练，其中，所述设计行为数据包括：样本设计参数、样本指标参数。

在此步骤中，可通过已有的样本模型库对强化学习模型以及产品预测模型进行训练。样本模型库中的样本模型为经过设计师设计或工业软件生成的模型，将样本模型与实际的任务需求进行结合，对强化学习模型以及产品预测模型进行训练，直至总是能够生成满足任务需求的模型，对强化学习模型以及产品预测模型的训练结束。

可选地，在一应用场景中，根据任务需求实时设计样本模型对所述强化学习模型以及产品预测模型进行训练。如图2所示，为根据本申请的实施例中对强化学习模型以及产品预测模型进行训练的训练系统示意图，该训练系统包括：任务采集模块201，用于采集样本模型的任务需求，明确所述样本模型需要验证的任务；需求量化模块202，用于对所述任务需求进行量化生成样本设计参数以及样本指标参数；强化学习模块103，用于基于预先建立的强化学习模型，根据所述样本设计参数，按照预设的建模规则生成所述样本模型；标准软件104，用于对所述样本模型进行计算，得样本计算结果；产品预测模块105，用于基于预先建立的产品预测模型，对所述样本模型进行预测，得样本预测结果；价值判断模块106，用于将所述样本计算结果与所述样本预测结果进行比较，生成样本比较结果；响应于所述样本比较结果不一致，根据所述样本比较结果由所述产品预测模型对自身参数进行调整，以及根据所述样本计算结果由所述强化学习模型对所述样本设计参数进行调整，以更新所述样本模型，直至生成满足所述样本指标参数的所述样本模型；响应于所述样本比较结果一致，则对所述强化学习模型以及所述产品预测模型的训练完成。

其中，样本任务采集模块201与任务采集模块101的设计、功能相同，在此不再一一赘述，二者可采用一个模块，合并用之。样本需求量化模块202与需求量化模块102的设计、功能相同，在此不再一一赘述，二者可采用一个模块，合并用之。强化学习模块103生成样本模型、标准软件104对样本模型计算生成样本计算结果、产品预测模型105对样本模型计算生成样本预测结果、价值判断模块106根据样本计算结果和样本预测结果生成样本比较结果的过程、事项请参考上述产品模型设计系统实施例中的描述，在此不再一一赘述。

图3为根据本申请一实施例所示的产品模型设计方法流程图。如图3所示，本实施例的产品模型设计方法包括：

步骤S301、基于预先训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；

步骤S302、基于预先训练好的产品预测模型，对所述产品模型进行预测，生成产品预测结果；

步骤S303、根据所述产品预测结果，通过所述强化学习模型对所述产品设计参数进行调整，以生成满足产品指标参数的所述产品模型。

可选地，在一应用场景中，本实施例的产品模型设计方法还包括下述步骤：确认标准软件对所述产品模型进行计算生成产品计算结果；将所述产品预测结果与所述产品计算结果进行比较，生成产品比较结果；响应于所述产品比较结果不一致，根据所述产品比较结果由所述产品预测模型对其自身参数进行调整。

可选地，在一应用场景中，本实施例的产品模型设计方法在步骤S301之前还包括下述步骤：采集所述产品模型的任务需求，明确所述产品模型需要验证的任务。

进一步地，还包括下述步骤：对所述任务需求进行量化生成所述产品设计参数以及产品指标参数。

本实施例所述的产品模型设计方法与上述产品模型设计系统的实施例相对应，具体操作实施在此不再一一赘述。

进一步地，在图3所示产品模型设计方法的事实例中，还包括步骤：通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练，其中，所述设计行为数据包括：样本设计参数、样本指标参数。

具体的，通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练的训练流程如图4所示，该训练流程图包括：

步骤S401、采集样本模型的任务需求，明确所述样本模型需要验证的任务。

在此步骤中，根据样本模型的实际任务需求，明确要进行的设计/计算仿真的类型以及具体要求，以便获取样本模型。

进一步地，通过采集所述任务需求为原始问题和目标建立样本逻辑模型。具体的，通过采集任务需求，准确理解样本的功能、性能、可靠性等具体要求，将非形式的需求转化为完整的需求定义，确定样本的约束条件、响应时间等，确定样本的综合要求，清除模糊性、歧义性和不一致的需求，为原始问题和目标建立样本逻辑模型。

步骤S402、对所述任务需求进行量化生成样本设计参数以及样本指标参数。

具体的，对任务需求进行量化生成样本设计参数以及样本指标参数，是通过对原始问题和目标建立的样本逻辑模型进行分析，将样本逻辑模型需求以参数化、指标化的形式表达出来，通过可衡量的数值(参数、指标等)对将要生成的样本模型进行衡量。在对任务需求量化过程中，将一些不具体的、模糊的因素用数据表示出来，从而达到可以分析的目的。通过任务需求量化生成样本设计参数以及样本指标参数，使样本模型的设计进入参数化设计阶段，使要生成的样本模型能够在可变参数的作用下，由系统自动维护不变参数，在样本模型中建立各种约束关系，体现人物需求的本质意图。

步骤S403、基于预先建立的强化学习模型，根据所述样本设计参数，按照预设的建模规则生成样本模型。

进一步地，所述样本设计参数包括：尺寸参数、元件物理参数、元件材质、元件数量、接口位置、固定方式。具体的，尺寸参数包括：长x宽x高以及安装尺寸、可用空间等；元件物理参数包括：密度、体积、重量等。然而，并不以此为限，可依据实际需求进行调整。

每一种软件或产品都有其独特的模型建立规则，在根据样本设计参数进行样本模型生成过程中，需严格遵守软件或模型的建模规则，方能生成合乎需求的样本模型。

步骤S404A、确认所述标准软件对所述样本模型进行计算，得样本计算结果；

步骤S404B、确认所述产品预测模型对所述样本模型进行预测，得样本预测结果。

步骤S404A与步骤S404B为并列步骤，不存在先后顺序，需要说明的是，标准软件为在行业或领域内广泛使用、普遍认可的设计/计算/仿真软件，由标准软件对样本模型进行计算得到的样本计算结果是具有参考意义的标准结果，能够被广泛接受的。在此步骤中，输入标准软件进行计算的样本模型是随机发送的，并非特定模型，需要注意的是，输入标准软件的样本模型与输入产品预测模型的样本模型是同一模型，如此得出的样本计算结果与样本预测结果才具有进行比较的价值。

步骤S405、将所述样本计算结果与所述样本预测结果进行比较，根据样本比较结果确定对所述强化学习模型以及产品预测模型进行训练。

在该步骤中，根据样本比较结果确定对所述强化学习模型以及产品预测模型进行训练具体为：响应于所述样本比较结果不一致，根据所述样本比较结果由所述产品预测模型对其自身参数进行调整，以及根据所述样本计算结果由所述强化学习模型对所述样本设计参数进行调整，以更新所述样本模型，直至生成满足所述样本指标参数的所述样本模型；响应于所述样本比较结果一致，则对所述强化学习模型以及产品预测模型的训练完成。通过将样本计算结果与样本预测结果进行比较，生成样本比较结果。根据样本比较结果，找出二者之间的规律、差异，判断样本模型的优劣以及确定产品模型是否需要修改，以便执行后续操作。

通过样本比较结果，找出样本计算结果与样本预测结果之间存在的规律、差异，如果样本比较结果不一致，则产品预测模型根据样本比较结果对自身参数进行调整；强化学习模型根据样本计算结果对样本设计参数进行调整，以更新样本模型，生成新的样本模型。将新生成的样本模型再次输入产品预测模型中进行预测，获取新的样本预测结果；同时将新生成的样本模型输入标准软件进行计算，生成新的样本计算结果；然后再将新的样本预测结果与新的样本计算结果进行比较，获取新的样本比较结果，根据新的样本比较结果判断是否再次需要对样本设计参数以及产品预测模型的自身参数进行调整，直至生成满足样本指标参数的样本模型。如果样本比较结果一致，则停止对强化学习模型以及产品预测模型的训练，也即对强化学习模型以及产品预测模型的训练完成。

需要说明的是，通过设置固定的时间或者步骤，当达到设定的时间或者步骤后调用标准软件对产品模型进行计算，生成产品计算结果，与产品预测模型生成的产品预测结果进行比较，确定产品计算结果与产品预测结果是否一致，以验证产品预测模型是否存在问题，确定对强化学习模型以及产品预测模型的训练是否完成。

可选地，在一应用场景中，基于预设的阈值函数，确定所述样本计算结果和所述样本预测结果之间的差值与预设的差异阈值的关系，以确定对所述强化学习模型以及产品预测模型进行训练。具体的，阈值函数用于判断样本计算结果和样本预测结果之间的差值与预设的差异阈值的大小关系，如果样本计算结果和样本预测结果之间的差值大于差异阈值，则说明产品预测模型存在问题，需要调用标准模型设计软件生成样本模型，对强化学习模型以及产品预测模型进行训练。如果样本计算结果和样本预测结果之间的差值小于差异阈值，则说明产品预测模型没有问题，产品预测模型可以直接对产品模型进行预测，生成产品预测结果。

进一步地，响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则继续对所述强化学习模型以及产品预测模型进行训练；或者，响应于所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则对所述强化学习模型以及产品预测模型的训练完成。具体的，样本计算结果和样本预测结果之间的差值大于差异阈值，则说明产品预测模型存在问题，需要调用标准模型设计软件生成样本模型，对强化学习模型以及产品预测模型进行训练。需要说明的是，并非一直使用标准模型设计软件生成样本模型，其只有在样本计算结果和样本预测结果之间的差值大于差异阈值时，才调用标准模型设计软件生成样本模型。

具体的，响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则继续对所述强化学习模型以及产品预测模型进行训练为：响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则所述样本比较结果不一致，根据所述样本比较结果由所述产品预测模型对其自身参数进行调整，以及根据所述样本计算结果由所述强化学习模型对所述样本设计参数进行调整，以更新所述样本模型，直至生成满足所述样本指标参数的所述样本模型。

响应于所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则对所述强化学习模型以及产品预测模型的训练完成为：所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则所述样本比较结果一致，对所述强化学习模型以及产品预测模型的训练完成。

本申请实施例所提供的产品模型设计系统及方法，通过样本模型的设计行为数据对强化学习模型以及产品预测模型进行训练；基于训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；由训练好的产品预测模型对产品模型进行预测，生成产品预测结果；根据产品预测结果，由强化学习模型对产品设计参数进行调整，以更新产品模型，直至生成满足产品指标参数的产品模型。产品模型的设计通过训练好的强化学习模型以及产品预测模型完成，替代了工业软件，省事省力，缩短了产品模型的研发周期，能够完成高复杂度的产品模型设计。

在各种实施例中，由参照附图的描述。然而，某些实施例可以在不使用一个或多个这些特定的细节，或结合其它已知的方法和结构。在以下描述中，阐述了很多具体的细节，例如具体的结构，尺寸和工艺等，以提供对本发明的全面理解本发明。在其它实例中，公知的半导体加工工艺和制造技术没有特别详细地描述，以避免模糊本发明中。遍及本说明书“一个实施例”是指特定特征，结构，配置中，或该实施例中所描述的特征被包括在本发明的至少一个实施例中。因此，出现的短语“在一个实施方案中”在本说明书中不同地方本发明不一定指相同的实施例。此外，具体的特征，结构，配置，或特性可以以任何合适的方式组合在一个或多个实施例中。

术语“生成”，“在”，“对”，“在”和“在”由于在用于本文时可以指相对于另一层层的相对位置。一个层“生成”，“在”，或“在”另一个层或者粘合“对”另一层可以直接接触的另一层上或可以有一个或多个插进层。一个层“在”层可以直接接触的层或可以有一个或多个插进层。

在进行以下具体实施方式之前，陈述在本专利文件全文中所使用的某些词语和短语的定义可能是有益的：用语“包括(include)”和“包括(comprise)”及其变型，意为包括而非限制；用语“或(or)”是包括性的，意为和/或；短语“与…关联(associated with)”和“与之相关(associated therewith)”及其变型可意为包括、被包括在内、“与…相互连接”、包含、被包含在内、“连接至…”或“与…连接”、“联接至…”或“与…联接”、“可与…通信”、“与…配合”、交错、并列、接近于、“被约束到…”或“用…约束”、具有、“具有…的性质”等；以及用语“控制器”意为控制至少一个操作的任何设备、系统或其部件，这种设备可实现在硬件、固件或软件中，或者实现在硬件、固件和软件中的至少两种中的一些组合中。应注意到，与任何特定控制器有关的功能可被局域地或远程地集中或分散。在本专利文件全文中提供对于某些词语和短语的定义，本领域技术人员应理解，在许多情况下(即使不是大多数情况)，这种定义适用于现有技术以及适用于如此限定的词语和短语的将来的使用。

在本公开中，表述“包括(include)”或“可包括(may include)”指代相应功能、操作或元件的存在，而不限制一个或多个附加功能、操作或元件。在本公开中，诸如“包括(include)”和/或“具有(have)”的用语可理解为表示某些特性、数字、步骤、操作、组成元件、元件或其组合，而不可理解为排除一个或多个其它特性、数字、步骤、操作、组成元件、元件或其组合的存在或附加的可能性。

在本公开中，表述“A或B”、“A或/和B中的至少一个”或者“A或/和B的一个或多个”可包括所列项目所有可能的组合。例如，表述“A或B”、“A和B中的至少一个”或者“A或B中的至少一个”可包括：(1)至少一个A，(2)至少一个B，或者(3)至少一个A和至少一个B。

在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅用于将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。

当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。

如本文中使用的表述“配置为”可与以下表述可替换地使用：“适合于”、“具有...的能力”、“设计为”、“适于”、“制造为”或“能够”。用语“配置为”可不必意为在硬件上“专门设计为”。可替代地，在一些情况下，表述“配置为…的设备”可意为该设备与其它设备或部件一起“能够…”。例如，短语“适于(或配置为)执行A、B和C的处理器”可意为仅用于执行相应操作的专用处理器(例如，嵌入式处理器)或可通过执行存储在存储设备中的一个或多个软件程序执行相应操作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。

在本公开中所使用的用语仅用于描述特定的实施方式而不旨在限制本公开。除非在上下文中明确另有所指，否则如在本文中所使用的单数形式也可包括复数形式。

除非另有限定，否则本文中使用的全部用语(包括技术用语和科学用语)具有与本公开所属领域的技术人员所通常理解的意思相同的意思。除非在本公开中明确限定，否则如在通常使用的词典中所限定的这种用语可被解释为具有与在相关技术领域的语境中的意思相同的意思，而不应被解释为具有理想化或过于形式的意思。在一些情况下，即使在本公开中限定的用语也不应被解释为排除本公开的实施方式。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (16)

1.一种产品模型设计系统，其特征在于，包括：

强化学习模块，用于基于预先训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；

产品预测模块，用于基于预先训练好的产品预测模型，对所述产品模型进行预测，生成产品预测结果；

根据所述产品预测结果，由所述强化学习模型对所述产品设计参数进行调整，以更新所述产品模型，生成满足产品指标参数的所述产品模型。

2.根据权利要求1所述的产品模型设计系统，其特征在于，所述强化学习模型为基于深度强化学习技术的深度神经网络模型。

3.根据权利要求1所述的产品模型设计系统，其特征在于，还包括：价值判断模块，用于将所述产品预测结果与产品计算结果进行比较，生成产品比较结果，响应于所述比较结果不一致，根据所述比较结果由所述产品预测模型对自身参数进行调整，其中，所述产品计算结果为标准软件对所述产品模型进行计算生成。

4.根据权利要求1所述的产品模型设计系统，其特征在于，还包括：数据采集模块，用于采集所述产品模型的任务需求，明确所述产品模型需要验证的任务。

5.根据权利要求4所述的产品模型设计系统，其特征在于，还包括：需求量化模块，用于对所述任务需求进行量化生成所述产品设计参数以及产品指标参数。

6.根据权利要求1-5任一所述的产品模型设计系统，其特征在于，

通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练，其中，所述设计行为数据包括：样本设计参数、样本指标参数。

7.一种产品模型设计方法，其特征在于，包括：

基于预先训练好的强化学习模型，按照预设的建模规则，根据产品设计参数生成产品模型；

基于预先训练好的产品预测模型，对所述产品模型进行预测，生成产品预测结果；

根据所述产品预测结果，通过所述强化学习模型对所述产品设计参数进行调整，以生成满足产品指标参数的所述产品模型。

8.根据权利要求7所述的产品模型设计方法，其特征在于，还包括：

确认标准软件对所述产品模型进行计算生成产品计算结果；

将所述产品预测结果与所述产品计算结果进行比较，生成产品比较结果；

响应于所述产品比较结果不一致，根据所述产品比较结果由所述产品预测模型对其自身参数进行调整。

9.根据权利要求7所述的产品模型设计方法，其特征在于，还包括：采集所述产品模型的任务需求，明确所述产品模型需要验证的任务。

10.根据权利要求9所述的产品模型设计方法，其特征在于，还包括：对所述任务需求进行量化生成所述产品设计参数以及产品指标参数。

11.根据权利要求7-10任一所述的产品模型设计方法，其特征在于，还包括：

通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练，其中，所述设计行为数据包括：样本设计参数、样本指标参数。

12.根据权利要求11所述的产品模型设计方法，其特征在于，所述通过样本模型的设计行为数据对所述强化学习模型以及产品预测模型进行训练包括：

确认所述标准软件对所述样本模型进行计算，得样本计算结果；

确认所述产品预测模型对所述样本模型进行预测，得样本预测结果；

将所述样本计算结果与所述样本预测结果进行比较，根据样本比较结果确定对所述强化学习模型以及产品预测模型进行训练。

13.根据权利要求12所述的产品模型设计方法，其特征在于，所述将所述样本比较结果与所述样本预测结果进行比较，根据样本比较结果确定对所述强化学习模型以及产品预测模型进行训练包括：

基于预设的阈值函数，确定所述样本计算结果和样本预测结果之间的差值与预设的差异阈值的关系，以确定对所述强化学习模型以及产品预测模型进行训练。

14.根据权利要求13所述的产品模型设计方法，其特征在于，所述确定所述样本计算结果和样本预测结果之间的差值与预设的差异阈值之间的关系，以确定对所述强化学习模型以及产品预测模型进行训练包括：

响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则继续对所述强化学习模型以及产品预测模型进行训练；或者，

响应于所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则对所述强化学习模型以及产品预测模型的训练完成。

15.根据权利要求14所述的产品模型设计方法，其特征在于，所述响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，则继续对所述强化学习模型以及产品预测模型进行训练包括：

响应于所述样本计算结果和样本预测结果之间的差值大于所述差异阈值，所述样本比较结果不一致，根据所述样本比较结果由所述产品预测模型对其自身参数进行调整，以及根据所述样本计算结果由所述强化学习模型对所述样本设计参数进行调整，以更新所述样本模型，直至生成满足所述样本指标参数的所述样本模型。

16.根据权利要求14所述的产品模型设计方法，其特征在于，所述响应于所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，则对所述强化学习模型以及产品预测模型的训练完成包括：所述样本计算结果和样本预测结果之间的差值小于所述差异阈值，所述样本比较结果一致，则对所述强化学习模型以及产品预测模型的训练完成。