CN115793571A - 基于多模态数据的加工设备控制方法、系统及相关设备 - Google Patents

Abstract

本发明公开了一种基于多模态数据的加工设备控制方法、系统及相关设备，方法包括：获取待加工部件对应的加工图像数据，根据加工图像数据获取待加工部件对应的待加工相对坐标信息；获取待加工部件对应的自然语言描述数据，根据自然语言描述数据获取待加工部件对应的加工指导数据，包括待加工部件对应的材质、目标尺寸和目标刀具；根据待加工相对坐标信息和目标尺寸获取上述待加工部件对应的待加工目标坐标信息；根据待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成待加工部件对应的设备控制指令；根据设备控制指令控制加工设备对待加工部件进行加工。本发明方案有利于降低加工设备控制的难度。

Description

基于多模态数据的加工设备控制方法、系统及相关设备

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种基于多模态数据的加工设备控制方法、系统及相关设备。

背景技术

随着科学技术的发展，计算机辅助制造等新的部件加工方式的应用也越来越广泛。使用计算机辅助制造时，可以控制加工设备进行部件加工（例如进行切削加工），以获得加工好的部件。

现有技术中，需要由用户直接输入用于控制加工设备的控制数据。例如，用户需要具体输入加工设备可以直接读取和执行的代码或指令，以实现调整加工设备的切削角度、移动距离等。现有技术的问题在于，需要用户手动输入精确的控制数据，对操作人员的要求较高，不利于降低加工设备控制的难度。

因此，现有技术还有待改进和发展。

发明内容

本发明的主要目的在于提供一种基于多模态数据的加工设备控制方法、系统及相关设备，旨在解决现有技术中用户需要具体输入加工设备可以直接读取和执行的代码或指令，对操作人员的要求较高，不利于降低加工设备控制的难度的问题。

为了实现上述目的，本发明第一方面提供一种基于多模态数据的加工设备控制方法，其中，上述基于多模态数据的加工设备控制方法包括：

获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，其中，上述待加工相对坐标信息包括上述待加工部件的多条待加工边之间的相对坐标；

获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据包括上述待加工部件对应的材质、目标尺寸和目标刀具；

根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息；

根据上述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成上述待加工部件对应的设备控制指令；

根据上述设备控制指令控制加工设备对上述待加工部件进行加工。

可选的，上述获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，包括：

获取上述待加工部件对应的加工图像数据，其中，上述加工图像数据包括上述待加工部件对应的原始形状图像和加工形状图像；

根据上述原始形状图像和上述加工形状图像提取获得上述待加工部件对应的多条待加工边，并根据上述待加工边获取上述待加工相对坐标信息。

可选的，上述获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，包括：

获取上述待加工部件对应的自然语言描述数据，其中，上述自然语言描述数据包括操作对象输入的语音描述数据；

对上述语音描述数据进行语音文字识别，获取上述语音描述数据对应的文本描述数据；

获取上述操作对象对应的文本优化模型，根据上述文本优化模型对上述文本描述数据进行优化处理，获得上述文本描述数据对应的标准文本数据；

根据上述标准文本数据，通过已训练的自然语言处理模型获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据还包括待加工边加工顺序和刀具使用顺序。

可选的，上述自然语言处理模型根据如下步骤训练：

将第一训练数据中的训练标准文本数据输入上述自然语言处理模型，通过上述自然语言处理模型获取上述训练标准文本数据对应的训练加工指导数据，其中，上述第一训练数据包括多组训练文本组，每一组训练文本组包括训练标准文本数据和标注加工指导数据；

根据上述训练加工指导数据和上述标注加工指导数据，对上述自然语言处理模型的模型参数进行调整，并继续执行上述将第一训练数据中的训练标准文本数据输入上述自然语言处理模型的步骤，直至满足第一预设训练条件，以得到已训练的自然语言处理模型。

可选的，上述根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息，包括：

获取上述待加工部件中位置参考点对应的空间坐标，其中，上述待加工部件的待加工边中的所有待加工直线边对应至少一个位置参考点，上述待加工部件的待加工边中的任意一条待加工曲线边对应多个位置参考点；

根据上述待加工相对坐标信息、上述目标尺寸和各上述位置参考点对应的空间坐标获取上述待加工部件对应的待加工目标坐标信息。

可选的，上述控制指令生成模型根据如下步骤训练：

将第二训练数据中的训练加工指导数据和训练待加工目标坐标信息输入上述控制指令生成模型，通过上述控制指令生成模型生成训练设备控制指令，其中，上述第二训练数据包括多组训练指令组，每一组训练指令组包括训练加工指导数据、训练待加工目标坐标信息和标注设备控制指令；

根据上述训练设备控制指令和上述标注设备控制指令对上述控制指令生成模型的模型参数进行调整，并继续执行上述将第二训练数据中的训练加工指导数据和训练待加工目标坐标信息输入上述控制指令生成模型的步骤，直至满足第二预设训练条件，以得到已训练的控制指令生成模型。

可选的，上述设备控制指令是G代码指令，上述加工设备是数控机床。

本发明第二方面提供一种基于多模态数据的加工设备控制系统，其中，上述基于多模态数据的加工设备控制系统包括：

图像处理模块，用于获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，其中，上述待加工相对坐标信息包括上述待加工部件的多条待加工边之间的相对坐标；

自然语言处理模块，用于获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据包括上述待加工部件对应的材质、目标尺寸和目标刀具；

坐标校正模块，用于根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息；

控制指令生成模块，用于根据上述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成上述待加工部件对应的设备控制指令；

控制模块，用于根据上述设备控制指令控制加工设备对上述待加工部件进行加工。

本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于多模态数据的加工设备控制程序，上述基于多模态数据的加工设备控制程序被上述处理器执行时实现上述任意一种基于多模态数据的加工设备控制方法的步骤。

本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于多模态数据的加工设备控制程序，上述基于多模态数据的加工设备控制程序被处理器执行时实现上述任意一种基于多模态数据的加工设备控制方法的步骤。

由上可见，本发明方案中，获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，其中，上述待加工相对坐标信息包括上述待加工部件的多条待加工边之间的相对坐标；获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据包括上述待加工部件对应的材质、目标尺寸和目标刀具；根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息；根据上述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成上述待加工部件对应的设备控制指令；根据上述设备控制指令控制加工设备对上述待加工部件进行加工。

与现有技术中相比，本发明方案中，无需用户手动输入具体的可以由加工设备直接读取和执行的代码或指令。只需要根据待加工部件对应的加工图像数据和自然语言描述数据即可以自动处理获得对应的加工指导数据和待加工目标坐标信息，从而自动生成设备控制指令，实现对加工设备的控制和对待加工部件的加工。可见，本发明中，针对待加工部件进行多模态数据处理（包括针对加工图像数据和自然语言描述数据这两种不同来源和形式的数据的处理）即可以自动生成所需要的设备控制指令，不需要用户手动输入设备控制指令，有利于降低对操作人员的要求。且用户直接输入对应的加工图像数据和自然语言描述数据即可以实现加工控制，有利于降低加工设备控制的难度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种基于多模态数据的加工设备控制方法的流程示意图；

图2是本发明实施例提供的一种基于多模态数据的加工设备控制系统的结构示意图；

图3是本发明实施例提供的一种智能终端的内部结构原理框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于分类到”。类似的，短语“如果确定”或“如果分类到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦分类到[所描述的条件或事件]”或“响应于分类到[所描述条件或事件]”。

下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

随着科学技术的发展，计算机辅助制造等新的部件加工方式的应用也越来越广泛。使用计算机辅助制造时，可以控制加工设备进行部件加工（例如进行切削加工），以获得加工好的部件。

现有技术中，需要由用户直接输入用于控制加工设备的控制数据。例如，用户需要具体输入加工设备可以直接读取和执行的代码或指令，以实现调整加工设备的切削角度、移动距离等。现有技术的问题在于，需要用户手动输入精确的控制数据，对操作人员的要求较高，不利于降低加工设备控制的难度。

同时，现有技术中，对于加工设备的控制完全依靠于用户（即操作人员）针对待加工部件人工确定的控制数据，但用户输入的控制数据并不一定能达到控制加工设备加工出对应的待加工部件的要求，且用户输入的控制数据对应的加工准确性完全依赖于用户的个人经验，不利于提高部件加工的准确性。例如，用户认为根据切削角度A就可以进行待加工部件的加工，但实际上可能需要使用切削角度B，此时如果仅依靠用户的判断则部件加工准确性会受到较大影响。

为了解决上述多个问题中的至少一个问题，本发明方案中，获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，其中，上述待加工相对坐标信息包括上述待加工部件的多条待加工边之间的相对坐标；获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据包括上述待加工部件对应的材质、目标尺寸和目标刀具；根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息；根据上述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成上述待加工部件对应的设备控制指令；根据上述设备控制指令控制加工设备对上述待加工部件进行加工。

与现有技术中相比，本发明方案中，无需用户手动输入具体的可以由加工设备直接读取和执行的代码或指令。只需要根据待加工部件对应的加工图像数据和自然语言描述数据即可以自动处理获得对应的加工指导数据和待加工目标坐标信息，从而自动生成设备控制指令，实现对加工设备的控制和对待加工部件的加工。可见，本发明中，针对待加工部件进行多模态数据处理（包括针对加工图像数据和自然语言描述数据这两种不同来源和形式的数据的处理）即可以自动生成所需要的设备控制指令，不需要用户手动输入设备控制指令，有利于降低对操作人员的要求。且用户直接输入对应的加工图像数据和自然语言描述数据即可以实现加工控制，有利于降低加工设备控制的难度。

同时，本发明中的设备控制指令并不仅依赖于用户（即操作人员）的主观输入，而是根据客观的待加工目标坐标信息，结合加工指导数据，通过已训练的控制指令生成模型生成合理的设备控制指令，以实现对实际需要进行加工的边的合理加工，获得所需的待加工部件，有利于提高部件加工的准确性，也有利于提高对加工设备的控制的准确性。

示例性方法

如图1所示，本发明实施例提供一种基于多模态数据的加工设备控制方法，具体的，上述方法包括如下步骤：

步骤S100，获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，其中，上述待加工相对坐标信息包括上述待加工部件的多条待加工边之间的相对坐标。

其中，上述待加工部件是需要进行加工的部件，本实施例中，通过控制加工设备对待加工部件进行加工（例如进行切削加工）以获得加工完成后的目标部件。在一种应用场景中，待加工部件是预先设置的标准形状的部件（例如正方体的部件），通过加工设备加工成需要的形状，例如切削加工获得管道连接件，具体的标准形状和需要加工获得的形状可以根据实际需求设置和调整，在此不作具体限定。

上述待加工部件对应的加工图像数据用于指示待加工部件对应的标准形状和需要加工获得的形状，上述待加工相对坐标信息用于指示待加工部件中的待加工边的位置。需要说明的是，上述待加工相对坐标信息是基于对应图像的尺寸下的坐标信息。具体的，可以根据上述加工图像数据提取出待加工部件对应的所有待加工边，以待加工边上的一个点作为坐标原点，在对应的图像中建立坐标系，则可以快速获得各个待加工边相对于选择的坐标原点的相对坐标，根据相对坐标也可以快速获得各个待加工边对应的相对尺寸大小，从而在后续操作过程中快速确定实际需要加工的待加工边的实际尺寸和实际坐标位置等，有利于提高加工控制效率，降低加工控制的难度。

本实施例中，上述获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，包括：获取上述待加工部件对应的加工图像数据，其中，上述加工图像数据包括上述待加工部件对应的原始形状图像和加工形状图像；根据上述原始形状图像和上述加工形状图像提取获得上述待加工部件对应的多条待加工边，并根据上述待加工边获取上述待加工相对坐标信息。其中，上述原始形状图像是记录上述待加工部件的原始形状（即未经过加工的形状）的图像，可以通过对待加工部件进行扫描或拍摄获得。上述加工形状图像则是记录待加工部件在加工完成后的形状的设计图纸，可以通过三维图像绘制软件绘制获得。在一种应用场景中，上述加工形状图像可以是通过CAD或CAE软件绘制的dwj格式的设计图纸。本实施例中，在获得上述原始形状图像和上述加工形状图像之后，通过对两者进行对比和特征提取，即可以获得在技工过程中发生变化的边，作为待加工边，并确定待加工相对坐标信息。本实施例中，可以将上述原始形状图像和上述加工形状图像输入预先训练好的计算机视觉模型进行待加工边的提取，在上述计算机视觉模型训练时，针对一般待加工部件的直线和户县设计卷积核，并调整模型参数，从而可以实现基于计算机视觉算法提取图纸中待加工部件在加工前和加工后的直线与弧线特征，确定待加工边（即在加工前后发生变化的边）。

进一步的，在获得所有的待加工边之后，可以将其中一条待加工边上的一个点作为坐标原点，或者以图纸中预先指定的一个点作为坐标原点，从而获得各个待加工边相对于坐标原点的坐标。

在一种应用场景中，在获得所有的待加工边之后，使用坐标转换算法将图像中的信息转换为当前图纸大小下（即以计算机视觉看到的图纸为空间）的待加工相对坐标信息。

步骤S200，获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据包括上述待加工部件对应的材质、目标尺寸和目标刀具。

本实施例中，上述自然语言描述数据是由操作对象（即进行操作控制的用户）输入的自然语言形式的数据。本实施例中，操作对象只需要输入自然语言描述数据，不需要输入精确的用于控制加工设备的控制数据，因此对用户的操作要求更低，有利于提高加工控制的便利性和降低控制难度。

具体的，上述获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，包括：获取上述待加工部件对应的自然语言描述数据，其中，上述自然语言描述数据包括操作对象输入的语音描述数据；对上述语音描述数据进行语音文字识别，获取上述语音描述数据对应的文本描述数据；获取上述操作对象对应的文本优化模型，根据上述文本优化模型对上述文本描述数据进行优化处理，获得上述文本描述数据对应的标准文本数据；根据上述标准文本数据，通过已训练的自然语言处理模型获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据还包括待加工边加工顺序和刀具使用顺序。

本实施例中，操作对象只需要输入语音描述数据，即可以实现进行自动语音识别，并最终获得对应的加工指导数据，从而实现对加工过程的控制，极大的方便了用户的操作过程。

需要说明的是，本实施例中，考虑到不同的操作对象有不同的说话习惯，不同的操作对象所对应的文本优化模型不同，各个文本优化模型是针对对应的操作对象训练获得的，文本优化模型在训练是使用的数据都是对应的操作对象的训练数据，从而有利于提高各个文本优化模型针对对应的操作对象的文本描述数据进行优化处理时的准确性，进而提高加工控制的准确性。

本实施例中，上述加工指导数据是用于对加工控制过程进行指导和控制的数据，针对操作对象输入的自然语言描述数据处理即可获得对应的加工指导数据。具体的，加工指导数据包括待加工部件对应的材质、目标尺寸、目标刀具、加工边加工顺序和刀具使用顺序，还可以包括其它具体信息，在此不作具体限定。

其中，上述自然语言处理模型是预先训练好的用于从文本数据中提取获得有用的指导信息的模型。具体的，上述自然语言处理模型根据如下步骤训练：将第一训练数据中的训练标准文本数据输入上述自然语言处理模型，通过上述自然语言处理模型获取上述训练标准文本数据对应的训练加工指导数据，其中，上述第一训练数据包括多组训练文本组，每一组训练文本组包括训练标准文本数据和标注加工指导数据；根据上述训练加工指导数据和上述标注加工指导数据，对上述自然语言处理模型的模型参数进行调整，并继续执行上述将第一训练数据中的训练标准文本数据输入上述自然语言处理模型的步骤，直至满足第一预设训练条件，以得到已训练的自然语言处理模型。

其中，上述第一训练数据是预先采集的用于对自然语言模型进行训练的数据，需要说明的是，采集多个不同的操作对象所对应的数据作为上述第一训练数据，以提高训练获得的自然语言处理模型的适应性。上述第一预设训练条件是预先设置的自然语言处理模型的训练停止条件，本实施例中，上述第一预设训练条件可以包括自然语言处理模型的训练迭代次数达到对应的迭代次数阈值，或者上述训练加工指导数据和上述标注加工指导数据之间的损失值小于对应的损失阈值，还可以包括其它具体条件，在此不作具体限定。

需要说明的是，上述自然语言处理模型识别出的训练加工指导数据（或加工指导数据）是命名实体。具体的，自然语言处理模型针对输入的标准文本数据，以命名实体识别为任务进行自然语言识别。在一种应用场景中，上述自然语言处理模型为BERT-Transformer模型，通过人工标注一定数量数据，训练后模型可以自动识别对应的信息。

步骤S300，根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息。

具体的，根据待加工相对坐标信息和上述目标尺寸进行坐标校正，从而获得对应的待加工目标坐标信息，上述待加工坐标信息用于指示需要进行加工的具体坐标。

本实施例中，上述根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息，包括：获取上述待加工部件中位置参考点对应的空间坐标，其中，上述待加工部件的待加工边中的所有待加工直线边对应至少一个位置参考点，上述待加工部件的待加工边中的任意一条待加工曲线边对应多个位置参考点；根据上述待加工相对坐标信息、上述目标尺寸和各上述位置参考点对应的空间坐标获取上述待加工部件对应的待加工目标坐标信息。

其中，上述待加工目标坐标信息是实际需要加工的边对应的坐标，上述位置参考点是设置的用于对待加工边进行定位的点。对于一个待加工部件，其中的所有待加工直线边可以共用一个位置参考点（也可以设置多个参考点），因为待加工直线边的形状简单，即使共用同一个位置参考点，也可以根据待加工相对坐标信息快速进行定位，并确定各待加工直线边所对应的空间坐标。而对于待加工曲线边，则每一条待加工曲线边上可以设置多个位置参考点，以提高曲线定位的准确性。

需要说明的是，上述位置参考点的空间坐标是位置参考点在世界坐标系中的坐标，可以由操作对象输入，或者选择一个位置参考点作为坐标原点，即可以获得其它位置参考点对应的空间坐标。本实施例中，对于待加工曲线，可以按照预设的位置间隔设置多个位置参考点。其中，位置参考点的空间坐标还可以由操作对象通过自然语言描述数据输入，即通过对自然语言描述数据的提取获得。

在一种应用场景中，根据待加工相对坐标信息和上述目标尺寸，通过预先建立的启发式计算规则，将图像信息还原为真实尺寸。因为自然语言的描述一定是零散而不全面的，比如只会描述待加工件整体高度是多少厘米，不会有对细节的描述，细节情况只能通过对图像信息提取获得，但是通过计算机视觉获取的信息又是相对坐标，因此目前阶段需要根据自然语言处理模型获取的真实零散信息作为参考，对计算机视觉算法读取的全面但相对的信息进行还原校正，最终获得待加工目标坐标信息。

步骤S400，根据上述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成上述待加工部件对应的设备控制指令。

其中，上述设备控制指令是用于对加工设备进行直接控制的指令，本实施例中，将上述待加工部件对应的加工指导数据和待加工目标坐标信息输入控制指令生成模型，获取该控制指令生成模型输出的设备控制指令。

本实施例中，上述控制指令生成模型根据如下步骤训练：将第二训练数据中的训练加工指导数据和训练待加工目标坐标信息输入上述控制指令生成模型，通过上述控制指令生成模型生成训练设备控制指令，其中，上述第二训练数据包括多组训练指令组，每一组训练指令组包括训练加工指导数据、训练待加工目标坐标信息和标注设备控制指令；根据上述训练设备控制指令和上述标注设备控制指令对上述控制指令生成模型的模型参数进行调整，并继续执行上述将第二训练数据中的训练加工指导数据和训练待加工目标坐标信息输入上述控制指令生成模型的步骤，直至满足第二预设训练条件，以得到已训练的控制指令生成模型。

其中，上述第二训练数据是预先采集的用于对控制指令生成模型进行训练的数据，上述第二预设训练条件是预先设置的控制指令生成模型的训练停止条件，本实施中，上述第二预设训练条件可以包括控制指令生成模型的训练迭代次数达到该模型对应的迭代次数阈值，或者该模型对应的训练设备控制指令和标注设备控制指令之间的损失值小于对应的损失阈值，还可以包括其它具体条件，在此不作具体限定。

步骤S500，根据上述设备控制指令控制加工设备对上述待加工部件进行加工。

本实施例中，上述设备控制指令是G代码指令，上述加工设备是数控机床。在获得上述设备控制指令之后，直接通过设备控制指令对加工设备的加工过程进行控制。

在一种应用场景中，上述控制指令生成模型是InstructGPT模型，在获得加工指导数据和待加工目标坐标信息（包括待加工部件在加工前后的真实形状和坐标、材料以及需要使用的目标刀具等）之后，使用InstructGPT模型生成对应的代码作为设备控制指令。其中，上述InstructGPT模型是OpenAI开发的开源通用语言生成工具，兼容各种代码（抽象语言）的自生成。训练过程需要人工先匹配输入特征（坐标、材料、刀具等）和输出G代码指令；模型训练完成后，即可支持自动根据输入数据生成G代码，从而实现对加工设备的加工控制。

由上可见，本发明方案中，无需用户手动输入具体的可以由加工设备直接读取和执行的代码或指令。只需要根据待加工部件对应的加工图像数据和自然语言描述数据即可以自动处理获得对应的加工指导数据和待加工目标坐标信息，从而自动生成设备控制指令，实现对加工设备的控制和对待加工部件的加工。可见，本发明中，针对待加工部件进行多模态数据处理（包括针对加工图像数据和自然语言描述数据这两种不同来源和形式的数据的处理）即可以自动生成所需要的设备控制指令，不需要用户手动输入设备控制指令，有利于降低对操作人员的要求。且用户直接输入对应的加工图像数据和自然语言描述数据即可以实现加工控制，有利于降低加工设备控制的难度。

示例性设备

如图2中所示，对应于上述基于多模态数据的加工设备控制方法，本发明实施例还提供一种基于多模态数据的加工设备控制系统，上述基于多模态数据的加工设备控制系统包括：

图像处理模块610，用于获取待加工部件对应的加工图像数据，根据上述加工图像数据获取上述待加工部件对应的待加工相对坐标信息，其中，上述待加工相对坐标信息包括上述待加工部件的多条待加工边之间的相对坐标；

自然语言处理模块620，用于获取上述待加工部件对应的自然语言描述数据，根据上述自然语言描述数据获取上述待加工部件对应的加工指导数据，其中，上述加工指导数据包括上述待加工部件对应的材质、目标尺寸和目标刀具；

坐标校正模块630，用于根据上述待加工相对坐标信息和上述目标尺寸获取上述待加工部件对应的待加工目标坐标信息；

控制指令生成模块640，用于根据上述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成上述待加工部件对应的设备控制指令；

控制模块650，用于根据上述设备控制指令控制加工设备对上述待加工部件进行加工。

在一种应用场景中，上述图像处理模块610用于处理输入的图纸信息，上述自然语言处理模块620用于处理操作对象输入的针对工艺描述的调整信息，上述坐标校正模块630用于进行坐标校正，上述控制指令生成模块640用于将前面几个模块获得的信息转换为数控机床标准控制G代码，上述控制模块650则用于控制加工设备（即数控机床）。如此，结合计算机视觉特征提取、BERT-Transformer命名实体识别和InstructGPT代码自生成技术实现对加工设备的控制。

具体的，本实施例中，上述基于多模态数据的加工设备控制系统及其各模块的具体功能可以参照上述基于多模态数据的加工设备控制方法中的对应描述，在此不再赘述。

需要说明的是，上述基于多模态数据的加工设备控制系统的各个模块的划分方式并不唯一，在此也不作为具体限定。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图3所示。上述智能终端包括处理器及存储器。该智能终端的存储器包括基于多模态数据的加工设备控制程序，存储器为基于多模态数据的加工设备控制程序的运行提供环境。该基于多模态数据的加工设备控制程序被处理器执行时实现上述任意一种基于多模态数据的加工设备控制方法的步骤。需要说明的是，上述智能终端还可以包括其它功能模块或单元，在此不作具体限定。

本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于多模态数据的加工设备控制程序，上述基于多模态数据的加工设备控制程序被处理器执行时实现本发明实施例提供的任意一种基于多模态数据的加工设备控制方法的步骤。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的系统/智能终端和方法，可以通过其它的方式实现。例如，以上所描述的系统/智能终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态数据的加工设备控制方法，其特征在于，所述方法包括：

获取待加工部件对应的加工图像数据，根据所述加工图像数据获取所述待加工部件对应的待加工相对坐标信息，其中，所述待加工相对坐标信息包括所述待加工部件的多条待加工边之间的相对坐标；

获取所述待加工部件对应的自然语言描述数据，根据所述自然语言描述数据获取所述待加工部件对应的加工指导数据，其中，所述加工指导数据包括所述待加工部件对应的材质、目标尺寸和目标刀具；

根据所述待加工相对坐标信息和所述目标尺寸获取所述待加工部件对应的待加工目标坐标信息；

根据所述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成所述待加工部件对应的设备控制指令；

根据所述设备控制指令控制加工设备对所述待加工部件进行加工。

2.根据权利要求1所述的基于多模态数据的加工设备控制方法，其特征在于，所述获取待加工部件对应的加工图像数据，根据所述加工图像数据获取所述待加工部件对应的待加工相对坐标信息，包括：

获取所述待加工部件对应的加工图像数据，其中，所述加工图像数据包括所述待加工部件对应的原始形状图像和加工形状图像；

根据所述原始形状图像和所述加工形状图像提取获得所述待加工部件对应的多条待加工边，并根据所述待加工边获取所述待加工相对坐标信息。

3.根据权利要求1所述的基于多模态数据的加工设备控制方法，其特征在于，所述获取所述待加工部件对应的自然语言描述数据，根据所述自然语言描述数据获取所述待加工部件对应的加工指导数据，包括：

获取所述待加工部件对应的自然语言描述数据，其中，所述自然语言描述数据包括操作对象输入的语音描述数据；

对所述语音描述数据进行语音文字识别，获取所述语音描述数据对应的文本描述数据；

获取所述操作对象对应的文本优化模型，根据所述文本优化模型对所述文本描述数据进行优化处理，获得所述文本描述数据对应的标准文本数据；

根据所述标准文本数据，通过已训练的自然语言处理模型获取所述待加工部件对应的加工指导数据，其中，所述加工指导数据还包括待加工边加工顺序和刀具使用顺序。

4.根据权利要求3所述的基于多模态数据的加工设备控制方法，其特征在于，所述自然语言处理模型根据如下步骤训练：

将第一训练数据中的训练标准文本数据输入所述自然语言处理模型，通过所述自然语言处理模型获取所述训练标准文本数据对应的训练加工指导数据，其中，所述第一训练数据包括多组训练文本组，每一组训练文本组包括训练标准文本数据和标注加工指导数据；

根据所述训练加工指导数据和所述标注加工指导数据，对所述自然语言处理模型的模型参数进行调整，并继续执行所述将第一训练数据中的训练标准文本数据输入所述自然语言处理模型的步骤，直至满足第一预设训练条件，以得到已训练的自然语言处理模型。

5.根据权利要求1所述的基于多模态数据的加工设备控制方法，其特征在于，所述根据所述待加工相对坐标信息和所述目标尺寸获取所述待加工部件对应的待加工目标坐标信息，包括：

获取所述待加工部件中位置参考点对应的空间坐标，其中，所述待加工部件的待加工边中的所有待加工直线边对应至少一个位置参考点，所述待加工部件的待加工边中的任意一条待加工曲线边对应多个位置参考点；

根据所述待加工相对坐标信息、所述目标尺寸和各所述位置参考点对应的空间坐标获取所述待加工部件对应的待加工目标坐标信息。

6.根据权利要求1所述的基于多模态数据的加工设备控制方法，其特征在于，所述控制指令生成模型根据如下步骤训练：

将第二训练数据中的训练加工指导数据和训练待加工目标坐标信息输入所述控制指令生成模型，通过所述控制指令生成模型生成训练设备控制指令，其中，所述第二训练数据包括多组训练指令组，每一组训练指令组包括训练加工指导数据、训练待加工目标坐标信息和标注设备控制指令；

根据所述训练设备控制指令和所述标注设备控制指令对所述控制指令生成模型的模型参数进行调整，并继续执行所述将第二训练数据中的训练加工指导数据和训练待加工目标坐标信息输入所述控制指令生成模型的步骤，直至满足第二预设训练条件，以得到已训练的控制指令生成模型。

7.根据权利要求1-6任意一项所述的基于多模态数据的加工设备控制方法，其特征在于，所述设备控制指令是G代码指令，所述加工设备是数控机床。

8.一种基于多模态数据的加工设备控制系统，其特征在于，所述系统包括：

图像处理模块，用于获取待加工部件对应的加工图像数据，根据所述加工图像数据获取所述待加工部件对应的待加工相对坐标信息，其中，所述待加工相对坐标信息包括所述待加工部件的多条待加工边之间的相对坐标；

自然语言处理模块，用于获取所述待加工部件对应的自然语言描述数据，根据所述自然语言描述数据获取所述待加工部件对应的加工指导数据，其中，所述加工指导数据包括所述待加工部件对应的材质、目标尺寸和目标刀具；

坐标校正模块，用于根据所述待加工相对坐标信息和所述目标尺寸获取所述待加工部件对应的待加工目标坐标信息；

控制指令生成模块，用于根据所述待加工部件对应的加工指导数据和待加工目标坐标信息，通过已训练的控制指令生成模型生成所述待加工部件对应的设备控制指令；

控制模块，用于根据所述设备控制指令控制加工设备对所述待加工部件进行加工。

9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于多模态数据的加工设备控制程序，所述基于多模态数据的加工设备控制程序被所述处理器执行时实现如权利要求1-7任意一项所述基于多模态数据的加工设备控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于多模态数据的加工设备控制程序，所述基于多模态数据的加工设备控制程序被处理器执行时实现如权利要求1-7任意一项所述基于多模态数据的加工设备控制方法的步骤。

Images