CN110335274B - 一种三维模具缺陷检测方法及装置 - Google Patents

Abstract

本发明提供了一种三维模具缺陷检测方法及装置，该方法包括：获取三维模具对应的多张拍摄图片，所述拍摄图片中包括所述三维模具的图像或利用所述三维模具得到的产品部件的图像，每张所述拍摄图片的拍摄角度各不相同；提取所述多张拍摄图片中的目标图像，所述目标图像为所述三维模具的图像或利用所述三维模具得到的产品部件的图像；将所述目标图像作为缺陷检测模型的输入，利用所述缺陷检测模型确定所述三维模具的缺陷信息；输出所述三维模具的缺陷信息。本发明实施例提供的缺陷检测方法较之人工检测更为可靠。

Description

一种三维模具缺陷检测方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种三维模具缺陷检测方法及装置。

背景技术

利用三维模具对产品部件进行生产加工的方式广泛应用于工业生产中，以汽车覆盖件为例，其是利用汽车覆盖件模具通过冲压等方式加工得到的。

为了得到合格的产品部件，首先需要设计、制作三维模具。三维模具的质量将直接影响产品部件的质量。例如，如果三维模具腔体表面存在设计或加工缺陷，将直接导致模具加工得到的产品部件表面不光滑、表面变形等诸多问题。

因此，在设计、制作三维模具的过程中，需要及时、准确识别三维模具的缺陷，以便后续基于识别到的缺陷调试三维模具的制作参数，消除缺陷。

目前由人工识别三维模具缺陷。以一种汽车覆盖件模具的缺陷识别为例，首先在汽车覆盖件模具腔体表面涂敷油膜，然后利用涂有未干油膜的汽车覆盖件模具对钢板进行冲压，冲压成型的钢板上将沾有油膜，工作人员通过油膜沾染情况进行缺陷识别，例如，未沾染油膜的区域即是缺陷区域，该缺陷可能是可能是汽车覆盖件模具腔体表面有异常凸起或凹陷，也可能是汽车覆盖件模具其他关键性尺寸设计不合理，具体需要工作人员凭经验判断；又例如，工作人员还需要凭经验评估油膜覆盖率是否达标。

依靠人工经验进行缺陷识别的方式效率低，一方面依靠人工经验，就需要培养具备识别检测经验的工作人员，培养周期较长，当检测识别任务较多时，会存在工作人员不够的情况，进一步导致效率低，另一方面，人工识别的速度和效率无法与计算机识别的速度和效率相提并论。

发明内容

为了提高三维模具缺陷检测的可靠性，本发明实施例提供一种三维模具缺陷检测方法及装置。

本发明实施例提供一种三维模具缺陷检测方法，包括：

获取三维模具对应的多张拍摄图片，所述拍摄图片中包括所述三维模具的图像或利用所述三维模具得到的产品部件的图像，每张所述拍摄图片的拍摄角度各不相同；提取所述多张拍摄图片中的目标图像，所述目标图像为所述三维模具的图像或利用所述三维模具得到的产品部件的图像；将所述目标图像作为缺陷检测模型的输入，利用所述缺陷检测模型确定所述三维模具的缺陷信息；输出所述三维模具的缺陷信息。

本发明实施例提供一种三维模具缺陷检测装置，包括：

存储器和处理器；

所述存储器用于保存所述处理器执行计算机程序时所使用的数据；

所述处理器用于执行计算机程序以实现上述的方法。

本发明实施例提供的方法及装置，通过拍摄多角度的图片，进而输入到预先训练好的缺陷检测模型，利用缺陷检测模型自动检测三维模具的缺陷，较之人工检测方式大大提高了检测效率。

附图说明

图1为本发明的一种三维模具缺陷检测方法流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。

本发明实施例提供的方法可以但不仅限应用于超级计算机，利用超级计算机的强大算力实现高效、可靠的三维模具缺陷检测。

本发明实施例提供的方法实施路线如下：在缺陷检测模型训练阶段，建立三维模具的产品质量缺陷图像数据库，并训练缺陷检测模型使其具备缺陷检测的能力，在产品试制阶段，运用工业相机等成像设备对试制产品进行定焦拍摄，并通过人工智能技术对图像进行自动分析处理，精准检测并定位三维模具的质量缺陷，同时还可以计算三维模具腔体表面的油膜覆盖率，从而缩短三维模具的产品质量检测周期。

如上所述，在应用缺陷检测模型进行三维模具的缺陷检测之前，首先需要训练缺陷检测模型。

具体的，在数据准备阶段，运用工业相机(或其他成像设备)对已检测出存在缺陷的三维模具进行多角度定焦拍摄，得到三维模具的多角度图片(即多个拍摄角度的拍摄图片)，然后将三维模具的多角度图片通过图像蒙版运算，只保留拍摄图片中的目标图像(例如三维模具部分)，消除背景，再通过人工标注等手段准确标注出每张图像中的缺陷信息(例如缺陷位置)，建立各类三维模具的多角度图片与对应缺陷信息标注的关联性数据库，兼顾缺陷标注与图像等数据源的异构特性，为后续的人工智能模型训练提供数据基础。

在模型训练阶段，首先构建用于缺陷检测的卷积神经网络，然后将建立好的产品质量缺陷图像数据库(即上述关联性数据库)作为神经网络的输入数据源，再通过超级计算机对卷积神经网络的各层参数进行迭代训练，直至迭代结果收敛稳定后保存各项训练参数，最终得到用于三维模具的缺陷检测的缺陷检测模型。

应当指出的是，三维模具的腔体表面或利用三维模具得到的产品部件均能够反映三维模具的质量缺陷。相应的，本发明实施例中，工业相机的拍摄对象可以是三维模具的腔体表面，该三维模具涂敷或沾染油膜，那么，在上述数据准备阶段拍摄的图片中的目标图像即为三维模具部分；工业相机的拍摄对象也可以是利用三维模具得到的产品部件，该产品部件涂敷或沾染油膜，那么，上述数据准备阶段拍摄的图片中的目标图像即为产品部件部分。

在产品试制阶段，将待检测的三维模具或者利用该三维模具得到的产品部件固定在工作台上，按照建立模具图像蒙版时的角度和焦距设置去拍摄各个角度的拍摄图片，然后通过各角度的图像蒙版来消除背景干扰，再通过缺陷检测模型来智能识别质量缺陷，同时还可以通过像素分析来自动计算模具图像中的油膜覆盖率。

如图1所示，本发明实施例提供的三维模具缺陷检测方法包括如下操作：

步骤101、获取三维模具对应的多张拍摄图片，该拍摄图片中包括该三维模具的图像或利用该三维模具得到的产品部件的图像，每张该拍摄图片的拍摄角度各不相同。

其具体拍摄方式可参照上述描述，此处不再赘述。

本发明实施例中，三维模具可以但不仅限于是汽车覆盖件模具。

步骤102、提取上述多张拍摄图片中的目标图像，该目标图像为上述三维模具的图像或利用该三维模具得到的产品部件的图像。

步骤103、将上述目标图像作为缺陷检测模型的输入，利用该缺陷检测模型确定上述三维模具的缺陷信息。

该缺陷检测模型的训练方式可参照上述描述，此处不再赘述。

步骤104、输出上述三维模具的缺陷信息。

本发明实施例不对输出方式进行限定，例如，可以输出给其他软/硬件模块作为后续处理的数据基础，也可以通过显示屏输出给用户。

本发明实施例中，三维模具的缺陷可以但不仅限于是冲压缺陷，缺陷信息可以但不仅限于是缺陷位置、缺陷类型。

本发明实施例不对缺陷信息的具体数据格式进行限定，例如，缺陷信息可以为文本信息，也可以为图像信息。如果缺陷信息为图像信息，可以在包含上述目标图像的图片上叠加缺陷信息。

本发明实施例提供的方法，通过拍摄多角度的图片，进而输入到预先训练好的缺陷检测模型，利用缺陷检测模型自动检测三维模具的缺陷，较之人工检测方式大大提高了检测效率。

如上所述，本发明实施例提供的方法还可以检测油膜覆盖率。具体的，提取多张拍摄图片中的目标图像之后，利用该目标图像确定上述三维模具对应的油膜覆盖率。

本发明实施例中，三维模具的腔体对应的油膜覆盖率是指三维模具的腔体表面沾染的油漆或其他涂料的覆盖率，或者是利用三维模具得到的产品部件沾染的油漆或其他涂料的覆盖率。

油膜覆盖率也体现了三维模具的质量，若油膜覆盖率未达到设定数值，意味着三维模具存在质量缺陷。传统方法依靠人工经验估计油膜覆盖率，没有客观定量的确定方式。本发明实施例利用图像检测的方式确定油膜覆盖率，可以统一检测标准，也提高了检测的效率。

本发明实施例中，确定油膜覆盖率的实现方式有多种，此处仅以一具体实现方式为例进行说明。在该具体实现方式中：

以预定尺寸的窗口及步长遍历目标图像，并针对每个窗口对应的图像区域进行如下操作：确定本图像区域内的像素均值，分别将本图像区域内的每个像素的像素值与像素均值比较，根据像素值大于像素均值的像素点确定本图像区域内的油膜覆盖区域；

利用每个窗口对应的图像区域内的油膜覆盖区域确定所述目标图像内的油膜覆盖区域；

根据所述目标图像内的油膜覆盖区域与所述目标图像区域的像素比值，确定所述三维模具腔体内表面的油膜覆盖率。

上述实现方式简单可靠。由于油漆等涂料的颜色与三维模具或产品部件本身颜色不同，且反差较大，因此，油膜覆盖率检测的过程实际上是对各像素点的像素值进行比较进而寻找相同颜色的像素点的过程。但图片拍摄过程中，由于光线等因素影响，同样是油膜覆盖区域，可能因为亮度、饱和度等差异导致像素点的颜色有所不同。本发明实施例提供的方式可以简单有效的降低由于光线等环境因素影响导致的识别误差。

在上述任意方法实施例的基础上，上述提取多张拍摄图片中的目标图像的一种实现方式可以是：获取每张拍摄图片的标识信息，该标识信息包括拍摄角度标识信息和三维模具标识信息，分别查找每个标识信息对应的第一图像蒙版，分别利用各自对应的第一图像蒙版提取每张拍摄图片中的目标图像，多张拍摄图片中的目标图像为每张拍摄图片中的模具图像，每张拍摄图片的标识信息对应的第一图像蒙版是由与本拍摄图片相同拍摄视角、针对相同拍摄对象拍摄得到的图像经二值化处理得到的。

对应于这种实现方式，在缺陷检测模型的训练过程中，训练所使用的图像也是单拍摄角度的拍摄图片中的目标图像。

在上述任意方法实施例的基础上，上述提取多张拍摄图片中的目标图像的另一种实现方式可以是：

获取每张拍摄图片的标识信息，该标识信息包括拍摄角度标识信息和三维模具标识信息，分别查找每个标识信息对应的第一图像蒙版，分别利用各自对应的第一图像蒙版提取每张拍摄图片中的目标图像，按照预定规则合成每张拍摄图片中的目标图像，所述多张拍摄图片中的目标图像为合成后的目标图像，每张拍摄图片的标识信息对应的第一图像蒙版是由与本拍摄图片相同拍摄视角、针对相同拍摄对象拍摄得到的图像经二值化处理得到的。

对于这种实现方式，在缺陷检测模型的训练过程中，训练所使用的图像也是多拍摄视角对应的目标图像经合成后的图像。

本发明实施例不对图片或图像的合成规则进行限定，可以在实际应用中，根据需要确定。

在上述任意方法实施例的基础上，上述提取多张拍摄图片中的目标图像的又一种实现方式可以是：

按照预定规则合成上述多张拍摄图片，查找上述三维模具对应的图像蒙版，利用该图像蒙版提取合成后的拍摄图片中的目标图像，所述第二图像蒙版是由多张第一图像蒙版按照预定规则合成的。

对于这种实现方式，在缺陷检测模型的训练过程中，训练所使用的图像也是多拍摄视角对应的目标图像经合成后的图像。上述本发明实施例提供的方法可以但不仅限应用于超级计算机系统。

基于与方法同样的发明构思，本发明实施例还提供一种三维模具缺陷检测装置，包括：

存储器和处理器；

所述存储器用于保存所述处理器执行计算机程序时所使用的数据；

所述处理器用于执行计算机程序以实现如下过程：

获取三维模具对应的多张拍摄图片，该拍摄图片中包括该三维模具的图像或利用该三维模具得到的产品部件的图像，每张该拍摄图片的拍摄角度各不相同；

提取上述多张拍摄图片中的目标图像，该目标图像为上述三维模具的图像或利用该三维模具得到的产品部件的图像；

将上述目标图像作为缺陷检测模型的输入，利用该缺陷检测模型确定上述三维模具的缺陷信息；

输出上述三维模具的缺陷信息。

本发明实施例不对输出方式进行限定，例如，可以输出给其他软/硬件模块作为后续处理的数据基础，也可以通过显示屏输出给用户。

本发明实施例中，三维模具的缺陷可以但不仅限于是冲压缺陷，缺陷信息可以但不仅限于是缺陷位置、缺陷类型。

本发明实施例不对缺陷信息的具体数据格式进行限定，例如，缺陷信息可以为文本信息，也可以为图像信息。如果缺陷信息为图像信息，可以在包含上述目标图像的图片上叠加缺陷信息。

本发明实施例提供的装置，通过拍摄多角度的图片，进而输入到预先训练好的缺陷检测模型，利用缺陷检测模型自动检测三维模具的缺陷，较之人工检测方式大大提高了检测效率。

本发明实施例提供的装置可以但不仅限于是超级计算机。

如上所述，本发明实施例提供的装置中，处理器还可以检测油膜覆盖率。具体的，提取多张拍摄图片中的目标图像之后，利用该目标图像确定上述三维模具对应的油膜覆盖率。

本发明实施例中，三维模具的腔体对应的油膜覆盖率是指三维模具的腔体表面沾染的油漆或其他涂料的覆盖率，或者是利用三维模具得到的产品部件沾染的油漆或其他涂料的覆盖率。

油膜覆盖率也体现了三维模具的质量，若油膜覆盖率未达到设定数值，意味着三维模具存在质量缺陷。传统方法依靠人工经验估计油膜覆盖率，没有客观定量的确定方式。本发明实施例利用图像检测的方式确定油膜覆盖率，可以统一检测标准，也提高了检测的效率。

本发明实施例中，确定油膜覆盖率的实现方式有多种，此处仅以一具体实现方式为例进行说明。在该具体实现方式中：

以预定尺寸的窗口及步长遍历目标图像，并针对每个窗口对应的图像区域进行如下操作：确定本图像区域内的像素均值，分别将本图像区域内的每个像素的像素值与像素均值比较，根据像素值大于像素均值的像素点确定本图像区域内的油膜覆盖区域；

利用每个窗口对应的图像区域内的油膜覆盖区域确定所述目标图像内的油膜覆盖区域；

根据所述目标图像内的油膜覆盖区域与所述目标图像区域的像素比值，确定所述三维模具腔体内表面的油膜覆盖率。

上述实现方式简单可靠。由于油漆等涂料的颜色与三维模具或产品部件本身颜色不同，且反差较大，因此，油膜覆盖率检测的过程实际上是对各像素点的像素值进行比较进而寻找相同颜色的像素点的过程。但图片拍摄过程中，由于光线等因素影响，同样是油膜覆盖区域，可能因为亮度、饱和度等差异导致像素点的颜色有所不同。本发明实施例提供的方式可以简单有效的降低由于光线等环境因素影响导致的识别误差。

在上述任意装置实施例的基础上，上述提取多张拍摄图片中的目标图像的一种实现方式可以是：获取每张拍摄图片的标识信息，该标识信息包括拍摄角度标识信息和三维模具标识信息，分别查找每个标识信息对应的第一图像蒙版，分别利用各自对应的第一图像蒙版提取每张拍摄图片中的目标图像，多张拍摄图片中的目标图像为每张拍摄图片中的目标图像，每张拍摄图片的标识信息对应的第一图像蒙版是由与本拍摄图片相同拍摄视角、针对相同拍摄对象拍摄得到的图像经二值化处理得到的。

对应于这种实现方式，在缺陷检测模型的训练过程中，训练所使用的图像也是单拍摄角度的拍摄图片中的目标图像。

在上述任意装置实施例的基础上，上述提取多张拍摄图片中的目标图像的另一种实现方式可以是：

获取每张拍摄图片的标识信息，该标识信息包括拍摄角度标识信息和三维模具标识信息，分别查找每个标识信息对应的第一图像蒙版，分别利用各自对应的第一图像蒙版提取每张拍摄图片中的目标图像，按照预定规则合成每张拍摄图片中的目标图像，所述多张拍摄图片中的目标图像为合成后的目标图像，每张拍摄图片的标识信息对应的第一图像蒙版是由与本拍摄图片相同拍摄视角、针对相同拍摄对象拍摄得到的图像经二值化处理得到的。

对于这种实现方式，在缺陷检测模型的训练过程中，训练所使用的图像也是多拍摄视角对应的目标图像经合成后的图像。

本发明实施例不对图片或图像的合成规则进行限定，可以在实际应用中，根据需要确定。

在上述任意装置实施例的基础上，上述提取多张拍摄图片中的目标图像的又一种实现方式可以是：

按照预定规则合成上述多张拍摄图片，查找上述三维模具对应的图像蒙版，利用该图像蒙版提取合成后的拍摄图片中的目标图像，所述第二图像蒙版是由多张第一图像蒙版按照预定规则合成的。

对于这种实现方式，在缺陷检测模型的训练过程中，训练所使用的图像也是多拍摄视角对应的目标图像经合成后的图像。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特性进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种三维模具缺陷检测方法，其特征在于，包括：

获取三维模具对应的多张拍摄图片，所述拍摄图片中包括所述三维模具的图像或利用所述三维模具得到的产品部件的图像，每张所述拍摄图片的拍摄角度各不相同；

提取所述多张拍摄图片中的目标图像，所述目标图像为所述三维模具的图像或利用所述三维模具得到的产品部件的图像；

所述提取所述多张拍摄图片中的目标图像之后，所述方法还包括：

利用所述目标图像确定所述三维模具对应的油膜覆盖率；

所述利用所述目标图像确定所述三维模具对应的油膜覆盖率，包括：

以预定尺寸的窗口及步长遍历所述目标图像，并针对每个窗口对应的图像区域进行如下操作：确定本图像区域内的像素均值，分别将本图像区域内的每个像素的像素值与所述像素均值比较，根据像素值大于所述像素均值的像素点确定本图像区域内的油膜覆盖区域；

利用每个窗口对应的图像区域内的油膜覆盖区域确定所述目标图像内的油膜覆盖区域；

根据所述目标图像内的油膜覆盖区域与所述目标图像区域的像素比值，确定所述三维模具对应的油膜覆盖率；

将所述目标图像作为缺陷检测模型的输入，利用所述缺陷检测模型确定所述三维模具的缺陷信息；

输出所述三维模具的缺陷信息。

2.根据权利要求1所述的方法，其特征在于，所述提取所述多张拍摄图片中的目标图像，包括：

获取每张拍摄图片的标识信息，所述标识信息包括拍摄角度标识信息和三维模具标识信息，分别查找每个标识信息对应的第一图像蒙版，分别利用各自对应的第一图像蒙版提取每张拍摄图片中的目标图像，所述多张拍摄图片中的目标图像为每张拍摄图片中的模具图像，每张拍摄图片的标识信息对应的第一图像蒙版是由与本拍摄图片相同拍摄视角、针对相同拍摄对象拍摄得到的图像经二值化处理得到的。

3.根据权利要求1所述的方法，其特征在于，所述提取所述多张拍摄图片中的目标图像，包括：

获取每张拍摄图片的标识信息，所述标识信息包括拍摄角度标识信息和三维模具标识信息，分别查找每个标识信息对应的第一图像蒙版，分别利用各自对应的第一图像蒙版提取每张拍摄图片中的目标图像，按照预定规则合成每张拍摄图片中的目标图像，所述多张拍摄图片中的目标图像为合成后的目标图像，每张拍摄图片的标识信息对应的第一图像蒙版是由与本拍摄图片相同拍摄视角、针对相同拍摄对象拍摄得到的图像经二值化处理得到的。

4.根据权利要求1所述的方法，其特征在于，所述提取所述多张拍摄图片中的目标图像，包括：

按照预定规则合成所述多张拍摄图片，查找所述三维模具对应的图像蒙版，利用所述图像蒙版提取合成后的拍摄图片中的目标图像，第二图像蒙版是由多张第一图像蒙版按照预定规则合成的。

5.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型为卷积神经网络模型。

6.根据权利要求1所述的方法，其特征在于，所述方法应用于超级计算机系统。

7.根据权利要求1所述的方法，其特征在于，所述缺陷信息包括缺陷位置和缺陷类型。

8.一种三维模具缺陷检测装置，其特征在于，包括：

存储器和处理器；

所述存储器用于保存所述处理器执行计算机程序时所使用的数据；

所述处理器用于执行计算机程序以实现如权利要求1～7任意一项所述的方法。

Images