CN113420736B - 一种基于视频拆分的3d打印缺陷确定方法 - Google Patents

Abstract

本发明公开了一种基于视频拆分的3D打印缺陷确定方法，将每个采集对象周侧的多角度摄像装置获取的视频融合后得到采集视频，对采集视频进行拆分处理得到待对比的检测图像，然后将检测图像与标准图像对比，以确认打印缺陷类型。通过依次进行硬切边界的检测、软切边界的检测处理将采集视频拆分得到若干个镜头图像；对拆分出的每个镜头图像进行特征提取并得到若干个特征向量，生成镜头图像的特征表示；基于若干个镜头图像的特征表示生成特征向量序列；对特征向量序列进行聚类处理，并基于聚类结果判定缺陷类型。本发明通过将不同角度摄像装置获取的视频拆分处理后有效降低了处理冗余度，具有较好的实用性。

Description

一种基于视频拆分的3D打印缺陷确定方法

技术领域

本发明属于3D打印的技术领域，具体涉及一种基于视频拆分的3D打印缺陷确定方法。

背景技术

上世纪八十年代，3D打印技术诞生了，并不仅限于传统的“去除”加工方法，而且3D打印是一种自下而上的制造方式，也称为增材制造技术，其实现了数学模型的建立。3D打印技术自诞生之日起就受到人们的广泛关注，因此获得了快速发展。近几十年来，3D打印技术已成为人们关注的焦点，且在工业设计，建筑，汽车，航空航天，牙科，教育等领域都有相关应用。但是3D打印技术的应用和开发仍然受到因素的限制，除了仪器设备和印刷程序参数外，制件的外形检测也是影响3D打印产品质量的关键因素。

送粉式3D打印是指金属粉末材料在激光光束的作用下形成熔池，并带有激光斑点，可移动以实现烧结（或熔合）。此外，这种技术还可以直接生产模具和零件。由于激光的工作环境是真空的，其强度比一般铸件的强度要高得多，具有更加广泛的应用范围。然而，3D打印过程属于一个连续非稳态过程，其制造过程中可能出现打印波动，出现气孔、贯穿等缺陷。目前的增材制造设备/工艺大部分无检测缺陷的能力，利用多种检测手段得到打印截面信息，预测或检测成形过程的缺陷，用于指导成形过程工艺参数的调整，是增材制造发展的方向之一。

发明内容

本发明的目的在于提供一种基于视频拆分的3D打印缺陷确定方法，旨在解决上述问题。

本发明主要通过以下技术方案实现：

一种基于视频拆分的3D打印缺陷确定方法，将每个采集对象周侧的多角度摄像装置获取的视频融合后得到采集视频，对采集视频进行拆分处理得到待对比的检测图像，然后将检测图像与标准图像对比，以确认打印缺陷类型；具体包括以下步骤：

步骤S100：通过若干个摄像装置拍摄若干个角度的视频，将若干个角度的视频进行融合得到最终的采集视频并上传至候选池；

步骤S200：从候选池中选择采集视频并将采集视频拆分得到若干个镜头图像，并作为待对比的检测图像；

步骤S210：硬切边界的检测：计算采集视频的所有相邻帧之间的相似度，若相似度低于设定阈值，则相邻帧中间记录一个切分点；

步骤S220：软切边界的检测：采集视频中间隔距离K的帧，重复以下步骤，直至得到满足预设条件的切分区域，预设条件为预设运算次数、预设切分区域数量、切分完所有的视频中的任意一个或者多个：

步骤S221：候选：检测间隔距离为K的帧间相似度，若相似度低于设定阈值，则所有的间隔帧为同一个切分区域；

步骤S222：融合：将步骤S221中重叠的切分区域合并；

步骤S223：过滤：将步骤S222处理后的切分区域进行过滤处理，分别计算切分区域内的相似度S1、切分区域边界外的相似度S2，若S2与S1的差值大于设定阈值，则认为不存在运动激烈的区域，并将切分区域作为最终的切分区域，得到镜头图像；

步骤S300：对拆分出的每个镜头图像进行特征提取并得到若干个特征向量，生成镜头图像的特征表示；

步骤S400：基于若干个镜头图像的特征表示生成特征向量序列；

步骤S500：对特征向量序列进行聚类处理，并基于聚类结果与标准图像对比，以判定缺陷类型。

为了更好地实现本发明，进一步地，所述步骤S100中的融合就是按照预设好的顺序讲若干角度的视频进行串联；例如，预设好的顺序是摄像头1、2、3、4、5…基于这个顺序将所有摄像头的文件串联在一起，得到一个采集视频文件。在一些实施例中，为了减少采集视频的大小，每个摄像头对于每一层打印所摄的时间可以示例性地设置为3S，以减少采集视频的总时长。

为了更好地实现本发明，进一步地，所述步骤S223中计算间隔中心在切分区域且间隔为K的所有帧间的相似度，并取最小值作为切分区域内的相似度S1；计算切分区域内过渡区域的左边界与其左边距离为K的帧间的相似度，计算切分区域内过渡区域的右边界与其右边距离为K的帧间的相似度，并取最大值作为切分区域边界外的相似度S2。

为了更好地实现本发明，进一步地，所述间隔距离K大于等于2。

为了更好地实现本发明，进一步地，所述步骤S200中的检测图像为打印形貌图像、红外线图像、温度场图像中的任意一种。

本发明可以通过在打印装置上加装红外图像视频采集器，实时采集打印过程中打印金属的温度变化图像。通过视频拍摄得到粉堆砌的形貌图像。将每个采集对象的多角度摄像装置采集的视频融合后得到其采集视频，将采集视频处理拆分处理后得到对应的打印形貌图像、打印过程中的红外线图像，然后将其与对应的标准图像对比确定缺陷类型。对应的标准图像是通过三维物体模型的切片数据生成的标准界面形状图像。基于红外线图像处理得到打印过程中的温度场图像，温度场图像包括打印过程中的能量分布，可以通过数值模拟软件得到打印参数下所对应的标准的温度场图像。

在图像对比时，若实际检测图像与标准图像与差异，则代表着打印过程中存在缺陷，例如：通过形貌图像和与之对应的标准图像对比后，会存在形貌差异，此时温度场图像和与之对应的标准图像对比后，也显示存在形貌差异，则可以确定在打印过程中必然存在形貌缺陷。

本发明可以通过设定阈值等方式判定缺陷是否出现，具体地，当上述存在的差异超过设定差异时，此时说明在打印过程存在缺陷；而当上述存在的差异未超过设定差异时，则说明在打印过程没有存在缺陷。

为了更好地实现本发明，进一步地，所述步骤S200中的检测图像为打印形貌图像、红外线图像、温度场图像中的任意两种或三种的融合图像；所述步骤S500中的标准图像为融合的标准图像，且融合的标准图像为标准界面形状图像、热量分布图像融合后形成的图像。

为了更好地实现本发明，进一步地，所述步骤S100中将红外图像视频采集器拍摄的若干个角度的视频以及拍摄的粉堆砌形貌的若干个角度的视频融合处理得到采集视频。

为了更好地实现本发明，进一步地，所述步骤S100是在熔化当前层粉末薄层的轮廓之后以及熔化轮廓内部区域之前增加视频检测得到若干个角度的视频，并融合处理得到采集视频，以分析打印轮廓缺陷。

所述粉堆砌是指在送粉式3D打印中金属粉末材料熔化并堆砌；粉堆砌形貌是指在送粉式3D打印中金属粉末材料熔化并堆砌的形貌；所述粉堆砌、粉堆砌形貌是本领域的常规表达，故不再赘述。

本发明的有益效果：

1）本发明基于训练好的镜头图像提取模型，将可变长度的镜头视频变为固定长度的向量表达进行输出，有助于使用聚类算法进行处理；

2）本发明基于聚类算法对多个视频特征向量进行聚类，可以更加准确并快速地获取相似度较低的图像帧聚类簇，基于同一聚类簇获取一个具有代表性地图像进行打印缺陷的判别；基于这种方法，可以大幅降低需要进行确认打印缺陷类型的图像的数量，从而提升运算效率；

3）本发明将红外线图像、温度场图像、打印形貌图像中的任意两个或三个融合形成融合成像图像，将融合成像图像与对应融合的标准图像对比判断打印缺陷所得的判别结果是一个综合计算结果，判别结果更加准确。

具体实施方式

实施例1：

一种基于视频拆分的3D打印缺陷确定方法，将每个采集对象周侧的多角度摄像装置获取的视频融合后得到采集视频，对采集视频进行拆分处理得到待对比的检测图像，然后将检测图像与标准图像对比，以确认打印缺陷类型；包括以下步骤：

步骤S100：通过若干个摄像装置拍摄若干个角度的视频，将若干个角度的视频进行融合得到最终的采集视频并上传至候选池；

步骤S200：从候选池中选择采集视频并将采集视频拆分得到若干个镜头图像，并作为待对比的检测图像；

步骤S210：硬切边界的检测：计算采集视频的所有相邻帧之间的相似度，若相似度低于设定阈值，则相邻帧中间记录一个切分点；

步骤S220：软切边界的检测：采集视频中间隔距离K的帧，重复以下步骤，直至得到满足预设条件的切分区域，预设条件为预设运算次数、预设切分区域数量、切分完所有的视频中的任意一个或者多个：

步骤S221：候选：检测间隔距离为K的帧间相似度，若相似度低于设定阈值，则所有的间隔帧为同一个切分区域；

步骤S222：融合：将步骤S221中重叠的切分区域合并；

步骤S223：过滤：将步骤S222处理后的切分区域进行过滤处理，分别计算切分区域内的相似度S1、切分区域边界外的相似度S2，若S2与S1的差值大于设定阈值，则认为不存在运动激烈的区域，并将切分区域作为最终的切分区域，得到镜头图像；

步骤S300：对拆分出的每个镜头图像进行特征提取并得到若干个特征向量，生成镜头图像的特征表示；

步骤S400：基于若干个镜头图像的特征表示生成特征向量序列；

步骤S500：对特征向量序列进行聚类处理，并基于聚类结果与标准图像对比，以判定缺陷类型。

将每个采集对象的多角度摄像装置采集的视频融合后得到其采集视频，将采集视频处理拆分处理后得到对应的检测图像，然后将检测图像与标准图像对比后得到缺陷类型。对应的标准图像可以通过三维物体模型的切片数据生成的标准界面形状图像。本发明基于训练好的镜头图像提取模型，将可变长度的镜头视频变为固定长度的向量表达进行输出，有助于使用聚类算法进行处理。本发明基于聚类算法对多个视频特征向量进行聚类，可以更加准确并快速地获取相似度较低的图像帧聚类簇，基于同一聚类簇获取一个具有代表性地图像进行打印缺陷的判别；基于这种方法，可以大幅降低需要进行确认打印缺陷类型的图像的数量，从而提升运算效率。

实施例2：

本实施例是在实施例1的基础上进行优化，所述步骤S223中计算间隔中心在切分区域且间隔为K的所有帧间的相似度，并取最小值作为切分区域内的相似度S1；计算切分区域内过渡区域的左边界与其左边距离为K的帧间的相似度，计算切分区域内过渡区域的右边界与其右边距离为K的帧间的相似度，并取最大值作为切分区域边界外的相似度S2。

进一步地，所述间隔距离K大于等于2。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例是在实施例1或2的基础上进行优化，所述步骤S200中的检测图像为打印形貌图像、红外线图像、温度场图像中的任意一种。

进一步地，所述步骤S200中的检测图像为打印形貌图像、红外线图像、温度场图像中的任意两种或三种的融合图像；所述步骤S500中的标准图像为融合的标准图像，且融合的标准图像为标准界面形状图像、热量分布图像融合后形成的图像。

为了更好地实现本发明，进一步地，所述步骤S100中将红外图像视频采集器拍摄的若干个角度的视频以及拍摄的粉堆砌形貌的若干个角度的视频融合处理得到采集视频。

本发明将红外线图像、温度场图像、打印形貌图像中的任意两个或三个融合形成融合成像图像，将融合成像图像与对应融合的标准图像对比判断打印缺陷所得的判别结果是一个综合计算结果，判别结果更加准确。

进一步地，所述步骤S100是在熔化当前层粉末薄层的轮廓之后以及熔化轮廓内部区域之前增加视频检测得到若干个角度的视频，并融合处理得到采集视频，以分析打印轮廓缺陷。

本发明可以通过在打印装置上加装红外图像视频采集器，实时采集打印过程中打印金属的温度变化图像。通过视频拍摄得到粉堆砌的形貌图像。将每个采集对象的多角度摄像装置采集的视频融合后得到其采集视频，将采集视频处理拆分处理后得到对应的打印形貌图像、打印过程中的红外线图像，然后将其与对应的标准图像对比确定缺陷类型。对应的标准图像是通过三维物体模型的切片数据生成的标准界面形状图像。基于红外线图像处理得到打印过程中的温度场图像，温度场图像包括打印过程中的能量分布，可以通过数值模拟软件得到打印参数下所对应的标准的温度场图像。

在图像对比时，若实际检测图像与标准图像与差异，则代表着打印过程中存在缺陷，例如：通过形貌图像和与之对应的标准图像对比后，会存在形貌差异，此时温度场图像和与之对应的标准图像对比后，也显示存在形貌差异，则可以确定在打印过程中必然存在形貌缺陷。

本发明可以通过设定阈值等方式判定缺陷是否出现，具体地，当上述存在的差异超过设定差异时，此时说明在打印过程存在缺陷；而当上述存在的差异未超过设定差异时，则说明在打印过程没有存在缺陷。

本实施例的其他部分与上述实施例1或2相同，故不再赘述。

实施例4：

一种基于视频拆分的3D打印缺陷确定方法，将每个采集对象周侧的多角度摄像装置获取的视频融合后得到其采集视频，对采集视频进行拆分处理得到待对比的检测图像，然后将检测图像与标准图像对比，以确认打印缺陷类型。包括以下步骤：

Step 1：将上传至系统的多角度拍摄的视频进行融合并进入候选池；

Step 2：从候选池中选出采集视频，将已选视频做分拆，拆分出若干镜头；

Step 3：对分拆出的每一个镜头进行镜头特征提取处理，得到若干特征向量，生成该镜头的特征表示；

Step 4：基于一个视频的若干镜头的特征表示生成该视频特征向量序列；

Step 5：对于所有已选视频的特征向量序列进行聚类算法分析，获得m个视频分类，基于聚类判定缺陷类型；

视频分拆的目的在于视频采集的角度会有所不同，因此，需要将对应角度的视频与对应角度的标准视频进行对比，以提高准确度。

进一步地，视频拆分包括以下步骤：

A、硬切边界的检测：（硬切是指视频镜头间未使用过渡效果，前后两帧直接跳变）计算所有相邻帧之间的相似度，相似度低于一定阈值的，此两帧中间记录一个切分点；

B、软切边界的检测：（软切是指视频镜头间使用了过渡效果，无直接跳变）针对间隔距离K（最小值为2，最大值为一个阈值），重复如下步骤：

B1（候选）：检测间隔距离为K的帧间相似度，对相似度低于一定阈值的，认为所有的间隔帧一起可能都是一个切分区域。如检测第1，4帧相似度，则2，3帧可能整体作为切分区域。

B2（融合）：B1中有重叠的切分区域合并到一起。如2，3帧为切分区域，3，4帧为切分区域，则合并为2，3，4。

B3（过滤）：上一步骤可能混入镜头内画面剧烈变化的情况，需要过滤，

B31：计算切分区域内的相似度S1，方法如下：计算间隔中心在切分区域，且间隔为K的所有帧间相似度，并取最小值作为S1。如过渡区域为9，10，间隔K为2，则计算8，10；9，11两组相似度，再取最小值。

B32：计算切分区域边界外的相似度S2，方法如下，计算左边界及其左边距离为K的帧间相似度，计算右边界及其右边距离为K的帧间相似度，并取最大值作为S2，如过渡区域为9，10，间隔K为2，则计算7，9；10，12两组相似度，再取最大值。

B33：S2超过S1一定阈值，则认为运动不剧烈，该候选作为最终的切分区域。

进一步地，使用基于imagenet图片库预训练的mobilenetV2网络，仅使用其骨干网络提取每一帧的图像特征，每一帧得到一个1280维向量，并对该向量进行归一化（除以向量的模）。

进一步地，本发明可以通过在打印装置上加装红外图像视频采集器，实时采集打印过程中打印金属的温度变化图像。通过视频拍摄得到粉堆砌的形貌图像。将每个采集对象的多角度摄像装置获取的视频融合后得到其采集视频，将采集视频处理拆分处理后得到对应的打印形貌图像、打印过程中的红外线图像，然后将其与对应的标准图像对比确定缺陷类型。对应的标准图像是通过三维物体模型的切片数据生成的标准界面形状图像。基于红外线图像处理得到打印过程中的温度场图像，温度场图像包括打印过程中的能量分布，可以通过数值模拟软件得到打印参数下所对应的标准的温度场图像。

进一步地，在图像对比时，若实际检测图像与标准图像与差异，则代表着打印过程中存在缺陷，例如：通过形貌图像和与之对应的标准图像对比后，会存在形貌差异，此时温度场图像和与之对应的标准图像对比后，也显示存在形貌差异，则可以确定在打印过程中必然存在形貌缺陷。

进一步地，本发明可以通过设定阈值等方式判定缺陷是否出现，具体地，当上述存在的差异超过设定差异时，此时说明在打印过程存在缺陷；而当上述存在的差异未超过设定差异时，则说明在打印过程没有存在缺陷。

进一步地，识别打印缺陷的种类，判定缺陷类型。通常3D打印过程中出现的缺陷类型包括以下几种：粉末薄层铺展不均匀或缺少粉末，粉末薄层熔化后形貌起伏造成的凹陷、凸起，熔化区域扩展或不足造成的熔化截面形状变化，局部温度过热或温度太低造成的材料烧蚀、未熔粉末、材料成分变化等。而产生上述缺陷的原因一般有：粉末材料的铺展、粉末颗粒的性质、粉末成分、电子束的功率、束流大小、扫描速度，束斑形状大小等因素。

进一步地，确定缺陷的类型以及缺陷的严重程度，并根据缺陷的类型和/或缺陷的严重程度判断是否能够继续3D打印。

当确定在打印过程中存在缺陷时，此时需要对缺陷的具体类型以及严重程度加以确定，通过相貌图像、红外线图像、温度场图像所获得的成形信息，即可获得上述缺陷的类型，其中有些缺陷的类型会影响整个增材制造过程，因此需要停止增材制造。而有些缺陷的类型不会影响整个增材制造过程，此时可以继续增材制造。

上述相貌图像、红外线图像以及温度场图像的获取并非固定在某一步骤，而是可以根据需求调整，例如，如果只检查轮廓缺陷，则可以在熔化当前层粉末薄层的轮廓之后，熔化轮廓内部区域之前增加检测过程；如果粉末铺设无需检查，则可省去粉末铺设缺陷的检测过程等。

进一步地，当判断得出的缺陷不大，缺陷的严重程度未超出预设程度时，可以继续打印。此时，调整3D工艺参数，实现缺陷的拟补。具体地，在能够继续增材制造时，调整当前次或下次的工艺参数，以减小或修复所述缺陷。例如：在发现粉末铺设不足则下一次铺设份粉末薄层时相应增加粉末输送量，保证粉末薄层铺设均匀；如在热量集中位置的缺陷区域减小相应的热量输入或加快扫描速度，减小形貌起伏或成分烧蚀；如在熔化不足的缺陷区域增加热量输入等工艺调整方法，来保证稳定成形同时减小甚至修复缺陷。此步骤的技术方案是基于工艺数据库的方法得到每层工艺参数下的所得制件的预估值，该参数下成型制件的高度、形貌、热输入量等信息。从而实现对缺陷的拟补。

本发明基于训练好的镜头图像提取模型，将可变长度的镜头视频变为固定长度的向量表达进行输出，有助于使用聚类算法进行处理。本发明基于聚类算法对多个视频特征向量进行聚类，可以更加准确并快速地获取相似度较低的图像帧聚类簇，基于同一聚类簇获取一个具有代表性地图像进行打印缺陷的判别；基于这种方法，可以大幅降低需要进行确认打印缺陷类型的图像的数量，从而提升运算效率。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种基于视频拆分的3D打印缺陷确定方法，其特征在于，将每个采集对象周侧的多角度摄像装置获取的视频融合后得到采集视频，对采集视频进行拆分处理得到待对比的检测图像，然后将检测图像与标准图像对比，以确认打印缺陷类型；具体包括以下步骤：

步骤S100：通过若干个摄像装置拍摄若干个角度的视频，将若干个角度的视频进行融合得到最终的采集视频并上传至候选池；

步骤S200：从候选池中选择采集视频并将采集视频拆分得到若干个镜头图像，并作为待对比的检测图像；

步骤S210：硬切边界的检测：计算采集视频的所有相邻帧之间的相似度，若相似度低于设定阈值，则相邻帧中间记录一个切分点；

步骤S220：软切边界的检测：采集视频中间隔距离K的帧，重复以下步骤，直至得到满足预设条件的切分区域，预设条件为预设运算次数、预设切分区域数量、切分完所有的视频中的任意一个或者多个：

步骤S221：候选：检测间隔距离为K的帧间相似度，若相似度低于设定阈值，则所有的间隔帧为同一个切分区域；

步骤S222：融合：将步骤S221中重叠的切分区域合并；

步骤S223：过滤：将步骤S222处理后的切分区域进行过滤处理，分别计算切分区域内的相似度S1、切分区域边界外的相似度S2，若S2与S1的差值大于设定阈值，则认为不存在运动激烈的区域，并将切分区域作为最终的切分区域，得到镜头图像；

步骤S300：对拆分出的每个镜头图像进行特征提取并得到若干个特征向量，生成镜头图像的特征表示；

步骤S400：基于若干个镜头图像的特征表示生成特征向量序列；

步骤S500：对特征向量序列进行聚类处理，并基于聚类结果与标准图像对比，以判定缺陷类型。

2.根据权利要求1所述的一种基于视频拆分的3D打印缺陷确定方法，其特征在于，所述步骤S223中计算间隔中心在切分区域且间隔为K的所有帧间的相似度，并取最小值作为切分区域内的相似度S1；计算切分区域内过渡区域的左边界与其左边距离为K的帧间的相似度，计算切分区域内过渡区域的右边界与其右边距离为K的帧间的相似度，并取最大值作为切分区域边界外的相似度S2。

3.根据权利要求1所述的一种基于视频拆分的3D打印缺陷确定方法，其特征在于，所述间隔距离K大于等于2。

4.根据权利要求1-3任一项所述的一种基于视频拆分的3D打印缺陷确定方法，其特征在于，所述步骤S200中的检测图像为打印形貌图像、红外线图像、温度场图像中的任意一种。

5.根据权利要求1-3任一项所述的一种基于视频拆分的3D打印缺陷确定方法，其特征在于，所述步骤S200中的检测图像为打印形貌图像、红外线图像、温度场图像中的任意两种或三种的融合图像；所述步骤S500中的标准图像为融合的标准图像，且融合的标准图像为标准界面形状图像、热量分布图像融合后形成的图像。

6.根据权利要求5所述的一种基于视频拆分的3D打印缺陷确定方法，其特征在于，所述步骤S100中将红外图像视频采集器拍摄的若干个角度的视频以及拍摄的粉堆砌形貌的若干个角度的视频融合处理得到采集视频。

7.根据权利要求1所述的一种基于视频拆分的3D打印缺陷确定方法，其特征在于，所述步骤S100是在熔化当前层粉末薄层的轮廓之后以及熔化轮廓内部区域之前增加视频检测得到若干个角度的视频，并融合处理得到采集视频，以分析打印轮廓缺陷。