CN114463317A - 一种基于计算机视觉的结构原位修补3d打印方法 - Google Patents

一种基于计算机视觉的结构原位修补3d打印方法 Download PDF

Info

Publication number
CN114463317A
CN114463317A CN202210129550.8A CN202210129550A CN114463317A CN 114463317 A CN114463317 A CN 114463317A CN 202210129550 A CN202210129550 A CN 202210129550A CN 114463317 A CN114463317 A CN 114463317A
Authority
CN
China
Prior art keywords
image
filling
computer vision
camera
calibration frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210129550.8A
Other languages
English (en)
Inventor
乔菁
张岩
周德开
李隆球
张广玉
田回春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210129550.8A priority Critical patent/CN114463317A/zh
Publication of CN114463317A publication Critical patent/CN114463317A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/10—Processes of additive manufacturing
    • B29C64/106—Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material
    • B29C64/118—Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material using filamentary material being melted, e.g. fused deposition modelling [FDM]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y10/00—Processes of additive manufacturing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉和3D打印领域，更具体的说是一种基于计算机视觉的结构原位修补3D打印方法，该方法包括以下步骤；S100：待修补填充结构放置于3D打印机底座的标定框内；S200：3D打印机上的摄像头读取底座上的图像信息；S300：对图像信息进行基于计算机视觉的操作，提取得到待修补填充区域的轮廓；S400：根据待修补填充区域的轮廓特征选择填充算法，并生成填充路径进行3D打印修补；能够避免对破损区域先建模再制造最后移位填充的繁琐过程限制，能够直接对放置于打印机内部的破损结构进行快速识别和精准的轮廓提取，重构规划出打印路径，最终灵活地实现对破损结构原位修补填充过程。

Description

一种基于计算机视觉的结构原位修补3D打印方法
技术领域
本发明涉及计算机视觉和3D打印领域，更具体的说是一种基于计算机视觉的结构原位修补3D打印方法。
背景技术
经过设计的薄板或薄壁结构能以较小的重量和较少的材料承受较大的载荷，被广泛应用于航空航天、建筑、车辆等领域或行业。结构在受到破损而进行修补的过程，本质上是在原有结构增加材料和填充的过程；通常这一过程由于特异性差异而自动化程度较低，效率不足且以手工作业为主。针对材料增材和层层累加原理开发的3D打印技术，能够在原理和实现过程上很好地符合结构修补工作需求，同时具备较高的灵活性。
当前的3D打印技术主要依靠预先构建好的三维模型输入到打印机中，完全按照设定好的输入模型中的轨迹路径和工艺参数进行工作。针对不同待修补结构外形轮廓，却需要首先重构出准确的虚拟三维模型，这一建模过程复杂而且由于定位精度问题还难以将重建的模型对应在原有破损结构上实现原位打印修补。
目前使用实例或语义分割的深度神经网络模型如Mark R-CNN来原位提取破损结构的轮廓特征相对粗糙影响打印质量，且标注过程耗时。如果结合目标识别先对破损结构区域快速进行大致范围锁定，再对锁定的区域内使用图像处理相关操作则有望实现轮廓快速精确地定位与提取。
发明内容
本发明的目的是提供一种基于计算机视觉的结构原位修补3D打印方法，可以解决现有3D打印机难以对放入其中的破损结构进行破损区域快速识别与打印路径精确规划，并最终实现原位修补填充的问题。
本发明的目的通过以下技术方案来实现：
一种基于计算机视觉的结构原位修补3D打印方法，该方法包括以下步骤：
S100：待修补填充结构放置于3D打印机底座的标定框内；
S200：3D打印机上的摄像头读取底座上的图像信息；
S300：对图像信息进行基于计算机视觉的操作，提取得到待修补填充区域的轮廓；
S400：根据待修补填充区域的轮廓特征选择填充算法，并生成填充路径进行3D打印修补；
所述待修补填充结构为薄板，待修补填充区域的厚度均一；
所述3D打印机为基于材料挤出式的3D打印机，其底座为黑色热床或支撑平板，以3D打印机的原点作为起始点，分别沿着打印机x，y方向长度为200mm的线段作为边长，构造出正方形标定框；
所述摄像头活动安装在3D打印机上，摄像头镜头光轴或中轴线与标定框中心点的面垂线间的夹角小于15°，摄像头视野范围包含标定框；
所述基于计算机视觉的操作包括目标识别的深度神经网络训练和图像处理过程；
所述对图像信息进行基于计算机视觉的操作，其具体过程包含以下步骤：
S301：获取带有不同待修补填充区域的薄板图像并进行数据增强得到训练数据集，进行破损区域的标注，利用two-stage算法或one-stage算法训练深度神经网络模型，完成破损待填充区域的粗略目标检测模型；two-stage算法如R-CNN和Faster R-CNN，one-stage算法如YOLOvX；
S302：通过摄像头获得分辨率为1280×960的图像，对图像执行开运算完成图像噪声去除，其中内核kernel采用元素值均为1的3×3矩阵，迭代次数为2次；
S303：利用分水岭算法识别分割薄板、标定框前景区域和3D打印机底座背景区域；
前景区域提取中，首先计算噪声去除的图像中每一个非零点距离自己最近的零点的距离得到包含有距离变换信息的图像并进行图像二值化处理，其中距离变换中的距离为欧氏距离，二值化中的阈值为距离变换中得到的距离最大值的一半；然后使用分水岭算法得到包含有薄板和标定框前景区域，并将其整体标记为白色RGB(255,255,255)；背景区域通过对噪声去除的图像进行膨胀变换得到，背景区域标记为黑色RGB(0,0,0)；
在得到包含有前景区域的图像中，找到各个轮廓并计算闭环轮廓所围的面积，筛选出面积最大的轮廓线即为标定框的轮廓线；对标定框轮廓线上的点进行筛选和轮廓拟合，其中拟合轮廓与原始轮廓之间的最大距离dt为：
dt＝0.1×l(cmax)
其中l(cmax)为最大轮廓cmax的周长。
对得到的标定框拟合轮廓进行Harris角点检测，其中角点检测考虑的邻域大小为4像素，使用Sobel导数的光圈窗口大小为3像素，Harris角点检测方程中的自由参数为0.03，最终筛选出摄像头获取的图像中实际标定框的四个角点的坐标值；
S304：构建尺寸像素与摄像头获取的图像大小相同的标定图片，像素值RGB为(0,0,0)；在标定图片中建立虚拟标定框，虚拟标定框四个角的像素坐标分别为(240,80)，(1040,80)，(240,880)，(1040,880)，即沿着标定图片中心对称的800×800的矩形，对应实际尺寸的200mm×200mm的标定框；根据实际标定框中的角点坐标和虚拟标定框中的角点坐标，建立摄像头拍摄图片与标定图片间的透视变换矩阵；
S305：对摄像头中获得的图像分别进行沿着x和y方向的sobel滤波变换，滤波求导阶数为1，滤波器的长、宽尺寸为3像素；将两方向sobel滤波变换后的图像像素值取绝对值后，再分别赋予权重0.5后在对应位置相加，得到具有边缘轮廓特征的合成图片；对合成的图片利用在步骤S304得到的透视变换矩阵进行透视变换，得到位置修正后具有边缘轮廓特征的新图片；
S306：对步骤S305得到的图片转为灰度图片后进行图像增强：进行双边滤波，对每个像素操作时周围邻域的直径设定为60像素，颜色空间滤波器的sigma值设定为10，sigmaSpace坐标空间中滤波器的sigma值设定为100；然后对得到的图像每个像素点线性增强使得像素值扩大2倍；再次进行双边滤波操作，此时对每个像素操作时周围邻域的直径设定为40像素，颜色空间滤波器和igmaSpace坐标空间中滤波器的sigma值保持不变；
S307：对摄像头中获得的图像利用S301训练得到的神经网络进行图像识别，获取破损区域的目标识别矩形框，经过透视矩阵变换后得到新的目标识别矩形框；在新的目标识别矩形框所围成的区域内对步骤S306中的图像进行轮廓提取，并选择面积最大的闭环轮廓作为最终待修补填充区域的轮廓；针对轮廓上的每一个像素点坐标(px,py)，进行如下转换后获得真实的待打印填充坐标(x,y)：
Figure BDA0003502076230000041
根据待修补填充区域的轮廓特征，选择填充算法，所述填充算法包括zig-zag平行线填充算法和轮廓线等距偏置填充算法。将生成的填充路径结合挤出量供料比等工艺参数，最终生成可以被打印机识别的完整打印代码，输入打印机进行原位在线修补打印过程。
附图说明
下面结合附图和具体实施方法对本发明做进一步详细的说明。
图1是本发明的基于计算机视觉的结构原位修补3D打印方法流程示意图；
图2是本发明的原位修补3D打印装置结构示意图；
图3是本发明的进行数据标注和搭建深度神经网络模型示意图；
图4是本发明的利用YOLOv5神经网络对目标识别进行训练结果示意图；
图5是本发明的对图像信息进行基于计算机视觉的图像处理示意图；
图6是本发明的进行结构原位修补3D打结果示意图。
图中：薄板1；3D打印机底座2；标定框3；摄像头4；待修补填充区域5；控制器和接口6；FDM打印机7；角点8；虚拟标定框9；目标识别矩形框10。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1至6所示，为了解决现有3D打印机难以对放入其中的破损结构进行破损区域快速识别与打印路径精确规划，并最终实现原位修补填充的问题，下面对一种基于计算机视觉的结构原位修补3D打印方法的步骤进行详细的说明；
一种基于计算机视觉的结构原位修补3D打印方法，该方法包括以下步骤：
S100：待修补填充结构放置于3D打印机底座2的标定框3内；
S200：3D打印机上的摄像头4读取底座2上的图像信息；
S300：对图像信息进行基于计算机视觉的操作，提取得到待修补填充区域5的轮廓；
S400：根据待修补填充区域5的轮廓特征选择填充算法，并生成填充路径进行3D打印修补；
通过建立目标识别的神经网络来快速筛选出待修补填充区域5，并利用一系列图像处理方法精确地提取出待修补填充区域5轮廓边界；同时在打印机内设置标定框3，能够利用摄像头4实现对灵活放置在3D打印机内部的破损结构的位置校对，建立真实坐标与视觉图像坐标系间的映射关系；本方法能够对不同的破损薄板1进行原位的修补填充，不需要专门的设计人员根据破损结构进行建模操作，降低了3D打印机操作门槛并摆脱了待修补填充区域5的形状限制；
所述待修补填充结构为薄板1，即薄板1结构的厚度与板面边长最小尺寸之比介于0.01与0.1之间，待修补填充区域5的厚度均一，且全部位于标定框3内，薄板1上除了待修补填充区域，还可以包含其他不同的集成器件；
所述3D打印机为基于材料挤出式的3D打印机，其底座2为黑色热床或支撑平板，以3D打印机的原点作为起始点，分别沿着打印机x，y方向长度为200mm的线段作为边长，构造出正方形标定框3；标定框3的边为白色，采用白色贴纸贴在黑色底座2上，或采用白色记号笔画在黑色底座2上，边框的厚度为1-3mm。
所述摄像头4活动安装在3D打印机上，摄像头4可以采用现有技术中得铰接或者间隙配合的方式连接在3D打印机上，以方便针对不同破损件任意摆放位置和光线环境下的视角调整，摄像头4镜头光轴或中轴线与标定框3中心点的面垂线间的夹角小于15°，摄像头4视野范围包含标定框3并能够清晰对焦；
所述基于计算机视觉的操作包括目标识别的深度神经网络训练和图像处理过程；
所述对图像信息进行基于计算机视觉的操作，其具体过程包含以下步骤：
S301：获取带有不同待修补填充区域5的薄板1图像并进行数据增强得到训练数据集；进行破损区域的标注，利用two-stage算法或one-stage算法训练深度神经网络模型，完成破损待填充区域的粗略目标检测模型；最终获得450张的训练数据集图像然后进行目标的标注，利用YOLOv5算法训练深度神经网络模型，如图3所示；训练过程得到的结果如图4所示，该网络能够准确地完成待修补填充区域5的目标检测；
S302：通过摄像头4获得分辨率为1280×960的图像；对图像执行开运算完成图像噪声去除，其中内核kernel采用元素值均为1的3×3矩阵，迭代次数为2次；
S303：利用分水岭算法识别分割薄板1、标定框3前景区域和3D打印机底座2背景区域；
前景区域提取中，调用OpenCV库中距离变换函数distanceTransform计算噪声去除后图像中每一个非零点距离自己最近的零点的距离，首先计算噪声去除的图像中每一个非零点距离自己最近的零点的距离得到包含有距离变换信息的图像并进行图像二值化处理，其中距离变换中的距离为欧氏距离，二值化中的阈值为距离变换中得到的距离最大值的一半；然后使用分水岭算法得到包含有薄板1和标定框3前景区域，并将其整体标记为白色RGB(255,255,255)；背景区域通过对噪声去除的图像进行膨胀变换得到，背景区域标记为黑色RGB(0,0,0)；
在得到包含有前景区域的图像中，找到各个轮廓并计算闭环轮廓所围的面积，筛选出面积最大的轮廓线即为标定框3的轮廓线；对标定框3轮廓线上的点进行筛选和轮廓拟合，其中拟合轮廓与原始轮廓之间的最大距离dt为：
dt＝0.1×l(cmax)
其中l(cmax)为最大轮廓cmax的周长。
对得到的标定框3拟合轮廓进行Harris角点8检测，其中角点8检测考虑的邻域大小为4像素，使用Sobel导数的光圈窗口大小为3像素，Harris角点8检测方程中的自由参数为0.03，最终筛选出摄像头4获取的图像中实际标定框3的四个角点8的坐标值；
S304：构建尺寸像素与摄像头4获取的图像大小相同的标定图片，像素值RGB为(0,0,0)；在标定图片中建立虚拟标定框9，虚拟标定框9四个角的像素坐标分别为(240,80)，(1040,80)，(240,880)，(1040,880)，即沿着标定图片中心对称的800×800的矩形，对应实际尺寸的200mm×200mm的标定框3；根据实际标定框3中的角点8坐标和虚拟标定框9中的角点8坐标，建立摄像头4拍摄图片与标定图片间的透视变换矩阵；
S305：对摄像头4中获得的图像分别进行沿着x和y方向的sobel滤波变换，滤波求导阶数为1，滤波器的长、宽尺寸为3像素；将两方向sobel滤波变换后的图像像素值取绝对值后，再分别赋予权重0.5后在对应位置相加，得到具有边缘轮廓特征的合成图片；对合成的图片利用在步骤S304得到的透视变换矩阵进行透视变换，得到位置修正后具有边缘轮廓特征的新图片；
S306：对步骤S305得到的图片转为灰度图片后进行图像增强：进行双边滤波，对每个像素操作时周围邻域的直径设定为60像素，颜色空间滤波器的sigma值设定为10，sigmaSpace坐标空间中滤波器的sigma值设定为100；然后对得到的图像每个像素点线性增强使得像素值扩大2倍；再次进行双边滤波操作，此时对每个像素操作时周围邻域的直径设定为40像素，颜色空间滤波器和igmaSpace坐标空间中滤波器的sigma值保持不变；
S307：对摄像头4中获得的图像利用S301训练得到的神经网络进行图像识别，获取破损区域的目标识别矩形框10，经过透视矩阵变换后得到新的目标识别矩形框10；在新的目标识别矩形框10所围成的区域内对步骤S306中的图像进行轮廓提取，并选择面积最大的闭环轮廓作为最终待修补填充区域5的轮廓；针对轮廓上的每一个像素点坐标(px,py)，进行如下转换后获得真实的待打印填充坐标(x,y)：
Figure BDA0003502076230000081
根据待修补填充区域5的轮廓特征，选择填充算法，填充算法包括zig-zag平行线填充算法和轮廓线等距偏置填充算法。填充算法采用python语言进行编写：其中平行线填充算法的步骤是生成等间距的平行线，然后与轮廓进行截交得到交点后，对交点依次进行连接得到路径；轮廓线等距偏置则使用图形处理的clipper library库，调用基于布尔运算的平面曲线偏置方法生成平面偏置曲线，并进行偏置曲线得到相应路径。将生成的填充路径结合挤出量供料比等工艺参数，最终生成可以被打印机识别的完整G代码，输入打印机进行原位在线修补打印过程。利用上述所提供的基于计算机视觉的结构原位修补3D打印方法，对含有待修补填充区域5的薄板1结构进行修补原位修补操作，最终得到结果如图6所示。

Claims (10)

1.一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：该方法包括以下步骤：
S100：待修补填充结构放置于3D打印机底座(2)的标定框(3)内；
S200：3D打印机上的摄像头(4)读取底座(2)上的图像信息；
S300：对图像信息进行基于计算机视觉的操作，提取得到待修补填充区域(5)的轮廓；
S400：根据待修补填充区域(5)的轮廓特征选择填充算法，并生成填充路径进行3D打印修补。
2.根据权利要求1所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：所述待修补填充结构为薄板(1)，待修补填充区域(5)的厚度均一。
3.根据权利要求1所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：所述3D打印机为基于材料挤出式的3D打印机，其底座(2)为黑色热床或支撑平板，以3D打印机的原点作为起始点，分别沿着打印机x，y方向长度为200mm的线段作为边长，构造出正方形标定框(3)。
4.根据权利要求1所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：所述摄像头(4)活动安装在3D打印机上，摄像头(4)镜头光轴或中轴线与标定框(3)中心点的面垂线间的夹角小于15°，摄像头(4)视野范围包含标定框(3)。
5.根据权利要求1所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：所述基于计算机视觉的操作包括目标识别的深度神经网络训练和图像处理过程。
6.根据权利要求5所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：所述对图像信息进行基于计算机视觉的操作，其具体过程包含以下步骤：
S301：获取带有不同待修补填充区域(5)的薄板(1)图像并进行数据增强得到训练数据集，进行破损区域的标注，利用two-stage算法或one-stage算法训练深度神经网络模型，完成破损待填充区域的粗略目标检测模型；
S302：通过摄像头(4)获得图像，对图像执行开运算完成图像噪声去除，其中内核kernel采用元素值均为1的3×3矩阵，迭代次数为2次；
S303：利用分水岭算法识别分割薄板(1)、标定框(3)前景区域和3D打印机底座(2)背景区域；在得到包含有前景区域的图像中，找到各个轮廓并计算闭环轮廓所围的面积，筛选出面积最大的轮廓线即为标定框(3)的轮廓线；对标定框(3)轮廓线上的点进行筛选和轮廓拟合，其中拟合轮廓与原始轮廓之间的最大距离dt为：
dt＝0.1×l(cmax)
对得到的标定框(3)拟合轮廓进行Harris角点(8)检测，其中角点(8)检测考虑的邻域大小为4像素，使用Sobel导数的光圈窗口大小为3像素，Harris角点(8)检测方程中的自由参数为0.03，最终筛选出摄像头(4)获取的图像中实际标定框(3)的四个角点(8)的坐标值；
S304：构建尺寸像素与摄像头(4)获取的图像大小相同的标定图片，像素值RGB为(0,0,0)；在标定图片中建立虚拟标定框(9)，虚拟标定框(9)四个角的像素坐标分别为(240,80)，(1040,80)，(240,880)，(1040,880)，即沿着标定图片中心对称的800×800的矩形，对应实际尺寸的200mm×200mm的标定框(3)；根据实际标定框(3)中的角点(8)坐标和虚拟标定框(9)中的角点(8)坐标，建立摄像头(4)拍摄图片与标定图片间的透视变换矩阵；
S305：对摄像头(4)中获得的图像分别进行沿着x和y方向的sobel滤波变换，滤波求导阶数为1，滤波器的长、宽尺寸为3像素；将两方向sobel滤波变换后的图像像素值取绝对值后，再分别赋予权重0.5后在对应位置相加，得到具有边缘轮廓特征的合成图片；对合成的图片利用在步骤S304得到的透视变换矩阵进行透视变换，得到位置修正后具有边缘轮廓特征的新图片；
S306：对步骤S305得到的图片转为灰度图片后进行图像增强：进行双边滤波，对每个像素操作时周围邻域的直径设定为60像素，颜色空间滤波器的sigma值设定为10，sigmaSpace坐标空间中滤波器的sigma值设定为100；然后对得到的图像每个像素点线性增强使得像素值扩大2倍；再次进行双边滤波操作，此时对每个像素操作时周围邻域的直径设定为40像素，颜色空间滤波器和igmaSpace坐标空间中滤波器的sigma值保持不变；
S307：对摄像头(4)中获得的图像利用S301训练得到的神经网络进行图像识别，获取破损区域的目标识别矩形框(10)，经过透视矩阵变换后得到新的目标识别矩形框(10)；在新的目标识别矩形框(10)所围成的区域内对步骤S306中的图像进行轮廓提取，并选择面积最大的闭环轮廓作为最终待修补填充区域(5)的轮廓；针对轮廓上的每一个像素点坐标(px,py)，进行如下转换后获得真实的待打印填充坐标(x,y)：
Figure FDA0003502076220000031
7.根据权利要求6所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：S303中l(cmax)为最大轮廓cmax的周长。
8.根据权利要求6所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：S303中前景区域提取的过程为，首先计算噪声去除的图像中每一个非零点距离自己最近的零点的距离得到包含有距离变换信息的图像并进行图像二值化处理，其中距离变换中的距离为欧氏距离，二值化中的阈值为距离变换中得到的距离最大值的一半；然后使用分水岭算法得到包含有薄板(1)和标定框(3)前景区域，并将其整体标记为白色RGB(255,255,255)；背景区域通过对噪声去除的图像进行膨胀变换得到，背景区域标记为黑色RGB(0,0,0)。
9.根据权利要求6所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：S302中摄像头(4)获得图像的分辨率为1280×960。
10.根据权利要求1所述的一种基于计算机视觉的结构原位修补3D打印方法，其特征在于：所述填充算法包括zig-zag平行线填充算法和轮廓线等距偏置填充算法。
CN202210129550.8A 2022-02-11 2022-02-11 一种基于计算机视觉的结构原位修补3d打印方法 Pending CN114463317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210129550.8A CN114463317A (zh) 2022-02-11 2022-02-11 一种基于计算机视觉的结构原位修补3d打印方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210129550.8A CN114463317A (zh) 2022-02-11 2022-02-11 一种基于计算机视觉的结构原位修补3d打印方法

Publications (1)

Publication Number Publication Date
CN114463317A true CN114463317A (zh) 2022-05-10

Family

ID=81413257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210129550.8A Pending CN114463317A (zh) 2022-02-11 2022-02-11 一种基于计算机视觉的结构原位修补3d打印方法

Country Status (1)

Country Link
CN (1) CN114463317A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563687A (zh) * 2022-10-27 2023-01-03 湖北绿森林新材料有限公司 3d打印装饰预制件及设计方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563687A (zh) * 2022-10-27 2023-01-03 湖北绿森林新材料有限公司 3d打印装饰预制件及设计方法和系统

Similar Documents

Publication Publication Date Title
TW490591B (en) Pattern inspection apparatus, pattern inspection method, and recording medium
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
DE102013216902A1 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
CN111507976A (zh) 基于多角度成像的缺陷检测方法及系统
Shao et al. From IC layout to die photograph: a CNN-based data-driven approach
CN101213440A (zh) 创建用于检查凹凸图形的主数据的方法
CN114463442A (zh) 一种非同轴相机的标定方法
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
Kim et al. Development of an AR based method for augmentation of 3D CAD data onto a real ship block image
CN111915485A (zh) 一种特征点稀疏工件图像的快速拼接方法及系统
CN114463317A (zh) 一种基于计算机视觉的结构原位修补3d打印方法
CN115713476A (zh) 基于激光焊接的视觉检测方法、装置及可读存储介质
CN117576219A (zh) 大广角鱼眼镜头单次拍摄图像的相机标定设备及标定方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN112686872B (zh) 基于深度学习的木材计数方法
Morgan et al. Selection and installation of high resolution imaging to monitor the PBFAM process, and synchronization to post-build 3D computed tomography
CN106934846B (zh) 一种布料图像处理方法及系统
CN115546016B (zh) Pcb的2d和3d图像的采集和处理方法及相关装置
CN113592962B (zh) 基于机器视觉的批量硅片标识识别方法
CN114219802B (zh) 一种基于图像处理的蒙皮连接孔孔位检测方法
CN111862196A (zh) 检测平板物体的通孔的方法、装置和计算机可读存储介质
CN115719377A (zh) 一种六自由度位姿估计数据集自动采集系统
CN115457267A (zh) 基于实例分割技术的料斗防护区域自动生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination