CN109080144A - 基于中心点判断的3d打印喷头末端实时跟踪定位方法 - Google Patents

基于中心点判断的3d打印喷头末端实时跟踪定位方法 Download PDF

Info

Publication number
CN109080144A
CN109080144A CN201810748882.8A CN201810748882A CN109080144A CN 109080144 A CN109080144 A CN 109080144A CN 201810748882 A CN201810748882 A CN 201810748882A CN 109080144 A CN109080144 A CN 109080144A
Authority
CN
China
Prior art keywords
image
tracking
printing
edge image
abscissa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810748882.8A
Other languages
English (en)
Inventor
高银
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN201810748882.8A priority Critical patent/CN109080144A/zh
Publication of CN109080144A publication Critical patent/CN109080144A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Materials Engineering (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于中心点判断的3D打印喷头末端实时跟踪定位方法。首先向机械臂输入一个模型；其次检测机械臂的倾斜方向，并启动悬挂在周围的四个相机中的正对于倾斜方向的两个，组成双目视觉系统，运用跟踪算法对打印喷头进行跟踪，获取跟踪的ROI感兴趣区域，并对该区域的图像运用中值滤波和膨胀腐蚀操作，获取平滑的图像，再运用canny算法获取打印喷头末端的外轮廓和横坐标，之后运用hough直线检测方法，对该边缘图像进行直线检测，并判断喷头两边的直线，通过数学计算，算出直线与边缘图像横坐标交汇的中点位置，即为跟踪定位位置。本发明能起到良好的反馈效果，及时定位到打印喷头的末端信息，起到实时纠正3D打印的轨迹。

Description

基于中心点判断的3D打印喷头末端实时跟踪定位方法
技术领域
本发明涉及一种3D打印技术，具体涉及一种基于中心点判断的3D打印喷头末端实时跟踪定位方法。
背景技术
3D打印技术是指通过连续的物理层叠加，逐层增加材料来生成三维实体的技术，与传统的去除材料加工技术不同，因此又称为添加制造(AM，Additive Manufacturing)。作为一种综合性应用技术，3D打印综合了数字建模技术、机电控制技术、信息技术、材料科学与化学等诸多方面的前沿技术知识，具有很高的科技含量。
3D打印技术出现在20世纪90年代中期，实际上是利用光固化和纸层叠等技术的最新快速成型装置。经过十多年的探索和发展，3D打印技术有了长足的进步，目前已经能够在0.01mm的单层厚度上实现600dpi的精细分辨率。目前国际上较先进的产品可以实现每小时25mm厚度的垂直速率，并可实现24位色彩的彩色打印。自20世纪90年代以来，国内多所高校开展了3D打印技术的自主研发。清华大学在现代成型学理论、分层实体制造、FDM工艺等方面都有一定的科研优势；华中科技大学在分层实体制造工艺方面有优势，并已推出了HRP系列成型机和成型材料；西安交通大学自主研制了三维打印机喷头，并开发了光固化成型系统及相应成型材料，成型精度达到0.2mm；中国科技大学自行研制了八喷头组合喷射装置，有望在微制造、光电器件领域得到应用。但总体而言，国内3D打印技术研发水平与国外相比还有较大差距。
目前，3D打印设备主要采用的是三坐标打印的方法，其输入的模型认为是理想的，但是由于缺乏实时监测矫正的步骤，打印的设备精度都不太高。
因此，亟需提供一种能够及时反馈打印跟踪方法，以提高3D打印精度。
发明内容
本发明的目的是提供一种基于中心点判断的3D打印喷头末端实时跟踪定位方法，用以检测到机械臂打印末端的喷头的位置信息，以弥补现有技术的不足。
为达到上述目的，本发明采取的具体技术方案为：
一种基于中心点判断的3D打印喷头末端实时跟踪定位方法，首先向机械臂输入一个模型；其次检测机械臂的倾斜方向，并启动悬挂在周围的四个相机中的正对于倾斜方向的两个，组成双目视觉系统，运用跟踪算法对打印喷头进行跟踪，获取跟踪的ROI感兴趣区域，并对该区域的图像运用中值滤波和膨胀腐蚀操作，获取平滑的图像，再运用canny算法获取打印喷头末端的外轮廓和横坐标，之后运用hough直线检测方法，对该边缘图像进行直线检测，并判断喷头两边的直线，通过数学计算，算出直线与边缘图像横坐标交汇的中点位置，即为跟踪定位位置。
进一步的，在打开所述相机之前，首先接收到机械手末端的理想位置，以该位置为图像的有效位置，设定为初始的ROI区域，并传至跟踪算法的特征向量中，再对原视频帧进行缩放，同时对初始的ROI区域也进行缩放。
进一步的，所述跟踪算法为相关滤波目标跟踪算法，该方法的流程为：下一帧，该方法首先对选定的ROI区域的多个周围的区域提取Hog特征，再用循环矩阵进行求解下一帧选定的ROI区域，当获得一个新的选定的ROI区域，我们通过前段的缩放比例，把该区域缩放到原比例，并在原图上显示跟踪框。
进一步的，对原视频图像新的选定的ROI区域，运用中值滤波和膨胀腐蚀操作进行图像的预处理，之后直接采用canny检测的方法，即能有效的获得打印喷头末端的边缘图像，同时也能够获得边缘图像的最低点横坐标。
进一步的，对于上述提取的边缘图像，把边缘图像的点集作为Hough直线检测的数据点，进行hough直线检测。
进一步的，由于边缘图像不是很光滑，检测的直线的条数较多，HoughlineP函数对直线的检测中，当累计的阈值设置为30，两直线之间的阈值设置为10时，能较准确的提取喷头两边的直线。
进一步的，通过拟合的两条直线，分别根据边缘图像的最低点横坐标计算交汇的横坐标，横坐标的中点即为我们要跟踪定位的位置。
本发明的优点和有益效果：
本发明是一种新的3D打印的反馈过程中的监测方法，该方法能较好的检测到机械臂打印末端的喷头的位置信息，跟踪ROI区域，对ROI区域的平滑，膨胀腐蚀操作，并提取边缘图像；Hough直线拟合，并判断喷头两边的直线方法。
与现有技术相比，本发明能较好的起到反馈的效果，及时定位到打印喷头的末端信息，起到实时纠正3D打印的轨迹。本发明通过视觉的方法来实时监测3D打印喷头末端的跟踪定位，达到反馈，并实时修正打印的算法，解决了目前3D打印中，缺少反馈系统的问题，使打印喷头末端位置能实时准确有效的检测出来，为反馈修正提供可靠的信息。
附图说明
图1为本发明的基本流程图。
图2为实施例1中打印喷头的外轮廓提取图。
图3为实施例1中打印喷头末端跟踪的结果图。
具体实施方式
以下通过具体实施例并结合附图对本发明进一步解释和说明。
实施例1：
一种基于中心点判断的3D打印喷头末端实时跟踪定位方法，基本流程如图1所示，首先向机械臂输入一个模型；其次检测机械臂的倾斜方向，并启动悬挂在周围的四个相机中的正对于倾斜方向的两个，组成双目视觉系统，运用跟踪算法对打印喷头进行跟踪，获取跟踪的ROI感兴趣区域，并对该区域的图像运用中值滤波和膨胀腐蚀操作，获取平滑的图像，再运用canny算法获取打印喷头末端的外轮廓和横坐标，之后运用hough直线检测方法，对该边缘图像进行直线检测，并判断喷头两边的直线，通过数学计算，算出直线与边缘图像横坐标交汇的中点位置，即为跟踪定位位置。具体操作包括以下：
(1)在打开所述相机之前，首先接收到机械手末端的理想位置，以该位置为图像的有效位置，设定为初始的ROI区域，并传至跟踪算法的特征向量中，再对原视频帧进行缩放，同时对初始的ROI区域也进行缩放。
(2)所述跟踪算法为相关滤波目标跟踪算法，该方法的流程为：下一帧，该方法首先对选定的ROI区域的多个周围的区域提取Hog特征，再用循环矩阵进行求解下一帧选定的ROI区域，当获得一个新的选定的ROI区域，我们通过前段的缩放比例，把该区域缩放到原比例，并在原图上显示跟踪框。
运动目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。目前，比较经典的目标跟踪算法主要有两种思路：1)不依赖于先验知识，直接从图像序列中检测测到运动目标，并进行目标识别，最终确定感兴趣的运动目标；2)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到匹配的运动目标。当前研究中，比较优秀的几种主流算法：Meanshift、Particle Filter和KalmanFilter，基于特征点的光流算法以及基于深度学习和相关滤波的方法。
(2)对原视频图像新的选定的ROI区域，运用中值滤波和膨胀腐蚀操作进行图像的预处理，之后直接采用canny检测的方法，即能有效的获得打印喷头末端的边缘图像(如图2所示)，同时也能够获得边缘图像的最低点横坐标。
(3)对于上述提取的边缘图像，把边缘图像的点集作为Hough直线检测的数据点，进行hough直线检测。由于边缘图像不是很光滑，检测的直线的条数较多，HoughlineP函数对直线的检测中，当累计的阈值设置为30，两直线之间的阈值设置为10时，能较准确的提取喷头两边的直线。
(4)通过拟合的两条直线，分别根据边缘图像的最低点横坐标计算交汇的横坐标，横坐标的中点即为我们要跟踪定位的位置，如图3所示。

Claims (7)

1.一种基于中心点判断的3D打印喷头末端实时跟踪定位方法，其特征在于，该方法包括：首先向机械臂输入一个模型；其次检测机械臂的倾斜方向，并启动悬挂在周围的四个相机中的正对于倾斜方向的两个，组成双目视觉系统，运用跟踪算法对打印喷头进行跟踪，获取跟踪的ROI感兴趣区域，并对该区域的图像运用中值滤波和膨胀腐蚀操作，获取平滑的图像，再运用canny算法获取打印喷头末端的外轮廓和横坐标，之后运用hough直线检测方法，对该边缘图像进行直线检测，并判断喷头两边的直线，通过数学计算，算出直线与边缘图像横坐标交汇的中点位置，即为跟踪定位位置。
2.如权利要求1所述的定位方法，其特征在于，在打开所述相机之前，首先接收到机械手末端的理想位置，以该位置为图像的有效位置，设定为初始的ROI区域，并传至跟踪算法的特征向量中，再对原视频帧进行缩放，同时对初始的ROI区域也进行缩放。
3.如权利要求1所述的定位方法，其特征在于，所述跟踪算法为相关滤波目标跟踪算法，该方法的流程为：下一帧，该方法首先对选定的ROI区域的多个周围的区域提取Hog特征，再用循环矩阵进行求解下一帧选定的ROI区域，当获得一个新的选定的ROI区域，我们通过前段的缩放比例，把该区域缩放到原比例，并在原图上显示跟踪框。
4.如权利要求3所述的定位方法，其特征在于，对原视频图像新的选定的ROI区域，运用中值滤波和膨胀腐蚀操作进行图像的预处理，之后直接采用canny检测的方法，即能有效的获得打印喷头末端的边缘图像，同时也能够获得边缘图像的最低点横坐标。
5.如权利要求4所述的定位方法，其特征在于，对于上述提取的边缘图像，把边缘图像的点集作为Hough直线检测的数据点，进行hough直线检测。
6.如权利要求4所述的定位方法，其特征在于，由于边缘图像不光滑，检测的直线的条数较多，HoughlineP函数对直线的检测中，当累计的阈值设置为30，两直线之间的阈值设置为10时，能准确的提取喷头两边的直线。
7.如权利要求5所述的定位方法，其特征在于，通过拟合两条直线，分别根据边缘图像的最低点横坐标计算交汇的横坐标，横坐标的中点即为我们要跟踪定位的位置。
CN201810748882.8A 2018-07-10 2018-07-10 基于中心点判断的3d打印喷头末端实时跟踪定位方法 Pending CN109080144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810748882.8A CN109080144A (zh) 2018-07-10 2018-07-10 基于中心点判断的3d打印喷头末端实时跟踪定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810748882.8A CN109080144A (zh) 2018-07-10 2018-07-10 基于中心点判断的3d打印喷头末端实时跟踪定位方法

Publications (1)

Publication Number Publication Date
CN109080144A true CN109080144A (zh) 2018-12-25

Family

ID=64837336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810748882.8A Pending CN109080144A (zh) 2018-07-10 2018-07-10 基于中心点判断的3d打印喷头末端实时跟踪定位方法

Country Status (1)

Country Link
CN (1) CN109080144A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109016517A (zh) * 2018-07-28 2018-12-18 中国科学院福建物质结构研究所 一种3d打印喷头末端轮廓实时提取方法
CN112721174A (zh) * 2020-12-16 2021-04-30 同济大学 一种三维打印下的外部轴优化方法
WO2021228181A1 (zh) * 2020-05-13 2021-11-18 中国科学院福建物质结构研究所 一种3d打印方法和装置
WO2021226891A1 (zh) * 2020-05-13 2021-11-18 中国科学院福建物质结构研究所 基于多轴联动控制和机器视觉反馈测量的3d打印装置及方法
CN114137984A (zh) * 2021-11-29 2022-03-04 江苏科技大学 一种模块化传输平台及其控制方法和路径规划方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358623A (zh) * 2017-07-12 2017-11-17 武汉大学 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法
CN107452022A (zh) * 2017-07-20 2017-12-08 西安电子科技大学 一种视频目标跟踪方法
CN108109154A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种工件的新型定位及数据获取方法
CN108161930A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 一种基于视觉的机器人定位系统及方法
US10007103B2 (en) * 2010-09-24 2018-06-26 Carl Zeiss Microscopy Gmbh 3D localization microscopy and 4D localization microscopy and tracking methods and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007103B2 (en) * 2010-09-24 2018-06-26 Carl Zeiss Microscopy Gmbh 3D localization microscopy and 4D localization microscopy and tracking methods and systems
CN108109154A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种工件的新型定位及数据获取方法
CN108161930A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 一种基于视觉的机器人定位系统及方法
CN107358623A (zh) * 2017-07-12 2017-11-17 武汉大学 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法
CN107452022A (zh) * 2017-07-20 2017-12-08 西安电子科技大学 一种视频目标跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109016517A (zh) * 2018-07-28 2018-12-18 中国科学院福建物质结构研究所 一种3d打印喷头末端轮廓实时提取方法
WO2021228181A1 (zh) * 2020-05-13 2021-11-18 中国科学院福建物质结构研究所 一种3d打印方法和装置
WO2021226891A1 (zh) * 2020-05-13 2021-11-18 中国科学院福建物质结构研究所 基于多轴联动控制和机器视觉反馈测量的3d打印装置及方法
CN113674299A (zh) * 2020-05-13 2021-11-19 中国科学院福建物质结构研究所 一种3d打印方法和装置
CN112721174A (zh) * 2020-12-16 2021-04-30 同济大学 一种三维打印下的外部轴优化方法
CN112721174B (zh) * 2020-12-16 2022-10-14 同济大学 一种三维打印下的外部轴优化方法
CN114137984A (zh) * 2021-11-29 2022-03-04 江苏科技大学 一种模块化传输平台及其控制方法和路径规划方法
CN114137984B (zh) * 2021-11-29 2024-02-27 江苏科技大学 一种模块化传输平台及其控制方法和路径规划方法

Similar Documents

Publication Publication Date Title
CN109080144A (zh) 基于中心点判断的3d打印喷头末端实时跟踪定位方法
CN109177175A (zh) 一种3d打印喷头末端实时跟踪定位方法
US10417775B2 (en) Method for implementing human skeleton tracking system based on depth data
EP1870038B1 (en) Motion capture apparatus and method, and motion capture program
Kim et al. Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs
CN109080146A (zh) 一种基于分类的3d打印喷头末端轮廓实时提取方法
CN101359400B (zh) 一种基于视觉的管口空间位置定位方法
Lee et al. Body part detection for human pose estimation and tracking
CN102697508A (zh) 采用单目视觉的三维重建来进行步态识别的方法
CN103778635A (zh) 用于处理数据的方法和装置
CN107315994B (zh) 基于Spectral Clustering空间轨迹的聚类方法
CN104325268A (zh) 一种基于智能学习的工业机器人三维空间自主装配方法
CN104484883A (zh) 基于视频的三维虚拟船舶定位及其轨迹模拟方法
CN102609945A (zh) 可见光和热红外图像序列自动配准方法
Van Tran et al. BiLuNetICP: A deep neural network for object semantic segmentation and 6D pose recognition
CN112288815A (zh) 一种目标模位置测量方法、系统、存储介质及设备
Ahn et al. Real-time facial landmarks tracking using active shape model and LK optical flow
CN103942814A (zh) 一种面向异步双目视觉系统的快速运动物体轨迹估计方法
CN109130167A (zh) 一种基于相关滤波的3d打印喷头末端跟踪方法
Iwasawa et al. Human body postures from trinocular camera images
CN106327486B (zh) 跟踪指蹼位置的方法及其装置
CN109016517A (zh) 一种3d打印喷头末端轮廓实时提取方法
Jung et al. A feature-based vehicle tracking system in congested traffic video sequences
CN115311328A (zh) 一种多摄像头下轨迹跟踪方法
CN115205750A (zh) 基于深度学习模型的运动实时计数方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225