CN115351713A - 一种基于图像识别的喷砂方法、装置、设备及存储介质 - Google Patents

一种基于图像识别的喷砂方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115351713A
CN115351713A CN202211278576.5A CN202211278576A CN115351713A CN 115351713 A CN115351713 A CN 115351713A CN 202211278576 A CN202211278576 A CN 202211278576A CN 115351713 A CN115351713 A CN 115351713A
Authority
CN
China
Prior art keywords
broach
sand blasting
picture
cutter tooth
subjected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211278576.5A
Other languages
English (en)
Other versions
CN115351713B (zh
Inventor
翁剑
吴志正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Aijitu Technology Co ltd
Original Assignee
Wuhan Aijitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Aijitu Technology Co ltd filed Critical Wuhan Aijitu Technology Co ltd
Priority to CN202211278576.5A priority Critical patent/CN115351713B/zh
Publication of CN115351713A publication Critical patent/CN115351713A/zh
Application granted granted Critical
Publication of CN115351713B publication Critical patent/CN115351713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24C—ABRASIVE OR RELATED BLASTING WITH PARTICULATE MATERIAL
    • B24C1/00—Methods for use of abrasive blasting for producing particular effects; Use of auxiliary equipment in connection with such methods
    • B24C1/08—Methods for use of abrasive blasting for producing particular effects; Use of auxiliary equipment in connection with such methods for polishing surfaces, e.g. smoothing a surface by making use of liquid-borne abrasives
    • B24C1/083—Deburring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24C—ABRASIVE OR RELATED BLASTING WITH PARTICULATE MATERIAL
    • B24C1/00—Methods for use of abrasive blasting for producing particular effects; Use of auxiliary equipment in connection with such methods
    • B24C1/08—Methods for use of abrasive blasting for producing particular effects; Use of auxiliary equipment in connection with such methods for polishing surfaces, e.g. smoothing a surface by making use of liquid-borne abrasives
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24C—ABRASIVE OR RELATED BLASTING WITH PARTICULATE MATERIAL
    • B24C9/00—Appurtenances of abrasive blasting machines or devices, e.g. working chambers, arrangements for handling used abrasive material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于图像识别的喷砂方法、装置、设备及存储介质，其包括：获取待喷砂拉刀图片，基于模板匹配模型确定所述待喷砂拉刀图片中的拉刀类型；基于所述拉刀类型更新所述模板匹配模型，根据更新后的模板匹配模型确定所述待喷砂拉刀图片中刀齿图像信息；根据所述刀齿图像信息确定所述待喷砂拉刀的喷砂方案；通过喷砂控制系统控制喷砂喷枪根据所述喷砂方案对待喷砂拉刀进行喷砂加工。本发明提供的一种基于图像识别的喷砂方法、装置、设备及存储介质，识别待加工拉刀类型，从而确定待加工拉刀的刀齿位置，通过刀齿位置规划喷砂加工路径，根据拉刀类型的不同调整加工路径实现拉刀的均匀喷砂加工。

Description

一种基于图像识别的喷砂方法、装置、设备及存储介质
技术领域
本发明涉及拉刀加工技术领域，尤其涉及一种基于图像识别的喷砂方法、装置、设备及存储介质。
背景技术
拉刀是一种加工过程中常用的刀具，用于拉削加工，常用于加工孔、键槽等特征。拉削加工对拉刀的表面质量要求较高，若拉刀切削齿表面有毛刺或划痕、刃口半径不均匀、刃口有缺口等微观缺陷，会导致使用该拉刀加工出来的零件表面质量差，这些缺陷还会影响拉刀本身的寿命。
为了提升拉刀的切削齿表面质量，提升拉刀的寿命，常使用喷砂工艺对拉刀进行钝化处理以去除拉刀表面的微观缺陷。
传统的拉刀喷砂加工过程中，加工路径相对固定，传统的加工方式中拉刀的预期位置与拉刀的实际位置经常存在偏移，这会导致加工路径与实际的拉刀位置存在偏移，喷枪口也会与刀刃之间存在偏移，这种情况会使得对拉刀的喷砂加工不均匀，不仅没有较好的去除拉刀表面的微观缺陷，并且可能因为加工不均匀而导致拉刀寿命减少。
发明内容
有鉴于此，有必要提供一种基于图像识别的喷砂方法、装置、设备及存储介质，用以解决现有技术中对不同类型拉刀加工时，拉刀喷砂加工路径固定导致喷砂加工不均匀，没有较好的去除拉刀表面的微观缺陷且降低拉刀寿命的问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种基于图像识别的喷砂方法，包括：
获取待喷砂拉刀图片，基于模板匹配模型确定待喷砂拉刀图片中的拉刀类型；
基于拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息；
根据刀齿图像信息确定待喷砂拉刀的喷砂方案；
通过喷砂控制系统控制喷砂喷枪根据喷砂方案对待喷砂拉刀进行喷砂加工。
优选的，基于模板匹配模型确定待喷砂拉刀图片中的拉刀类型，包括：
计算待喷砂拉刀图片中各像素点的总梯度值，将各像素点的像素值设置为该像素点的总梯度值得到待喷砂拉刀图片的梯度图；
基于模板匹配模型，将预设拉刀模板梯度图与待喷砂拉刀图片的梯度图的进行模板匹配得到匹配度；
比较匹配度的大小，匹配度最大的预设拉刀模板梯度图对应的拉刀类型为待喷砂拉刀图片中的拉刀类型。
优选的，计算待喷砂拉刀图片中各像素点的总梯度值，将各像素点的像素值设置为该像素点的总梯度值得到待喷砂拉刀图片的梯度图，包括：
分别计算待喷砂拉刀图片中各像素点的水平方向梯度值和垂直方向梯度值；
根据水平方向梯度值和垂直方向梯度值计算各像素点的总梯度值；
将各像素点的总梯度值按照待喷砂拉刀图片中的像素位置排列得到待喷砂拉刀图片的梯度图。
优选的，刀齿图像信息包括刀齿的坐标信息；拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息，包括：
根据拉刀类型选择拉刀齿形模板图，并基于拉刀齿形模板图更新模板匹配模型；
基于更新后的模板匹配模型，截取待喷砂拉刀图片中的所有刀齿图片；
通过双目相机确定所有刀齿图片到双目相机光心所在平面的距离；
通过坐标转换，根据所有刀齿图片到双目相机光心所在平面的距离得到所有刀齿的坐标信息。
优选的，通过双目相机确定所有刀齿图片到双目相机光心所在平面的距离，包括：
将任一刀齿投影至双目相机焦距平面并确定刀齿在双目相机焦距平面的两刀齿投影点；
分别将双目相机的两光心和对应刀齿垂直投影在两刀齿投影点所在的直线上得到两光心垂直点和刀齿垂直点；
获取两光心垂直点和刀齿垂直点的长度信息以及双目相机的焦距；
基于相似三角形原理，根据长度信息和双目相机的焦距计算对应刀齿图片到双目相机光心所在平面的距离，直至得到所有刀齿图片到双目相机光心所在平面的距离。
优选的，通过坐标转换，根据所有刀齿图片到双目相机光心所在平面的距离得到所有刀齿的坐标信息，包括：
根据待喷砂拉刀图片建立像素坐标系并确定所有刀齿图片的像素坐标；
根据第一预设转换规则和所有刀齿图片的像素坐标确定所有刀齿的图像坐标；
根据第二预设转换规则、所有刀齿的图像坐标和所有刀齿图片到双目相机光心所在平面的距离确定所有刀齿的相机坐标；
根据第三预设转换规则和所有刀齿的相机坐标确定所有刀齿的实际坐标。
优选的，刀齿包括两个刀齿端点；根据刀齿图像信息确定待喷砂拉刀的喷砂方案，包括：
根据待喷砂拉刀图片和所有刀齿图片确定待加工拉刀的首端刀齿和尾端刀齿；
根据所有刀齿的坐标信息，将所有刀齿的两个刀齿端点连接；
从首端刀齿开始，将相邻刀齿相距最短的刀齿端点连接直至连接到尾端刀齿得到喷砂方案。
第二方面，本发明还提供了一种基于图像识别的喷砂装置，包括：
类型匹配模块，用于获取待喷砂拉刀图片，基于模板匹配模型确定待喷砂拉刀图片中的拉刀类型；
信息提取模块，用于基于拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息；
方案规划模块，用于根据刀齿图像信息确定待喷砂拉刀的喷砂方案；
喷砂模块，用于通过喷砂控制系统控制喷砂喷枪根据喷砂方案对待喷砂拉刀进行喷砂加工。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的基于图像识别的喷砂方法中的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的基于图像识别的喷砂方法中的步骤。
采用上述实施例的有益效果是：本发明提供的一种基于图像识别的喷砂方法、装置、设备及存储介质，先获取待喷砂拉刀图片，然后根据模板匹配模型确定待喷砂拉刀图片中的拉刀类型，在更新模板匹配模型之后，进一步的根据待喷砂拉刀图片中的拉刀类型对应的拉刀齿形模板图确定待喷砂拉刀图片中所有刀齿的图像信息，再根据所有刀齿的图像信息，将刀齿的端点按照预设刀齿顺序进行连接得到拉刀喷砂方案，最后根据拉刀喷砂方案对待喷砂拉刀进行喷砂加工。本发明先确定待喷砂拉刀的类型，进一步确定待喷砂拉刀的图像信息，然后通过刀齿图像信息确定喷砂方案，从而根据拉刀类型的不同调整喷砂方案使得任何类型的拉刀都可以实现均匀喷砂加工，能够更好的去除拉刀表面的微观缺陷同时也可以进一步提高拉刀的使用寿命。
附图说明
图1为本发明提供的基于图像识别的喷砂方法的一实施例的流程示意图；
图2为本发明提供的确定拉刀类型的一实施例的流程示意图；
图3为图2中步骤S201的一实施例的流程示意图；
图4为图1中步骤S102的一实施例的流程示意图；
图5为图4中步骤S402的一实施例的流程示意图；
图6为本发明提供的确定像素点到双目相机光心所在平面的距离的一实施例的测距原理图；
图7为图4中步骤S403的一实施例的流程示意图；
图8为本发明提供的基于图像识别的喷砂装置的一实施例的结构示意图；
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种基于图像识别的喷砂方法、装置、设备及存储介质，以下分别进行说明。
请参阅图1，图1为本发明提供的基于图像识别的喷砂方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种基于图像识别的喷砂方法，包括：
S101、获取待喷砂拉刀图片，基于模板匹配模型确定待喷砂拉刀图片中的拉刀类型；
S102、基于拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息；
S103、根据刀齿图像信息确定待喷砂拉刀的喷砂方案；
S104、通过喷砂控制系统控制喷砂喷枪根据喷砂方案对待喷砂拉刀进行喷砂加工。
在上述实施例中，待喷砂拉刀图片可以直接通过相机对待喷砂拉刀进行获取，预设拉刀模板梯度图为事先准备的所有拉刀类型的梯度图。需要说明的是，对于获取待喷砂拉刀图片只需要获取到清楚完整拉刀的图片即可，对于何种相机获取的待喷砂拉刀图片本发明不做进一步限制。模板匹配算法为现有技术，本发明不做过多赘述。预设拉刀模板梯度图可以根据实际的拉刀类型获取所有拉刀类型的梯度图，只需根据不同类型的拉刀图片计算梯度值即可，本发明对此也不做赘述。
确定拉刀类型之后，基于模板匹配算法，根据事先准备的拉刀类型对应的拉刀齿形模板图确定所有的拉刀刀齿的图像信息，图像信息还包括刀齿的坐标信息。需要说明的是，拉刀类型对应的拉刀齿形模板图是根据拉刀类型确定的实际拉刀的拉刀齿形模板图，可以直接根据实际拉刀获取，本发明对此不作进一步赘述。
作为优选的实施例，预设刀齿顺序以通过模板匹配算法识别出来的待喷砂拉刀的第一个拉刀刀齿为起始端，按照识别出的刀齿顺序确定喷砂方案。可以理解的是，本发明也可以将最后识别出的拉刀刀齿作为起始端，与识别出的刀齿顺序相反的顺序确定喷砂方案，本发明对确定喷砂方案时的刀齿顺序也不做进一步限制。
喷砂控制系统为现有技术中存在的喷砂控制系统，喷砂喷枪能够喷出喷砂对待喷砂拉刀进行喷砂加工，喷砂控制系统可以根据特定指令控制喷砂喷枪对待喷砂拉刀进行喷砂加工，本发明在确定拉刀喷砂方案之后，通过喷砂控制系统控制喷砂即可按照确定的拉刀喷砂方案进行喷砂加工。
与现有技术相比，本实施例提供的一种基于图像识别的喷砂方法，先获取待喷砂拉刀图片，然后根据模板匹配模型确定待喷砂拉刀图片中的拉刀类型，在更新模板匹配模型之后，进一步的根据待喷砂拉刀图片中的拉刀类型对应的拉刀齿形模板图确定待喷砂拉刀图片中所有刀齿的图像信息，再根据所有刀齿的图像信息，将刀齿的端点按照预设刀齿顺序进行连接得到拉刀喷砂方案，最后根据拉刀喷砂方案对待喷砂拉刀进行喷砂加工。本发明先确定待喷砂拉刀的类型，进一步确定待喷砂拉刀的图像信息，然后通过刀齿图像信息确定喷砂方案，从而根据拉刀类型的不同调整喷砂方案使得任何类型的拉刀都可以实现均匀喷砂加工，能够更好的去除拉刀表面的微观缺陷同时也可以进一步提高拉刀的使用寿命。
请参阅图2，图2为本发明提供的确定拉刀类型的一实施例的流程示意图，在本发明的一些实施例中，基于拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息，包括：
S201、计算待喷砂拉刀图片中各像素点的总梯度值，将各像素点的像素值设置为该像素点的总梯度值得到待喷砂拉刀图片的梯度图；
S202、基于模板匹配模型，将预设拉刀模板梯度图与待喷砂拉刀图片的梯度图的进行模板匹配得到匹配度；
S203、比较匹配度的大小，匹配度最大的预设拉刀模板梯度图对应的拉刀类型为待喷砂拉刀图片中的拉刀类型。
在上述实施例中，获取待喷砂拉刀图片后确定待喷砂拉刀图片中各像素点的像素值，并通过各像素点的像素值确定各像素点的总梯度值，通过总梯度值得到待喷砂拉刀图片的梯度图。
作为优选的实施例，本发明使用计算机中储存的预设拉刀模板梯度图作为匹配模板，通过模板匹配模型在待喷砂拉刀图片的梯度图上由左上角开始，从左至右、从上至下的逐像素移动并计算预设拉刀模板梯度图与待喷砂拉刀图片的梯度图的匹配度，具体计算公式如下：
Figure 591041DEST_PATH_IMAGE001
；
其中，f(i,j)表示在预设拉刀模板梯度图中最上方j个像素，距离图片最左端i个像素位置的像素值，t(i,j)表示在待喷砂拉刀图片的梯度图中距离最上方j个像素，距离最左端i个像素位置的像素值，μ f 为预设拉刀模板梯度图的像素值均值，μ t 为待喷砂拉刀图片的梯度图的像素值均值，n为模板图像的像素数量，NCC为匹配度。
计算待喷砂拉刀图片的梯度图与所有拉刀类型的预设拉刀模板梯度图的匹配度，比较所有匹配度的大小，其中匹配度最大的预设拉刀模板梯度图对应的拉刀类型为待喷砂拉刀图片中的拉刀类型。
需要说明的是，计算待喷砂拉刀图片的梯度图与预设拉刀模板梯度图的匹配度时也可以设置其他的计算顺序，本发明对此不做进一步限制。
请参阅图3，图3为图2中步骤S201的一实施例的流程示意图，在本发明的一些实施例中，计算待喷砂拉刀图片中各像素点的总梯度值，将各像素点的像素值设置为该像素点的总梯度值得到待喷砂拉刀图片的梯度图，包括：
S301、分别计算待喷砂拉刀图片中各像素点的水平方向梯度值和垂直方向梯度值；
S302、根据水平方向梯度值和垂直方向梯度值计算各像素点的总梯度值；
S303、将各像素点的总梯度值按照待喷砂拉刀图片中的像素位置排列得到待喷砂拉刀图片的梯度图。
在上述实施例中，计算待喷砂拉刀图片中各像素点的水平方向梯度值和垂直方向梯度值的公式如下：
Figure 944662DEST_PATH_IMAGE002
；
其中，Ga与Gb分别表示各像素点的水平方向梯度值和垂直方向梯度值。
根据水平方向梯度值和垂直方向梯度值计算出该像素点的总梯度值：
Figure 8433DEST_PATH_IMAGE003
；
将各像素点的总梯度值按照待喷砂拉刀图片中各像素点的位置排列，重新得到的梯度图即为待喷砂拉刀图片的梯度图。
请参阅图4，图4为图1中步骤S102的一实施例的流程示意图，在本发明的一些实施例中，刀齿图像信息包括刀齿的坐标信息；拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息，包括：
S401、根据拉刀类型选择拉刀齿形模板图，并基于拉刀齿形模板图更新模板匹配模型；
S402基于更新后的模板匹配模型，截取待喷砂拉刀图片中的所有刀齿图片；
S403、通过双目相机确定所有刀齿图片到双目相机光心所在平面的距离；
S404、通过坐标转换，根据所有刀齿图片到双目相机光心所在平面的距离得到所有刀齿的坐标信息。
在上述实施例中，使用计算机内储存的拉刀齿形模板图更新模板匹配模型，更新后的模板匹配模型从待喷砂拉刀图片的拉刀的一端进行模板匹配，将匹配到的第一个刀齿记作刀齿1，截取刀齿1的图片，使用刀齿1的图片作为新的模板图对下一刀齿进行模板匹配，依次使用前一个刀齿的图片作为新的模板图对下一个刀齿进行模板匹配，直至匹配完毕，即得到了所有的刀齿图片。
通过双目相机对所有的刀齿图片进行拍摄，并基于双目相机的参数，计算所有刀齿图片到双目相机光心所在平面的距离。通过坐标转换，根据刀齿的像素坐标以及所有刀齿图片到双目相机光心所在平面的距离进行坐标转换，得到刀齿在实际环境下的位置信息。
请参阅图5，图5为图4中步骤S402的一实施例的流程示意图，在本发明的一些实施例中，通过双目相机确定所有刀齿图片到双目相机光心所在平面的距离，包括：
S501、将任一刀齿投影至双目相机焦距平面并确定刀齿在双目相机焦距平面的两刀齿投影点；
S502、分别将双目相机的两光心和对应刀齿垂直投影在两刀齿投影点所在的直线上得到两光心垂直点和刀齿垂直点；
S503、获取两光心垂直点和刀齿垂直点的长度信息以及双目相机的焦距；
S504、基于相似三角形原理，根据长度信息和双目相机的焦距计算对应刀齿图片到双目相机光心所在平面的距离，直至得到所有刀齿图片到双目相机光心所在平面的距离。
在上述实施例中，请参阅图6，图6为本发明提供的确定像素点到双目相机光心所在平面的距离的一实施例的测距原理图，双目相机的两个光心分别为C1、C2，双目相机的两个光心的距离为b，双目相机的焦距均为f，各像素点在双目相机焦距平面上投影的点分别为P1、P2，分别过C1、C2、P点作直线P1P2的垂线，交直线P1P2于点A1、A2、B，测量A1P1、A2P2、P2B的长度分别为l1、l2、a，根据相似三角形原理可得：
Figure 738492DEST_PATH_IMAGE004
；
Figure 141791DEST_PATH_IMAGE005
；
联立可得像素点到双目相机光心所在平面的距离为：
Figure 666313DEST_PATH_IMAGE006
；
重复上述计算，确定刀齿图片中的像素点到双目相机光心所在平面的距离，即可确定所有刀齿图片到双目相机光心所在平面的距离。
请参阅图7，图7为图4中步骤S403的一实施例的流程示意图，在本发明的一些实施例中，通过坐标转换，根据所有刀齿图片到双目相机光心所在平面的距离得到所有刀齿的坐标信息，包括：
S701、根据待喷砂拉刀图片建立像素坐标系并确定所有刀齿图片的像素坐标；
S702、根据第一预设转换规则和所有刀齿图片的像素坐标确定所有刀齿的图像坐标；
S703、根据第二预设转换规则、所有刀齿的图像坐标和所有刀齿图片到双目相机光心所在平面的距离确定所有刀齿的相机坐标；
S704、根据第三预设转换规则和所有刀齿的相机坐标确定所有刀齿的实际坐标。
在上述实施例中，以待喷砂拉刀图片中左上角的顶点为像素坐标系的坐标原点，水平方向为u轴，垂直方向为v轴，以像素为刻度建立像素坐标系，分别获取各点距离u轴与v轴的像素数un、vn，则各点位坐标为（un，vn），根据像素坐标系获取所有刀齿图片的像素坐标。
通过第一预设转换规则确定所有刀齿的图像坐标，第一预设转换规则为像素坐标转换为图像坐标的转换规则，具体公式如下：
Figure 951801DEST_PATH_IMAGE007
；
其中，dx、dy分别为待喷砂拉刀图片中每个像素沿实际坐标系的x、y轴的实际物理尺寸；u、v和Xi、Yi分别为各点位在像素坐标系与图像坐标系的坐标；u0、v0分别为图像坐标系原点距离像素坐标系v轴、u轴的像素数。
通过第二预设转换规则确定所有刀齿的相机坐标，第二预设转换规则为图像坐标转换为相机坐标的转换规则，具体公式如下：
Figure 485551DEST_PATH_IMAGE008
；
其中f为双目相机的焦距，Zc为刀齿图片到双目相机光心所在平面的距离，Xc、Yc、Zc分别为各点位在相机坐标系的坐标。
通过第三预设转换规则确定所有刀齿的实际坐标，第三预设转换规则为相机坐标转换为实际坐标的转换规则，具体公式如下：
Figure 540094DEST_PATH_IMAGE009
；
其中R表示由实际坐标系到相机坐标系的旋转矩阵，T表示由实际坐标系到相机坐标系的平移矩阵，Xt、Yt、Zt分别为各点位在实际坐标系的坐标。
在本发明的一些实施例中，刀齿包括两个刀齿端点；根据刀齿图像信息确定待喷砂拉刀的喷砂方案，包括：
根据待喷砂拉刀图片和所有刀齿图片确定待加工拉刀的首端刀齿和尾端刀齿；
根据所有刀齿的坐标信息，将所有刀齿的两个刀齿端点连接；
从首端刀齿开始，将相邻刀齿相距最短的刀齿端点连接直至连接到尾端刀齿得到喷砂方案。
作为优选的实施例，预设刀齿顺序为通过更新后的模板匹配算法根据拉刀齿形模板图确定待喷砂拉刀图片中所有刀齿图片时的刀齿顺序，刀齿1的两端端点分别为d11、d12，将刀齿2上与d12位于同一侧的端点记作d21，另一侧记作d22，将刀齿3上与d22位于同一侧的端点记作d31，另一侧记作d32，如此往复，直至最后一个刀齿；所规划的路径即为d11、d12、d21、d22、d31、d32……各点按顺序连接的直线。
为了更好实施本发明实施例中的基于图像识别的喷砂方法，在基于图像识别的喷砂方法基础之上，对应的，请参阅图8，图8为本发明提供的基于图像识别的喷砂装置的一实施例的结构示意图，本发明实施例提供了一种基于图像识别的喷砂装置800，包括：
类型匹配模块810，用于获取待喷砂拉刀图片，基于模板匹配模型确定待喷砂拉刀图片中的拉刀类型；
信息提取模块820，用于基于拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息；
方案规划模块830，用于根据刀齿图像信息确定待喷砂拉刀的喷砂方案；
喷砂模块840，用于通过喷砂控制系统控制喷砂喷枪根据喷砂方案对待喷砂拉刀进行喷砂加工。
这里需要说明的是：上述实施例提供的装置800可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
请参阅图9，图9为本发明实施例提供的电子设备的结构示意图。基于上述基于图像识别的喷砂方法，本发明还相应提供了一种基于图像识别的喷砂设备，基于图像识别的喷砂设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该基于图像识别的喷砂设备包括处理器910、存储器920及显示器930。图9仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器920在一些实施例中可以是基于图像识别的喷砂设备的内部存储单元，例如基于图像识别的喷砂设备的硬盘或内存。存储器920在另一些实施例中也可以是基于图像识别的喷砂设备的外部存储设备，例如基于图像识别的喷砂设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器920还可以既包括基于图像识别的喷砂设备的内部存储单元也包括外部存储设备。存储器920用于存储安装于基于图像识别的喷砂设备的应用软件及各类数据，例如安装基于图像识别的喷砂设备的程序代码等。存储器920还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器920上存储有基于图像识别的喷砂程序940，该基于图像识别的喷砂程序940可被处理器910所执行，从而实现本申请各实施例的基于图像识别的喷砂方法。
处理器910在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行存储器920中存储的程序代码或处理数据，例如执行基于图像识别的喷砂方法等。
显示器930在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器930用于显示在基于图像识别的喷砂设备的信息以及用于显示可视化的用户界面。基于图像识别的喷砂设备的部件910-930通过系统总线相互通信。
在一实施例中，当处理器910执行存储器920中基于图像识别的喷砂程序940时实现如上的基于图像识别的喷砂方法中的步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有路径规划程序，该路径规划程序被处理器执行时实现以下步骤：
获取待喷砂拉刀图片，基于模板匹配模型确定待喷砂拉刀图片中的拉刀类型；
基于拉刀类型更新模板匹配模型，根据更新后的模板匹配模型确定待喷砂拉刀图片中刀齿图像信息；
根据刀齿图像信息确定待喷砂拉刀的喷砂方案；
通过喷砂控制系统控制喷砂喷枪根据喷砂方案对待喷砂拉刀进行喷砂加工。
综上，本实施例提供的一种基于图像识别的喷砂方法、装置、设备及存储介质，先获取待喷砂拉刀图片，然后根据模板匹配模型确定待喷砂拉刀图片中的拉刀类型，在更新模板匹配模型之后，进一步的根据待喷砂拉刀图片中的拉刀类型对应的拉刀齿形模板图确定待喷砂拉刀图片中所有刀齿的图像信息，再根据所有刀齿的图像信息，将刀齿的端点按照预设刀齿顺序进行连接得到拉刀喷砂方案，最后根据拉刀喷砂方案对待喷砂拉刀进行喷砂加工。本发明先确定待喷砂拉刀的类型，进一步确定待喷砂拉刀的图像信息，然后通过刀齿图像信息确定喷砂方案，从而根据拉刀类型的不同调整喷砂方案使得任何类型的拉刀都可以实现均匀喷砂加工，能够更好的去除拉刀表面的微观缺陷同时也可以进一步提高拉刀的使用寿命。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的喷砂方法，其特征在于，包括：
获取待喷砂拉刀图片，基于模板匹配模型确定所述待喷砂拉刀图片中的拉刀类型；
基于所述拉刀类型更新所述模板匹配模型，根据更新后的模板匹配模型确定所述待喷砂拉刀图片中刀齿图像信息；
根据所述刀齿图像信息确定所述待喷砂拉刀的喷砂方案；
通过喷砂控制系统控制喷砂喷枪根据所述喷砂方案对待喷砂拉刀进行喷砂加工。
2.根据权利要求1所述的基于图像识别的喷砂方法，其特征在于，所述基于模板匹配模型确定所述待喷砂拉刀图片中的拉刀类型，包括：
计算所述待喷砂拉刀图片中各像素点的总梯度值，将各像素点的像素值设置为该像素点的总梯度值得到待喷砂拉刀图片的梯度图；
基于模板匹配模型，将预设拉刀模板梯度图与所述待喷砂拉刀图片的梯度图的进行模板匹配得到匹配度；
比较所述匹配度的大小，匹配度最大的所述预设拉刀模板梯度图对应的拉刀类型为所述待喷砂拉刀图片中的拉刀类型。
3.根据权利要求2所述的基于图像识别的喷砂方法，其特征在于，所述计算所述待喷砂拉刀图片中各像素点的总梯度值，将各像素点的像素值设置为该像素点的总梯度值得到待喷砂拉刀图片的梯度图，包括：
分别计算所述待喷砂拉刀图片中各像素点的水平方向梯度值和垂直方向梯度值；
根据所述水平方向梯度值和所述垂直方向梯度值计算各像素点的总梯度值；
将所述各像素点的总梯度值按照所述待喷砂拉刀图片中的像素位置排列得到待喷砂拉刀图片的梯度图。
4.根据权利要求1所述的基于图像识别的喷砂方法，其特征在于，所述刀齿图像信息包括刀齿的坐标信息；所述拉刀类型更新所述模板匹配模型，根据更新后的模板匹配模型确定所述待喷砂拉刀图片中刀齿图像信息，包括：
根据所述拉刀类型选择拉刀齿形模板图，并基于所述拉刀齿形模板图更新所述模板匹配模型；
基于更新后的模板匹配模型，截取所述待喷砂拉刀图片中的所有刀齿图片；
通过双目相机确定所有所述刀齿图片到所述双目相机光心所在平面的距离；
通过坐标转换，根据所有所述刀齿图片到所述双目相机光心所在平面的距离得到所有刀齿的坐标信息。
5.根据权利要求4所述的基于图像识别的喷砂方法，其特征在于，所述通过双目相机确定所有所述刀齿图片到所述双目相机光心所在平面的距离，包括：
将任一刀齿投影至双目相机焦距平面并确定所述刀齿在双目相机焦距平面的两刀齿投影点；
分别将双目相机的两光心和对应刀齿垂直投影在所述两刀齿投影点所在的直线上得到两光心垂直点和刀齿垂直点；
获取所述两光心垂直点和所述刀齿垂直点的长度信息以及双目相机的焦距；
基于相似三角形原理，根据所述长度信息和所述双目相机的焦距计算对应刀齿图片到所述双目相机光心所在平面的距离，直至得到所有所述刀齿图片到所述双目相机光心所在平面的距离。
6.根据权利要求4所述的基于图像识别的喷砂方法，其特征在于，所述通过坐标转换，根据所有所述刀齿图片到所述双目相机光心所在平面的距离得到所有刀齿的坐标信息，包括：
根据所述待喷砂拉刀图片建立像素坐标系并确定所有所述刀齿图片的像素坐标；
根据第一预设转换规则和所有所述刀齿图片的像素坐标确定所有刀齿的图像坐标；
根据第二预设转换规则、所述所有刀齿的图像坐标和所有所述刀齿图片到所述双目相机光心所在平面的距离确定所有刀齿的相机坐标；
根据第三预设转换规则和所述所有刀齿的相机坐标确定所有刀齿的实际坐标。
7.根据权利要求6所述的基于图像识别的喷砂方法，其特征在于，所述刀齿包括两个刀齿端点；所述根据所述刀齿图像信息确定所述待喷砂拉刀的喷砂方案，包括：
根据所述待喷砂拉刀图片和所述所有刀齿图片确定待加工拉刀的首端刀齿和尾端刀齿；
根据所述所有刀齿的坐标信息，将所有刀齿的两个刀齿端点连接；
从所述首端刀齿开始，将相邻刀齿相距最短的刀齿端点连接直至连接到所述尾端刀齿得到喷砂方案。
8.一种基于图像识别的喷砂装置，其特征在于，包括：
类型匹配模块，用于获取待喷砂拉刀图片，基于模板匹配模型确定所述待喷砂拉刀图片中的拉刀类型；
信息提取模块，用于基于所述拉刀类型更新所述模板匹配模型，根据更新后的模板匹配模型确定所述待喷砂拉刀图片中刀齿图像信息；
方案规划模块，用于根据所述刀齿图像信息确定所述待喷砂拉刀的喷砂方案；
喷砂模块，用于通过喷砂控制系统控制喷砂喷枪根据所述喷砂方案对待喷砂拉刀进行喷砂加工。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述基于图像识别的喷砂方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述基于图像识别的喷砂方法中的步骤。
CN202211278576.5A 2022-10-19 2022-10-19 一种基于图像识别的喷砂方法、装置、设备及存储介质 Active CN115351713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211278576.5A CN115351713B (zh) 2022-10-19 2022-10-19 一种基于图像识别的喷砂方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211278576.5A CN115351713B (zh) 2022-10-19 2022-10-19 一种基于图像识别的喷砂方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115351713A true CN115351713A (zh) 2022-11-18
CN115351713B CN115351713B (zh) 2023-06-02

Family

ID=84008542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211278576.5A Active CN115351713B (zh) 2022-10-19 2022-10-19 一种基于图像识别的喷砂方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115351713B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2059832A (en) * 1979-10-03 1981-04-29 Tacchella Macchine Spa Broach sharpening machine
JPWO2008107985A1 (ja) * 2007-03-07 2010-06-10 富士通株式会社 パターン検出プログラム、パターン検出方法およびパターン検出装置
CN108098134A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型激光视觉焊缝跟踪系统及方法
CN110135514A (zh) * 2019-05-22 2019-08-16 国信优易数据有限公司 一种工件分类方法、装置、设备及介质
CN112084587A (zh) * 2020-08-26 2020-12-15 上海交通大学 枞树型齿廓精拉刀拉削力预测方法
CN113134791A (zh) * 2021-04-30 2021-07-20 盐城工学院 一种基于图像识别的工件表面处理方法及抛丸机
CN113902810A (zh) * 2021-09-16 2022-01-07 南京工业大学 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
US20220114759A1 (en) * 2020-12-25 2022-04-14 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Target detection method, electronic device and medium
CN114549400A (zh) * 2021-12-31 2022-05-27 深圳中科飞测科技股份有限公司 一种图像识别方法及装置
CN114800542A (zh) * 2022-02-21 2022-07-29 南昌航空大学 螺旋锥齿轮全角度柔性打磨机器装置、打磨方法及系统
CN115008093A (zh) * 2022-06-14 2022-09-06 广东天太机器人有限公司 一种基于模板识别的多焊接点焊接机器人控制系统及方法
CN115170566A (zh) * 2022-09-07 2022-10-11 湖南视比特机器人有限公司 一种工件的识别方法和识别装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2059832A (en) * 1979-10-03 1981-04-29 Tacchella Macchine Spa Broach sharpening machine
JPWO2008107985A1 (ja) * 2007-03-07 2010-06-10 富士通株式会社 パターン検出プログラム、パターン検出方法およびパターン検出装置
CN108098134A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型激光视觉焊缝跟踪系统及方法
CN110135514A (zh) * 2019-05-22 2019-08-16 国信优易数据有限公司 一种工件分类方法、装置、设备及介质
CN112084587A (zh) * 2020-08-26 2020-12-15 上海交通大学 枞树型齿廓精拉刀拉削力预测方法
US20220114759A1 (en) * 2020-12-25 2022-04-14 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Target detection method, electronic device and medium
CN113134791A (zh) * 2021-04-30 2021-07-20 盐城工学院 一种基于图像识别的工件表面处理方法及抛丸机
CN113902810A (zh) * 2021-09-16 2022-01-07 南京工业大学 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
CN114549400A (zh) * 2021-12-31 2022-05-27 深圳中科飞测科技股份有限公司 一种图像识别方法及装置
CN114800542A (zh) * 2022-02-21 2022-07-29 南昌航空大学 螺旋锥齿轮全角度柔性打磨机器装置、打磨方法及系统
CN115008093A (zh) * 2022-06-14 2022-09-06 广东天太机器人有限公司 一种基于模板识别的多焊接点焊接机器人控制系统及方法
CN115170566A (zh) * 2022-09-07 2022-10-11 湖南视比特机器人有限公司 一种工件的识别方法和识别装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
任俊玲: "《脱机手写汉字识别若干关键技术研究》", 31 January 2013, 北京邮电大学出版社, pages: 10 *
张善文: "《图像模式识别》", 29 February 2020, 西安电子科技大学出版社, pages: 195 *
张宇河，董宁: "《计算机控制系统》", 30 September 2002, 北京理工大学出版社, pages: 215 *
曹辉: "《光电信息与技术实验教程》", 31 August 2015, 国防工业出版社, pages: 110 *

Also Published As

Publication number Publication date
CN115351713B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
JP6830139B2 (ja) ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
CN109300159A (zh) 位置检测方法、装置、设备、存储介质及车辆
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
JP2014035702A (ja) 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US20150178903A1 (en) Image correction apparatus for correcting distortion of an image
CN106331527A (zh) 一种图像拼接方法及装置
CN112991178B (zh) 图像拼接方法、装置、设备和介质
US20060152506A1 (en) Method for generating 3D mesh based on unorganized sparse 3D points
CN111612753B (zh) 三维物体检测方法、装置、电子设备和可读存储介质
CN113223113B (zh) 车道线处理方法、装置、电子设备和云控平台
JP2022541977A (ja) 画像のラベリング方法、装置、電子機器及び記憶媒体
CN112308925A (zh) 可穿戴设备的双目标定方法、设备及存储介质
US11908081B2 (en) Method and system for automatic characterization of a three-dimensional (3D) point cloud
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
US20220198743A1 (en) Method for generating location information, related apparatus and computer program product
CN104836953A (zh) 多投影仪屏幕特征点自动拍照及去噪识别方法
CN115351713B (zh) 一种基于图像识别的喷砂方法、装置、设备及存储介质
CN112509135B (zh) 元素标注方法、装置、设备、存储介质及计算机程序产品
US20230048643A1 (en) High-Precision Map Construction Method, Apparatus and Electronic Device
CN112561995B (zh) 一种实时高效的6d姿态估计网络、构建方法及估计方法
CN115100296A (zh) 一种光伏组件故障定位方法、装置、设备及存储介质
CN113837950A (zh) 一种晶圆角度矫正方法、系统及存储介质
CN116091365B (zh) 基于三角面的三维模型缺口修复方法、装置、设备及介质
CN115239721A (zh) 一种刀具缺陷修复方法、装置、设备及存储介质
CN116071276B (zh) 基于顶点的三维模型缺口修复方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant