CN107931012B - 一种提取点胶路径的方法及点胶系统 - Google Patents

一种提取点胶路径的方法及点胶系统 Download PDF

Info

Publication number
CN107931012B
CN107931012B CN201711009759.6A CN201711009759A CN107931012B CN 107931012 B CN107931012 B CN 107931012B CN 201711009759 A CN201711009759 A CN 201711009759A CN 107931012 B CN107931012 B CN 107931012B
Authority
CN
China
Prior art keywords
dispensing
target
dispensing object
current image
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711009759.6A
Other languages
English (en)
Other versions
CN107931012A (zh
Inventor
李文慧
周璐
张兴明
李铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN201711009759.6A priority Critical patent/CN107931012B/zh
Publication of CN107931012A publication Critical patent/CN107931012A/zh
Application granted granted Critical
Publication of CN107931012B publication Critical patent/CN107931012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提取点胶路径的方法及点胶系统，该方法为：确定待点胶产品上的目标点胶对象；获取目标点胶对象的目标点胶对象卡尺区域；在目标点胶对象卡尺区域中，提取目标点胶对象的各个边；基于目标点胶对象的各个边，确定目标点胶对象的点胶路径。通过获取目标点胶对象卡尺区域并在目标点胶对象卡尺区域中提取目标点胶对象的各个边，即可基于目标点胶对象的各个边确定目标点胶对象的点胶路径，不再针对学习时获得的点胶路径进行转换，能够适应产品的尺寸误差，而且，在提取点胶路径的过程中，只关注目标点胶对象的各个边的搜索，尽可能地避开了复杂的背景纹理，有效地避免了由于对比度不均、纹理复杂等原因导致获得的点胶路径不准确的问题。

Description

一种提取点胶路径的方法及点胶系统
技术领域
本发明涉及点胶技术领域，尤其涉及一种提取点胶路径的方法及点胶系统。
背景技术
点胶机又称涂胶机、滴胶机、打胶机、灌胶机等，是专门对流体进行控制，将流体点滴、涂覆于产品表面或产品内部的自动化机器，被广泛应用于工业生产的各个行业，例如：精密机械，电子装置的条纹印制和密封，以及集成电路(Integrated Circuit，IC)封装的灌胶等。
传统点胶设备通常需要人工输入点胶位置来驱动点胶阀运动。这种人工输入点胶位置的开环控制方案，生产效率和点胶精度都比较低，而且无法实现复杂图形的点胶操作，也无法适应产品尺寸的误差。随着自动化技术的迅猛发展，人工输入点胶位置的开环控制方式已经远远不能满足工业要求，因此，通过将视觉检测技术引入到点胶系统中，实现了全自动视觉点胶，一种方案是：将电荷耦合(Charge-Coupled Device，CCD)图像传感器采集到的彩色图像转化为灰度图像，通过平滑处理减小噪声，然后，通过阈值选取和形态学处理提取点胶位置。另一种方案是：在学习时记录点胶路径和印刷电路(Printed Circuit Board，PCB)板上的标记点(其中，标记点是在制造PCB板的过程中设计在PCB板上用于定位的一种板载标记)，在点胶时，通过视觉检测获取当前PCB板上的标记点，并基于获得的当前PCB板上的标记点和学习时记录的PCB板上的标记点，计算当前PCB板与学习时的PCB板发生的平移旋转量，进而，基于计算出的平移旋转量和学习时记录的点胶路径，推算出当前点胶路径。
基于上述分析可知，视觉检测点胶位置的闭环控制方案相对于人工输入点胶位置的开环控制方案而言，虽然解决了开环控制方案存在的点胶效率和点胶精度较低的问题，但是，在视觉检测点胶位置的闭环控制方案中，采用阈值选取和形态学处理提取点胶位置，很容易出现由于图像的背景纹理比较复杂、对比度不均等原因导致获得的点胶位置不准确的问题，以致该方法的适用场景有限，通用性较差。而通过PCB板上的标记点获取点胶路径的方法，虽然考虑了PCB板所发生的平移旋转误差，但却固化了标记点与点胶位置之间的相对位置关系，无法适应产品的尺寸误差，而且，该方法非常依赖于的PCB板上的标记点的检测精度，很容易出现由于标记点的定位不准确，导致获得的点胶路径存在误差的问题。
发明内容
本发明实施例提供了一种提取点胶路径的方法及点胶系统，用以解决现有技术中存在的点胶路径精度较低、无法适应产品的尺寸误差的问题。
本发明实施例提供的具体技术方案如下：
一种提取点胶路径的方法，包括：
确定待点胶产品上的目标点胶对象；
获取目标点胶对象的目标点胶对象卡尺区域；
在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径。
较佳的，确定待点胶产品上的目标点胶对象，包括：
检测待点胶产品上的标记点，并确定待点胶产品上的每一个待点胶对象相对标记点的位置；
按照待点胶产品上的每一个待点胶对象相对标记点的位置，控制点胶机的机械手移动，每控制点胶机的机械手移动到一个位置时，将该位置所对应的待点胶对象作为目标点胶对象。
较佳的，检测待点胶产品上的标记点，包括：
检测到待点胶产品传送至点胶机的工作台上时，控制安装在点胶机的机械手上的图像采集设备采集当前图像；
将当前图像与预先获得的训练标记点模板进行匹配，获取当前图像中的标记点与训练标记点模板之间的平移旋转关系；
基于获得的平移旋转关系和预先获得的训练标记点卡尺区域，确定当前图像中的目标标记点卡尺区域；
在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点。
较佳的，在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点，包括：
在目标标记点卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的图形作为待点胶产品上的标记点。
较佳的，获取目标点胶对象的目标点胶对象卡尺区域，包括：
控制安装在点胶机的机械手上的图像采集设备采集当前图像；
将当前图像与预先获得的训练点胶对象模板进行匹配，获取当前图像中的目标点胶对象与训练点胶对象模板之间的平移旋转关系；
基于获得的平移旋转关系和预先获得的训练点胶对象卡尺区域，获取目标点胶对象在当前图像中的目标点胶对象卡尺区域。
较佳的，在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径，包括：
在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边；
基于目标点胶对象在当前图像中的各个边和预先配置的目标点胶对象的点胶模式，获取目标点胶对象的点胶路径。
较佳的，在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边，包括：
在目标点胶对象卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的各个边作为目标点胶对象在当前图像中的各个边。
较佳的，确定目标点胶对象的点胶路径之后，还包括：
提取点胶路径对应的各个像素坐标，并将点胶路径对应的各个像素坐标转换为相应的机械手坐标；
控制机械手按照点胶路径对应的各个机械手坐标，对目标点胶对象执行相应的点胶操作。
一种点胶系统，包括：
目标对象定位模块，用于确定待点胶产品上的目标点胶对象；
点胶路径提取模块，用于获取目标点胶对象的目标点胶对象卡尺区域，在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径。
较佳的，确定待点胶产品上的目标点胶对象时，目标对象定位模块具体用于：
检测待点胶产品上的标记点，并确定待点胶产品上的每一个待点胶对象相对标记点的位置；
按照待点胶产品上的每一个待点胶对象相对标记点的位置，控制点胶机的机械手移动，每控制点胶机的机械手移动到一个位置时，将该位置所对应的待点胶对象作为目标点胶对象。
较佳的，检测待点胶产品上的标记点时，目标对象定位模块具体用于：
检测到待点胶产品传送至点胶机的工作台上时，控制安装在点胶机的机械手上的图像采集设备采集当前图像；
将当前图像与预先获得的训练标记点模板进行匹配，获取当前图像中的标记点与训练标记点模板之间的平移旋转关系；
基于获得的平移旋转关系和预先获得的训练标记点卡尺区域，确定当前图像中的目标标记点卡尺区域；
在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点。
较佳的，在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点时，目标对象定位模块具体用于：
在目标标记点卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的图形作为待点胶产品上的标记点。
较佳的，获取目标点胶对象的目标点胶对象卡尺区域时，点胶路径提取模块具体用于：
控制安装在点胶机的机械手上的图像采集设备采集当前图像；
将当前图像与预先获得的训练点胶对象模板进行匹配，获取当前图像中的目标点胶对象与训练点胶对象模板之间的平移旋转关系；
基于获得的平移旋转关系和预先获得的训练点胶对象卡尺区域，获取目标点胶对象在当前图像中的目标点胶对象卡尺区域。
较佳的，在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径时，点胶路径提取模块具体用于：
在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边；
基于目标点胶对象在当前图像中的各个边和预先配置的目标点胶对象的点胶模式，获取目标点胶对象的点胶路径。
较佳的，在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边时，点胶路径提取模块具体用于：
在目标点胶对象卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的各个边作为目标点胶对象在当前图像中的各个边。
较佳的，上述点胶系统还包括点胶执行模块，其中，
点胶执行模块，用于在点胶路径提取模块确定目标点胶对象的点胶路径之后，提取点胶路径对应的各个像素坐标，并将点胶路径对应的各个像素坐标转换为相应的机械手坐标；控制机械手按照点胶路径对应的各个机械手坐标，对目标点胶对象执行相应的点胶操作。
本发明实施例的有益效果如下：
本发明实施例中，通过获取目标点胶对象的目标点胶对象卡尺区域，并在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，即可基于目标点胶对象的各个边，确定目标点胶对象的点胶路径，不再针对学习时获得的点胶路径进行转换，能够适应产品的尺寸误差，而且，在提取点胶路径的过程中，只关注目标点胶对象卡尺区域中目标点胶对象的各个边的搜索，尽可能地避开了复杂的背景纹理，有效地避免了由于对比度不均、纹理复杂等原因导致获得的点胶路径不准确的问题。
附图说明
图1为本发明实施例一提供的提取点胶路径的方法的概况示意图；
图2为本发明实施例二提供的提取点胶路径的方法的具体流程示意图；
图3为本发明实施例三提供的点胶系统的功能结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中存在的点胶路径精度较低、无法适应产品的尺寸误差的问题，本发明实施例中，利用待点胶产品上的每一个待点胶对象相对标记点的位置，控制机械手移动，使待点胶产品上的每一个待点胶对象依次作为目标点胶对象出现在图像采集设备的视场中，并利用图像采集设备采集到的当前图像，获取目标点胶对象的目标点胶对象卡尺区域，以便在获得的目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径。这样，通过获取目标点胶对象的目标点胶对象卡尺区域，并在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，即可基于目标点胶对象的各个边，确定目标点胶对象的点胶路径，不再针对学习时获得的点胶路径进行转换，能够适应产品的尺寸误差，而且，在提取点胶路径的过程中，只关注目标点胶对象卡尺区域中目标点胶对象的各个边的搜索，尽可能地避开了复杂的背景纹理，有效地避免了由于对比度不均、纹理复杂等原因导致获得的点胶路径不准确的问题。
下面通过具体实施例对本发明方案进行详细描述，当然，本发明并不限于以下实施例。
实施例一
本发明实施例一提供了一种提取点胶路径的方法，参阅图1所示，该提取点胶路径的方法的流程如下：
步骤101：确定待点胶产品上的目标点胶对象。
在执行步骤101时，具体包括：
步骤101A：检测待点胶产品上的标记点，并确定待点胶产品上的每一个待点胶对象相对标记点的位置。
较佳的，在检测待点胶产品上的标记点时，可以采用但不限于以下方式：
首先，检测到待点胶产品传送至点胶机的工作台上时，控制安装在点胶机的机械手上的图像采集设备采集当前图像。
然后，将当前图像与预先获得的训练标记点模板进行匹配，获取当前图像中的标记点与训练标记点模板之间的平移旋转关系。
其次，基于获得的平移旋转关系和预先获得的训练标记点卡尺区域，确定当前图像中的目标标记点卡尺区域。
最后，在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点。
较佳的，在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点时，可以采用但不限于以下方式：
在目标标记点卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的图形作为待点胶产品上的标记点。
步骤101B：按照待点胶产品上的每一个待点胶对象相对标记点的位置，控制点胶机的机械手移动，每控制点胶机的机械手移动到一个位置时，将该位置所对应的待点胶对象作为目标点胶对象。
步骤102：获取目标点胶对象的目标点胶对象卡尺区域。
在执行步骤102时，可以采用但不限于以下方式：采集包含所述目标点胶对象的当前图像，并基于预先获得的训练点胶对象模板，获取在所述当前图像中的目标点胶对象卡尺区域，具体包括：
步骤102A：控制安装在点胶机的机械手上的图像采集设备采集当前图像。
步骤102B：将当前图像与预先获得的训练点胶对象模板进行匹配，获取当前图像中的目标点胶对象与训练点胶对象模板之间的平移旋转关系。
值得说的是，若当前图像与预先获得的训练点胶对象模板匹配失败，则可以确定图像采集设备的当前视场中不存在目标点胶对象，或者，图像采集设备的当前视场中的点胶对象与目标点胶对象不匹配。在此情况下，可以输出一错误提示信息，以提示相关人员点胶流程出现错误。
步骤102C：基于获得的平移旋转关系和预先获得的训练点胶对象卡尺区域，获取目标点胶对象在当前图像中的目标点胶对象卡尺区域。
步骤103：在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径。
在执行步骤103时，具体包括：
步骤103A：在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边。
较佳的，在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边时，可以采用但不限于以下方式：
在目标点胶对象卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的各个边作为目标点胶对象在当前图像中的各个边。
步骤103B：基于目标点胶对象在当前图像中的各个边和预先配置的目标点胶对象的点胶模式，获取目标点胶对象的点胶路径。
进一步地，为了能够控制点胶机上的机械手针对目标点胶对象执行点胶操作，在确定目标点胶对象的点胶路径之后，还可以提取该点胶路径对应的各个像素坐标，并将该点胶路径对应的各个像素坐标转换为相应的机械手坐标，从而控制点胶机的机械手按照点胶路径对应的各个机械手坐标，对目标点胶对象执行相应的点胶操作。
可见，本发明实施例一中，利用待点胶产品上的每一个目标点胶对象相对标记点的位置，控制机械手移动，从而使待点胶产品上的每一个目标点胶对象依次出现在图像采集设备的视场中，进而就可以利用图像采集设备采集当前图像，而且，通过将获得的当前图像与预先获得的训练点胶对象模板进行匹配，即可获取到当前图像中的目标点胶对象的目标点胶对象卡尺区域，进而就能够在目标点胶对象卡尺区域中，提取出目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径，不再针对学习时获得的点胶路径进行转换，能够适应产品的尺寸误差，而且，在提取点胶路径的过程中，只关注目标点胶对象卡尺区域中目标点胶对象的各个边的搜索，尽可能地避开了复杂的背景纹理，有效地避免了由于对比度不均、纹理复杂等原因导致获得的点胶路径不准确的问题。
实施例二
在实际应用中，一般会针对大量相同规格的待点胶产品进行点胶，基于此，在具体实施时，可以将传送到点胶机的工作台上的第一个待点胶产品的训练标记点模板和训练点胶对象模板，作为每一个待点胶产品的训练标记点模板和训练点胶对象模板，也就是说，针对传送到点胶机的工作台上的第一个待点胶产品，可以先执行模板获取过程，在获取到训练标记点模板和训练点胶对象模板之后，再执行点胶路径提取过程。
基于此，本发明实施例二中，采用“待点胶产品为PCB板，待点胶对象为PCB板上的各个芯片”为具体的应用场景对上述实施例作进一步详细说明，参阅图2所示，提取点胶路径的方法的具体流程如下：
步骤201：检测到PCB板传送至点胶机的工作台上时，控制安装在点胶机的机械手上的图像采集设备采集当前图像。
步骤202：将图像采集设备采集到的当前图像与预先获得的训练标记点模板进行匹配，获取当前图像中的标记点与训练标记点模板之间的平移旋转关系。
步骤203：基于获得的当前图像中的标记点与训练标记点模板之间的平移旋转关系以及预先获得的训练标记点卡尺区域，确定在当前图像中的目标标记点卡尺区域。
步骤204：在目标标记点卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，将拟合成的图形作为PCB板上的标记点。
步骤205：基于PCB板上的标记点以及PCB板的布局信息，确定PCB板上的每一个芯片相对标记点的位置。
步骤206：按照PCB板上的每一个芯片相对标记点的位置，控制点胶机的机械手移动，每控制机械手移动到一个位置时，将该位置对应的芯片作为目标芯片。
步骤207：控制安装在机械手上的图像采集设备采集当前图像。
步骤208：将当前图像与预先获得的训练芯片模板进行匹配，获取当前图像中的芯片与训练芯片模板之间的平移旋转关系。
值得说的是，若当前图像与预先获得的训练芯片模板匹配失败，则可以确定图像采集设备的当前视场中不存在芯片，或者，图像采集设备的当前视场中的点胶对象与需要点胶的芯片不匹配。在此情况下，可以输出一错误提示信息，以提示相关人员点胶流程出现错误。
步骤209：基于获得的当前图像中的芯片与训练芯片模板之间的平移旋转关系以及预先获得的训练芯片卡尺区域，获取目标芯片在当前图像中的目标芯片卡尺区域。
步骤210：在目标芯片卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的各个边作为模板芯片在当前图像中的各个边。
步骤211：基于目标芯片在当前图像中的各个边和预先配置的目标芯片的点胶模式，获取目标芯片的点胶路径。
步骤212：提取点胶路径对应的各个像素坐标，并将点胶路径对应的各个像素坐标转换为相应的机械手坐标。
较佳的，在将点胶路径对应的各个像素坐标转换为相应的机械手坐标时，可以采用但不限于以下方式：利用多点标定获取机械手坐标平面与图像平面之间的映射关系，并基于获得的该映射关系，将点胶路径对应的各个像素坐标转换为相应的机械手坐标。
具体地，可以在工作平面上落下n个点(n＞＝9)，并记录每个点的机械手坐标P1～Pn，落点完成后，移动图像采集设备，并控制移动采集设备采集当前图像，记录拍照位置P01和在工作平面上落下的每个点的像素坐标Pn+1～P2n，从而基于在工作平面上落下的每个点的像素坐标Pn+1～P2n和机械手坐标P1～Pn，获取机械手坐标平面与图像平面之间的映射关系，即映射矩阵H，获取到映射矩阵H后，可以采用但不限于下述公式(1)，将点胶路径对应的各个像素坐标转换为相应的机械手坐标。
(xj,yj)＝(xp,yp)*H……公式(1)
其中，(xp,yp)为当前图像中任一像素坐标，(xj,yj)为利用图像采集设备的拍照位置P01(x01,y01)处的多点标定信息转换获得的(xp,yp)的机械手坐标。
值得说的是，在获取到当前图像中的各个像素坐标的机械手坐标后，在图像采集设备移动至P02(x02,y02)处时，可以采用但不限于下述公式(2)，获取图像采集设备移动到P02(x02,y02)处时图像采集设备的当前图像中的任一像素坐标所对应的机械手坐标。
x'j＝cosθ*(xj-x01)-sinθ*(yj-y01)+x02
y'j＝sinθ*(xj-x01)+cosθ*(yj-y01)+y02 ……公式(2)
其中，θ为图像采集设备的旋转角度，(x'j,y'j)为图像采集设备移动到P02(x02,y02)处时图像采集设备的当前视野中的任一像素坐标所对应的机械手坐标。
步骤213：控制机械手按照点胶路径对应的各个机械手坐标，对目标芯片执行相应的点胶操作。
可见，本发明实施例二中，利用PCB板上的每一个芯片相对标记点的位置，控制机械手移动，从而使PCB板上的每一个芯片依次出现在图像采集设备的视场中，进而就可以利用图像采集设备采集当前图像，而且，通过将获得的当前图像与预先获得的训练芯片模板进行匹配，即可获取到当前图像中的目标芯片的目标芯片卡尺区域，进而就能够在目标芯片卡尺区域中，提取出目标芯片的各个边，并基于目标芯片的各个边，确定目标芯片的点胶路径，不再针对学习时获得的点胶路径进行转换，能够适应产品的尺寸误差，而且，在获取点胶路径的过程中，只关注目标芯片卡尺区域中芯片的各个边的搜索，尽可能地避开了复杂的背景纹理，有效地避免了由于对比度不均、纹理复杂等原因导致获得的点胶路径不准确的问题。
实施例三
基于上述实施例，本发明实施例三提供了一种点胶系统，参阅图3所示，该点胶系统至少包括：
目标对象定位模块301，用于确定待点胶产品上的目标点胶对象；
点胶路径提取模块302，用于获取目标点胶对象的目标点胶对象卡尺区域，在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径。
较佳的，确定待点胶产品上的目标点胶对象时，目标对象定位模块301具体用于：
检测待点胶产品上的标记点，并确定待点胶产品上的每一个待点胶对象相对标记点的位置；
按照待点胶产品上的每一个待点胶对象相对标记点的位置，控制点胶机的机械手移动，每控制点胶机的机械手移动到一个位置时，将该位置所对应的待点胶对象作为目标点胶对象。
较佳的，检测待点胶产品上的标记点时，目标对象定位模块301具体用于：
检测到待点胶产品传送至点胶机的工作台上时，控制安装在点胶机的机械手上的图像采集设备采集当前图像；
将当前图像与预先获得的训练标记点模板进行匹配，获取当前图像中的标记点与训练标记点模板之间的平移旋转关系；
基于获得的平移旋转关系和预先获得的训练标记点卡尺区域，确定当前图像中的目标标记点卡尺区域；
在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点。
较佳的，在目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为待点胶产品上的标记点时，目标对象定位模块301具体用于：
在目标标记点卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的图形作为待点胶产品上的标记点。
较佳的，获取目标点胶对象的目标点胶对象卡尺区域时，点胶路径提取模块302具体用于：
控制安装在点胶机的机械手上的图像采集设备采集当前图像；
将当前图像与预先获得的训练点胶对象模板进行匹配，获取当前图像中的目标点胶对象与训练点胶对象模板之间的平移旋转关系；
基于获得的平移旋转关系和预先获得的训练点胶对象卡尺区域，获取目标点胶对象在当前图像中的目标点胶对象卡尺区域。
较佳的，在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径时，点胶路径提取模块302具体用于：
在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边；
基于目标点胶对象在当前图像中的各个边和预先配置的目标点胶对象的点胶模式，获取目标点胶对象的点胶路径。
较佳的，在目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为目标点胶对象在当前图像中的各个边时，点胶路径提取模块302具体用于：
在目标点胶对象卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的各个边作为目标点胶对象在当前图像中的各个边。
较佳的，上述点胶系统还包括点胶执行模块303，其中，
点胶执行模块303，用于在点胶路径提取模块302确定目标点胶对象的点胶路径之后，提取点胶路径对应的各个像素坐标，并将点胶路径对应的各个像素坐标转换为相应的机械手坐标；控制机械手按照点胶路径对应的各个机械手坐标，对目标点胶对象执行相应的点胶操作。
综上所述，本发明实施例中，确定待点胶产品上的目标点胶对象；获取目标点胶对象的目标点胶对象卡尺区域；在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，并基于目标点胶对象的各个边，确定目标点胶对象的点胶路径。这样，通过获取目标点胶对象的目标点胶对象卡尺区域，并在目标点胶对象卡尺区域中，提取目标点胶对象的各个边，即可基于目标点胶对象的各个边，确定目标点胶对象的点胶路径，不再针对学习时获得的点胶路径进行转换，能够适应产品的尺寸误差，而且，在提取点胶路径的过程中，只关注目标点胶对象卡尺区域中目标点胶对象的各个边的搜索，尽可能地避开了复杂的背景纹理，有效地避免了由于对比度不均、纹理复杂等原因导致获得的点胶路径不准确的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种提取点胶路径的方法，其特征在于，包括：
检测待点胶产品上的标记点，并确定所述待点胶产品上的每一个待点胶对象相对所述标记点的位置；
利用所述待点胶产品上的每一个待点胶对象相对标记点的位置，将所述待点胶产品上的每一个待点胶对象依次作为目标点胶对象移动至安装在点胶机的机械手上的图像采集设备的视场中；
控制安装在所述点胶机的机械手上的图像采集设备采集包含所述目标点胶对象的当前图像；
将所述当前图像与预先获得的训练点胶对象模板进行匹配，获得所述当前图像中的所述目标点胶对象与所述训练点胶对象模板之间的平移旋转关系；
基于所述平移旋转关系和预先获得的训练点胶对象卡尺区域，获得所述目标点胶对象在所述当前图像中的目标点胶对象卡尺区域，其中，点胶对象卡尺区域是包含点胶对象的各个边缘线的区域，所述点胶对象卡尺区域用于在提取点胶路径的过程中，避开背景纹理，对目标点胶对象的各个边进行搜索；
在所述目标点胶对象卡尺区域中，提取所述目标点胶对象的各个边，并基于所述目标点胶对象的各个边，确定所述目标点胶对象的点胶路径；
其中，检测所述待点胶产品上的标记点，包括：
检测到所述待点胶产品传送至所述点胶机的工作台上时，控制安装在所述点胶机的机械手上的图像采集设备采集当前图像；
将所述当前图像与预先获得的训练标记点模板进行匹配，获取所述当前图像中的标记点与所述训练标记点模板之间的平移旋转关系；
基于获得的所述平移旋转关系和预先获得的训练标记点卡尺区域，确定在所述当前图像中的目标标记点卡尺区域，其中，标记点卡尺区域是包含所述待点胶产品上的标记点的边缘线的区域；
在所述目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为所述待点胶产品上的标记点。
2.如权利要求1所述的方法，其特征在于，利用所述待点胶产品上的每一个待点胶对象相对标记点的位置，将所述待点胶产品上的每一个待点胶对象依次作为目标点胶对象移动至安装在所述点胶机的机械手上的图像采集设备的视场中，包括：
按照所述待点胶产品上的每一个待点胶对象相对所述标记点的位置，控制所述点胶机的机械手移动，每控制所述点胶机的机械手移动到一个位置时，将该位置所对应的待点胶对象作为目标点胶对象。
3.如权利要求1所述的方法，其特征在于，在所述目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为所述待点胶产品上的标记点，包括：
在所述目标标记点卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的图形作为所述待点胶产品上的标记点。
4.如权利要求1所述的方法，其特征在于，在所述目标点胶对象卡尺区域中，提取所述目标点胶对象的各个边，并基于所述目标点胶对象的各个边，确定所述目标点胶对象的点胶路径，包括：
在所述目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为所述目标点胶对象在所述当前图像中的各个边；
基于所述目标点胶对象在所述当前图像中的各个边和预先配置的所述目标点胶对象的点胶模式，获取所述目标点胶对象的点胶路径。
5.如权利要求4所述的方法，其特征在于，在所述目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为所述当前图像在所述当前图像中的各个边，包括：
在所述目标点胶对象卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的各个边作为所述目标点胶对象在所述当前图像中的各个边。
6.如权利要求1-5任一项所述的方法，其特征在于，确定所述目标点胶对象的点胶路径之后，还包括：
提取所述点胶路径对应的各个像素坐标，并将所述点胶路径对应的各个像素坐标转换为相应的机械手坐标；
控制所述机械手按照所述点胶路径对应的各个机械手坐标，对所述目标点胶对象执行相应的点胶操作。
7.一种点胶系统，其特征在于，包括：
目标对象定位模块，用于检测待点胶产品上的标记点，并确定所述待点胶产品上的每一个待点胶对象相对所述标记点的位置，以及利用所述待点胶产品上的每一个待点胶对象相对标记点的位置，将所述待点胶产品上的每一个待点胶对象依次作为目标点胶对象移动至安装在点胶机的机械手上的图像采集设备的视场中；
点胶路径提取模块，用于控制安装在所述点胶机的机械手上的图像采集设备采集当前图像；将所述当前图像与预先获得的训练点胶对象模板进行匹配，获取所述当前图像中的所述目标点胶对象与所述训练点胶对象模板之间的平移旋转关系；基于获得的所述平移旋转关系和预先获得的训练点胶对象卡尺区域，获取所述目标点胶对象在所述当前图像中的目标点胶对象卡尺区域，其中，点胶对象卡尺区域是包含点胶对象的各个边缘线的区域，所述点胶对象卡尺区域用于在提取点胶路径的过程中，避开背景纹理，对目标点胶对象的各个边进行搜索；在所述目标点胶对象卡尺区域中，提取所述目标点胶对象的各个边，并基于所述目标点胶对象的各个边，确定所述目标点胶对象的点胶路径；
其中，检测所述待点胶产品上的标记点时，所述目标对象定位模块具体用于：
检测到所述待点胶产品传送至所述点胶机的工作台上时，控制安装在所述点胶机的机械手上的图像采集设备采集当前图像；
将所述当前图像与预先获得的训练标记点模板进行匹配，获取所述当前图像中的标记点与所述训练标记点模板之间的平移旋转关系；
基于获得的所述平移旋转关系和预先获得的训练标记点卡尺区域，确定所述当前图像中的目标标记点卡尺区域，其中，标记点卡尺区域是包含所述待点胶产品上的标记点的边缘线的区域；
在所述目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为所述待点胶产品上的标记点。
8.如权利要求7所述的点胶系统，其特征在于，利用所述待点胶产品上的每一个待点胶对象相对标记点的位置，将所述待点胶产品上的每一个待点胶对象依次作为目标点胶对象移动至安装在所述点胶机的机械手上的图像采集设备的视场中时，所述目标对象定位模块具体用于：
按照所述待点胶产品上的每一个待点胶对象相对所述标记点的位置，控制所述点胶机的机械手移动，每控制所述点胶机的机械手移动到一个位置时，将该位置所对应的待点胶对象作为目标点胶对象。
9.如权利要求7所述的点胶系统，其特征在于，在所述目标标记点卡尺区域中提取边缘点，并将提取出的边缘点组成的图形作为所述待点胶产品上的标记点时，所述目标对象定位模块具体用于：
在所述目标标记点卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的图形作为所述待点胶产品上的标记点。
10.如权利要求7所述的点胶系统，其特征在于，在所述目标点胶对象卡尺区域中，提取所述目标点胶对象的各个边，并基于所述目标点胶对象的各个边，确定所述目标点胶对象的点胶路径时，所述点胶路径提取模块具体用于：
在所述目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为所述目标点胶对象在所述当前图像中的各个边；
基于所述目标点胶对象在所述当前图像中的各个边和预先配置的所述目标点胶对象的点胶模式，获取所述目标点胶对象的点胶路径。
11.如权利要求10所述的点胶系统，其特征在于，在所述目标点胶对象卡尺区域中提取边缘点，并将提取出的边缘点组成的各个边作为所述目标点胶对象在所述当前图像中的各个边时，所述点胶路径提取模块具体用于：
在所述目标点胶对象卡尺区域中，利用灰度投影和梯度差提取边缘点，针对提取出的边缘点，采用最小二乘法进行拟合，并将拟合成的各个边作为所述目标点胶对象在所述当前图像中的各个边。
12.如权利要求7-11任一项所述的点胶系统，其特征在于，还包括点胶执行模块，其中，
所述点胶执行模块，用于在所述点胶路径提取模块确定所述目标点胶对象的点胶路径之后，提取所述点胶路径对应的各个像素坐标，并将所述点胶路径对应的各个像素坐标转换为相应的机械手坐标；控制所述机械手按照所述点胶路径对应的各个机械手坐标，对所述目标点胶对象执行相应的点胶操作。
CN201711009759.6A 2017-10-25 2017-10-25 一种提取点胶路径的方法及点胶系统 Active CN107931012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711009759.6A CN107931012B (zh) 2017-10-25 2017-10-25 一种提取点胶路径的方法及点胶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711009759.6A CN107931012B (zh) 2017-10-25 2017-10-25 一种提取点胶路径的方法及点胶系统

Publications (2)

Publication Number Publication Date
CN107931012A CN107931012A (zh) 2018-04-20
CN107931012B true CN107931012B (zh) 2020-06-19

Family

ID=61936510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711009759.6A Active CN107931012B (zh) 2017-10-25 2017-10-25 一种提取点胶路径的方法及点胶系统

Country Status (1)

Country Link
CN (1) CN107931012B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108636732B (zh) * 2018-05-30 2022-07-01 常州铭赛机器人科技股份有限公司 缝隙点胶方法
CN110711670A (zh) * 2018-07-11 2020-01-21 深圳市裕展精密科技有限公司 点胶装置、点胶方法及计算机存储介质
CN109709102A (zh) * 2019-01-17 2019-05-03 广州超音速自动化科技股份有限公司 模切机锂电池极片物理缺陷检测系统、方法及装置
CN110533714A (zh) * 2019-08-21 2019-12-03 合肥晌玥科技有限公司 基于图像处理技术检测目标物体最大内接圆的方法和系统
CN110575942B (zh) * 2019-08-27 2021-06-04 中国联合网络通信集团有限公司 一种基于互联网的点胶装置及方法
CN112791909A (zh) * 2019-11-13 2021-05-14 华为技术有限公司 一种点胶路径提取方法和点胶机
CN113075905B (zh) * 2020-01-03 2022-11-18 广东利元亨智能装备股份有限公司 产品处理轨迹获取方法、计算机可读存储介质及装置
CN114849968B (zh) * 2020-01-20 2024-04-09 深圳硅基传感科技有限公司 滴涂设备
CN111617933B (zh) * 2020-05-22 2022-03-08 梅卡曼德（北京）机器人科技有限公司 涂胶轨迹的获取方法及涂胶方法、装置和涂胶轨迹生成系统
CN112164032B (zh) * 2020-09-14 2023-12-29 浙江华睿科技股份有限公司 一种点胶方法、装置、电子设备及存储介质
CN113210217A (zh) * 2021-04-26 2021-08-06 深圳市世宗自动化设备有限公司 流水线点胶固化控制方法、装置、设备及其存储介质
CN113393537A (zh) * 2021-07-12 2021-09-14 东莞市李群自动化技术有限公司 涂胶方法、装置、设备和存储介质
CN116037412B (zh) * 2022-06-08 2023-10-27 荣耀终端有限公司 点胶控制方法、装置、系统、电子设备和存储介质
CN118371398B (zh) * 2024-06-24 2024-08-27 深圳子柒科技有限公司 一种点胶自定位方法、装置和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099556A (ja) * 2000-09-22 2002-04-05 Tokai Univ 物体の形状による類別装置のデータベースの作成方法及び検索方法
CN1702684A (zh) * 2005-04-06 2005-11-30 北京航空航天大学 高噪声图像特征点自动提取方法
US7212671B2 (en) * 2001-06-19 2007-05-01 Whoi-Yul Kim Method of extracting shape variation descriptor for retrieving image sequence
CN202088619U (zh) * 2011-06-02 2011-12-28 昇士达科技股份有限公司 触控板贴合机点胶路径规划系统
CN103886597A (zh) * 2014-03-24 2014-06-25 武汉力成伟业科技有限公司 一种基于边缘检测与拟合曲线聚类的圆检测方法
CN106493042A (zh) * 2016-10-18 2017-03-15 凌云光技术集团有限责任公司 点胶方法及点胶系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099556A (ja) * 2000-09-22 2002-04-05 Tokai Univ 物体の形状による類別装置のデータベースの作成方法及び検索方法
US7212671B2 (en) * 2001-06-19 2007-05-01 Whoi-Yul Kim Method of extracting shape variation descriptor for retrieving image sequence
CN1702684A (zh) * 2005-04-06 2005-11-30 北京航空航天大学 高噪声图像特征点自动提取方法
CN202088619U (zh) * 2011-06-02 2011-12-28 昇士达科技股份有限公司 触控板贴合机点胶路径规划系统
CN103886597A (zh) * 2014-03-24 2014-06-25 武汉力成伟业科技有限公司 一种基于边缘检测与拟合曲线聚类的圆检测方法
CN106493042A (zh) * 2016-10-18 2017-03-15 凌云光技术集团有限责任公司 点胶方法及点胶系统

Also Published As

Publication number Publication date
CN107931012A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107931012B (zh) 一种提取点胶路径的方法及点胶系统
KR102661635B1 (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
CN106780623B (zh) 一种机器人视觉系统快速标定方法
CN110163912B (zh) 二维码位姿标定方法、装置及系统
JP2018169403A5 (zh)
CN104626169B (zh) 基于视觉与机械综合定位的机器人抓取零件的方法
CN205403706U (zh) 一种基于视觉的机器人位置补偿系统
JP2016078195A (ja) ロボットシステム、ロボット、制御装置及びロボットの制御方法
CN112529856A (zh) 确定操作对象位置的方法、机器人和自动化系统
CN113752260B (zh) 一种取料定位修正方法及装置
CN117115105A (zh) 一种工件处理方法、装置、设备以及存储介质
CN106926241A (zh) 一种基于视觉引导的双臂机器人装配方法及系统
CN113538399A (zh) 一种用于获取工件精准轮廓的方法、机床及存储介质
JP5418490B2 (ja) 位置決め制御装置およびこれを備えた位置決め装置
CN105627934B (zh) 一种基于机器视觉的视觉比例系数获取方法
JP2009076796A (ja) 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機
CN105469085B (zh) 板卡图像获取方法和系统
CN114693679A (zh) 纠偏方法、装置和设备
JP2007090789A (ja) スクリーン印刷装置
CN106643554A (zh) 一种钢网开孔精确度的检测方法
JP4815592B2 (ja) 物体検出方法
CN111062907A (zh) 一种基于几何变换的Homography变换方法
CN114260968B (zh) 切割机和机器可读的载体
TW201739587A (zh) 機器手臂的校正裝置及其控制方法
CN117495961A (zh) 一种基于2D视觉的mark点定位打印的检测方法、设备及储存介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Huarui Technology Co.,Ltd.

Address before: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.