CN113902721A - 一种工件位置的调整方法、控制处理装置及调整系统 - Google Patents

一种工件位置的调整方法、控制处理装置及调整系统 Download PDF

Info

Publication number
CN113902721A
CN113902721A CN202111198383.4A CN202111198383A CN113902721A CN 113902721 A CN113902721 A CN 113902721A CN 202111198383 A CN202111198383 A CN 202111198383A CN 113902721 A CN113902721 A CN 113902721A
Authority
CN
China
Prior art keywords
workpiece
detected
track
moving
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111198383.4A
Other languages
English (en)
Inventor
张博
赵永进
潘峰
王文丽
薛书亮
袁丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Semiconductor Equipment Institute
Original Assignee
Beijing Semiconductor Equipment Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Semiconductor Equipment Institute filed Critical Beijing Semiconductor Equipment Institute
Priority to CN202111198383.4A priority Critical patent/CN113902721A/zh
Publication of CN113902721A publication Critical patent/CN113902721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种工件位置的调整方法、控制处理装置及调整系统,所述调整方法包括:获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。实现了实时、准确的比对待检测工件动态轨迹和实际轨迹的误差,并提供补偿运动轨迹的参数,实现了自动校准的功能。

Description

一种工件位置的调整方法、控制处理装置及调整系统
技术领域
本申请涉及自动化技术领域,尤其是涉及一种工件位置的调整方法、控制处理装置及调整系统。
背景技术
计算机视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断,和军事等领域中各种智能/自主系统中不可分割的一部分,它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的,被拍摄对象的数据与信息的学问。形象地说,就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等,从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息,所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说,计算机视觉就是用各种成像系统代替视觉器官获取输入信息,再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界,具有自主适应环境的能力。
经研究发现,在现阶段的全自动半导体加工设备中,由于某些工件在加工的过程中对自动化有特殊的需求,需要在这些工件的移动过程中对工件进行特征识别,具体实现方式为,控制工件按照参考移动轨迹进行移动,在参考移动轨迹的固定位置处设置检测设备对工件进行识别检测,但是由于在实际检测中工件的移动轨迹是不可控的,进而固定位置处的检测设备无法实时准确获取工件的位置信息,导致对工件位置信息检测的准确性较低。
发明内容
有鉴于此,本申请的目的在于提供一种工件位置的调整方法、控制处理装置及系统,可以通过主动跟随确定出待检测工件在移动过程中的实际移动轨迹,并利用实际移动轨迹以及参考移动轨迹快速准确的调整待检测工件的位置,进而实现了可以实时、准确的比对待检测工件动态轨迹和实际轨迹的误差,并提供补偿运动轨迹的位置校准参数,提高了对待检测工件的位置进行调整的准确性。
本申请实施例提供了一种工件位置的调整方法,应用于工件位置的控制处理装置,所述调整方法包括:
获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;
在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;
若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置;
进一步的,通过以下步骤获取所述待检测工件的特征信息:
获取目标场景图像,对所述目标场景图像进行颜色灰度处理获得样本场景图像;
提取所述样本场景图像内包括的所有轮廓信息;
基于所述轮廓信息确定出所述待检测工件的特征信息。
进一步的,通过以下步骤确定出所述待检测工件的参考移动轨迹:
将所述待检测工件的特征信息与特征数据库中预先存储的多个参考特征信息进行匹配,确定出与所述待检测工件的特征信息相匹配的目标特征信息;
将与所述目标特征信息匹配的参考移动轨迹,确定出所述待检测工件的参考移动轨迹。
进一步的,所述基于所述参考移动轨迹调整所述待检测工件的位置,包括:
基于所述参考移动轨迹确定出所述待检测工件的位置校准参数;
基于所述位置校准参数调整所述待检测工件的位置。
进一步的,所述基于所述参考移动轨迹确定出所述待检测工件的位置校准参数,包括:
获取所述待检测工件在移动过程中的最后一张移动图像,基于所述最后一张移动图像确定出所述待检测工件的末端位置信息;
获取所述待检测工件的参考移动轨迹中的参考末端位置信息,基于所述末端位置信息以及所述参考末端位置信息确定出位置误差信息;
基于所述位置误差信息确定出所述待检测工件的位置校准参数。
本申请实施例还提供了一种工件位置的控制处理装置,所述控制处理装置包括:
第一轨迹确定模块,用于获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;
第二轨迹确定模块,用于在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;
调整模块,用于若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
本申请实施例还提供了一种工件位置的调整系统,所述一种调整方法系统包括主动检测装置、跟随驱动装置、控制处理装置以及工业机器人:
所述主动检测装置,用于获取待检测工件的目标场景图像以及待检测工件的移动图像,将所述目标场景图像以及所述移动图像发送至所述控制处理装置,在获取到所述跟随驱动装置转发的移动指令后,根据所述移动指令的指示按照预设轨迹进行移动;
所述控制处理装置,用于接收所述目标场景图像确定出所述待检测工件的参考移动轨迹,接收所述移动图像确定出所述待检测工件的实际移动轨迹,基于所述参考移动轨迹以及所述实际移动轨迹确定出所述待检测工件的位置校准参数,基于所述位置校准参数调整所述待检测工件的位置,并将所述位置校准参数发送至所述主动检测装置;
所述跟随驱动装置,用于接收所述控制处理装置发送的移动指令,并将所述移动指令转发至所述主动检测装置;
所述工业机器人,包括六自由度的机械手,用于当所述控制处理装置确定出所述待检测工件的位置校准参数时,接收所述控制处理装置发送的抓取指令,对所述待检测工件的位置进行调整。
进一步的,所述主动检测装置包括:
拍摄模块,用于拍摄待检测工件,获取所述待检测工件的目标场景图像以及所述待检测工件的移动图像,并将所述目标场景图像以及所述移动图像发送至网络传输模块;
网络传输模块,用于将所述目标场景图像、所述移动图像发送至所述控制处理装置。
进一步的,所述控制处理装置包括:
图像处理模块,用于将接收到的所述目标场景图像进行图像处理提取出所述待检测工件的特征信息,并将所述待检测工件的特征信息发送至搜索模块;
搜索模块,用于基于所述待检测工件的特征信息与目标特征信息进行匹配,确定出所述待检测工件的参考移动轨迹,并将所述参考移动轨迹发送至参数校准模块;
参数校准模块,用于基于所述参考移动轨迹以及所述实际移动轨迹确定出所述待检测工件的位置校准参数并调整所述待检测工件的位置,并将所述位置校准参数发送至数据输出模块;
数据输出模块,将所述位置校准参数进行数据下发。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的一种工件位置的调整方法的步骤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的一种工件位置的调整方法的步骤。
本申请提供了一种工件位置的调整方法、控制处理装置及系统,所述调整方法包括:获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
这样,可以通过主动跟随确定出待检测工件在移动过程中的实际移动轨迹,并利用实际移动轨迹以及参考移动轨迹快速准确的调整待检测工件的位置,进而实现了可以实时、准确的比对待检测工件动态轨迹和实际轨迹的误差,并提供补偿运动轨迹的位置校准参数,提高了对待检测工件的位置进行调整的准确性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种工件位置的调整方法的流程图;
图2为本申请实施例所提供的一种工件位置的控制处理装置的结构示意图;
图3为本申请实施例所提供的一种工件位置的调整系统的结构示意图;
图4为本申请实施例所提供的主动检测装置的结构示意图;
图5为本申请实施例所提供的控制处理装置的结构示意图;
图6为本申请实施例所提供的一种电子设备的结构示意图。
图标:200-控制处理装置;210-第一轨迹确定模块;220-第二轨迹确定模块;230-调整模块;240-图像处理模块;250-搜索模块;260-参数校准模块;270-数据输出模块;300-调整系统;310-主动检测装置;311-拍摄模块;312-网络传输模块;320-跟随驱动装置;330-工业机器人;600-电子设备;610-处理器;620-存储器;630-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中的附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例,都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“通过主动跟随确定出待检测工件的实际移动轨迹,进而根据实际轨迹对待检测工件的位置进行调整”,给出以下实施方式,对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要进行活体检测的场景,本申请实施例并不对具体的应用场景作限制,任何使用本申请实施例提供的一种工件位置的调整方法、控制处理装置及系统的方案均在本申请保护范围内。
值得注意的是,经研究发现,在现阶段的全自动半导体加工设备中,由于某些工件在加工的过程中对自动化有特殊的需求,需要在这些工件的移动过程中对工件进行特征识别,具体实现方式为,控制工件按照参考移动轨迹进行移动,在参考移动轨迹的固定位置处设置检测设备对工件进行识别检测,但是由于在实际检测中工件的移动轨迹是不可控的,进而固定位置处的检测设备无法实时准确获取工件的位置信息,导致对工件位置信息检测的准确性较低。
基于此,本申请实施例提供了一种工件位置的调整方法、控制处理装置及系统,可以通过主动跟随确定出待检测工件在移动过程中的实际移动轨迹,并利用实际移动轨迹以及参考移动轨迹快速准确的调整待检测工件的位置,可以实时、准确的比对待检测工件动态轨迹和实际轨迹的误差,并提供补偿运动轨迹的位置校准参数,实现了自动校准调整待检测工件位置的功能。
请参阅图1,图1为本申请实施例所提供的一种工件位置的调整方法的流程图。如图1所示,本申请实施例提供的调整方法,包括:
S101:获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹。
该步骤中,获取待检测工件的特征信息,利用待检测工件的特征信息确定出待检测工件的参考移动轨迹,其中,特征信息可以为待检测工件的轮廓信息、形状信息、大小信息等其他特征信息。
这里,待检测工件可以为半导体加工设备中的加工工件,此部分不限定待检测工件的类型。
这里,参考移动轨迹为预先设定好的待检测工件的移动轨迹路线。
其中,通过以下步骤获取所述待检测工件的特征信息:
(1)获取目标场景图像,对所述目标场景图像进行颜色灰度处理获得样本场景图像。
这里,利用摄像装置对待检测工件所在的场景进行拍摄,确定出待检测工件的目标场景图像,具体地,可以将多个摄像装置环绕设置在待检测工件所处场景的四周,将多个摄像装置获取到的场景图像进行拼接得到目标场景图像。
其中,将获得的目标场景图像进行颜色灰度处理,如,将目标场景图像的颜色灰度设定为0~255个阶梯,不同阶梯值反应不同的颜色特征,通过对目标场景图像的颜色灰度处理得到样本场景图像,使得目标场景图像进行颜色灰度处理后能够将多个待检测工件的轮廓信息在样本场景图像中清晰的显示出来,方便在样本场景图像中提取轮廓信息。
(2)提取所述样本场景图像内包括的所有轮廓信息。
其中,基于目标场景图像进行颜色灰度处理获得样本场景图像之后,利用特征提取技术提取出样本目标场景图像中的所有轮廓信息,这里,轮廓信息为待检测工件的轮廓信息。
(3)基于所述轮廓信息确定出所述待检测工件的特征信息。
其中,轮廓信息中包括待检测工件的轮廓,具体地,待检测工件的轮廓可以包括多边型形轮廓、圆形轮廓或其他形状的轮廓等,轮廓信息还包括轮廓颜色、轮廓大小、轮廓包含的图案。这里,利用轮廓形状、显色、大小等其他信息确定出待检测工件的特征信息。
这里,利用获取到的轮廓信息可以确定出至少一个待检测工件的特征信息。
在具体实施例中,利用摄像装置获取目标场景图像,对获取到的目标场景图像进行颜色灰度处理得到样本场景图像,在得到样本场景图像之后,利用特征提取技术提取出样本场景图像中的所有轮廓信息,基于轮廓信息确定出待检测工件的特征信息。
举例来讲,提取出的轮廓信息为尺寸为1厘米、颜色为银白色、轮廓形状为三角形,则确定出待检测工件的特征信息为银白色三角形尺寸为一厘米。且,在样本场景图像中会存有多个轮廓信息,基于多个轮廓信息可以至少确定出至少一个待检测工件的特征信息。
在上述步骤中,通过以下步骤确定出所述待检测工件的参考移动轨迹:
A:将所述待检测工件的特征信息与特征数据库中预先存储的多个参考特征信息进行匹配,确定出与所述待检测工件的特征信息相匹配的目标特征信息。
其中,将待检测工件的特征信息和特征数据库中预先存储的多个参考特征信息进行匹配,确定出与待检测工件的特征信息相匹配的目标特征信息,这里,特征数据库中存储着大量的参考特征信息。
举例来讲,若待检测工件的特征信息为银白色三角形尺寸为一厘米,则将银白色三角形尺寸为一厘米的特征信息输入到特征数据库中,在特征数据库中会匹配到银白色三角形尺寸为一厘米的特征信息的目标特征信息。
B:将与所述目标特征信息匹配的参考移动轨迹,确定出所述待检测工件的参考移动轨迹。
其中,在确定待检测工件在特征数据库中的目标特征信息之后,确定出与目标特征信息相匹配的参考移动轨迹,将参考移动轨迹作为待检测工件的参考移动轨迹。这里,参考移动轨迹是预先存储好的,且是与目标特征信息一一对应设置的。
S102:在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的。
该步骤中,当待检测工件在移动过程中,获取待检测工件的多张移动图像,并利用获取到的多张移动图像确定出待检测工件的实际移动轨迹,其中,多张移动图像是通过跟随待检测工件进行移动时主动获取的。
这里,当待检测工件进行移动时,通过电荷耦器件(Charge Coupled Device,CCD)摄像装置主动跟随待检测工件并且在预设时间段内不断的对检测工件所处于的位置进行拍摄获得多张移动图像。
这里,对多张移动图像进行像素位置信息提取,且利用像素位置信息与世界坐标下的位置信息的转换关系,将获取到的像素位置信息转换成世界坐标下的位置信息,如,待检测工件在移动图像中所处于像素位置信息为300*400,则利用像素位置信息与世界坐标下的位置信息的转换关系确定出该待检测工件在世界坐标下的位置信息为(35,60)。
这里,利用获取到的多张移动图像的先后顺序,将多张移动图像所确定出的待检测工件所处于的位置信息进行依次连接,形成待检测工件的实际移动轨迹。如,获取到的第一张移动图像中待检测工件的位置信息为(30,40),第二张移动图像中待检测工件的位置信息为(40,20),第三张移动图像中待检测工件的位置信息为(50,10),则确定出待检测工件的实际移动轨迹为{(30,40)、(40,20)、(50,10)}。
在具体实施例中,当待检测工件在移动的过程中,利用CCD摄像装置主动跟随待检测工件并在预设时间段内实时拍摄待检测工件获得到多张移动图像,基于多张移动图像确定出每一张移动图像中待检测工件的多个位置信息,将获取到的多个位置信息按照移动图像获取的先后顺序进行顺次连接得到待检测工件的实际移动轨迹。
S103:若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
该步骤中,对实际移动轨迹和参考移动轨迹进行判断,若实际移动轨迹和参考移动轨迹不相一致,则利用参考移动轨迹调整待检测工件的位置。
其中,所述基于所述参考移动轨迹调整所述待检测工件的位置,包括:
a:基于所述参考移动轨迹确定出所述待检测工件的位置校准参数。
利用参考移动轨迹确定出待检测工件的位置校准参数,其中,位置校准参数为将待检测工件的位置移动到参考移动轨迹的目标位置处所需的校准参数。
其中,所述基于所述参考移动轨迹确定出所述待检测工件的位置校准参数,包括:
I:获取所述待检测工件在移动过程中的最后一张移动图像,基于所述最后一张移动图像确定出所述待检测工件的末端位置信息。
其中,在获取到待检测工件的多张移动图像中确定出最后一张移动图像,对最后一张移动图像进行像素位置特征提取,将提取到的像素位置转换为待检测工件的末端位置信息。
II:获取所述待检测工件的参考移动轨迹中的参考末端位置信息,基于所述末端位置信息以及所述参考末端位置信息确定出位置误差信息。
其中,利用待检测工件的参考移动轨迹确定出参考末端位置信息,通过末端位置信息和参考末端位置信息的位置差值确定出位置误差信息,如末端位置信息为(40,20),参考末端位置信息为(30,20)则确定出位置误差信息为(10,0)。
III:基于所述位置误差信息确定出所述待检测工件的位置校准参数。
其中,利用确定出的位置误差信息确定出待检测工件的位置校准参数,这里,是确定出待检测工件的末端位置信息的位置校准参数。
这里,位置校准参数是控制处理系统利用位置误差信息确定出来的。
本申请提供了一种工件位置的调整方法,所述调整方法包括:获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
这样,可以通过主动跟随确定出待检测工件在移动过程中的实际移动轨迹,并利用实际移动轨迹以及参考移动轨迹快速准确的调整待检测工件的位置,进而实现了可以实时、准确的比对待检测工件动态轨迹和实际轨迹的误差,并提供补偿运动轨迹的位置校准参数,提高了对待检测工件的位置进行调整的准确性。
请参阅图2,图2为本申请实施例所提供的一种工件位置的控制处理装置的结构示意图。如图2所示,本申请实施例提供的控制处理装置200,包括:
第一轨迹确定模块210,用于获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;
第二轨迹确定模块220,用于在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;
调整模块230,用于若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
可选的,第一轨迹确定模块210用于通过以下步骤获取所述待检测工件的特征信息:
获取目标场景图像,对所述目标场景图像进行颜色灰度处理获得样本场景图像;
提取所述样本场景图像内包括的所有轮廓信息;
基于所述轮廓信息确定出所述待检测工件的特征信息。
可选的,第一轨迹确定模块210用于通过以下步骤确定出所述待检测工件的参考移动轨迹:
将所述待检测工件的特征信息与特征数据库中预先存储的多个参考特征信息进行匹配,确定出与所述待检测工件的特征信息相匹配的目标特征信息;
将与所述目标特征信息匹配的参考移动轨迹,确定出所述待检测工件的参考移动轨迹。
可选的,调整模块230在用于所述基于所述参考移动轨迹调整所述待检测工件的位置时,所述调整模块230还用于:
基于所述参考移动轨迹确定出所述待检测工件的位置校准参数;
基于所述位置校准参数调整所述待检测工件的位置。
可选的,调整模块230在用于所述基于所述参考移动轨迹确定出所述待检测工件的位置校准参数时,调整模块230还用于:
获取所述待检测工件在移动过程中的最后一张移动图像,基于所述最后一张移动图像确定出所述待检测工件的末端位置信息;
获取所述待检测工件的参考移动轨迹中的参考末端位置信息,基于所述末端位置信息以及所述参考末端位置信息确定出位置误差信息;
基于所述位置误差信息确定出所述待检测工件的位置校准参数。
本申请实施例提供一种工件位置的控制处理装置,所述控制处理装置包括:第一轨迹确定模块,用于获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;第二轨迹确定模块,用于在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;调整模块,用于若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
这样,可以通过主动跟随确定出待检测工件在移动过程中的实际移动轨迹,并利用实际移动轨迹以及参考移动轨迹快速准确的调整待检测工件的位置,进而实现了可以实时、准确的比对待检测工件动态轨迹和实际轨迹的误差,并提供补偿运动轨迹的位置校准参数,提高了对待检测工件的位置进行调整的准确性。
请参阅图3为本申请实施例所提供的一种工件位置的调整系统的结构示意图。如图3所示,所述调整系统300包括:主动检测装置310、控制处理装置200、跟随驱动装置320以及工业机器人330。
所述主动检测装置310,用于获取待检测工件的目标场景图像以及待检测工件的移动图像,将所述目标场景图像以及所述移动图像发送至所述控制处理装置200,在获取到所述跟随驱动装置320转发的移动指令后,根据所述移动指令的指示按照预设轨迹进行移动;所述控制处理装置200,用于接收所述目标场景图像确定出所述待检测工件的参考移动轨迹,接收所述多张移动图像确定出所述待检测工件的实际移动轨迹,基于所述参考移动轨迹以及所述实际移动轨迹确定出所述待检测工件的位置校准参数,基于所述位置校准参数调整所述待检测工件的位置,并将所述位置校准参数发送至所述主动检测装置310;所述跟随驱动装置320,用于接收所述控制处理装置200发送的移动指令,并将所述移动指令转发至所述主动检测装置310;所述工业机器人330,包括六自由度的机械手,用于当所述控制处理装置200确定出所述待检测工件的位置校准参数时,接收所述控制处理装置200发送的抓取指令,对所述待检测工件的位置进行调整。
进一步的,主动检测装置310是与跟随驱动装置320进行协同的校准,当主动检测装置310接收到跟随驱动装置320的移动指令后,主动检测装置310按照校准轨迹进行主动跟随移动,这里校准轨迹是编程设定好的位置结合了跟随驱动装置的特征所进行的。例如,圆形校准结合圆形轨道。方形校准结合的长条形轨道,使得通过主动检测装置310能够准确的获取到坐标中心值、边界点动态坐标等特征值。
在具体实施例中,举例来讲,主动检测装置310是以圆形轨迹进行主动跟随的,其运动方向顺时针方向转动,并且根据控制处理装置200的命令,主动停留在待检测工件运动区域的预定位置。待检测工件分为三个工作区域,分别做不同的旋转动作,其中一个待检测工件台上是三角形工件,一个待检测工件台上是矩形工件,一个待检测工件台上是圆形工件。在这里,自动跟随是来源于主动检测装置310的初始坐标位置的值,可以将主动检测装置310的初始坐标定于任意轨迹上的位置,从而实现多工位,多待检测工件的实时检测。
进一步的,调整系统300还包括工作区域装置,用于放置需要自动跟随识别的工件等物体的运动装置,其主要包含了:运动模块,用于引导工件按设定轨迹运动的装置;例如X-Y运动,360°旋转,S形运动等。运动控制模块,用于控制运动模块的速度、方向、精度、角度等参数的电气装置或系统。
进一步的,调整系统300还包括人机界面装置,是用于将实际移动轨迹、参考移动轨迹、位置校准参数、移动图像等其他数据信息反馈到操作人员面前,根据操作人员的命令进行不同操作的交互式系统。
进一步的,跟随驱动装置320用于接受控制处理装置200的控制数据和指令,驱动主动检测装置310进行沿轨迹运行。
这里,跟随驱动装置320包括基准台模块、导向模块以及动力模块,具体地,基准台模块用于连接需要驱动的其他装置的零件或装置;导向模块,用于引导基准台做固定轨迹运动的机构,零件或导轨等。动力模块,用于产生驱动力,将基准台装置沿导向装置的轨迹进行程序化动作的装置或系统,产生驱动力包括且不限于:电动,气动,液压驱动等。例如,电动机和同步带、电机和驱动器等全套系统。
进一步的,请参阅图4,图4为本申请实施例所提供的主动检测装置的结构示意图,如图4所示,所述主动检测装置310包括拍摄模块311、网络传输模块312;具体地,拍摄模块311,用于拍摄待检测工件,获取所述待检测工件的目标场景图像以及所述待检测工件的移动图像,并将所述目标场景图像以及所述移动图像发送至所述网络传输模块;网络传输模块312,用于将所述目标场景图像、所述移动图像发送至所述控制处理装置200。
这里,拍摄模块311中包含了镜头装置,镜头装置用于自动或手动调节镜头的焦距,获取到清晰的待检测工件轮廓光线;CCD装置,CCD装置用于拍照,感应和识别光线,把光线转变成电荷。模数转换器装置,模数转换器装置用于将模拟信号转换为数字信号的装置。
进一步的,请参阅图5,图5为本申请实施例所提供的控制处理装置200的结构示意图。如图5所示,所述控制处理装置200包括图像处理模块240、搜索模块250、参数校准模块260以及数据输出模块270;具体地,图像处理模块240,用于将接收到的所述目标场景图像进行图像处理提取出所述待检测工件的特征信息,并将所述待检测工件的特征信息发送至所述搜索模块250;搜索模块250,用于基于所述待检测工件的特征信息与目标特征信息进行匹配,确定出所述待检测工件的参考移动轨迹,并将所述参考移动轨迹发送至所述参数校准模块260;参数校准模块260,用于基于所述参考移动轨迹以及所述实际移动轨迹确定出所述待检测工件的位置校准参数并调整所述待检测工件的位置,并将所述位置校准参数发送至所述数据输出模块270;数据输出模块270,将所述位置校准参数进行数据下发。
进一步的,图像处理模块240用于对获取到的待检测工件的目标场景图像或移动图像进行特征分析、提取特征量等步骤,得到每个图像的特征或关键参数,这类特征包含且不限于圆形,长方形,梯形的中心,边缘坐标等参数或颜色特征等,如将图片颜色灰度设定为0~255个阶梯,且不同阶梯值反应不同的颜色特征。
本申请实施例提供的一种工件位置的调整系统,所述一种调整方法系统包括主动检测装置、跟随驱动装置、控制处理装置以及工业机器人:所述主动检测装置,用于获取待检测工件的目标场景图像以及待检测工件的移动图像,将所述目标场景图像以及所述移动图像发送至所述控制处理装置,在获取到所述跟随驱动装置转发的移动指令后,根据所述移动指令的指示按照预设轨迹进行移动;所述控制处理装置,用于接收所述目标场景图像确定出所述待检测工件的参考移动轨迹,接收所述多张移动图像确定出所述待检测工件的实际移动轨迹,基于所述参考移动轨迹以及所述实际移动轨迹确定出所述待检测工件的位置校准参数,基于所述位置校准参数调整所述待检测工件的位置,并将所述位置校准参数发送至所述主动检测装置;所述跟随驱动装置,用于接收所述控制处理装置发送的移动指令,并将所述移动指令转发至所述主动检测装置;所述工业机器人,包括六自由度的机械手,用于当所述控制处理装置确定出所述待检测工件的位置校准参数时,接收所述控制处理装置发送的抓取指令,对所述待检测工件的位置进行调整。
这样,可以通过主动跟随确定出待检测工件在移动过程中的实际移动轨迹,并利用实际移动轨迹以及参考移动轨迹快速准确的调整待检测工件的位置,进而实现了可以实时、准确的比对待检测工件动态轨迹和实际轨迹的误差,并提供补偿运动轨迹的位置校准参数,提高了对待检测工件的位置进行调整的准确性。
请参阅图6,图6为本申请实施例所提供的一种电子设备的结构示意图。如图6中所示,所述电子设备600包括处理器610、存储器620和总线630。
所述存储器620存储有所述处理器610可执行的机器可读指令,当电子设备600运行时,所述处理器610与所述存储器620之间通过总线630通信,所述机器可读指令被所述处理器610执行时,可以执行如上述图1所示方法实施例中的一种工件位置的调整方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的一种工件位置的调整方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种工件位置的调整方法,其特征在于,应用于工件位置的控制处理装置,所述调整方法包括:
获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;
在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;
若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
2.根据权利要求1所述的调整方法,其特征在于,通过以下步骤获取所述待检测工件的特征信息:
获取目标场景图像,对所述目标场景图像进行颜色灰度处理获得样本场景图像;
提取所述样本场景图像内包括的所有轮廓信息;
基于所述轮廓信息确定出所述待检测工件的特征信息。
3.根据权利要求1所述的调整方法,其特征在于,通过以下步骤确定出所述待检测工件的参考移动轨迹:
将所述待检测工件的特征信息与特征数据库中预先存储的多个参考特征信息进行匹配,确定出与所述待检测工件的特征信息相匹配的目标特征信息;
将与所述目标特征信息匹配的参考移动轨迹,确定出所述待检测工件的参考移动轨迹。
4.根据权利要求1所述的调整方法,其特征在于,所述基于所述参考移动轨迹调整所述待检测工件的位置,包括:
基于所述参考移动轨迹确定出所述待检测工件的位置校准参数;
基于所述位置校准参数调整所述待检测工件的位置。
5.根据权利要求4所述的调整方法,其特征在于,所述基于所述参考移动轨迹确定出所述待检测工件的位置校准参数,包括:
获取所述待检测工件在移动过程中的最后一张移动图像,基于所述最后一张移动图像确定出所述待检测工件的末端位置信息;
获取所述待检测工件的参考移动轨迹中的参考末端位置信息,基于所述末端位置信息以及所述参考末端位置信息确定出位置误差信息;
基于所述位置误差信息确定出所述待检测工件的位置校准参数。
6.一种工件位置的控制处理装置,其特征在于,所述控制处理装置包括:
第一轨迹确定模块,用于获取待检测工件的特征信息,并基于所述待检测工件的特征信息确定出所述待检测工件的参考移动轨迹;
第二轨迹确定模块,用于在所述待检测工件移动过程中,获取所述待检测工件的多张移动图像,并基于所述多张移动图像确定出所述待检测工件的实际移动轨迹,其中,所述多张移动图像是通过跟随所述待检测工件的移动主动获取的;
调整模块,用于若所述实际移动轨迹与所述参考移动轨迹不一致,基于所述参考移动轨迹调整所述待检测工件的位置。
7.一种工件位置的调整系统,其特征在于,所述一种调整方法系统包括主动检测装置、跟随驱动装置、控制处理装置以及工业机器人:
所述主动检测装置,用于获取待检测工件的目标场景图像以及待检测工件的移动图像,将所述目标场景图像以及所述移动图像发送至所述控制处理装置,在获取到所述跟随驱动装置转发的移动指令后,根据所述移动指令的指示按照预设轨迹进行移动;
所述控制处理装置,用于接收所述目标场景图像确定出所述待检测工件的参考移动轨迹,接收所述移动图像确定出所述待检测工件的实际移动轨迹,基于所述参考移动轨迹以及所述实际移动轨迹确定出所述待检测工件的位置校准参数,基于所述位置校准参数调整所述待检测工件的位置,并将所述位置校准参数发送至所述主动检测装置;
所述跟随驱动装置,用于接收所述控制处理装置发送的移动指令,并将所述移动指令转发至所述主动检测装置;
所述工业机器人,包括六自由度的机械手,用于当所述控制处理装置确定出所述待检测工件的位置校准参数时,接收所述控制处理装置发送的抓取指令,对所述待检测工件的位置进行调整。
8.根据权利要求7所述的调整系统,其特征在于,所述主动检测装置包括:
拍摄模块,用于拍摄待检测工件,获取所述待检测工件的目标场景图像以及所述待检测工件的移动图像,并将所述目标场景图像以及所述移动图像发送至网络传输模块;
网络传输模块,用于将所述目标场景图像、所述移动图像发送至所述控制处理装置。
9.根据权利要求7所述的调整系统,其特征在于,所述控制处理装置包括:
图像处理模块,用于将接收到的所述目标场景图像进行图像处理提取出所述待检测工件的特征信息,并将所述待检测工件的特征信息发送至搜索模块;
搜索模块,用于基于所述待检测工件的特征信息与目标特征信息进行匹配,确定出所述待检测工件的参考移动轨迹,并将所述参考移动轨迹发送至参数校准模块;
参数校准模块,用于基于所述参考移动轨迹以及所述实际移动轨迹确定出所述待检测工件的位置校准参数并调整所述待检测工件的位置,并将所述位置校准参数发送至数据输出模块;
数据输出模块,用于将所述位置校准参数进行数据下发。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至5任一所述的一种工件位置的调整方法的步骤。
CN202111198383.4A 2021-10-14 2021-10-14 一种工件位置的调整方法、控制处理装置及调整系统 Pending CN113902721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111198383.4A CN113902721A (zh) 2021-10-14 2021-10-14 一种工件位置的调整方法、控制处理装置及调整系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111198383.4A CN113902721A (zh) 2021-10-14 2021-10-14 一种工件位置的调整方法、控制处理装置及调整系统

Publications (1)

Publication Number Publication Date
CN113902721A true CN113902721A (zh) 2022-01-07

Family

ID=79192141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111198383.4A Pending CN113902721A (zh) 2021-10-14 2021-10-14 一种工件位置的调整方法、控制处理装置及调整系统

Country Status (1)

Country Link
CN (1) CN113902721A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114563992A (zh) * 2022-03-01 2022-05-31 昆山缔微致精密电子有限公司 一种提高注塑模具的冲裁精度的方法及系统
CN115434877A (zh) * 2022-11-08 2022-12-06 电子科技大学中山学院 一种叶片内部状态检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114563992A (zh) * 2022-03-01 2022-05-31 昆山缔微致精密电子有限公司 一种提高注塑模具的冲裁精度的方法及系统
CN114563992B (zh) * 2022-03-01 2023-11-21 昆山缔微致精密电子有限公司 一种提高注塑模具的冲裁精度的方法及系统
CN115434877A (zh) * 2022-11-08 2022-12-06 电子科技大学中山学院 一种叶片内部状态检测方法及装置

Similar Documents

Publication Publication Date Title
US7283661B2 (en) Image processing apparatus
CN106945035B (zh) 机器人控制设备及其控制方法和机器人系统
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN101733755B (zh) 机械手系统、机械手控制装置以及机械手控制方法
CN113902721A (zh) 一种工件位置的调整方法、控制处理装置及调整系统
JP3880702B2 (ja) 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
CN110599541A (zh) 一种对多传感器进行标定的方法、装置和存储介质
WO2022121283A1 (zh) 车辆关键点信息检测和车辆控制
CN113601503B (zh) 手眼标定方法、装置、计算机设备和存储介质
CN110785993A (zh) 拍摄设备的控制方法、装置、设备及存储介质
CN111515950B (zh) 机器人坐标系变换关系确定方法、装置、设备和存储介质
CN113954085A (zh) 一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法
CN109459984B (zh) 一种基于三维点云的定位抓取系统及其使用方法
CN111611989A (zh) 一种基于自主机器人的多目标精准定位识别方法
CN112484691B (zh) 图像处理装置、测距装置、测距方法及记录介质
CN110756462B (zh) 电源适配器测试方法、装置、系统、控制装置及存储介质
JP2020047049A (ja) 画像処理装置及び画像処理方法
CN109753925A (zh) 一种虹膜特征提取的方法和设备
US20220327721A1 (en) Size estimation device, size estimation method, and recording medium
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN112809668B (zh) 一种机械臂自动手眼标定的方法及系统、终端
KR101412513B1 (ko) 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법
CN111093007B (zh) 双足机器人的行走控制方法及装置、存储介质、终端
CN112109069A (zh) 机器人示教装置以及机器人系统
CN112584041B (zh) 一种图像识别动态纠偏方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination