CN107584263A - 一种视觉定位引导装置及引导方法 - Google Patents

一种视觉定位引导装置及引导方法 Download PDF

Info

Publication number
CN107584263A
CN107584263A CN201710968570.3A CN201710968570A CN107584263A CN 107584263 A CN107584263 A CN 107584263A CN 201710968570 A CN201710968570 A CN 201710968570A CN 107584263 A CN107584263 A CN 107584263A
Authority
CN
China
Prior art keywords
vision
servo
drive
positioning
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710968570.3A
Other languages
English (en)
Other versions
CN107584263B (zh
Inventor
于福江
杨卓峰
刘敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Saimo Electric Co., Ltd.
Original Assignee
Shanghai File Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai File Data Technology Co Ltd filed Critical Shanghai File Data Technology Co Ltd
Priority to CN201710968570.3A priority Critical patent/CN107584263B/zh
Publication of CN107584263A publication Critical patent/CN107584263A/zh
Application granted granted Critical
Publication of CN107584263B publication Critical patent/CN107584263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种视觉定位引导装置及引导方法,包含视觉系统,视觉系统标定模块、伺服系统标定模块、视觉粗略定位模块、视觉精确定位模块、视觉引导路径优化模块、PLC通讯交互模块等多个功能模块,实现了视觉系统与伺服系统的精确标定、工业自动化装配过程中的精确定位引导与引导路径优化,能够满足工业自动化装配过程中的精确定位引导需求,尤其是对于大型工业装配具有高定位精度,满足工业自动化装配过程中的精确视觉定位引导需求。

Description

一种视觉定位引导装置及引导方法
技术领域
[0001]本发明涉及视觉定位技术领域,更具体地说,本发明涉及一种视觉定位引导装置 及引导方法。
背景技术
[0002]现代自动化装配生产线中,通常由工业机器人或伺服系统完成“抓取一放置”装配 动作。为了完成装配任务,对被操作物体定位信息的获取是必要的,首先机器人或伺服系统 必须知道物体被操作前的位姿,以保证机器人准确地抓取;其次是必须知道物体被操作后 的目标位姿,以保证机器人准确地完成任务。在大部分的应用场合,机器人或伺服系统只是 按照固定的程序进行操作,物体的初始位姿和终止位姿是事先规定的,作业任务完成的质 量由生产线的定位精度来保证。为了高质量作业,就要求生产线相对固定,定位精度高,这 样的结果是生产柔性下降,成本却大大增加,此时生产线的柔性和产品质量是矛盾的。
[0003] 视觉定位与引导是解决上述矛盾的理想工具。工业机器人或伺服系统可以通过视 觉系统实时地了解工作环境的变化,相应地调整动作,保证任务的正确完成。这种情况下, 即使生产线的调整或定位有较大的误差也不会对准确作业造成多大影响,实际上视觉系统 提供了外部闭环控制机制,保证机器人或伺服系统自动补偿由于环境变化而产生的误差。
[0004] 视觉定位引导精度除了与视觉系统自身分辨率有关系,还取决于工作视场大小。 在工业装配中,简单的视觉定位精度往往不能满足精确装配要求。实际应用中需要根据应 用需求,综合运用视觉系统定位技术,与外部运动控制系统建立协作关系,完成工业装配过 程中的精确视觉定位。
[0005] 特别是针对于大型设备的装配线中,常规的机器视觉定位引导装置及方法,无法 满足此大视场、高精度的定位需求。
发明内容
[0006] 本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。
[0007] 本发明还有一个目的是提供一种视觉定位引导装置及引导方法,针对工业自动化 装配中精确视觉定位引导需求,综合运用工业视觉定位技术和工业视觉测量技术,实行粗 定位和精定位相结合的分步定位策略,实现了米级超大视场的亚毫米定位。
[0008] 具体的,本发明包含视觉系统、视觉系统标定模块、伺服系统标定模块、视觉粗定 位模块、视觉精定位模块、视觉引导路径优化模块、控制模块、系统参数配置模块、系统状态 监视模块等多个功能模块,能够实现视觉系统与伺服系统(或工业机器人)的精确标定,实 现工业装配过程中的精确定位引导与引导路径优化,实现与多种控制系统的执行交互逻 辑,满足工业自动化操作过程中的精确视觉定位引导需求。
[0009] 为了实现根据本发明的这些目的和其它优点,提供了一种视觉定位引导装置,包 括:
[0010] 控制模块,其连接一伺服系统和视觉系统,所述伺服系统与视觉系统驱动连接;
[0011] 视觉粗定位模块,其用于确定目标物体在视觉图像中的粗略位置及目标物体上检 测特征的整体分布信息;
[0012] 视觉精定位模块,其用于确定所述检测特征在视觉图像中的精确位置;以及
[0013] 视觉引导路径优化模块,其根据所述检测特征的分布规律和所述伺服系统的单次 操作容量,优化所述伺服系统的执行次数、单次操作的执行数量和动作执行路径;
[0014] 其中,所述视觉粗定位模块、视觉精定位模块以及视觉引导路径优化模块分别与 所述控制模块连接,所述伺服系统根据所述视觉引导路径优化模块的优化结果对所述目标 物体进行相应操作。
[0015] 优选的,还包括一与所述控制模块连接的视觉系统标定模块,其用于纠正所述视 觉系统自身的成像畸变。
[0016] 优选的,还包括一与所述控制模块连接的伺服系统标定模块,其用于统一所述伺 服系统与视觉系统的坐标,并确定所述目标物体的基准位置。
[0017] 优选的,还包括一与所述控制模块连接的姿态调整系统,其用于调整所述目标物 体的姿态直至与所述基准位置一致,所述姿态调整系统包括分别与所述控制模块连接的姿 态校正模块和调整平台。
[0018] 优选的,所述视觉系统包括图像采集模块、若干分列在所述姿态调整系统两侧的 粗定位相机和精定位相机,所述粗定位相机和精定位相机输出端分别与所述图像采集模块 的输入端连接,所述图像采集模块的输出端连接所述控制模块。
[0019] —种视觉定位引导方法,包括以下步骤:
[0020] 步骤一、启动视觉定位引导装置,对各个相机的相机参数进行标定,纠正视觉系统 自身的成像畸变;
[0021] 步骤二、设定目标物体的基准位置;
[0022] 步骤三、对伺服系统进行标定,使得所述伺服系统与视觉系统的坐标统一;
[0023] 步骤四、将目标物体放置到调整平台上并校正姿态,直至将目标物体的姿态调整 至与所述基准位置一致;
[0024] 步骤五、对目标物体上的检测特征进行粗定位;
[0025]步骤六、根据所述检测特征的分布规律和所述伺服系统的单次操作容量,优化所 述伺服系统的执行次数、单次操作的执行数量和动作执行路径,根据优化结果,将精定位相 机移动到第一个操作位置进行拍摄;
[0026]步骤七、对所述检测特征进行精定位,伺服系统根据精定位信息进行相应操作,直 到对单个目标物体的操作全部完成;
[0027] 步骤八、将操作完成后的目标物体移除,回到步骤四,对下一个目标物体进行相应 操作,直到对全部目标物体操作完成。
[0028]优选的,所述步骤二中基准位置的设定方法为:初始时,将目标物体放置在调整平 台上,并将目标物体调整至所述伺服系统正好能对所述目标物体执行相应操作的姿态,将 所述目标物体在此姿态下在视觉图像中的位置设定为基准位置。
[0029]优选的,所述步骤三中,对伺服系统标定过程包括以下步骤:
[0030]步骤A、对伺服系统X/Y方向与视觉系统X/Y方向之间的夹角进行标定;
[0031]步骤B、对视觉系统粗定位基准点与伺服系统粗定位基准点进行标定; L0032J步骤c、对视觉系统精定位基准点与伺服系统精定位基准点进行标定,得到目标物 体相对于所述基准位置的偏移量。
[0033]优选的,粗定位过程包括以下步骤:
[0034]步骤D、在目标物体姿态校正完成后,粗定位相机对目标物体前端面进行成像. [0035]步骤E、对目标物体ROI区域进行检测; ’
[0036]步骤F、对所有待操作位置进行定位,保存并显示该定位信息;
[0037]精定位过程包括以下步骤:
[0038] 步骤G、带动精定位相机移动到第一个操作位置对第一个操作位置拍摄图像.
[0039] 步骤H、提取第一个操作位置处的检测特征; ’
[0040] 步骤I、通过Canny边缘检测、边缘像素筛选、FitEllipse椭圆拟合算法对该检测特 征拟合,得到该检测特征的中心坐标。
[0041] 优选的,所述步骤六中,对视觉引导路径优化的过程包括以下步骤:
[0042]步骤J、读取所有检测特征的粗定位信息;
[0043]步骤K、对所有检测特征进行区域划分;
[0044]步骤L、建立所有检测特征状态标识数组;
[0045]步骤M、计算当前操作的执行数量、设置当前操作分布标识位、提取当前操作中的 第一检测特征坐标;
[0046]步骤N、计算下一次操作的执行数量、设置下一次操作分布标识位、提取下一次操 作中的第一检测特征坐标;
[0047]步骤〇、将操作信息发送到控制模块,控制模块反馈操作状态,并更新和显示检测 特征状态标识数组。
[0048]本发明至少包括以下有益效果:
[0049] 1、针对工业自动化大型装配中精确视觉定位引导需求,本发明综合运用工业视觉 定位技术和工业视觉测量技术,实行粗定位和精定位相结合的分步定位策略,实现了米级 超大视场的亚毫米引导定位;
[0050] 2、本发明包含实时图像采集及显示模块、视觉系统标定模块、伺服系统标定模块、 视觉粗定位模块、视觉精定位模块、视觉引导路径优化模块、PLC交互模块、系统参数配置模 块、系统状态监视模块等多个功能模块,能够实现视觉系统与伺服系统(或工业机器人)的 精确标定,实现工业装配过程中的精确定位引导与引导路径优化,实现与多种PLC系统的执 行交互逻辑,满足工业自动化装配过程中的精确视觉定位引导需求。
[0051] 本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本 发明的研究和实践而为本领域的技术人员所理解。
附图说明
[0052]图1为本发明装置的框图;
[0053]图2为本发明装置的一种具体应用结构示意图 [0054]图3为冷水机容器端面结构示意图;
[0055]图4为本发明引导方法的流程示意图;
[0056]图5为视觉系统标定模块标定流程示意图;
[0057]图6为视觉粗定位流程图;
[0058]图7为视觉引导路径优化流程图;
[0059]图8为视觉精定位流程图。
具体实施方式
[0060] 下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文 字能够据以实施。
[0061] 应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多 个其它元件或其组合的存在或添加。
[0062] 将本发明装置和方法应用到中央空调冷水机组自动穿铜管中作为具体实施例来 对本发明的技术方案进行详细说明。 _
[0063] 本发明电提供了一种视觉定位引导装置,如图1所示,包括控制模块100和分别与 控制模块100连接的视觉系统200、视觉系统标定模块300、伺服系统标定模块400、姿态调整 系统500、视觉粗定位模块600、视觉精定位模块700和视觉引导路径优化模块800。实现了视 觉系统与伺服系统的精确标定、工业自动化装配过程中的精确定位引导与引导路径优化, 能够满足工业自动化装配过程中的精确定位引导需求,尤其是对于大型工业装配仍然具有 高定位精度。控制模块100连接伺服系统以及视觉系统2〇〇,驱动执行机构动作的伺服系统 受控制模块400的控制,所述伺服系统与视觉系统200驱动连接,视觉系统200引导伺服系统 精确动作,伺服系统执行穿管操作,同时,伺服系统带动视觉系统移动对冷水机容器进行成 像。
[0064] 如图2所示的是本发明装置的一种具体应用结构示意图,具体的,所述视觉系统 200包括图像采集模块、分列在所述姿态调整系统500第一侧的第一粗定位相机6、第一精定 位相机8以及分列在所述姿态调整系统500第二侧的第二粗定位相机13、第二精定位相机 11,第一粗定位相机6的镜头上设置有第一粗拍视觉光源7,第一精定位相机8的镜头上设置 有第一精拍视觉光源9,第二粗定位相机13的镜头上设置有第二粗拍视觉光源12,第二精定 位相机11的镜头上设置有第二精拍视觉光源10,各个粗定位相机和精定位相机输出端分别 与所述图像采集模块的输入端连接,两侧的粗定位相机和精定位相机用于对放置在姿态调 整系统500上的冷水机容器进行拍摄成像,将冷水机容器的视觉图像传送至控制模块100 中。
[0065]图像采集模块的工作过程为:通过图像采集卡同时采集四个相机传输过来的图 像,记录在工业PC15中,并实时显示在显示器16上,工业PC连接控制器14,进行数据处理。每 个相机每秒钟传输过来的数据量达上百兆以上,为了防止数据传输阻塞,软件使用了四个 独立线程分别读取每个相机的输出图像,同时将图像实时显示在软件界面上。在穿管过程 中由于每个完整动作之间的间隔时间较长,采用软件触发采集模式,有效地降低相机工作 时间。工作过程为:图像采集模块同时采集4路500万工业相机的输出图像,该模块通过一块 Inter PCIE千兆网图像采集卡与相机连接,四个工位触发采集产品图像并显示。通过图像 采集卡与四个工业相机连接,分别获取产品整体图像和局部精定位图像,实时采集产品图 像,用于后续处理及软件界面显示。
[0066]所述姿态调整系统5〇〇包括分别与所述控制模块100连接的姿态校正模块和调整 平台,冷水机容器1放置在调整平台上,调整平台上设置有用于调整所述冷水机容器1姿态 的第一伺服电机4和第二伺服电机5,第一伺服电机4和第二伺服电机5受姿态校正模块的控 制,姿态校正模块其用于调整所述冷水机容器的姿态直至与所述基准位置一致,冷水机容 器1的容器端面3的结构如图3所示,上面分布有若干个待穿管的孔位17,铜管2从孔位17中 传入到冷水机容器中,完成对冷水机容器的流水线装配。
[0067] 本发明的控制模块100采用PLC交互控制模块,在工业自动装配生产线中,PLC控制 的伺服系统(或者工业机器人)等运动控制系统主要完成产品的上下料、传送、加取、装配等 多种工作,视觉系统负责装配过程中的精确定位,引导PLC或工业机器人完成精准抓取装 配。PLC控制的伺服运动机构是整个装配过程的执行机构,PLC交互控制模块负责视觉定位 装置与PLC系统的全部逻辑交互过程,包括不同阶段的状态信号、姿态信息和定位信息的互 相传递。输入PLC系统的状态信号,输出视觉系统状态信号、姿态信息、定位信息。
[0068] 在自动穿管机中,PLC系统完成冷水机容器姿态校正、带动精定位相机运动、穿引 导杆、穿铜管等过程。本装置其他模块与PLC系统的交互信号包括设备状态(含工作正常、设 备报警)、容器吊装到位、容器姿态信息交互、精定位/穿管启动信号、穿管孔位坐标、穿管数 目、穿管策略、穿管完成等。视觉系统与PLC系统的交互逻辑代表了整个穿管动作流程,交互 信号明确表达了每个阶段动作的含义,构成了设备运行中的信息流。
[0069]视觉系统标定模块300用于纠正所述视觉系统200自身的成像畸变,纠正由工业相 机自身原因导致的成像畸变,保证视觉定位引导的精确性。输入视觉标定板在视场内各种 姿态下采集到的图像(一般大于20帧图像),输出视觉系统中各个工业相机参数矩阵和畸变 系数,用于纠正成像畸变在工业视觉测量应用中,为确定空间物体表面某点的三维几何位 置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参 数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数 的过程就称之为相机标定(或摄像机标定)。相机参数的标定都是非常关键的环节,其标定 结果的精度及算法的稳定性直接影响相机工作产生结果的准确性,高精度相机标定是后续 工作的保障。
[0070] 相机标定中所要确定的几何模型参数分为内参和外参两种类型。相机内参的作用 是确定相机从三维空间到二维图像的投影关系。相机外参的作用是确定相机坐标与世界坐 标系之间相对位置关系。在二维工业视觉测量中,相机内参是影响测量精度的主要原因,因 此这里相机标定主要是对相机内参进行标定。
[0071] 伺服系统标定模块400用于统一所述伺服系统与视觉系统200的坐标,用于后续视 觉定位引导。具体输入视觉系统的粗定位和精定位基准点、伺服系统的粗定位和精定位基 准点,输出视觉系统的粗定位和精定位基准点在视觉坐标系下的位置记录,伺服系统的粗 定位和精定位基准点在伺服坐标系的位置记录,并确定所述冷水机容器安装在调整平台上 的基准位置。
[0072]在工业自动化装配生产线中,不同装配基体到达装配工位时都有一定空间位置差 异性,为了实现精确装配,一种方法是根据当前基体姿态和位置,动态调整待装配工件的位 置姿态,另外一种是在装配前调整基体位置姿态然后再进行装配,根据不同的应用场景选 择合适的姿态校正方式。
[0073]具体到自动穿管机的装配中,冷水机容器重达数吨,长度为5米,直径最大为1.6 米。在吊装到穿管机上后容器姿态无法准确控制,必须首先校正冷水机容器相对伺服系统 的姿态,否则穿管根本无法进行。
[0074]姿态校正模块用于在穿管前实现冷水机容器姿态的自动校正,保证后续装配动作 的有效性及视觉定位引导的精确性。具体输入姿态校正起始信号、连续触发采集冷水机容 器前后端面图像和姿态校正完成信号,输出冷水机容器前后端面在水平方向上的偏移距 离、冷水机容器前后端面在垂直方向上的偏移距离以及冷水机容器横滚角度。
[0075]当冷水机容器吊装到位后操作工人启动自动穿管过程,此时PLC通知视觉系统启 动姿态校正。视觉系统接收到该信号后,同时启动容器前后端面粗定位相机拍照,分别计算 两个端面上同一个中心孔位的相对位置,继而计算出容器的水平方向偏移距离、垂直方向 偏移距离及横滚角度,将这些信息发送给PLLPLC根据接收到的姿态信息控制伺服系统运 动,完成一次容器姿态校正。
[0076]视觉粗定位模块6〇0用于确定冷水机容器在视觉图像中的粗略位置及冷水机容器 上检测特征的整体分布信息;具体输入产品粗定位图像,输出检测特征的粗略定位并保存 至本地。容器姿态校正完成后,视觉系统对前端面相机最后一次拍摄图像进行分析,确定图 像中容器区域,检测所有穿管孔位的坐标,并将这些坐标保存到本地文件。粗定位计算的粗 定位坐标将用于后续的视觉引导路径优化和视觉精定位。
[0077]视觉精定位模块700用于确定所述检测特征在视觉图像中的精确位置;具体输入 产品局部精定位图像,输出检测特征的精确位置。在超大视场定位引导过程中,视觉粗定位 负责产品整体定位,以及检测特征的粗略定位,定位精度只能达到厘米或毫米级别。大型精 密装配往往要求达到亚毫米甚至丝级定位,此时需要进一步的视觉精定位。
[0078]在自动穿管机中,穿管孔位粗定位完成后,伺服带动前端面精定位相机到达第一 个穿管孔位,同时给视觉系统到达位置信号。视觉系统接收信号后启动精定位相机拍摄图 像,完成当前孔位的精定位,并将精定位坐标反馈给PLC。
[0079] 视觉引导路径优化模块800根据所述检测特征的分布规律和所述伺服系统的单次 操作容量,优化所述伺服系统的执行次数、单次操作的执行数量和动作执行路径,以达到高 效地完成装配过程。具体输入检测特征的分布规律、系统单次装配能力,输出当前装配动作 路径、装配工件数目。
[0080] 通常水冷器容器上需要穿管孔位达到数百个,而自动穿管机最多单次同时穿五根 铜管,同时相邻铜管间距有一定的约束。通过分析孔位分布规律(包括孔位行数、每行孔位 数目、多种孔间距规格等),结合自动穿管机的单次穿管能力,开发了视觉引导路径优化模 块,实现以最少次数、最短路径完成整个容器的穿管。
[0081] 所述伺服系统根据所述视觉引导路径优化模块800的优化结果对所述冷水机容器 进行装配。以某工厂大型中央空调水冷机的自动穿管机项目为例来对视觉定位引导方法进 行说明,伺服系统控制自动穿管机对冷水机容器进行自动化穿管装配,在此过程中,视觉引 导装置的引导方法的流程如图4所示,包括以下步骤:
[0082] 步骤一、启动视觉定位引导装置,进行开机自检程序,启动视觉系统标定模块,对 各个相机的相机参数进行标定,纠正视觉系统2〇〇自身的成像畸变;
[0083] 步骤二、设定冷水机容器在调整平台上的基准位置,基准位置的设定方法为:初始 时,将冷水机容器放置在调整平台上,并将冷水机容器手动调整至所述伺服系统控制的自 动穿管机正好能对所述冷水机容器执行穿管操作的姿态,将所述冷水机容器在此姿态下在 视觉图像中的位置设定为基准位置;
[0084]步骤三、启动伺服系统标定模块对伺服系统进行标定,使得所述伺服系统与视觉 系统200的坐标统一,对伺服系统标定过程包括以下子步骤:
[0085]步骤A、对伺服系统X/Y方向与视觉系统200X/Y方向之间的夹角进行标定;
[0086]步骤B、对视觉系统200粗定位基准点与伺服系统粗定位基准点进行标定;
[0087]步骤C、对视觉系统200精定位基准点与伺服系统精定位基准点进行标定,得到冷 水机谷器的相对于所述基准位置的偏移量;
[0088]将上述标定结果进行记录和保存,以在执行穿管过程中,自动补偿上述偏差量,使 得伺服系统和视觉系统坐标统一;
[0089]步骤四、将冷水机容器吊装放置到调整平台上并校正姿态,直至将冷水机容器的 姿态与所述基准位置一致;具体的,PLC通知视觉系统启动姿态校正,视觉系统接收到该信 号后,同时启动容器前后端面粗定位相机拍照,分别计算两个端面上同一个中心孔位的相 对位置,继而计算出容器的水平方向偏移距离、垂直方向偏移距离及横滚角度,将这些信息 发送给PLC,PLC根据接收到的姿态信息控制第一伺服电机和第二伺服电机运动,完成一次 容器姿态校正;
[0090]步骤五、对冷水机容器上的检测特征进行粗定位;容器姿态校正完成后,视觉系统 对前端面相机最后一次拍摄图像进行分析,确定图像中容器区域,检测所有穿管孔位的坐 标,并将这些坐标保存到本地文件。粗定位计算的粗定位坐标将用于后续的视觉引导路径 优化和视觉精定位。如图6所示,粗定位过程包括以下子步骤:
[0091]步骤D、对冷水机容器姿态校正完成后,粗定位相机对冷水机容器前端面进行成 像;
[0092]步骤E、对冷水机容器R〇I区域进行检测;
[0093] 步骤F、对所有待穿管孔位进行定位,保存并显示所有孔位信息;
[0094] 步骤六、根据所述检测特征的分布规律和所述伺服系统的单次操作容量,优化所 述伺服系统的执行次数、单次操作的执行数量和动作执行路径,根据优化结果,精定位相机 移动到第一个穿管孔位;
[0095]具体的,如图7所示,对视觉引导路径优化的过程包括以下子步骤:
[0096]步骤J、读取所有粗定位所有孔位的信息;
[0097]步骤K、对所有孔位进行区域划分;
[0098]步骤L、建立所有孔位状态标识数组;
[0099] 步骤M、计算当前穿管的执行数量、设置当前穿管分布标识位、提取当前穿管中的 第一孔位坐标;
[0100] 步骤N、计算下一次穿管的执行数量、设置下一次穿管分布标识位、提取下一次穿 管中的第一孔位坐标;
[0101] 步骤〇、将穿管信息发送到PLC,PLC反馈穿管状态,并更新和显示孔位状态标识数 组;
[0102] 步骤七、对所述检测特征进行精定位,伺服系统根据精定位信息进行相应操作,直 到对单个冷水机容器的操作全部完成;
[0103] 在自动穿管机中,穿管孔位粗定位完成后,伺服带动前端面精定位相机到达第一 个穿管孔位,同时给视觉系统到达位置信号。视觉系统接收信号后启动精定位相机拍摄图 像,完成当前孔位的精定位,并将精定位坐标反馈给PLC,具体的,如图8所示,精定位过程包 括以下子步骤:
[0104] 步骤G、带动精定位相机移动到第一个精定位孔位附近位置对第一个孔位位置拍 摄图像;
[0105] 步骤H、提取中心孔位区域图像;
[0106] 步骤I、通过Canny边缘检测、边缘像素筛选、FitEllipse椭圆拟合算法对该检测特 征拟合,得到该检测特征的中心坐标;
[0107] 步骤八、将操作完成后的冷水机容器移除,回到步骤四,对下一个冷水机容器进行 相应操作,直到对全部冷水机容器操作完成。
[0108] 针对该自动穿管机实施例,通过视觉系统与PLC系统的闭环交互控制,在自动穿管 前完成容器姿态的自动校正,此外,每个容器上需要穿管的孔位数目达到数百个,通过分析 孔位分布规律,结合设备的单次穿管能力,开发了视觉引导路径优化模块,实现了以最少次 数、最短路径完成整个容器的穿管。经对比,如果通过人工的穿管工时约为1000根/日/人, 基于本发明的自动穿管机的设计穿管速度为1000根/小时,相当于10个人的工作效率,大幅 度地提高了客户的生产效率。
[0109] 理想情况下,相机镜头的光轴(就是通过镜头中心垂直于传感器平面的直线)应该 穿过图像中心。由于实际安装精度的影响,总是存在误差即光轴偏移,这种误差需要用内参 来描述;同时,相机X方向和y方向上的尺寸缩小比例是一样的,实际上,由于镜头加工误差、 传感器芯片分布不均匀等因素,导致两个方向的缩小比例不一致。内参中包含两个参数可 以描述这两个方向的缩放比例,不仅可以将用像素数量来衡量的长度转换成三维空间中的 用其它单位(比如米)来衡量的长度,也可以表示在x和y方向的尺度变换的不一致性;镜头 会将一个三维空间中的直线也映射成直线(即射影变换),但实际上,镜头无法这么完美,通 过镜头映射后直线会发生弯曲,所以需要相机的畸变参数来描述这种变形效果。常见的图 像畸变有枕形畸变、桶形畸变和线性畸变等。
[0110] 相机内参共有6个参数(^81,87,〇1,〇7),其中:
[0111] f为相机焦距;k表示径向畸变量级,如果k为负值则为桶型畸变,如果k为正值则为 枕型畸变;Sx,Sy是缩放比例因子。一般情况下相机成像单元不是严格的矩形的,其在水平 和垂直方向上的大小是不一致的,这就导致在X和Y方向上的缩放因子不一样,所以需要分 别定义两个缩放因子。对针孔摄像机来讲,表示图像传感器上水平和垂直方向上相邻像素 之间的距离;Cx,Cy是图像的主点,即过镜头轴心垂直于成像平面与图像平面的交点。对针 孔摄像机来讲,这个点是投影中心在成像平面上的垂直投影,同时也是径向畸变的中心。
[0112] 如图5所示的是视觉系统标定模块标定流程,启动视觉系统标定程序,在相机视野 内任意角度摆放标定板,拍摄图像,判断有效图像帧数是否满足设定要求,如果不满足,则 重新摆放标定板后判断图像帧数,直到有效图像帧数是否满足设定要求,提取标定板图像 角点,计算相机内参矩阵,将内参矩阵保存/显示。
[0113]由上所述,视觉引导定位装置启动后开始自检,如果视觉系统出现故障,本装置则 通过I/O发送报警信号给PLC,如果设备正常则发送正常启动信号。PLC接收到软件正常启动 fg号f,当水冷器容器吊装到位后操作工人启动自动穿管过程,此时pLC通知视觉系统启动 姿态校正。视觉系统接收到该信号后,同时启动容器前后端面粗定位相机拍照,分别计算两 个端^上同二个中心孔位的相对位置,继而计算出容器的水平方向偏移距离、垂直方向偏 移距呙及横滚角度,将这些信息发送给PLGPLC根据接收到的姿态信息控制伺服系统运动, 完成一次容器姿态校正。视觉系统连续拍摄图像、计算容器姿态信息,引导PLC校正容器,形 成连续地闭环反馈控制机制。直至容器姿态满足一定阈值,则视觉系统通知pLC停止校正动 作,完成容器姿态校正。
[0114] 容器姿态校正完成后,视觉系统对前端面相机最后一次拍摄图像进行分析,确定 图像中容器区域,检测所有穿管孔位的坐标,并将这些坐标保存到本地文件。粗定位计算的 粗定位坐标将用于后续的穿管引导路径优化和穿管孔位精定位。
[0115] 在完成穿管孔位粗定位后,自动穿管机开始执行穿管动作。PLC通知视觉系统开始 穿管,视觉系统反馈信息包括穿管数目、穿管策略、第一个穿管位置的粗定位坐标。PLC则根 据接收的穿官数目、穿菅策略完成铜管取料,根据第一个穿管位置的粗定位坐标驱动伺服 系统,带动前端面精定位相机到达第一个穿管孔位,同时给视觉系统到达位置信号。视觉系 统接收信号后启动精定位相机拍摄图像并完成当前孔位的精定位,将精定位坐标反馈给 PLC ALC根据精定位坐标带动引导杆和铜管到达精定位位置,然后驱动引导杆穿过容器、驱 动铜管前端套进引导杆头部,最后反向拉动引导杆退出容器、同时推动铜管前进,完成当前 穿管动作。完成当前穿管后,PLC通知视觉系统进行下一次穿管动作,直至所有孔位穿管完 成,视觉系统通知PLC穿管完成,PLC通知操作工人完成容器的吊装下料。
[0116]综上可得,针对工业自动化大型装配中精确视觉定位引导需求,本发明综合运用 工业视觉定位技术和工业视觉测量技术,实行粗定位和精定位相结合的分步定位策略,实 现了米级超大视场的亚毫米引导定位;同时,本发明包含实时图像采集及显示模块、视觉系 统标定模块、伺服系统标定模块、视觉粗定位模块、视觉精定位模块、视觉引导路径优化模 块、PLC交互模块、系统参数配置模块、系统状态监视模块等多个功能模块,能够实现视觉系 统与伺服系统(或工业机器人)的精确标定,实现工业装配过程中的精确定位引导与引导路 径优化,实现与多种PLC系统的执行交互逻辑,满足工业自动化装配过程中的精确视觉定位 引导需求。
[0117] 尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列 运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地 实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限 于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种视觉定位引导装置,其特征在于,包括: 控制模块,其连接一伺服系统和视觉系统,所述伺服系统与视觉系统驱动连接; 视觉粗定位模块,其用于确定目标物体在视觉图像中的粗略位置及目标物体上检测特 征的整体分布信息; 视觉精定位模块,其用于确定所述检测特征在视觉图像中的精确位置; 视觉引导路径优化模块,其根据所述检测特征的分布规律和所述伺服系统的单次操作 容量,优化所述伺服系统的执行次数、单次操作的执行数量和动作执行路径; 其中,所述视觉粗定位模块、视觉精定位模块以及视觉引导路径优化模块分别与所述 控制模块连接,所述伺服系统根据所述视觉引导路径优化模块的优化结果对所述目标物体 进行相应操作。
2. 如权利要求1所述视觉定位引导装置,其特征在于,还包括一与所述控制模块连接的 视觉系统标定模块,其用于纠正所述视觉系统自身的成像畸变。
3. 如权利要求2所述视觉定位引导装置,其特征在于,还包括一与所述控制模块连接的 伺服系统标定模块,其用于统一所述伺服系统与视觉系统的坐标,并确定所述目标物体的 基准位置。
4. 如权利要求3所述视觉定位引导装置,其特征在于,还包括一与所述控制模块连接的 姿态调整系统,其用于调整所述目标物体的姿态直至与所述基准位置一致,所述姿态调整 系统包括分别与所述控制模块连接的姿态校正模块和调整平台。
5. 如权利要求4所述视觉定位引导装置,其特征在于,所述视觉系统包括图像采集模 块、若干分列在所述姿态调整系统两侧的粗定位相机和精定位相机,所述粗定位相机和精 定位相机输出端分别与所述图像采集模块的输入端连接,所述图像采集模块的输出端连接 所述控制模块。
6. —种如权利要求5所述视觉定位引导装置的引导方法,其特征在于,包括以下步骤: 步骤一、启动视觉定位引导装置,对各个相机的相机参数进行标定,纠正视觉系统自身 的成像畸变; 步骤二、设定目标物体的基准位置; 步骤三、对伺服系统进行标定,使得所述伺服系统与视觉系统的坐标统一; 步骤四、将目标物体放置到调整平台上并校正姿态,直至将目标物体的姿态调整至与 所述基准位置一致; 步骤五、对目标物体上的检测特征进行粗定位; 步骤六、根据所述检测特征的分布规律和所述伺服系统的单次操作容量,优化所述伺 服系统的执行次数、单次操作的执行数量和动作执行路径,根据优化结果,将精定位相机移 动到第一个操作位置进行拍摄; 步骤七、对所述检测特征进行精定位,伺服系统根据精定位信息进行相应操作,直到对 单个目标物体的操作全部完成; 步骤八、将操作完成后的目标物体移除,回到步骤四,对下一个目标物体进行相应操 作,直到对全部目标物体操作完成。
7. 如权利要求6所述视觉定位引导方法,其特征在于,所述步骤二中基准位置的设定方 法为:初始时,将目标物体放置在调整平台上,并将目标物体调整至所述伺服系统正好能对 户/r还目标物体执行相应操作的姿态,将所述目标物体在此姿态下在视觉图像中的位置设定 为基准位置。
8.如权利要求7所述视觉定位引导方法,其特征在于,所述步骤三中,对伺服系统标定 过程包括以下步骤: 步骤A、对伺服系统X/Y方向与视觉系统X/Y方向之间的夹角进行标定; 步I聚B、对视觉系统粗定位基准点与伺服系统粗定位基准点进行标定; 步骤C、对视觉系统精定位基准点与伺服系统精定位基准点进行标定,得到目标物体相 对于所述基准位置的偏移量。
9.如权利要求8所述视觉定位引导方法,其特征在于,粗定位过程包括以下步骤: 步骤D、在目标物体姿态校正完成后,粗定位相机对目标物体前端面进行成像; 步骤E、对目标物体R0Ig域进行检测; 步骤F、对所有待操作位置进行定位,保存并显示该定位信息; 精定位过程包括以下步骤: 步骤G、带动精定位相机移动到第一个操作位置对第一个操作位置拍摄图像; 步骤H、提取第一个操作位置处的检测特征; 步骤I、通过Canny边缘检测、边缘像素筛选、FitEll ipse椭圆拟合算法对该检测特征拟 合,得到该检测特征的中心坐标。
10.如权利要求9所述视觉定位引导方法,其特征在于,所述步骤六中,对视觉引导路径 优化的过程包括以下步骤: 步骤J、读取所有检测特征的粗定位信息; 步骤K、对所有检测特征进行区域划分; 步骤L、建立所有检测特征状态标识数组; 步骤M、计算当前操作的执行数量、设置当前操作分布标识位、提取当前操作中的第一 检测特征坐标; 步骤N、计算下一次操作的执行数量、设置下一次操作分布标识位、提取下一次操作中 的第一检测特征坐标; 步骤0、将操作信息发送到控制模块,控制模块反馈操作状态,并更新和显示检测特征 状态标识数组。
CN201710968570.3A 2017-10-18 2017-10-18 一种视觉定位引导装置及引导方法 Active CN107584263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710968570.3A CN107584263B (zh) 2017-10-18 2017-10-18 一种视觉定位引导装置及引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710968570.3A CN107584263B (zh) 2017-10-18 2017-10-18 一种视觉定位引导装置及引导方法

Publications (2)

Publication Number Publication Date
CN107584263A true CN107584263A (zh) 2018-01-16
CN107584263B CN107584263B (zh) 2019-04-12

Family

ID=61052394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710968570.3A Active CN107584263B (zh) 2017-10-18 2017-10-18 一种视觉定位引导装置及引导方法

Country Status (1)

Country Link
CN (1) CN107584263B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269255A (zh) * 2018-01-26 2018-07-10 上海文什数据科技有限公司 一种基于机器视觉的电连接器检测装置及方法
CN108311859A (zh) * 2018-01-22 2018-07-24 安徽慧视金瞳科技有限公司 一种基于视觉检测技术的绝缘子自动装配方法
CN108536151A (zh) * 2018-05-06 2018-09-14 长春北方化工灌装设备股份有限公司 一种视觉导引的闭环执行系统及视觉导引方法
CN108770232A (zh) * 2018-08-21 2018-11-06 安徽广晟德自动化设备有限公司 一种精度补偿系统
CN108782797A (zh) * 2018-06-15 2018-11-13 广东工业大学 臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机
CN109764807A (zh) * 2019-01-14 2019-05-17 广东原点智能技术有限公司 发动机缸体位置标定的2d视觉检测方法及检测系统
CN110033493A (zh) * 2019-04-17 2019-07-19 深圳金三立视频科技股份有限公司 摄像机3d标定方法及终端
CN110582171A (zh) * 2018-06-07 2019-12-17 苏州旭创科技有限公司 自动贴片装置及自动贴片方法
CN111056195A (zh) * 2018-10-17 2020-04-24 长沙行深智能科技有限公司 一种用于无人设备用的自动上下货柜的对接控制方法
CN112734725A (zh) * 2021-01-08 2021-04-30 深圳市宏申工业智能有限公司 一种基于机器视觉的显示模组fpc折弯引导方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN101840736A (zh) * 2010-05-07 2010-09-22 中国科学院自动化研究所 一种视觉引导下的光学玻璃安装装置及安装方法
CN105234943A (zh) * 2015-09-09 2016-01-13 大族激光科技产业集团股份有限公司 一种基于视觉识别的工业机器人示教装置及方法
US9731419B2 (en) * 2010-08-03 2017-08-15 Praxair S.T. Technology, Inc. System and method for programming robots

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN101840736A (zh) * 2010-05-07 2010-09-22 中国科学院自动化研究所 一种视觉引导下的光学玻璃安装装置及安装方法
US9731419B2 (en) * 2010-08-03 2017-08-15 Praxair S.T. Technology, Inc. System and method for programming robots
CN105234943A (zh) * 2015-09-09 2016-01-13 大族激光科技产业集团股份有限公司 一种基于视觉识别的工业机器人示教装置及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108311859A (zh) * 2018-01-22 2018-07-24 安徽慧视金瞳科技有限公司 一种基于视觉检测技术的绝缘子自动装配方法
CN108269255A (zh) * 2018-01-26 2018-07-10 上海文什数据科技有限公司 一种基于机器视觉的电连接器检测装置及方法
CN108269255B (zh) * 2018-01-26 2020-06-02 上海赛摩电气有限公司 一种基于机器视觉的电连接器检测方法
CN108536151A (zh) * 2018-05-06 2018-09-14 长春北方化工灌装设备股份有限公司 一种视觉导引的闭环执行系统及视觉导引方法
CN110582171A (zh) * 2018-06-07 2019-12-17 苏州旭创科技有限公司 自动贴片装置及自动贴片方法
CN108782797A (zh) * 2018-06-15 2018-11-13 广东工业大学 臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机
CN108770232A (zh) * 2018-08-21 2018-11-06 安徽广晟德自动化设备有限公司 一种精度补偿系统
CN111056195A (zh) * 2018-10-17 2020-04-24 长沙行深智能科技有限公司 一种用于无人设备用的自动上下货柜的对接控制方法
CN109764807A (zh) * 2019-01-14 2019-05-17 广东原点智能技术有限公司 发动机缸体位置标定的2d视觉检测方法及检测系统
CN109764807B (zh) * 2019-01-14 2021-03-05 广东原点智能技术有限公司 发动机缸体位置标定的2d视觉检测方法及检测系统
CN110033493A (zh) * 2019-04-17 2019-07-19 深圳金三立视频科技股份有限公司 摄像机3d标定方法及终端
CN112734725A (zh) * 2021-01-08 2021-04-30 深圳市宏申工业智能有限公司 一种基于机器视觉的显示模组fpc折弯引导方法

Also Published As

Publication number Publication date
CN107584263B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN107584263A (zh) 一种视觉定位引导装置及引导方法
EP1555508B1 (en) Measuring system
CN103325106B (zh) 基于LabVIEW的运动工件分拣方法
US20150202776A1 (en) Data generation device for vision sensor and detection simulation system
CN105234943A (zh) 一种基于视觉识别的工业机器人示教装置及方法
US20080004750A1 (en) Measuring system and calibration method
CN105965519A (zh) 一种视觉引导下的离合器下料定位方法
CN106483963A (zh) 机器人系统的自动标定方法
CN105225225B (zh) 一种基于机器视觉的皮革自动划线方法和装置
CN106003024B (zh) 一种多机械手垃圾分拣控制系统
CN106780623A (zh) 一种机器人视觉系统快速标定方法
JP6770605B2 (ja) 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム
CN108480239A (zh) 基于立体视觉的工件快速分拣方法及装置
CN105964567A (zh) 一种针对生活垃圾中的玻璃瓶分拣控制系统
CN110076277B (zh) 基于增强现实技术的配钉方法
CN109459984A (zh) 一种基于三维点云的定位抓取系统及其使用方法
CN108363508B (zh) 一种手机触控屏Mark定位非接触式视觉检测方法
JP2004354320A (ja) 撮像対象物品の認識検定システム
WO2020131498A1 (en) Systems and methods for automatic labeling of images for supervised machine learning
CN110077848A (zh) 一种微型化电容的自动识别抓取装置及方法
CN107328358B (zh) 铝电解槽位姿的测量系统及测量方法
CN109514557A (zh) 一种3d视觉机器人轨迹修正系统
CN106733686B (zh) 一种基于视觉和码盘数据融合的流水线物体定位方法
CN110193465A (zh) 一种条烟分拣智能纠错系统
CN107818587A (zh) 一种基于ros的机器视觉高精度定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190305

Address after: 201100 No. 2, Lane 268, Taihong Road, Minhang District, Shanghai 202

Applicant after: Shanghai Saimo Electric Co., Ltd.

Address before: Room C119, Building 633 Shangfeng Road, Pudong New Area, Shanghai 201201

Applicant before: Shanghai file data Technology Co. Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant