CN112001945B - 一种适用于生产线作业的多机器人监控方法 - Google Patents

一种适用于生产线作业的多机器人监控方法 Download PDF

Info

Publication number
CN112001945B
CN112001945B CN202010668948.XA CN202010668948A CN112001945B CN 112001945 B CN112001945 B CN 112001945B CN 202010668948 A CN202010668948 A CN 202010668948A CN 112001945 B CN112001945 B CN 112001945B
Authority
CN
China
Prior art keywords
target
image
coordinate system
robot
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010668948.XA
Other languages
English (en)
Other versions
CN112001945A (zh
Inventor
赵敏
史育
刘静妍
朱凌建
黄秋红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010668948.XA priority Critical patent/CN112001945B/zh
Publication of CN112001945A publication Critical patent/CN112001945A/zh
Application granted granted Critical
Publication of CN112001945B publication Critical patent/CN112001945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Manufacturing & Machinery (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种适用于生产线作业的多机器人监控方法，多机器人监控系统包括生产线上多个机器人、辅助定位的靶标、无线收发装置、二维转台、CCD摄像机、计算机，监控方法包括如下步骤：系统进入选检模式，根据实际需求在计算机上选择要监控的机器人目标；点亮相应机器人安装靶标的LED；二维转台搭载CCD摄像机快速旋转搜寻靶标；二维转台搭载CCD摄像机跟踪靶标并采集靶标图像；由靶标图像计算靶标坐标，绘制靶标运动曲线，获得机器人的位置和状态。本发明的方法不仅实现多个机器人的高精度监控，而且结构简单、易于实现。

Description

一种适用于生产线作业的多机器人监控方法
技术领域
本发明属于测试计量方法技术领域，涉及一种适用于生产线作业的多机器人监控方法。
背景技术
随着人工智能和科技的飞速发展，现代生产技术不断提升。目前大部分企业引入机器人来提高工作效率和降低生产成本。
在自动化流水线上，每个工作点完成固定的工序，动作重复性高。单独的机器人无法完成大批量产品加工的需求，因此采用多机器人系统分区工作。
机器人动作一般通过设置好的离线编程完成，由于各加工环节环环相扣，若某个机器人出现故障，则会影响到整个生产线。因此，对机器人定位，监控其是否正常工作就变得尤为重要。
中国发明专利《室内机器人定位方法和系统》，公开号为CN108181610A、公开日为2018.06.19，公开了一种室内机器人定位方法和系统，该方法采用激光矩阵发射器接收机器人发送的激光信号，获取激光束在天花板形成的光斑图像实现对机器人定位，定位精度较高，但成本也高，不便大量推广使用。中国发明专利《基于多点RFID结合超声波的室内机器人定位方法》，公开号为CN106249198A、公告日为2016.12.21，公开了一种基于RFID和超声波结合的室内机器人定位方法，得到机器人的横、纵坐标，结构复杂，定位范围小且精度较差。
由此可见，如何突破以往监控机器人的局限性，同时结构简单、实现多个机器人的高精度监控是迫切要解决的问题。
发明内容
本发明的目的是提供一种适用于生产线作业的多机器人监控方法，使用的多机器人监控系统结构简单成本低，且能实现多个目标的高精度监控。
本发明所采用的技术方案是，一种适用于生产线作业的多机器人监控方法，具体按照如下步骤实施：
步骤1，利用靶标、计算机、无线收发装置、二维转台、CCD摄像机构建一个多机器人监控系统；
步骤2，先启动步骤1中构建的多机器人监控系统，随后进入选检运行模式，即就是：根据实际需求在计算机上选择要监控的机器人目标，同时计算机将点亮靶标的信号经无线收发装置传输给目标机器人的靶标；
步骤3，待步骤2完成后，目标机器人的靶标点亮自身LED，并将状态反馈给计算机；
步骤4，待步骤3完成后，二维转台搭载CCD摄像机快速旋转，通过CCD摄像机输入的视频流快速搜寻靶标；
步骤5，待步骤4完成后，二维转台搭载CCD摄像机跟踪靶标，靶标图像保持在CCD摄像机的摄像头中心位置；
步骤6，待步骤5完成后，由CCD摄像机采集靶标图像确定定位光点中心图像坐标，由定位光点中心坐标、靶标上已知点坐标和此时二维转台旋转角度即能计算出此时靶标的坐标，根据坐标值绘制出靶标的运动曲线；
步骤7，待步骤6完成后，由计算机发送结束指令经无线收发装置传输至靶标，靶标的所有定位光点熄灭，转台停止旋转，表示此次监控结束；
在监控过程中，步骤3至步骤6由计算机自动完成，只要在计算机上输入指定的靶标编号即能进行此靶标的跟踪与监控；一个靶标监控完后，在计算机上输入下一个靶标编号，重复步骤3至步骤6，以此类推，即可完成多个靶标的监控。
本发明的特征还在于，
步骤1的多机器人监控系统包括在流水生产线的两侧且以一定距离排布的多个机器人，机器人上需要监控部位安装有靶标，还包括二维转台，二维转台上安装有CCD摄像机，CCD摄像机通过CCD传感器数据线连接有计算机，计算机还通过信号线连接有无线收发装置，单个靶标的所有光点在CCD摄像机成像视场内。
靶标尺寸为40*40mm。
步骤4具体按照如下步骤实施：
步骤4.1，二维转台搭载CCD摄像机快速旋转，运动模式为：在搜寻目标的过程中，二维转台先在水平方向间隔15°由初始0°依次旋转到15°、30°…360°，然后在俯仰方向间隔15°由初始0°旋转15°，再在水平方向由初始0°依次旋转到15°、30°…360°，……以此类推，直到搜寻到靶标，则停止运动，CCD摄像机实时获取一幅视频图像，根据靶标图像特征，即靶标图像中靶标的亮度，设定灰度值阈值为220，若光点灰度值大于此阈值，则认为该光点为高亮点，则进入步骤4.2；若没有，则证明无靶标存在，重新获取下一幅视频图像；
步骤4.2，将具有高亮光点的靶标图像进行滤波、形态学操作、阈值分割等预处理；
步骤4.3，提取经步骤4.2预处理的靶标图像中所有光点的轮廓，并且计算轮廓面积，根据面积参数去除背景干扰光源；
步骤4.4，计算经步骤4.3去除背景干扰光源靶标图像上所有的光点中心坐标，依据靶标上所有光点构成正方形，判断图像中是否存在四个光点为靶标目标；判断方法为：存在四个光点，其中心坐标分别为(U1，V1)、(U2，V2)、(U3，V3)、(U4，V4)，则这四个点构成的正方向中心坐标(Uc，Vc)为
Figure BDA0002581585860000041
L1、L2、L3、L4分别为四个光点到中心点(Uc，Vc)的距离为：
Figure BDA0002581585860000042
判断L1、L2、L3、L4的距离，如果每个距离和这4个距离的均值之差的绝对值都不大于均值的1/4，认为四点构成正方形，即确认找到靶标目标。
步骤4.3中计算轮廓面积时：利用轮廓面积参数设定2个阈值，一个上限阈值A，一个下限阈值B，当轮廓面积S介于A到B之间，即A＜S＜B时，保留此轮廓，认为是靶标目标，当连通域面积S大于A或者小于B，即S＞A∩S＜B时，去除此轮廓，认为是图像背景。
步骤5具体为：
步骤5.1，将经步骤4确认含有靶标目标的图像选定为初始帧，采用KCF跟踪算法对目标进行跟踪；
步骤5.2，在步骤5.1过程中，目标运动导致目标位置偏离图像中心，计算目标在图像中的位置与图像中心的距离，即就是像素差(U-Uo，V-Vo)，其中(Uo，Vo)为图像中心坐标，(U，V)为目标中心坐标，将像素差发送给二维转台(6)的驱动控制系统；
步骤5.3，根据输入值像素差，二维转台驱动控制系统计算出输出值两轴旋转角度，即：
Figure BDA0002581585860000051
其中，ω和
Figure BDA0002581585860000052
为输出值，f(·)与所用二维转台有关，为转台转角与像素差之间的关系模型；
步骤5.4，二维转台(6)根据输出值在水平和俯仰方向旋转相应角度ω和
Figure BDA0002581585860000053
使目标回到图像中心位置。
步骤5.1中采用KCF跟踪算法对目标进行跟踪具体为：
步骤5.1.1，将目标区域，即靶标所在区域x循环偏移n次得到n个循环偏移向量xn，将这些n个循环偏移向量xn组合就形成循环矩阵X＝C(x)，即X为构建的靶标目标的训练样本集；
x＝[x1，x2，x3...xn]T  (4)；
Figure BDA0002581585860000054
步骤5.1.2，将岭回归模型f(x)＝ωTx作为分类器模型，ω为分类器参数，寻找最优分类器f(xi)＝ωTxi，使得样本的回归预测值f(xi)与样本的真实回归值yi的均方误差函数最小，即
minω∑i(|f(xi)-yi|)2+λ||ω||2  (6)；
步骤5.1.3，取上一帧目标区域为候选样本区域，将此样本循环偏移、映射，依据当前帧的结果构建训练样本集训练出的分类器计算每个候选样本的响应值，选择响应最大的样本位置作为目标所在的区域；
步骤5.1.4，对模板和分类器参数进行更新。
步骤6中靶标坐标的计算方法具体为：
以CCD摄像机透视中心O作为原点，光轴方向为Z轴，平行于CCD像素的横纵方向分别作为X轴和Y轴，建立摄像机三维坐标系OXYZ；以靶标左下角O′为原点，建立测头空间坐标系O′X′Y′Z′；以二维转台两转轴交点Or为原点，建立转台坐标系OrXrYrZr；
对于成像靶标，由物像关系可求得靶标相对于摄像机坐标系的变换关系Px，加上初始摄像机相对于转台坐标系的变换关系Ps、转台当前位置相对于转台初始坐标系的变换关系Pr，最终由(7)式求得靶标相对于初始摄像机坐标系的变换关系Pt；
Pt＝Pr -1·Ps·Px  (7)；
其中，
Figure BDA0002581585860000061
将初始摄像机坐标系设为世界坐标系，矩阵Rt、Tt分别为靶标与世界坐标系之间的旋转、平移矩阵；Rr为二维转台的旋转矩阵，其值由某一时刻两转轴Xr和Yr转过的角度ω和
Figure BDA0002581585860000064
唯一确定，如式(8)；Rs、Ts为世界坐标系与转台坐标系之间的旋转、平移矩阵，由参数标定得到；矩阵R、T分别为靶标坐标系与某一时刻摄像机坐标系之间的旋转、平移矩阵；
代入以上条件，(7)式转化为(9)式，再经过化简可得到(10)式，最终由式(11)解出Tt矩阵，即靶标在世界坐标系下的当前坐标；
Figure BDA0002581585860000062
Figure BDA0002581585860000063
Figure BDA0002581585860000071
Tt＝Rr -1·Rs·T+Rr-1·Ts  (11)。
矩阵Px的具体求解过程为：
若CCD摄像机的内参数：焦距、图像中心已知，对于靶标特征点坐标(xi′，yi′，zi′)与对应的像点坐标(Ui，Vi)，由式(10)能求解得到其中的旋转、平移矩阵R、T；
在平面条件下，设定空间点z′坐标为0，则式(10)能转化为式(11)，变量代换得到未知量ai的线性方程(12)，则有三对物像对应点，即能解出未知量ai的最小二乘解；再由正交约束，解出T矩阵见式(13)，即靶标在某一时刻CCD摄像机坐标系中的位置能唯一确定；
其中涉及的具体算法分别如下：
Figure BDA0002581585860000072
Figure BDA0002581585860000073
Figure BDA0002581585860000074
Figure BDA0002581585860000081
在式(10)～式(13)中：(xi′，yi′，zi′)为定位光点在靶标坐标系中的坐标，(Ui，Vi)为对应像点坐标，R、T分别为靶标坐标系和某一时刻摄像机坐标系之间的旋转、平移矩阵，f为已知的成像焦距，ρ为设定的系数；(Tx，Ty，Tz)为平移矩阵的展开形式，当定位光点共面，(r1，r4，r7，r2，r5，r8)为旋转矩阵的展开形式，ai为变量代换的中间量，i＝1.2.3...8。
本发明的有益效果是
(1)本发明使用的靶标，采用红外LED作为靶点，成像质量高，可实现高精度远距离监控。
(2)在本发明CCD摄像机采用小视场成像以提高视觉分辨率，只需对视场范围内靶标成像，就能实现精确定位。
(3)本发明在多个机器人上安装靶标，通过在一定范围内搜寻并跟踪靶标，可实现大范围多个机器人的监控。
(4)本发明的多机器人监控系统内部采用无线收发，系统和移动的靶标有效通讯，此种方式兼顾结构简单与功能完整性。
(5)本发明多机器人监控系统，靶标通讯采用无线收发，利用无线模块在无线网络中地址的唯一性，实现对任意机器人的分时监控。
附图说明
图1是本发明一种适用于生产线作业的多机器人监控方法中靶标的结构示意图；
图2是本发明一种适用于生产线作业的多机器人监控方法中多机器人监控系统的结构示意图；
图3是本发明一种适用于生产线作业的多机器人监控方法中成像模型示意图。
图中，1.壳体，2.定位光点，3.驱动电路，4.被测机械臂，5.CCD摄像机，6.二维转台，7.CCD传感器数据线，8.计算机，9.无线收发装置，10.摄像机像平面，11.无线收发装置。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的一种适用于生产线作业的多机器人监控方法，具体按照如下步骤实施：
步骤1，利用靶标、计算机8、无线收发装置9、二维转台6、CCD摄像机5构建一个多机器人监控系统；本发明采用的靶标，靶标尺寸为40*40mm，其结构如图1所示，包括有正方体状的壳体1，壳体1内设置有驱动电路3，壳体外侧壁上的工作面上设4个大小相同的定位光点2，且定位光点2均为红外LED，4个定位光点2排列为正方形；
如图2所示，多机器人监控系统包括在流水生产线的两侧且以一定距离排布的多个机器人，机器人上需要监控部位安装有靶标，即就是被测机械臂4上安装有靶标，还包括二维转台6，二维转台6上安装有CCD摄像机5，CCD摄像机5通过CCD传感器数据线7连接有计算机8，计算机8还通过信号线连接有无线收发装置9，单个靶标的所有光点在CCD摄像机5成像视场内；
步骤2，先启动步骤1中构建的多机器人监控系统，随后进入选检运行模式，即就是：根据实际需求在计算机8上选择要监控的机器人目标，同时计算机8将点亮靶标的信号经无线收发装置9传输给目标机器人的靶标；
步骤3，待步骤2完成后，目标机器人的靶标点亮自身LED，并将状态反馈给计算机8；
步骤4，待步骤3完成后，二维转台6搭载CCD摄像机5快速旋转，通过CCD摄像机5输入的视频流快速搜寻靶标；具体按照如下步骤实施：
步骤4.1，二维转台6搭载CCD摄像机5快速旋转，运动模式为：在搜寻目标的过程中，二维转台(6)先在水平方向间隔15°由初始0°依次旋转到15°、30°…360°，然后在俯仰方向间隔15°由初始0°旋转15°，再在水平方向由初始0°依次旋转到15°、30°…360°，……以此类推，直到搜寻到靶标，则停止运动，CCD摄像机(5)实时获取一幅视频图像，根据靶标图像特征，即靶标图像中靶标的亮度，设定灰度值阈值为220，若光点灰度值大于此阈值，则认为该光点为高亮点，则进入步骤4.2；若没有，则证明无靶标存在，重新获取下一幅视频图像；
步骤4.2，将具有高亮光点的靶标图像进行滤波、形态学操作、阈值分割等预处理；
步骤4.3，提取经步骤4.2预处理的靶标图像中所有光点的轮廓，并且计算轮廓面积，根据面积参数去除背景干扰光源；
步骤4.4，计算经步骤4.3去除背景干扰光源靶标图像上所有的光点中心坐标，依据靶标上所有光点构成正方形，判断图像中是否存在四个光点为靶标目标；判断方法为：存在四个光点，其中心坐标分别为(U1，V1)、(U2，V2)、(U3，V3)、(U4，V4)，则这四个点构成的正方向中心坐标(Uc，Vc)为
Figure BDA0002581585860000111
L1、L2、L3、L4分别为四个光点到中心点(Uc，Vc)的距离为：
Figure BDA0002581585860000112
判断L1、L2、L3、L4的距离，如果每个距离和这4个距离的均值之差的绝对值都不大于均值的1/4，认为四点构成正方形，即确认找到靶标目标。
步骤4.3中计算轮廓面积时：利用轮廓面积参数设定2个阈值，一个上限阈值A，一个下限阈值B，当轮廓面积S介于A到B之间，即A＜S＜B时，保留此轮廓，认为是靶标目标，当连通域面积S大于A或者小于B，即S＞A∩S＜B时，去除此轮廓，认为是图像背景；
步骤5，待步骤4完成后，二维转台6搭载CCD摄像机5跟踪靶标，靶标图像保持在CCD摄像机5的摄像头中心位置；具体为：
步骤5.1，将经步骤4确认含有靶标目标的图像选定为初始帧，采用KCF跟踪算法对目标进行跟踪；
步骤5.2，在步骤5.1过程中，目标运动导致目标位置偏离图像中心，计算目标在图像中的位置与图像中心的距离，即就是像素差(U-Uo，V-Vo)，其中(Uo，Vo)为图像中心坐标，(U，V)为目标中心坐标，将像素差发送给二维转台(6)的驱动控制系统；
步骤5.3，根据输入值像素差，二维转台驱动控制系统计算出输出值两轴旋转角度，即：
Figure BDA0002581585860000121
其中，ω和
Figure BDA0002581585860000122
为输出值，f(·)与所用二维转台有关，为转台转角与像素差之间的关系模型；
步骤5.4，二维转台(6)根据输出值在水平和俯仰方向旋转相应角度ω和
Figure BDA0002581585860000123
使目标回到图像中心位置。
步骤5.1中采用KCF跟踪算法对目标进行跟踪具体为：
步骤5.1.1，将目标区域，即靶标所在区域x循环偏移n次得到n个循环偏移向量xn，将这些n个循环偏移向量xn组合就形成循环矩阵X＝C(x)，即X为构建的靶标目标的训练样本集；
x＝[x1，x2，x3...xn]T  (4)；
Figure BDA0002581585860000124
步骤5.1.2，将岭回归模型f(x)＝ωTx作为分类器模型，ω为分类器参数，寻找最优分类器f(xi)＝ωTxi，使得样本的回归预测值f(xi)与样本的真实回归值yi的均方误差函数最小，即
minω∑i(|f(xi)-yi|)2+λ||ω||2  (6)；
步骤5.1.3，取上一帧目标区域为候选样本区域，将此样本循环偏移、映射，依据当前帧的结果构建训练样本集训练出的分类器计算每个候选样本的响应值，选择响应最大的样本位置作为目标所在的区域；
步骤5.1.4，对模板和分类器参数进行更新。
步骤6，待步骤5完成后，由CCD摄像机5采集靶标图像确定定位光点中心图像坐标，由定位光点中心坐标、靶标上已知点坐标和此时二维转台6旋转角度即能计算出此时靶标的坐标，根据坐标值绘制出靶标的运动曲线；
其中，靶标坐标的计算方法具体为：
摄像机平面10如图3所示，CCD摄像机5透视中心O作为原点，光轴方向为Z轴，平行于CCD像素的横纵方向分别作为X轴和Y轴，建立摄像机三维坐标系OXYZ；以靶标左下角O′为原点，建立测头空间坐标系O′X′Y′Z′；以二维转台6两转轴交点Or为原点，建立转台坐标系OrXrYrZr；
对于成像靶标，由物像关系可求得靶标相对于摄像机坐标系的变换关系Px，加上初始摄像机相对于转台坐标系的变换关系Ps、转台当前位置相对于转台初始坐标系的变换关系Pr，最终由(7)式求得靶标相对于初始摄像机坐标系的变换关系Pt；
Pt＝Pr -1·Ps·Px  (7)；
其中，
Figure BDA0002581585860000131
将初始摄像机坐标系设为世界坐标系，矩阵Rt、Tt分别为靶标与世界坐标系之间的旋转、平移矩阵；Rr为二维转台的旋转矩阵，其值由某一时刻两转轴Xr和Yr转过的角度ω和
Figure BDA0002581585860000132
唯一确定，如式(8)；Rs、Ts为世界坐标系与转台坐标系之间的旋转、平移矩阵，由参数标定得到；矩阵R、T分别为靶标坐标系与某一时刻摄像机坐标系之间的旋转、平移矩阵；
代入以上条件，(7)式转化为(9)式，再经过化简可得到(10)式，最终由式(11)解出Tt矩阵，即靶标在世界坐标系下的当前坐标；
Figure BDA0002581585860000141
Figure BDA0002581585860000142
Figure BDA0002581585860000143
Tt＝Rr -1·Rs·T+Rr -1·Ts  (11)。
矩阵Px的具体求解过程为：
若CCD摄像机5的内参数：焦距、图像中心已知，对于靶标特征点坐标(xi′，yi′，zi′)与对应的像点坐标(Ui，Vi)，由式(10)能求解得到其中的旋转、平移矩阵R、T；
在平面条件下，设定空间点z′坐标为0，则式(10)能转化为式(11)，变量代换得到未知量ai的线性方程(12)，则有三对物像对应点，即能解出未知量ai的最小二乘解；再由正交约束，解出T矩阵见式(13)，即靶标在某一时刻CCD摄像机坐标系中的位置能唯一确定；
其中涉及的具体算法分别如下：
Figure BDA0002581585860000144
Figure BDA0002581585860000145
Figure BDA0002581585860000146
Figure BDA0002581585860000151
在式(10)～式(13)中：(xi′，yi′，zi′)为定位光点在靶标坐标系中的坐标，(Ui，Vi)为对应像点坐标，R、T分别为靶标坐标系和某一时刻摄像机坐标系之间的旋转、平移矩阵，f为已知的成像焦距，ρ为设定的系数；(Tx，Ty，Tz)为平移矩阵的展开形式，当定位光点共面，(r1，r4，r7，r2，r5，r8)为旋转矩阵的展开形式，ai为变量代换的中间量，i＝1.2.3...8。
步骤7，待步骤6完成后，由计算机8发送结束指令经无线收发装置9传输至靶标，靶标的所有定位光点熄灭，转台停止旋转，表示此次监控结束；
在监控过程中，步骤3至步骤6由计算机8自动完成，只要在计算机8上输入指定的靶标编号即能进行此靶标的跟踪与监控；一个靶标监控完后，在计算机8上输入下一个靶标编号，重复步骤3至步骤6，以此类推，即可完成多个靶标的监控。
本发明，一种适用于生产线作业的多机器人监控方法，能够突破以往监控机器人的精度差、成本高等局限性，同时结构简单、可实现多个目标的高精度监控。

Claims (2)

1.一种适用于生产线作业的多机器人监控方法，其特征在于，具体按照如下步骤实施：
步骤1，利用靶标、计算机(8)、无线收发装置(9)、二维转台(6)、CCD摄像机(5)构建一个多机器人监控系统；所述多机器人监控系统包括在流水生产线的两侧且以一定距离排布的多个机器人，所述机器人上需要监控部位安装有靶标，还包括二维转台(6)，所述二维转台(6)上安装有CCD摄像机(5)，所述CCD摄像机(5)通过CCD传感器数据线(7)连接有计算机(8)，所述计算机(8)还通过信号线连接有无线收发装置(9)，单个所述靶标的所有光点在所述CCD摄像机(5)成像视场内；
步骤2，先启动步骤1中构建的多机器人监控系统，随后进入选检运行模式，即就是：根据实际需求在计算机(8)上选择要监控的机器人目标，同时计算机(8)将点亮靶标的信号经无线收发装置(9)传输给目标机器人的靶标；
步骤3，待步骤2完成后，目标机器人的靶标点亮自身LED，并将状态反馈给计算机(8)；
步骤4，待步骤3完成后，二维转台(6)搭载CCD摄像机(5)快速旋转，通过CCD摄像机(5)输入的视频流快速搜寻靶标，具体按照如下步骤实施：
步骤4.1，二维转台(6)搭载CCD摄像机(5)快速旋转，运动模式为：在搜寻目标的过程中，二维转台(6)先在水平方向间隔15°由初始0°依次旋转到15°、30°…360°，然后在俯仰方向间隔15°由初始0°旋转15°，再在水平方向由初始0°依次旋转到15°、30°…360°，……以此类推，直到搜寻到靶标，则停止运动，CCD摄像机(5)实时获取一幅视频图像，根据靶标图像特征，即靶标图像中靶标的亮度，设定灰度值阈值为220，若光点灰度值大于此阈值，则认为该光点为高亮点，则进入步骤4.2；若没有，则证明无靶标存在，重新获取下一幅视频图像；
步骤4.2，将具有高亮光点的靶标图像进行滤波、形态学操作、阈值分割预处理；
步骤4.3，提取经步骤4.2预处理的靶标图像中所有光点的轮廓，并且计算轮廓面积，根据面积参数去除背景干扰光源；
计算所述轮廓面积时：利用轮廓面积参数设定2个阈值，一个上限阈值A，一个下限阈值B，当轮廓面积S介于A到B之间，即A<S<B时，保留此轮廓，认为是靶标目标，当连通域面积S大于A或者小于B，即S>A∩S<B时，去除此轮廓，认为是图像背景；
步骤4.4，计算经步骤4.3去除背景干扰光源靶标图像上所有的光点中心坐标，依据靶标上所有光点构成正方形，判断图像中是否存在四个光点为靶标目标；判断方法为：存在四个光点，其中心坐标分别为(U1,V1)、(U2,V2)、(U3,V3)、(U4,V4)，则这四个点构成的正方向中心坐标(Uc,Vc)为
Figure FDA0004076339170000021
L1、L2、L3、L4分别为四个光点到中心点(Uc,Vc)的距离为：
Figure FDA0004076339170000022
判断L1、L2、L3、L4的距离，如果每个距离和这4个距离的均值之差的绝对值都不大于均值的1/4，认为四点构成正方形，即确认找到靶标目标；
步骤5，待步骤4完成后，二维转台(6)搭载CCD摄像机(5)跟踪靶标，靶标图像保持在CCD摄像机(5)的摄像头中心位置，具体为：
步骤5.1，将经步骤4确认含有靶标目标的图像选定为初始帧，采用KCF跟踪算法对目标进行跟踪，所述采用KCF跟踪算法对目标进行跟踪具体为：
步骤5.1.1，将目标区域，即靶标所在区域x循环偏移n次得到n个循环偏移向量xn，将这些n个循环偏移向量xn组合就形成循环矩阵X＝C(x)，即X为构建的靶标目标的训练样本集；
x＝[x1,x2,x3…xn]T    (4)；
Figure FDA0004076339170000031
步骤5.1.2，将岭回归模型f(x)＝ωTx作为分类器模型，ω为分类器参数，寻找最优分类器f(xi)＝ωTxi，使得样本的回归预测值f(xi)与样本的真实回归值yi的均方误差函数最小，即
minω∑i(|f(xi)-yi|)2+λ‖ω‖2    (6)；
步骤5.1.3，取上一帧目标区域为候选样本区域，将此样本循环偏移、映射，依据当前帧的结果构建训练样本集训练出的分类器计算每个候选样本的响应值，选择响应最大的样本位置作为目标所在的区域；
步骤5.1.4，对分类器模型和分类器参数进行更新；
步骤5.2，在步骤5.1过程中，目标运动导致目标位置偏离图像中心，计算目标在图像中的位置与图像中心的距离，即就是像素差(U-Uo，V-Vo)，其中(Uo，Vo)为图像中心坐标，(U，V)为目标中心坐标，将像素差发送给二维转台(6)的驱动控制系统；
步骤5.3，根据输入值像素差，二维转台驱动控制系统计算出输出值两轴旋转角度，即：
Figure FDA0004076339170000041
其中，ω和
Figure FDA0004076339170000042
为输出值，f(·)与所用二维转台有关，为转台转角与像素差之间的关系模型；
步骤5.4，二维转台(6)根据输出值在水平和俯仰方向旋转相应角度ω和
Figure FDA0004076339170000043
使目标回到图像中心位置；
步骤6，待步骤5完成后，由CCD摄像机(5)采集靶标图像确定定位光点中心图像坐标，由定位光点中心坐标、靶标上已知点坐标和此时二维转台(6)旋转角度即能计算出此时靶标的坐标，根据坐标值绘制出靶标的运动曲线；
所述靶标坐标的计算方法具体为：
以CCD摄像机(5)透视中心O作为原点，光轴方向为Z轴，平行于CCD像素的横纵方向分别作为X轴和Y轴，建立摄像机三维坐标系OXYZ；以靶标左下角O′为原点，建立测头空间坐标系O′X′Y′Z′；以二维转台(6)两转轴交点Or为原点，建立转台坐标系OrXrYrZr；
对于成像靶标，由物像关系求得靶标相对于摄像机坐标系的变换关系Px，加上初始摄像机相对于转台坐标系的变换关系Ps、转台当前位置相对于转台初始坐标系的变换关系Pr，最终由(7)式求得靶标相对于初始摄像机坐标系的变换关系Pt；
Pt＝Pr -1·Ps·Px(7)；
其中，
Figure FDA0004076339170000051
将初始摄像机坐标系设为世界坐标系，矩阵Rt、Tt分别为靶标与世界坐标系之间的旋转、平移矩阵；Rr为二维转台的旋转矩阵，其值由某一时刻两转轴Xr和Yr转过的角度ω和
Figure FDA0004076339170000052
唯一确定，如式(8)；Rs、Ts为世界坐标系与转台坐标系之间的旋转、平移矩阵，由参数标定得到；矩阵R、T分别为靶标坐标系与某一时刻摄像机坐标系之间的旋转、平移矩阵；
代入以上条件，(7)式转化为(9)式，再经过化简可得到(10)式，最终由式(11)解出Tt矩阵，即靶标在世界坐标系下的当前坐标；
Figure FDA0004076339170000053
Figure FDA0004076339170000054
Figure FDA0004076339170000055
Tt＝Rr -1·Rs·T+Rr -1·Ts(11)；
所述矩阵Px的具体求解过程为：
若CCD摄像机(5)的内参数：焦距、图像中心已知，对于靶标特征点坐标(xi′,yi′,zi′)与对应的像点坐标(Ui,Vi)，由式(10)能求解得到其中的旋转、平移矩阵R、T；
在平面条件下，设定空间点z′坐标为0，则式(10)能转化为式(11)，变量代换得到未知量ai的线性方程(12)，则有三对物像对应点，即能解出未知量ai的最小二乘解；再由正交约束，解出T矩阵见式(13)，即靶标在某一时刻CCD摄像机坐标系中的位置能唯一确定；
其中涉及的具体算法分别如下：
Figure FDA0004076339170000061
Figure FDA0004076339170000062
Figure FDA0004076339170000063
Figure FDA0004076339170000064
在式(10)～式(13)中：(xi′，yi′，zi′)为定位光点在靶标坐标系中的坐标，(Ui，Vi)为对应像点坐标，R、T分别为靶标坐标系和某一时刻摄像机坐标系之间的旋转、平移矩阵，f为已知的成像焦距，ρ为设定的系数；(Tx，Ty，Tz)为平移矩阵的展开形式，当定位光点共面，(r1，r4，r7，r2，r5，r8)为旋转矩阵的展开形式，ai为变量代换的中间量；
步骤7，待步骤6完成后，由计算机(8)发送结束指令经无线收发装置(9)传输至靶标，靶标的所有定位光点熄灭，转台停止旋转，表示此次监控结束；
在监控过程中，步骤3至步骤6由计算机(8)自动完成，只要在计算机(8)上输入指定的靶标编号即能进行此靶标的跟踪与监控；一个靶标监控完后，在计算机(8)上输入下一个靶标编号，重复步骤3至步骤6，以此类推，即可完成多个靶标的监控。
2.根据权利要求1所述的一种适用于生产线作业的多机器人监控方法，其特征在于，所述靶标尺寸为40*40mm。
CN202010668948.XA 2020-07-13 2020-07-13 一种适用于生产线作业的多机器人监控方法 Active CN112001945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010668948.XA CN112001945B (zh) 2020-07-13 2020-07-13 一种适用于生产线作业的多机器人监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010668948.XA CN112001945B (zh) 2020-07-13 2020-07-13 一种适用于生产线作业的多机器人监控方法

Publications (2)

Publication Number Publication Date
CN112001945A CN112001945A (zh) 2020-11-27
CN112001945B true CN112001945B (zh) 2023-04-07

Family

ID=73466851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010668948.XA Active CN112001945B (zh) 2020-07-13 2020-07-13 一种适用于生产线作业的多机器人监控方法

Country Status (1)

Country Link
CN (1) CN112001945B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113073850B (zh) * 2021-03-16 2022-05-31 中联重科股份有限公司 用于控制臂架速度的方法、装置、控制器及泵送机械
CN113379796B (zh) * 2021-05-25 2022-07-15 成都飞机工业（集团）有限责任公司 一种大范围多相机跟踪控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106247944A (zh) * 2016-09-26 2016-12-21 西安理工大学 编码靶标及基于编码靶标的视觉坐标测量方法
US9536322B1 (en) * 2007-05-15 2017-01-03 Peter Harmon Smith Implementation of multi-camera tracking applications using rich color transition curve target sequences
CN109129492A (zh) * 2018-11-07 2019-01-04 宁波赛朗科技有限公司 一种动态捕捉的工业机器人平台
WO2019080229A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536322B1 (en) * 2007-05-15 2017-01-03 Peter Harmon Smith Implementation of multi-camera tracking applications using rich color transition curve target sequences
CN106247944A (zh) * 2016-09-26 2016-12-21 西安理工大学 编码靶标及基于编码靶标的视觉坐标测量方法
WO2019080229A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN109129492A (zh) * 2018-11-07 2019-01-04 宁波赛朗科技有限公司 一种动态捕捉的工业机器人平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Design and implementation of an automatic peach-harvesting robot system";Yongjia Yu等;《2018 Tenth International Conference on Advanced Computational Intelligence (ICACI)》;20180611;第700-705页 *
"基于OPC的多机器人生产线监控系统";姜昌金等;《第12届全国电气自动化与电控系统学术年会论文集》;20041001;第364-366页 *

Also Published As

Publication number Publication date
CN112001945A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN112122840B (zh) 一种基于机器人焊接的视觉定位焊接系统及焊接方法
US11185985B2 (en) Inspecting components using mobile robotic inspection systems
CN103895023B (zh) 一种基于编码方位装置的机械臂末端跟踪测量系统的跟踪测量方法
CN110421562A (zh) 基于四目立体视觉的机械臂标定系统和标定方法
CN110654571B (zh) 一种飞机蒙皮表面缺陷无损检测机器人系统及方法
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
CN112001945B (zh) 一种适用于生产线作业的多机器人监控方法
CN110434516A (zh) 一种智能焊接机器人系统及焊接方法
CN112325796A (zh) 基于辅助定位多视角点云拼接的大型工件型面测量方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN110605714A (zh) 一种基于人眼凝视点的手眼协调抓取方法
CN110906863B (zh) 一种用于线结构光传感器的手眼标定系统及标定方法
CN111823223B (zh) 一种基于智能立体视觉的机器人手臂抓取控制系统及方法
US20140081459A1 (en) Depth mapping vision system with 2d optical pattern for robotic applications
CN116879308A (zh) 一种工业机器视觉系统图像处理方法
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN112648934B (zh) 一种自动化弯管几何形态检测方法
Michalos et al. Robot path correction using stereo vision system
CN110044259A (zh) 一种合拢管柔性测量系统及测量方法
CN101852607A (zh) 旋转式激光视觉线阵空间识别定位系统
CN109118529B (zh) 一种基于视觉的螺孔图像快速定位方法
CN113858217B (zh) 多机器人交互的三维视觉位姿感知方法及系统
CN114638909A (zh) 基于激光slam和视觉融合的变电站语义地图构建方法
CN109459980A (zh) 一种光学镜面加工共融机器人控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant