CN106733686B - 一种基于视觉和码盘数据融合的流水线物体定位方法 - Google Patents

一种基于视觉和码盘数据融合的流水线物体定位方法 Download PDF

Info

Publication number
CN106733686B
CN106733686B CN201611198219.2A CN201611198219A CN106733686B CN 106733686 B CN106733686 B CN 106733686B CN 201611198219 A CN201611198219 A CN 201611198219A CN 106733686 B CN106733686 B CN 106733686B
Authority
CN
China
Prior art keywords
moment
image
code
time
conveyer belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611198219.2A
Other languages
English (en)
Other versions
CN106733686A (zh
Inventor
陈晓鹏
张陶然
陈旭
樊迪
孟非
刘贵林
刘树明
黄强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201611198219.2A priority Critical patent/CN106733686B/zh
Publication of CN106733686A publication Critical patent/CN106733686A/zh
Application granted granted Critical
Publication of CN106733686B publication Critical patent/CN106733686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques

Abstract

本发明公开了一种基于视觉和码盘数据融合定位的流水线物体定位方法，包括如下步骤：针对预定空间内的流水线上物体，在横跨于流水线传送带的支架上横向布置三个摄像机，摄像机根据外部触发信号采集图像，三幅图像作为一组三目图像，利用外部触发信号的触发时刻为时间戳；将左、右辅助摄像机采集的图像投影到主摄像机图像，然后依据投影后的图像，计算物体在图像坐标系中各边角点位置坐标并转换到世界坐标系，将码盘固定设置于传送带的轴上，读取当前时刻码盘数据获取传送带位移值，利用传送带位移值计算由时间戳时刻至当前时刻各边角点的移动向量，将时间戳时刻各边角点的世界坐标与对应移动向量相加，获得各边角点在任意时刻的世界坐标。

Description

一种基于视觉和码盘数据融合的流水线物体定位方法
技术领域
本发明属于机械手操作技术领域，具体涉及一种基于视觉和码盘数据融合定位的流水线物体定位方法。
背景技术
目前，流水线作业在工业生产中扮演着越来越重要的角色，优化流水线直接关系着产品的质量和效率。在人工分拣不能满足大机械化生产的背景下，为提高生产技术和效率，迫切需要一种自动分拣技术替代传统的人力操作。其中自动分拣技术的核心问题就是物体定位。
在流水线上使用机械手对零件等进行抓取和装配时，常用视觉识别软件对零件进行识别，同时判断其方位和位姿。考虑到流水线设备运动误差以及视觉系统的范围限定，我们提出一种新的基于视觉和码盘数据融合的流水线物体定位的装置和方法。
专利CN201210111296.5中提出了利用预定空间布置多个摄像机对预定空间中的物体进行定位的方法，但此种方法需通过复杂的算法确定最优摄像机，并且只针对预定空间范围内的物体。专利201420703458.9中采用了一种基于光电传感器的物体定位和抓取平台，该平台只能完成定量高度物品的抓取，不具备普适性，实际工厂操作价格昂贵。并且以上两种方法在利用机械臂实现物体抓取时容易出现机械臂遮挡从而造成盲点的缺陷，可靠性不高。
发明内容
有鉴于此，本发明提供了一种基于视觉和码盘数据融合定位的流水线物体定位方法，其中被分拣的物体在流水线上往复运动，采用多目摄像机获取物体的图像信息，采用增量式码盘采集物体的位移信息，并通过融合算法计算物体具体的位置，从而实现了流水线上物体的实时定位。
为了达到上述目的，本发明的技术方案为：一种基于视觉和码盘数据融合定位的流水线物体定位方法，包括如下步骤：
步骤1、针对预定空间内的流水线上物体，在横跨于流水线传送带的支架上横向布置三个摄像机，分别为在中间的主摄像机以及分布在左右两侧的左、右辅助摄像机，三个摄像机根据外部触发信号采集图像，三幅图像作为一组三目图像，利用外部触发信号的触发时刻为三目图像加上时间戳。
外部触发信号为外部输入，当物体放置到流水线上时输入该外部触发信号，时间戳为物体放置到流水线上的时间。
步骤2、将左、右辅助摄像机采集的图像投影到主摄像机图像，然后依据投影后的图像，计算物体在图像坐标系中各边角点位置坐标。
步骤3、通过反投影法将各边角点坐标从图像坐标系转换到世界坐标系，此时计算的各边角点的世界坐标对应时间戳时刻。
步骤4、将码盘固定设置于传送带的轴上，读取当前时刻码盘数据获取传送带位移值，利用传送带位移值计算由时间戳时刻至当前时刻各边角点的移动向量，将时间戳时刻各边角点的世界坐标与对应移动向量相加，获得各边角点在任意时刻的世界坐标。
进一步地，针对物体对应时间戳时刻tv时刻，步骤三中得到的物体的其中一个角点世界坐标为其中x、y和z为该角点的世界坐标系的齐次坐标值。
由时间戳时刻tv开始，按照设定的时间周期读取码盘数据，其中时间戳时刻tv的码盘数据为即为tv时刻的传送带位移值。
针对任一时刻t，传送带位移值为码盘数据St，即为任一时刻t的传送带位移，找到t在码盘数据的读取时间周期中所处位置，即t在码盘数据读取时间tk和tk+1之间，此时t时刻的传送带位移值为St：
则由时间戳时刻tv至当前时刻t当前角点的移动向量为
则当前角点在任意时刻在空间的三维坐标为
有益效果：
本发明中采用多目摄像机获取分拣物体的图像数据，采用多目摄像机获取物体的图像信息，采用增量式码盘采集物体的位移信息，并通过融合算法计算物体具体的位置，从而实现了流水线上物体的实时定位，由于融合了图像和位移两种数据，因此该方法能够适应流水线传送带速度的变化，在速度变化的情况下依然具有较高的计算精度，而且因为采集了物体的图像信息，能够更加直观体现物体位姿，通过三目摄像机拍摄物体的图像，能够对物体进行全方位的展示，将左右摄像机拍摄的图像投影到中间摄像机中，能够融合三目摄像机拍摄的位置，获取物体各个角点的图像坐标，因此即便是任意姿态平躺物体均能够实现定位，且能够适应物体大小的变化和一定程度的偏心。
附图说明
图1为流水线物体定位装置系统示意图；
图2为流水线物体定位方法流程图；
图3为视觉系统绝对位姿计算示意图；
图4为码盘数据计算示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
实施例1、本实施例提供了一种基于视觉和码盘数据融合的流水线物体定位方法，采用多目摄像机和增量式码盘，扩展了控制系统的可操作空间，可处理传送带速度变化的流水线上的物体；使用时可以获取物体在流水线传送带上的具体位姿，增强了系统的可操作性。
的定位装置如图1所示，包括流水线运动部件、视觉感知部件、增量式码盘部件，其中视觉感知部件采用三目摄像机，摄像机1、3为辅助摄像机，摄像机2为主摄像机。图2是本发明实施例的物体的定位方法流程示意图。如图2所示，该定位方法包括：
步骤一：安装于流水线上方的摄像机内在外部触发信号到达时拍摄到物体在传送带上的图像，并给图像打上时间戳。外部触发信号为外部输入，当物体放置到流水线上时输入该外部触发信号，时间戳为物体放置到流水线上的时间。
步骤二、将左、右辅助摄像机采集的图像投影到主摄像机图像平面得到融合图像，计算融合图像中物体在图像坐标系中四个边角点位置坐标，即图像坐标；本实施例中通过图像处理获取到物体的角点在图像坐标系下的位置坐标m＝[u v 1]T。
步骤三：通过反投影法将各边角点坐标从图像坐标系转换到世界坐标系，此时计算的各边角点的世界坐标对应时间戳时刻。如图3所示，通过反投影法将图像坐标转换得到物体的世界坐标系三维坐标；世界坐标系下坐标P＝[x y z 1]T为，并通过坐标变换将图像坐标系下的坐标转换为世界坐标系中的坐标，其具体处理公式如下：
其中m为图像齐次坐标，K和[R,t]分别为摄像机的内、外参数，并且对于检测到的某一固定物体，其高度坐标z为恒定值。通过对以上矩阵求逆即可得出物体关键图像点在世界坐标系下的具体值。
步骤四：在通过视觉感知系统获取图像信息得到物体在流水线上绝对位姿后，利用安装在传送带轴上的增量式编码器实时读取码盘数据，通过计算可获取物体在传送带上沿传送带运动方向的任意时刻的位移。如图4所示。
将码盘固定设置于传送带的轴上，读取当前时刻码盘数据获取传送带位移值，利用传送带位移值计算由时间戳时刻至当前时刻各边角点的移动向量，将时间戳时刻各边角点的世界坐标与对应移动向量相加，获得各边角点在任意时刻的世界坐标。
针对物体对应时间戳时刻tv时刻，步骤三中得到的物体的其中一个角点世界坐标为其中x、y和z为该角点的世界坐标系的齐次坐标值。
由时间戳时刻tv开始，按照设定的时间周期读取码盘数据，其中时间戳时刻tv的码盘数据为即为tv时刻的传送带位移值。
针对任一时刻t，传送带位移值为码盘数据St，即为任一时刻t的传送带位移，找到t在码盘数据的读取时间周期中所处位置，即t在码盘数据读取时间tk和tk+1之间，此时t时刻的传送带位移值为St：
则由时间戳时刻tv至当前时刻t当前角点的移动向量为
则当前角点在任意时刻在空间的三维坐标为
结合目标位置的视觉数据更新目标位姿的实时数据和目标数据各项状态，通过视觉信息与码盘信息的融合从而确定物体任意时刻在空间的三维坐标；
物体在任意时刻在空间的三维坐标为(Pt.y、Pt.x、Pt.z)。
综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于视觉和码盘数据融合定位的流水线物体定位方法，其特征在于，包括如下步骤：
步骤1、针对预定空间内的流水线上物体，在横跨于流水线传送带的支架上横向布置三个摄像机，分别为在中间的主摄像机以及分布在左右两侧的左、右辅助摄像机，三个摄像机根据外部触发信号采集图像，三幅图像作为一组三目图像，利用所述外部触发信号的触发时刻为三目图像加上时间戳；
所述外部触发信号为外部输入，当物体放置到流水线上时输入该外部触发信号，所述时间戳为物体放置到流水线上的时间；
步骤2、将三目图像中左、右辅助摄像机采集的图像投影到主摄像机图像，然后依据投影后的图像，计算物体在图像坐标系中各边角点位置坐标；
步骤3、通过反投影法将各边角点坐标从图像坐标系转换到世界坐标系，此时计算时间戳时刻各边角点的世界坐标；
步骤4、将码盘固定设置于所述传送带的轴上，读取当前时刻码盘数据获取传送带位移值，利用传送带位移值计算由时间戳时刻至当前时刻各边角点的移动向量，将时间戳时刻各边角点的世界坐标与对应移动向量相加，获得各边角点在任意时刻的世界坐标；
针对物体对应时间戳时刻tv时刻，步骤3中得到的物体的其中一个角点世界坐标为其中x、y和z为该角点的世界坐标系的齐次坐标值；
由时间戳时刻tv开始，按照设定的时间周期读取码盘数据，其中时间戳时刻tv的码盘数据为即为tv时刻的传送带位移值；
针对任一时刻t，传送带位移值为码盘数据St，即为任一时刻t的传送带位移，找到t在码盘数据的读取时间周期中所处位置，即t在码盘数据读取时间tk和tk+1之间，此时t时刻的传送带位移值为St：
则由时间戳时刻tv至当前时刻t当前角点的移动向量为
则当前角点在任意时刻在空间的三维坐标为
CN201611198219.2A 2016-12-22 2016-12-22 一种基于视觉和码盘数据融合的流水线物体定位方法 Active CN106733686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611198219.2A CN106733686B (zh) 2016-12-22 2016-12-22 一种基于视觉和码盘数据融合的流水线物体定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611198219.2A CN106733686B (zh) 2016-12-22 2016-12-22 一种基于视觉和码盘数据融合的流水线物体定位方法

Publications (2)

Publication Number Publication Date
CN106733686A CN106733686A (zh) 2017-05-31
CN106733686B true CN106733686B (zh) 2018-09-25

Family

ID=58897865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611198219.2A Active CN106733686B (zh) 2016-12-22 2016-12-22 一种基于视觉和码盘数据融合的流水线物体定位方法

Country Status (1)

Country Link
CN (1) CN106733686B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108082830A (zh) * 2018-01-18 2018-05-29 华南理工大学 一种基于视觉分析的全向移动传送平台
CN111199546B (zh) * 2018-11-20 2023-01-17 唯思科技（北京）有限公司 一种基于角点检测和灰度投影的安检图像截取方法
CN112091992B (zh) * 2020-10-13 2022-03-01 广州酒家集团利口福食品有限公司 一种刷蛋液机械手的路径规划方法及装置
CN113176182A (zh) * 2021-04-29 2021-07-27 上海易清智觉自动化科技有限公司 一种骨料生产线检测系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI520813B (zh) * 2013-08-07 2016-02-11 中國砂輪企業股份有限公司 鑽石篩選裝置
CN104217441B (zh) * 2013-08-28 2017-05-10 北京嘉恒中自图像技术有限公司 一种基于机器视觉的机械臂定位抓取方法
CN105066984B (zh) * 2015-07-16 2019-03-12 深圳訾岽科技有限公司 一种视觉定位方法及系统

Also Published As

Publication number Publication date
CN106733686A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106733686B (zh) 一种基于视觉和码盘数据融合的流水线物体定位方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
CN105411490B (zh) 移动机器人的实时定位方法及移动机器人
CN109151439B (zh) 一种基于视觉的自动追踪拍摄系统及方法
CN106530276B (zh) 一种用于非标准件抓取的机械手定位方法以及定位系统
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN107081755A (zh) 一种机器人单目视觉引导系统的自动标定装置
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN110083157B (zh) 一种避障方法及装置
CN105196292B (zh) 一种基于迭代变时长视觉伺服控制方法
EP4116462A3 (en) Method and apparatus of processing image, electronic device, storage medium and program product
CN112116633A (zh) 一种矿井打钻计数方法
CN108171728A (zh) 基于混合相机系统的无标记运动物体姿态恢复方法及装置
WO2020063058A1 (zh) 一种多自由度可动视觉系统的标定方法
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
CN103707300A (zh) 机械手装置
CN106325278B (zh) 一种基于椭圆识别的机器人定位导航方法
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
CN109900266A (zh) 一种基于rgb-d和惯导的快速识别定位方式及系统
CN104296658B (zh) 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法
US20200099917A1 (en) Robotic laser guided scanning systems and methods of scanning
CN110445982B (zh) 一种基于六自由度设备的追踪拍摄方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant