CN112171657A - 基于单目视觉的大尺寸长方体构件抓取装置及方法 - Google Patents

基于单目视觉的大尺寸长方体构件抓取装置及方法 Download PDF

Info

Publication number
CN112171657A
CN112171657A CN202010790859.2A CN202010790859A CN112171657A CN 112171657 A CN112171657 A CN 112171657A CN 202010790859 A CN202010790859 A CN 202010790859A CN 112171657 A CN112171657 A CN 112171657A
Authority
CN
China
Prior art keywords
cuboid component
grabbed
grabbing
oil cylinder
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010790859.2A
Other languages
English (en)
Other versions
CN112171657B (zh
Inventor
王双
刘铁根
董开先
江俊峰
刘琨
吴志洋
傅裕
赖典毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010790859.2A priority Critical patent/CN112171657B/zh
Publication of CN112171657A publication Critical patent/CN112171657A/zh
Application granted granted Critical
Publication of CN112171657B publication Critical patent/CN112171657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目视觉的大尺寸长方体构件抓取装置及方法，包括图像采集与标识坐标识别系统(100)、控制及显示系统(200)和动作执行机构(300)。图像采集与标识坐标识别系统(100)向控制及显示系统(200)输出标志物(1)坐标；控制及显示系统(200)根据标志物(1)的坐标值与标定的坐标值进而得到待抓取长方体构件(2)在隧道轴向和周向的位置姿态，输出至动作执行机构(300)；动作执行机构(300)根据控制信号将抓取头(10)移动到待抓取长方体构件(2)位置，并将待抓取长方体构件(2)放置到正确位置。与现有技术相比，本发明实现了长方体构件自动抓取和置位，有效降低事故发生率，保障操作人员的人身安全；拼装效率高。

Description

基于单目视觉的大尺寸长方体构件抓取装置及方法
技术领域
本发明涉及机械工程技术领域，特别是涉及一种隧道施工的长方体构件空间定位装置与方法。
背景技术
隧道的盾构法施工一直是一个自动化程度较高的领域，在掘进、泥浆处理等过程均实现了自动化作业，但长方体构件抓取、拼装过程仍依靠人工及远程混合控制的方法进行作业，国内外主要盾构机生产厂商将长方体构件自动拼装技术作为研究重点。
1990年，H.Takano等人就实现了盾构拼装机对长方体构件提升、滑动和旋转的粗定位动作的自动化，迈出了长方体构件自动拼装的第一步。随后，研究人员将研究重心放到长方体构件拼装精定位(空间姿态调整)上。H.Tohkairin利用超声波传感器测量长方体构件空间姿态，实现了待拼装长方体构件的精定位自动化。但由于施工环境恶劣，传感器精度有限，此方法难以满足长方体构件拼装精度的要求。1995年Y.Tanaka利用光切法测量长方体构件连接处的长方体构件位置，计算测量位置与预设目标位置差值，通过执行装置调整长方体构件的位置，实现了长方体构件定位。但该方法对拼装机粗定位要求较高、且长方体构件边缘的尺寸精度难以控制，导致该方法的定位精度难以保障。随后，日本在长方体构件自动拼装技术方面又进行了大量的研究，基本实现了长方体构件抓取、粗定位、精定位的自动化。除日本外，美国的ROBBINS公司、德国NFM技术公司以及德国海瑞克公司的盾构拼装机都实现了不同程度的长方体构件自动化拼装。为了增加长方体构件自动拼装系统的稳定性和通用性，国际隧道协会第二工作组于2000年制定了各种隧道长方体构件拼装的设计准则。Zyada等人利用斯图尔特平台对盾构机多方向掘进时的长方体构件自动拼装进行了实验研究。
另外，国外已经采用结构光法计算进行自动长方体构件拼装的盾构机，该盾构机的长方体构件自动组装装置利用结构光主动视觉技术探测组装长方体构件的位置和形态，可在光截画面上显示已设长方体构件的定位情况，其组装升降机的夹持回转及组装定位，可决定粗略定位和细微定位，这种系统采用结构光主动视觉技术，因此需要有特定的激光源，需要安装三组激光器和一组摄像机组，给安装造成了不便，且所需空间较大。
传统技术中采用人工操作的长方体构件抓取和拼装对工人具有一定危险性，并且需进行多次试错，拼装效率低。如何实现自动化代替了人工操作，使得长方体构件抓取和置位过程安全可靠、准确无误以及能够提高长方体构件拼装的效率和质量，是本发明亟待解决的技术问题。
发明内容
为了克服现有技术的不足，本发明提出一种基于单目视觉的大尺寸长方体构件抓取装置及方法，结合盾构法隧道施工中抓取头和长方体构件在隧道轴向和周向的移动来实现长方体构件在隧道轴向和周向的位姿识别和正确放置，以供长方体构件之间的拼接操作。
本发明的一种基于单目视觉的大尺寸长方体构件抓取装置，该装置包括图像采集与标识坐标识别系统100、控制及显示系统200和动作执行机构300；
其中，所述图像采集与标识坐标识别系统100包括多组光源3、多组广角镜头4和单目视觉智能相机5，各单目视觉智能相机5包括嵌入式图像识别与位置测量单元6；所述控制及显示系统200包括依序连接的路由器7、工控机8和油缸动作控制单元；动作执行机构(300)包括抓取头10、滑动油缸11、旋转电机12、偏摇油缸13和顶升油缸14；所述图像采集与标识坐标识别系统100与所述控制及显示系统200的路由器8连接；所述路由器8固定于所述抓取头10上，与所述工控机9和所述动作执行机构(300)300通过拖链上的通讯线相连；
所述图像采集与标识坐标识别系统100，用于采集处理待抓取长方体构件2的照片，在待抓取长方体构件1抓取过程中实时检测待抓取长方体构件2上的标志物1的坐标，输出至所述控制及显示系统200；
所述控制及显示系统200，用于根据标志物1的坐标值与标定的坐标值进而得到待抓取长方体构件2在隧道轴向和周向的位置姿态，作为油缸控制信号输出至所述动作执行机构300；
所述动作执行机构300，根据控制信号将抓取头10移动到待抓取长方体构件2位置，并将待抓取长方体构件2放置到正确位置。
本发明的一种基于单目视觉的大尺寸长方体构件抓取和置位方法，具体步骤如下：
首先，进行长方体构件抓取标定，具体处理包括：
使抓取头10以人工方式抓取待抓取长方体构件2，不进行任何移动；放下待抓取长方体构件2，使抓取头10只进行沿隧道径向的移动，直到待抓取长方体构件2上表面处于单目视觉智能相机5能清晰成像的景深范围内的最远处；
利用多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波处理，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块；优化标志物1连通域的边界即寻找连通域的边界线，获得包含标志物1边界线的集合；对所有边界线进行多边形拟合；对拟合得到的多边形的边数、夹角角度和面积进行标志物1筛选，识别出标志物并得到其在图像上的图像坐标；
嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标以及当前顶升油缸14的行程信息，并将两者写入xml文件；
所有人工抓取坐标和历史自动抓取最终的坐标分为成功/失败两类，导入深度神经网络里进行训练；
然后，进行长方体构件抓取，具体处理包括：
由待抓取长方体构件2被传送至其上的标志物1处于单目视觉智能相机5镜头视野范围内开始，抓取头粗定位于单目视觉智能相机5镜头光轴且竖直向下，顶升油缸14行程与标定行程一致；
图像采集与标识坐标识别单元7中的多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，以明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块，优化标志物1连通域的边界；寻找连通域的边界线，获得包含标志物1边界线的边界线集合；对所有边界线进行拟合多边形拟合；对拟合得到的多边形的边数，夹角角度，面积进行筛选，识别出标志物并得到其在图像上的图像坐标；
嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标，将新得到的坐标与标定的坐标进行比较计算，得到该装置的动作执行机构300的滑动/旋转/偏摇油缸的控制信息；
控制及显示系统200的油缸动作控制单元9将控制信息输入至该装置的动作执行机构300，使各油缸/电机进行短距离的动作；
多次重复上述步骤，依次调整好抓取头10的偏摇方向、旋转方向以及滑动方向，使得新得到的坐标处于相对于标定坐标的误差范围内，使得抓取头10在沿隧道轴向和周向以隧道径向为轴的偏航方向与待抓取长方体构件2同步；
抓取头10的偏摇方向、旋转方向以及滑动方向这三个方向误差在阈值范围内时，将多个标志物的图像坐标值导入深度神经网络里作为测试集，若测试结果为成功，顶升油缸下降直至抓取头10的下表面与待抓取长方体构件2的上表面贴合，吸合或嵌入待抓取长方体构件2；至此，完成长方体构件抓取。
与现有技术相比，本发明所具有的优点在于：
(1)实现了长方体构件自动抓取和置位，长方体构件动作过程无需人工操作，有效降低事故发生率，保障操作人员的人身安全；
(2)拼装成功性高，拼装效率高；
(3)在自动抓取置位长方体构件的过程中实时监测长方体构件位置姿态，及时发现长方体构件异常状态，警告工作人员。
附图说明
图1为本发明的基于单目视觉的大尺寸长方体构件抓取装置结构示意图；
图2为本发明的基于单目视觉的大尺寸长方体构件抓取和置位方法流程图。
图3为图像采集与标识坐标识别单元处理流程图；
图4为本发明的基于单目视觉的大尺寸长方体构件抓取装置及方法实施效果示意图。
附图标记：
1、标志物(砂面三角形或长方形)，2、待抓取长方体构件，3、光源，4、广角镜头，5、单目视觉智能相机，6、嵌入式图像识别与位置测量单元，7、路由器，8、工控机，9、油缸动作控制单元，10、抓取头，11、滑动油缸，12、旋转电机，13、偏摇油缸，14、顶升油缸，100、图像采集与标识坐标识别系统，200、控制及显示系统。
具体实施方式
以下结合附图和实施例对本发明具体实施方式进行详细说明，此处描述的具体实施方式仅用于解释说明本发明，并不作为限制本发明的依据。
本发明的基于单目视觉的大尺寸长方体构件抓取装置由以下几部分构成：黑色磨砂面三角形或长方形的标志物1、待抓取长方体构件2、图像采集与标识坐标识别系统100、控制及显示系统200和各动作执行机构(300)。其中，所述图像采集与标识坐标识别系统100包括多组光源3、多组广角镜头4和单目视觉智能相机5(包含相机支架)，各单目视觉智能相机5包括嵌入式图像识别与位置测量单元6。所述控制及显示系统200包括依序连接的路由器7、工控机8和油缸动作控制单元。五维抓取头10、滑动油缸11、旋转电机12、偏摇油缸13和顶升油缸14作为该装置的动作执行机构(300)。图像采集与标识坐标识别系统100与控制及显示系统200的路由器8连接。路由器8固定于抓取头10(本发明中优选五维抓取头)上，其与工控机9和各动作执行机构300通过拖链上的通讯线相连。工控机9需安装于抓取头10的动作范围之外。控制及显示系统200在工作全程具有显示、操作与警示功能，显示当前长方体构件的位置和空闲/抓取/拼装信息、长方体构件移动系统C各油缸和电机的行程信息、当前相机拍摄图像；可操作开始、暂停、停止自动长方体构件抓取拼装，开始各位置的标定并输出标定结果至xml文件；警示各设备通信的中断，图像采集与标识坐标识别系统A处理得出坐标与否，坐标以及长方体构件移动系统C各油缸和电机的行程信息是否超出警戒阈值。
上述各部件的安装位置及连接关系如下：
图像采集与标识坐标识别系统100经过待抓取长方体构件2固接于抓取头10上，黑色磨砂面三角形或长方形标志物1位于待抓取长方体构件2，将标志物1的中心设置于待抓取长方体构件2上表面距离长边5cm处。在图像采集与标识坐标识别系统100中，单目视觉智能相机5以镜头对准待抓取长方体构件2上标志物1的位置固定。
所述图像采集与标识坐标识别系统7采集处理待抓取长方体构件2的照片并向所述控制及显示系统200输出标志物1的坐标，控制及显示系统299处理得到的坐标值得到油缸控制信号输出，长方体构件移动系统C根据控制信号将抓取头移动到待抓取长方体构件2位置并将待抓取长方体构件2放置到正确位置。
图像采集与标识坐标识别系统A在长方体构件抓取过程中实时检测待抓取长方体构件2上的标志物1的坐标，进而得到待抓取长方体构件2在隧道轴向和周向的位置姿态。
控制及显示系统200根据图像采集与标识坐标识别系统100输入的坐标值，长方体构件动作控制系统10将其与标定的坐标值进行计算，得到油缸控制信息。
控制及显示系统B在工作全程具有显示、操作与警示功能，显示当前长方体构件的位置和空闲/抓取/拼装信息、长方体构件移动系统C各油缸和电机的行程信息、当前相机拍摄图像；可操作开始、暂停、停止自动长方体构件抓取拼装，开始各位置的标定并输出标定结果至xml文件；警示各设备通信的中断，图像采集与标识坐标识别系统A处理得出坐标与否，坐标以及长方体构件移动系统C各油缸和电机的行程信息是否超出警戒阈值。
抓取头10为机械嵌入式抓取头或真空吸盘抓取头，其沿隧道轴向的滑动、沿隧道轴向的旋转、以隧道径向为轴的偏摇动作和沿隧道轴向的升降分别依靠滑动油缸12、旋转电机13、偏摇油缸14和顶升油缸15的动作完成。其中，滑动油缸12、顶升油缸15为比例伺服油缸，旋转电机13为步进电机，偏摇油缸14为开关阀门油缸，控制及显示系统200输入的油缸控制信息均为启/停/亮，实现了实时控制。
如图2所示，为实施例本发明的基于单目视觉的大尺寸长方体构件抓取和拼装方法流程图。该方法整体流程所包含的具体步骤如下：
步骤1、长方体构件抓取标定流程：
使抓取头10以人工方式抓取待抓取长方体构件2，不进行任何移动；放下待抓取长方体构件2，使抓取头10只进行沿隧道径向的移动，直到待抓取长方体构件2上表面处于单目视觉智能相机5能清晰成像的景深范围内的最远处；
利用多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波处理，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块；优化标志物1连通域的边界即寻找连通域的边界线，获得包含标志物1边界线的集合；对所有边界线进行多边形拟合；对拟合得到的多边形的边数、夹角角度和面积进行标志物1筛选，即保留符合以下条件的拟合结果：1)边数为3；2)最大角角度在75°-105°内；3)在相机安装高度拍摄一张含有标志物的基准图像，假设基准图像中三角形标志物的面积为S，拟合多边形面积在0.8S～1.2S内，识别出标志物并得到其在图像上的图像坐标；
嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标以及当前顶升油缸14的行程信息，并将两者写入xml文件；
所有人工抓取坐标和历史自动抓取最终的坐标分为成功/失败两类，导入深度神经网络里进行训练；
步骤2、长方体构件抓取流程：
由待抓取长方体构件2被传送至其上的标志物1处于单目视觉智能相机5镜头视野范围内开始，抓取头粗定位于单目视觉智能相机5镜头光轴且竖直向下，顶升油缸14行程与标定行程一致；
如图3所示，为图像采集与标识坐标识别单元的图像处理流程图。图像采集与标识坐标识别单元7中的多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，以明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块，优化标志物1连通域的边界；寻找连通域的边界线，获得包含标志物1边界线的边界线集合；对所有边界线进行拟合多边形拟合；对拟合得到的多边形的边数，夹角角度，面积进行筛选，识别出标志物并得到其在图像上的图像坐标。
嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标，将新得到的坐标与标定的坐标进行比较计算，得到该装置的动作执行机构300的滑动/旋转/偏摇油缸的控制信息；
控制及显示系统200的油缸动作控制单元9将控制信息输入至该装置的动作执行机构300，使各油缸/电机进行短距离的动作；
多次重复上述步骤，依次调整好抓取头10的偏摇方向、旋转方向以及滑动方向，直到使得新得到的标志物坐标(x1,y1)、(x2,y2)处于相对于标定坐标(x01,y01)、(x02,y02)(单位均为像素；其中x轴平行于长方体构件2上表面长边)的误差范围内，偏摇方向误差范围为|(y2-y1)-(y20-y10)|≤5，旋转方向误差范围为|x1-x10)|≤5，滑动方向误差范围为|y1-y10|≤3(||表示取绝对值)，使得抓取头10在沿隧道轴向，周向，以隧道径向为轴的偏航方向与待抓取长方体构件2同步。抓取头10的偏摇方向、旋转方向以及滑动方向这三个方向误差在阈值范围内时，将多个标志物的图像坐标值导入深度神经网络里作为测试集，若测试结果为成功，顶升油缸下降直至抓取头10的下表面与待抓取长方体构件2的上表面贴合，吸合或嵌入待抓取长方体构件2。至此，完成长方体构件抓取。
如图4所示，为本发明的基于单目视觉的大尺寸长方体构件抓取和拼装装置及方法实施效果示意图。

Claims (2)

1.一种基于单目视觉的大尺寸长方体构件抓取装置，其特征在于，该装置包括图像采集与标识坐标识别系统(100)、控制及显示系统(200)和动作执行机构(300)；
其中，所述图像采集与标识坐标识别系统(100)包括多组光源(3)、多组广角镜头(4)和单目视觉智能相机(5)，各单目视觉智能相机(5)包括嵌入式图像识别与位置测量单元(6)；所述控制及显示系统(200)包括依序连接的路由器(7)、工控机(8)和油缸动作控制单元；动作执行机构(300)包括抓取头(10)、滑动油缸(11)、旋转电机(12)、偏摇油缸(13)和顶升油缸(14)；所述图像采集与标识坐标识别系统(100)与所述控制及显示系统(200)的路由器(8)连接；所述路由器(8)固定于所述抓取头(10)上，与所述工控机(9)和所述动作执行机构(300)通过拖链上的通讯线相连；
所述图像采集与标识坐标识别系统(100)，用于采集处理待抓取长方体构件(2)的照片，在待抓取长方体构件抓取过程中实时检测待抓取长方体构件(2)上的标志物(1)的坐标，输出至所述控制及显示系统(200)；
所述控制及显示系统(200)，用于根据标志物(1)的坐标值与标定的坐标值进而得到待抓取长方体构件(2)在隧道轴向和周向的位置姿态，作为油缸控制信号输出至所述动作执行机构(300)；
所述动作执行机构(300)，根据控制信号将抓取头(10)移动到待抓取长方体构件(2)位置，并将待抓取长方体构件(2)放置到正确位置。
2.一种基于单目视觉的大尺寸长方体构件抓取和置位方法，其特征在于，该方法具体步骤如下：
首先，进行长方体构件抓取标定，具体处理包括：
使抓取头(10)以人工方式抓取待抓取长方体构件(2)，不进行任何移动；放下待抓取长方体构件(2)，使抓取头(10)只进行沿隧道径向的移动，直到待抓取长方体构件(2)上表面处于单目视觉智能相机(5)能清晰成像的景深范围内的最远处；
利用多个单目视觉智能相机(5)进行拍照，获得包含待抓取长方体构件(2)上标志物(1)的图像，嵌入式图像识别与位置测量单元(7)对采集到的图像首先进行均值滤波处理，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，明显区分出标志物(1)的周围环境的灰度；然后进行开闭运算，除去小噪声块；优化标志物(1)连通域的边界即寻找连通域的边界线，获得包含标志物(1)边界线的集合；对所有边界线进行多边形拟合；对拟合得到的多边形的边数、夹角角度和面积进行标志物(1)筛选，识别出标志物并得到其在图像上的图像坐标；
嵌入式图像识别与位置测量单元(7)将所获得的多组标志物(1)的图像坐标通过网络接口输入至油缸动作控制单元(9)，油缸动作控制单元(9)记录下多组标志物(1)的图像坐标以及当前顶升油缸(14)的行程信息，并将两者写入xml文件；
所有人工抓取坐标和历史自动抓取最终的坐标分为成功/失败两类，导入深度神经网络里进行训练；
然后，进行长方体构件抓取，具体处理包括：
由待抓取长方体构件(2)被传送至其上的标志物(1)处于单目视觉智能相机(5)镜头视野范围内开始，抓取头粗定位于单目视觉智能相机(5)镜头光轴且竖直向下，顶升油缸(14)行程与标定行程一致；
图像采集与标识坐标识别单元(7)中的多个单目视觉智能相机(5)进行拍照，获得包含待抓取长方体构件(2)上标志物(1)的图像，嵌入式图像识别与位置测量单元(7)对采集到的图像首先进行均值滤波，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，以明显区分出标志物(1)的周围环境的灰度；然后进行开闭运算，除去小噪声块，优化标志物(1)连通域的边界；寻找连通域的边界线，获得包含标志物(1)边界线的边界线集合；对所有边界线进行拟合多边形拟合；对拟合得到的多边形的边数，夹角角度，面积进行筛选，识别出标志物并得到其在图像上的图像坐标；
嵌入式图像识别与位置测量单元(7)将所获得的多组标志物(1)的图像坐标通过网络接口输入至油缸动作控制单元(9)，油缸动作控制单元(9)记录下多组标志物(1)的图像坐标，将新得到的坐标与标定的坐标进行比较计算，得到该装置的动作执行机构(300)的滑动/旋转/偏摇油缸的控制信息；
控制及显示系统(200)的油缸动作控制单元(9)将控制信息输入至该装置的动作执行机构(300)，使各油缸/电机进行短距离的动作；
多次重复上述步骤，依次调整好抓取头(10)的偏摇方向、旋转方向以及滑动方向，使得新得到的坐标处于相对于标定坐标的误差范围内，使得抓取头(10)在沿隧道轴向和周向以隧道径向为轴的偏航方向与待抓取长方体构件(2)同步；
抓取头(10)的偏摇方向、旋转方向以及滑动方向这三个方向误差在阈值范围内时，将多个标志物的图像坐标值导入深度神经网络里作为测试集，若测试结果为成功，顶升油缸下降直至抓取头(10)的下表面与待抓取长方体构件(2)的上表面贴合，吸合或嵌入待抓取长方体构件(2)；至此，完成长方体构件抓取。
CN202010790859.2A 2020-08-07 2020-08-07 基于单目视觉的大尺寸长方体构件抓取装置及方法 Active CN112171657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010790859.2A CN112171657B (zh) 2020-08-07 2020-08-07 基于单目视觉的大尺寸长方体构件抓取装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790859.2A CN112171657B (zh) 2020-08-07 2020-08-07 基于单目视觉的大尺寸长方体构件抓取装置及方法

Publications (2)

Publication Number Publication Date
CN112171657A true CN112171657A (zh) 2021-01-05
CN112171657B CN112171657B (zh) 2023-06-27

Family

ID=73919923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790859.2A Active CN112171657B (zh) 2020-08-07 2020-08-07 基于单目视觉的大尺寸长方体构件抓取装置及方法

Country Status (1)

Country Link
CN (1) CN112171657B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112976433A (zh) * 2021-02-22 2021-06-18 赛轮集团股份有限公司 一种硫化胶囊自动更换系统及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104018850A (zh) * 2014-06-09 2014-09-03 吉林大学 基于双目视觉的管片拼装机的管片定位及抓取系统
JP6024841B1 (ja) * 2016-01-27 2016-11-16 株式会社リコー 照明装置、パターン照射装置およびシステム
CN109571437A (zh) * 2018-12-25 2019-04-05 江南大学 一种单目摄像的机器人
CN109715349A (zh) * 2016-07-15 2019-05-03 快砖知识产权私人有限公司 安装在柔性臂上的机器人臂的动态补偿
CN110348279A (zh) * 2018-04-05 2019-10-18 欧姆龙株式会社 物体识别处理装置和方法、以及物体拣选装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104018850A (zh) * 2014-06-09 2014-09-03 吉林大学 基于双目视觉的管片拼装机的管片定位及抓取系统
JP6024841B1 (ja) * 2016-01-27 2016-11-16 株式会社リコー 照明装置、パターン照射装置およびシステム
CN109715349A (zh) * 2016-07-15 2019-05-03 快砖知识产权私人有限公司 安装在柔性臂上的机器人臂的动态补偿
CN110348279A (zh) * 2018-04-05 2019-10-18 欧姆龙株式会社 物体识别处理装置和方法、以及物体拣选装置和方法
CN109571437A (zh) * 2018-12-25 2019-04-05 江南大学 一种单目摄像的机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANG JUNFENG, 等: "Polarized low-coherence interferometer based on a matrix CCD and birefringence crystal with a two-dimensional angle", 《OPTICS EXPRESS》 *
江俊峰，等: "环境变温下光纤布拉格光栅解调中滤波器扫描波动抑制研究", 《光学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112976433A (zh) * 2021-02-22 2021-06-18 赛轮集团股份有限公司 一种硫化胶囊自动更换系统及其控制方法

Also Published As

Publication number Publication date
CN112171657B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN102922521B (zh) 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN110276799B (zh) 一种坐标标定方法、标定系统及机械臂
CN113674345B (zh) 一种二维像素级三维定位系统及定位方法
CN108263950A (zh) 基于机器视觉的码头岸桥吊具自动着箱系统及方法
CN108214487A (zh) 基于双目视觉和激光雷达的机器人目标定位和抓取方法
CN105965519A (zh) 一种视觉引导下的离合器下料定位方法
CN109693140B (zh) 一种智能化柔性生产线及其工作方法
CN113276106A (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN111036863A (zh) 采用机器视觉定位大包下水口的装置及其使用方法
CN111300405A (zh) 一种移动平台的视觉识别定位装置及方法
CN112171657B (zh) 基于单目视觉的大尺寸长方体构件抓取装置及方法
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN113334380A (zh) 基于双目视觉的机器人视觉标定方法、控制系统及装置
JP2004239791A (ja) ズームによる位置計測方法
CN105068139A (zh) 一种活塞冷却喷嘴安装状态的检测工艺
CN115115768A (zh) 基于立体视觉的物体坐标识别系统及方法、装置、介质
WO2024035918A1 (en) Autonomous solar installation using artificial intelligence
CN110696016A (zh) 一种适用于地铁车辆列检工作的智能机器人
CN110706333A (zh) 一种基于人工标定管道位置及其漏点的重建方法
CN113715935A (zh) 一种汽车挡风玻璃自动装配系统及自动装配方法
CN215052081U (zh) 一种桥梁检测车
CN115157286A (zh) 基于光视觉的自动挂摘接地线机器人及其远程控制方法
CN111006583A (zh) 一种用于货场箱体2d视觉获取深度的方法
CN114735044A (zh) 智能轨道车辆巡检机器人
CN210879689U (zh) 一种适用于地铁车辆列检工作的智能机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant