CN114888805A - 轮胎模具字符图案的机器人视觉自动获取方法及系统 - Google Patents
轮胎模具字符图案的机器人视觉自动获取方法及系统 Download PDFInfo
- Publication number
- CN114888805A CN114888805A CN202210567103.0A CN202210567103A CN114888805A CN 114888805 A CN114888805 A CN 114888805A CN 202210567103 A CN202210567103 A CN 202210567103A CN 114888805 A CN114888805 A CN 114888805A
- Authority
- CN
- China
- Prior art keywords
- camera
- side plate
- mechanical arm
- coordinate system
- target mold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 210000001503 joint Anatomy 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000000746 purification Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及轮胎模具字符图案的机器人视觉自动获取方法，包括以下：完成第一相机的标定，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；完成第二相机的标定，以获得所述第二相机在机械臂末端关节坐标系的姿态；根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。本发明所提出的方法灵活性高、速度快。对工业中轮胎模具侧板字符图案的缺陷检测有重大意义。
Description
技术领域
本发明涉及机器人视觉技术领域，尤其涉及轮胎模具字符图案的机器人视觉自动获取方法及系统。
背景技术
轮胎模具上的字符图案往往能够记录轮胎尺寸以及其他重要的与轮胎相关的信息，所以有必要对其缺陷进行检测，现有技术中获取并检测轮胎模具的字符图案缺陷的方法往往是通过人工的方式进行获取，而人工的方式效率较低，且轮胎模具的形状等因素也会导致人工获取的结果准确性不高。
发明内容
本发明的目的是为了至少解决现有技术的不足之一，提供轮胎模具字符图案的机器人视觉自动获取方法及系统。
为了实现上述目的，本发明采用以下的技术方案，
具体的，提出轮胎模具字符图案的机器人视觉自动获取方法，包括以下：
完成第一相机的标定，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
完成第二相机的标定，以获得所述第二相机在机械臂末端关节坐标系的姿态；
根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
进一步，具体的，第一相机的标定过程，包括以下，
将标定板放置在机械臂末端，利用示教器控制机械臂变换不同位置采集多张标定板图像，采用eye-to-hand手眼标定方法求解出第一相机坐标系相对机械臂基座坐标系的位置关系。
进一步，具体的，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中，包括，
对所述图像信息中的目标模具侧板进行阈值处理，提取出目标模具侧板的中心坐标(xIc0,yIc0)以及内外圈半径rIc、RIc，根据图片比例尺k还原目标模具侧板的真实尺寸，还原得到真实侧板内外圈半径为rc＝k·rIc、Rc＝k·RIc，并计算目标模具侧板中心坐标(xIc0,yIc0)与图像信息的中心坐标(xI0,yI0)的偏移量△xI＝xIc0-xI0、△yI＝yIc0-yI0，从而得到实际偏移量为△x＝k·△xI、△y＝k·△yI，假设第一相机光心在机械臂基座坐标系中的坐标为(x,y)，侧板中心在基座坐标系中的坐标为(xc,yc)＝(x+△x,y+△y)，从而得到目标模具侧板中心相对于机械臂基座坐标系的位置关系。
进一步，具体的，根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹过程，包括以下，
设第二相机在拍摄高度平面上获取的视野真实尺寸为W×H，若H＞Rc-rc，则预设第二相机进行单圈轨迹规划；若H＜Rc-rc，则预设第二相机进行双圈轨迹规划，其中，双圈轨迹规划与单圈轨迹规划方法相同；
单圈轨迹规划具体过程为，通过设置角度步长step，在半径为r＝(Rc+rc)/2的圆上按步长step设置若干轨迹点，完成以(xc,yc)为圆心，r为半径的单圈轨迹规划。
进一步，具体的，对所获取的拍摄图像进行图像拼接处理，包括以下，
对于单圈轨迹规划拍摄的图像进行拼接成一幅完整图像，对于双圈轨迹规划拍摄的图像分别按照单圈的方式进行拼接成两幅图像，其中拼接成一幅完整图像的过程包括以下，
基于sift特征进行图像配准得到配准后的图像，具体包括，特征点提取、生成局部描述子、特征点匹配以及仿射变换；
对配准后的图像进行加权融合消除接缝处理，具体包括，
在进行基于sift特征进行图像配准时，仿射变换后的两幅图像会有明显的接缝，
此时，通过公式计算重叠区域的像素值
基于此消除接缝；
其中，d1、d2分别是重叠区域中的点到重叠区域左边界和右边界的距离，pixImg1、pixImg2分别是两幅图片中重叠区域中的点的像素值。
进一步，在进行特征点匹配得到匹配结果之后，还会采用比值提纯法对匹配结果进行提纯，在比值提纯后，再采用RANSAC算法剔除离群匹配对。
具体的，第二相机的标定过程，包括以下，
将标定板放置在模具摆放平台上进行标定，通过机械臂搭载第二相机在不同位置拍摄多张标定板图像，采用eye-in-hand方法计算得到相机光心在末端坐标系的姿态。
本发明还提出轮胎模具字符图案的机器人视觉自动获取系统，包括：
机器人本体；
黑匣子，设置于所述机器人本体的机械臂外端，用于存放第二相机以及相配合的光源；
模具摆放平台，用于放置目标模具侧板，一侧固定设置有支架；
第一相机，固定设置于所述支架远离所述模具摆放平台的一端；
上位机，与所述机器人本体、第一相机以及黑匣子通过信号线连接，用于，
获取第一相机的标定相关信息，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
获取第二相机的标定相关信息，以获得所述第二相机在机械臂末端关节坐标系的姿态；
根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
进一步，具体的，在所述第二相机进行目标模具侧板的图像信息获取时，控制相机倾斜一定角度以使得相机成像平面与字符图案中心点的法线方向相垂直后进行拍摄。
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上中任一项所述轮胎模具字符图案的机器人视觉自动获取方法的步骤。
本发明的有益效果为：
本发明通过面阵相机第一相机对放置在平台上的模具侧板进行定位，根据定位信息对轮胎模具侧板的一圈等分后，机械臂搭载“黑匣子”封装有第二相机以及光源进行逐点拍摄，以获取轮胎模具侧板上的字符图案信息，并利用图像拼接获得完整的模具侧板信息，从而进行后续的缺陷检测。本发明所提出的方法灵活性高、速度快。对工业中轮胎模具侧板字符图案的缺陷检测有重大意义。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为本发明轮胎模具字符图案的机器人视觉自动获取方法的流程图；
图2所示为本发明轮胎模具字符图案的机器人视觉自动获取方法的的实施原理图；
图3所示为本发明轮胎模具字符图案的机器人视觉自动获取系统的原理图；
图4所示为本发明轮胎模具字符图案的机器人视觉自动获取系统的黑匣子结构示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
参照图1以及图2，实施例1，本发明提出轮胎模具字符图案的机器人视觉自动获取方法，包括以下：
完成第一相机的标定，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
完成第二相机的标定，以获得所述第二相机在机械臂末端关节坐标系的姿态；
根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
在本实施例中，该方法通过面阵相机1对放置在平台上的模具侧板进行定位，根据定位信息对轮胎模具侧板的一圈等分后，机械臂搭载“黑匣子”(封装有相机2和光源)进行逐点拍摄，以获取轮胎模具侧板上的字符图案信息，并利用图像拼接获得完整的模具侧板信息，从而进行后续的缺陷检测。该方法灵活性高、速度快。在此基础上，对位于模具侧板弧面上的字符图案，控制相机倾斜一定角度后使得相机成像平面与字符图案中心点的法线方向相垂直后进行拍摄，尽量降低字符图案在成像上的变形影响。采用机械臂自主规划路径去完成拍摄任务，灵活性高且颇具效率，因此该方法对工业中轮胎模具侧板字符图案的缺陷检测有重大意义。
作为本发明的优选实施方式，具体的，第一相机的标定过程，包括以下，
将标定板放置在机械臂末端，利用示教器控制机械臂变换不同位置采集多张标定板图像，采用eye-to-hand手眼标定方法求解出第一相机坐标系相对机械臂基座坐标系的位置关系。
具体的，第二相机的标定过程，包括以下，
将标定板放置在模具摆放平台上进行标定，通过机械臂搭载第二相机在不同位置拍摄多张标定板图像，采用eye-in-hand方法计算得到相机光心在末端坐标系的姿态。
作为本发明的优选实施方式，具体的，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中，包括，
对所述图像信息中的目标模具侧板进行阈值处理，提取出目标模具侧板的中心坐标(xIc0,yIc0)以及内外圈半径rIc、RIc，根据图片比例尺k还原目标模具侧板的真实尺寸，还原得到真实侧板内外圈半径为rc＝k·rIc、Rc＝k·RIc，并计算目标模具侧板中心坐标(xIc0,yIc0)与图像信息的中心坐标(xI0,yI0)的偏移量△xI＝xIc0-xI0、△yI＝yIc0-yI0，从而得到实际偏移量为△x＝k·△xI、△y＝k·△yI，假设第一相机光心在机械臂基座坐标系中的坐标为(x,y)，侧板中心在基座坐标系中的坐标为(xc,yc)＝(x+△x,y+△y)，从而得到目标模具侧板中心相对于机械臂基座坐标系的位置关系。
作为本发明的优选实施方式，具体的，根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹过程，包括以下，
设第二相机在拍摄高度平面上获取的视野真实尺寸为W×H，若H＞Rc-rc，则预设第二相机进行单圈轨迹规划；若H＜Rc-rc，则预设第二相机进行双圈轨迹规划，其中，双圈轨迹规划与单圈轨迹规划方法相同；
单圈轨迹规划具体过程为，通过设置角度步长step，在半径为r＝(Rc+rc)/2的圆上按步长step设置若干轨迹点，完成以(xc,yc)为圆心，r为半径的单圈轨迹规划。
其中，I表示的是图像上的尺寸，而此时是通过真实尺寸去计算的，所以在对半径进行标记时没有加I。
具体的，当规划完第二相机的拍摄轨迹之后，运行轨迹规划程序，开始拍摄，机械臂搭载相机运动到轨迹的初始点，悬停5s等机械臂运动平稳后拍摄第一张图片，拍摄完成后运动到下一个点，悬停5s后拍摄第二张图片(当前拍摄图片与上一张图片有一定的重叠部分以满足图像拼接的需求)，直至拍摄完一整圈轮胎模具(最后一张图片与第一张图片有重叠部分)。拍摄完成后，机械臂回到初始位置。
作为本发明的优选实施方式，具体的，对所获取的拍摄图像进行图像拼接处理，包括以下，
对于单圈轨迹规划拍摄的图像进行拼接成一幅完整图像，对于双圈轨迹规划拍摄的图像分别按照单圈的方式进行拼接成两幅图像，其中拼接成一幅完整图像的过程包括以下，
基于sift特征进行图像配准得到配准后的图像，具体包括，特征点提取、生成局部描述子、特征点匹配以及仿射变换，
具体的，
特征点提取，定义高斯核为
对于二维图像I(x,y)，在不同尺度下的尺度空间表示为L(x,y,σ)＝G(x,y,σ)*I(x,y)，σ是尺度因子，*表示卷积。之后通过高斯金字塔图像中同一尺度相邻的上下两层图像相减得到DOG，D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)，k为相邻两个尺度图像的尺度比。生成DOG尺度空间后,将每一个采样点进行扫描操作,将其与周围26个像素点进行比较,判断其是否为极值点。以这种方式找到的局部极值点就是图像的粗略特征点(关键点)。选取完图像的粗略特征点之后,利用差值算法确定关键点的位置与尺度,然后剔除对比度低的极值点,并用Hessian矩阵除去由高斯差分运算造成的边缘响应干扰,以此优化特征点检测结果。
生成局部描述子，以特征点为中心取16×16像素大小区域,将此区域均分为4×4的子块,统计每个子块8个方向的梯度方向直方图,便可得到一个种子点。每个特征点由4×4个种子点构成,且每个种子点有8个方向,因此组成了4×4×8＝128维的特征向量,该向量具备旋转不变性、尺度不变性等。为保证向量具有一定的光照不变性,还需对其进行归一化处理。
特征点匹配，根据特征描述子之间的欧氏距离判断其相似性,欧氏距离越小相似度越高,反之则越低。此外,为减少错误匹配,提高匹配准确率,还会采用比值提纯法对匹配结果提纯。在比值提纯后,再采用RANSAC算法剔除离群匹配对,以进一步提高匹配精度。
仿射变换，根据两幅图像的匹配点对计算投影变换矩阵，根据变换矩阵对图像进行仿射变换；
对配准后的图像进行加权融合消除接缝处理，具体包括，
在进行基于sift特征进行图像配准时，仿射变换后的两幅图像会有明显的接缝，
此时，通过公式计算重叠区域的像素值
基于此消除接缝；
其中，d1、d2分别是重叠区域中的点到重叠区域左边界和右边界的距离，pixImg1、pixImg2分别是两幅图片中重叠区域中的点的像素值。
参照图3以及图4，本发明还提出轮胎模具字符图案的机器人视觉自动获取系统，包括：
机器人本体；
黑匣子，设置于所述机器人本体的机械臂外端，用于存放第二相机以及相配合的光源；
模具摆放平台，用于放置目标模具侧板，一侧固定设置有支架；
第一相机，固定设置于所述支架远离所述模具摆放平台的一端；
上位机，与所述机器人本体、第一相机以及黑匣子通过信号线连接，用于，
获取第一相机的标定相关信息，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
获取第二相机的标定相关信息，以获得所述第二相机在机械臂末端关节坐标系的姿态；
根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
在设置时，需要保证第一相机能够清晰完整的拍摄不同型号的模具侧板，另外在每次进行检测前，均会对机械臂进行自检，判断机械臂是否回到初始位置，若否则对机械臂进行复位处理。
作为本发明的优选实施方式，具体的，在所述第二相机进行目标模具侧板的图像信息获取时，控制相机倾斜一定角度以使得相机成像平面与字符图案中心点的法线方向相垂直后进行拍摄。
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上中任一项所述轮胎模具字符图案的机器人视觉自动获取方法的步骤。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包括的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (10)
1.轮胎模具字符图案的机器人视觉自动获取方法，其特征在于，包括以下：
完成第一相机的标定，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
完成第二相机的标定，以获得所述第二相机在机械臂末端关节坐标系的姿态；
根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
2.根据权利要求1所述的轮胎模具字符图案的机器人视觉自动获取方法，其特征在于，具体的，第一相机的标定过程，包括以下，
将标定板放置在机械臂末端，利用示教器控制机械臂变换不同位置采集多张标定板图像，采用eye-to-hand手眼标定方法求解出第一相机坐标系相对机械臂基座坐标系的位置关系。
3.根据权利要求1所述的轮胎模具字符图案的机器人视觉自动获取方法，其特征在于，具体的，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中，包括，
对所述图像信息中的目标模具侧板进行阈值处理，提取出目标模具侧板的中心坐标(xIc0,yIc0)以及内外圈半径rIc、RIc，根据图片比例尺k还原目标模具侧板的真实尺寸，还原得到真实侧板内外圈半径为rc＝k·rIc、Rc＝k·RIc，并计算目标模具侧板中心坐标(xIc0,yIc0)与图像信息的中心坐标(xI0,yI0)的偏移量△xI＝xIc0-xI0、△yI＝yIc0-yI0，从而得到实际偏移量为△x＝k·△xI、△y＝k·△yI，假设第一相机光心在机械臂基座坐标系中的坐标为(x,y)，侧板中心在基座坐标系中的坐标为(xc,yc)＝(x+△x,y+△y)，从而得到目标模具侧板中心相对于机械臂基座坐标系的位置关系。
4.根据权利要求3所述的轮胎模具字符图案的机器人视觉自动获取方法，其特征在于，具体的，根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹过程，包括以下，
设第二相机在拍摄高度平面上获取的视野真实尺寸为W×H，若H＞Rc-rc，则预设第二相机进行单圈轨迹规划；若H＜Rc-rc，则预设第二相机进行双圈轨迹规划，其中，双圈轨迹规划与单圈轨迹规划方法相同；
单圈轨迹规划具体过程为，通过设置角度步长step，在半径为r＝(Rc+rc)/2的圆上按步长step设置若干轨迹点，完成以(xc,yc)为圆心，r为半径的单圈轨迹规划。
5.根据权利要求4所述的轮胎模具字符图案的机器人视觉自动获取方法，其特征在于，具体的，对所获取的拍摄图像进行图像拼接处理，包括以下，
对于单圈轨迹规划拍摄的图像进行拼接成一幅完整图像，对于双圈轨迹规划拍摄的图像分别按照单圈的方式进行拼接成两幅图像，其中拼接成一幅完整图像的过程包括以下，
基于sift特征进行图像配准得到配准后的图像，具体包括，特征点提取、生成局部描述子、特征点匹配以及仿射变换；
对配准后的图像进行加权融合消除接缝处理，具体包括，
在进行基于sift特征进行图像配准时，仿射变换后的两幅图像会有明显的接缝，
此时，通过公式计算重叠区域的像素值
基于此消除接缝；
其中，d1、d2分别是两幅图像中重叠区域中的点到重叠区域左边界、右边界的距离，pixImg1、pixImg2分别是两幅图片中重叠区域中的点的像素值。
6.根据权利要求5所述的轮胎模具字符图案的机器人视觉自动获取方法，其特征在于，所述方法还包括，
在进行特征点匹配得到匹配结果之后，还会采用比值提纯法对匹配结果进行提纯，在比值提纯后，再采用RANSAC算法剔除离群匹配对。
7.根据权利要求1所述的轮胎模具字符图案的机器人视觉自动获取方法，其特征在于，具体的，第二相机的标定过程，包括以下，
将标定板放置在模具摆放平台上进行标定，通过机械臂搭载第二相机在不同位置拍摄多张标定板图像，采用eye-in-hand方法计算得到相机光心在末端坐标系的姿态。
8.轮胎模具字符图案的机器人视觉自动获取系统，其特征在于，包括：
机器人本体；
黑匣子，设置于所述机器人本体的机械臂外端，用于存放第二相机以及相配合的光源；
模具摆放平台，用于放置目标模具侧板，一侧固定设置有支架；
第一相机，固定设置于所述支架远离所述模具摆放平台的一端；
上位机，与所述机器人本体、第一相机以及黑匣子通过信号线连接，用于，
获取第一相机的标定相关信息，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
获取第二相机的标定相关信息，以获得所述第二相机在机械臂末端关节坐标系的姿态；
根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
9.根据权利要求8所述轮胎模具字符图案的机器人视觉自动获取系统，其特征在于，具体的，在所述第二相机进行目标模具侧板的图像信息获取时，控制相机倾斜一定角度以使得相机成像平面与字符图案中心点的法线方向相垂直后进行拍摄。
10.一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210567103.0A CN114888805B (zh) | 2022-05-23 | 2022-05-23 | 轮胎模具字符图案的机器人视觉自动获取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210567103.0A CN114888805B (zh) | 2022-05-23 | 2022-05-23 | 轮胎模具字符图案的机器人视觉自动获取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114888805A true CN114888805A (zh) | 2022-08-12 |
| CN114888805B CN114888805B (zh) | 2024-02-27 |
Family
ID=82723929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210567103.0A Active CN114888805B (zh) | 2022-05-23 | 2022-05-23 | 轮胎模具字符图案的机器人视觉自动获取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114888805B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115194773A (zh) * | 2022-08-22 | 2022-10-18 | 苏州佳祺仕信息科技有限公司 | 一种视觉引导组装方法及装置 |
| CN116883488A (zh) * | 2023-07-21 | 2023-10-13 | 捷安特(中国)有限公司 | 一种圆形管的中心位置确定方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105034205A (zh) * | 2015-06-10 | 2015-11-11 | 佛山轻子精密测控技术有限公司 | 一种用于轮胎模具胎侧板表面字样的识别检测装置 |
| CN105352974A (zh) * | 2015-11-13 | 2016-02-24 | 广东工业大学 | 一种识别检测轮胎模具胎侧板表面字样的装置 |
| CN106296570A (zh) * | 2016-07-28 | 2017-01-04 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN106469444A (zh) * | 2016-09-20 | 2017-03-01 | 天津大学 | 消除拼接缝隙的快速图像融合方法 |
| CN108414409A (zh) * | 2018-05-11 | 2018-08-17 | 中国矿业大学 | 一种旋转式铁谱仪谱片图像采集系统及方法 |
| CN111413277A (zh) * | 2020-04-17 | 2020-07-14 | 宁波积微速成智能科技有限公司 | 一种轮胎表面缺陷检测系统及方法 |
-
2022
- 2022-05-23 CN CN202210567103.0A patent/CN114888805B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105034205A (zh) * | 2015-06-10 | 2015-11-11 | 佛山轻子精密测控技术有限公司 | 一种用于轮胎模具胎侧板表面字样的识别检测装置 |
| CN105352974A (zh) * | 2015-11-13 | 2016-02-24 | 广东工业大学 | 一种识别检测轮胎模具胎侧板表面字样的装置 |
| CN106296570A (zh) * | 2016-07-28 | 2017-01-04 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN106469444A (zh) * | 2016-09-20 | 2017-03-01 | 天津大学 | 消除拼接缝隙的快速图像融合方法 |
| CN108414409A (zh) * | 2018-05-11 | 2018-08-17 | 中国矿业大学 | 一种旋转式铁谱仪谱片图像采集系统及方法 |
| CN111413277A (zh) * | 2020-04-17 | 2020-07-14 | 宁波积微速成智能科技有限公司 | 一种轮胎表面缺陷检测系统及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115194773A (zh) * | 2022-08-22 | 2022-10-18 | 苏州佳祺仕信息科技有限公司 | 一种视觉引导组装方法及装置 |
| CN115194773B (zh) * | 2022-08-22 | 2024-01-05 | 苏州佳祺仕科技股份有限公司 | 一种视觉引导组装方法及装置 |
| CN116883488A (zh) * | 2023-07-21 | 2023-10-13 | 捷安特(中国)有限公司 | 一种圆形管的中心位置确定方法、装置、设备及介质 |
| CN116883488B (zh) * | 2023-07-21 | 2024-03-26 | 捷安特(中国)有限公司 | 一种圆形管的中心位置确定方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114888805B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
| CN114888805B (zh) | 轮胎模具字符图案的机器人视觉自动获取方法及系统 | |
| JP2016167229A (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
| CN112233181A (zh) | 6d位姿识别的方法、装置及计算机存储介质 | |
| CN111611989B (zh) | 一种基于自主机器人的多目标精准定位识别方法 | |
| CN109345597B (zh) | 一种基于增强现实的相机标定图像采集方法及装置 | |
| CN111627072A (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN106945035A (zh) | 机器人控制设备及其控制方法和机器人系统 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| CN115609591B (zh) | 一种基于2D Marker的视觉定位方法和系统、复合机器人 | |
| CN115131444B (zh) | 一种基于单目视觉点胶平台的标定方法 | |
| CN116721203A (zh) | 一种用于测量三维模型的方法、装置和存储介质 | |
| CN113920205B (zh) | 一种非同轴相机的标定方法 | |
| JP2019192022A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN115201883B (zh) | 一种运动目标视频定位测速系统及方法 | |
| CN112132907A (zh) | 一种相机标定方法、装置、电子设备及存储介质 | |
| CN115131587A (zh) | 一种基于边缘轮廓的梯度向量特征的模板匹配方法 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN114283079A (zh) | 一种基于图卡拍摄校正的方法及设备 | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN111681268A (zh) | 光学标记点序号误识别检测方法、装置、设备及存储介质 | |
| JP2672509B2 (ja) | カメラモデルの自動キャリブレーション方法およびその装置 | |
| CN112132891A (zh) | 一种扩大标定空间的方法 | |
| CN110458951A (zh) | 一种电网杆塔的建模数据获取方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |