CN110853102A - 一种新的机器人视觉标定及引导方法、装置及计算机设备 - Google Patents
一种新的机器人视觉标定及引导方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN110853102A CN110853102A CN201911091871.8A CN201911091871A CN110853102A CN 110853102 A CN110853102 A CN 110853102A CN 201911091871 A CN201911091871 A CN 201911091871A CN 110853102 A CN110853102 A CN 110853102A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- picture
- checkerboard
- system coordinates
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003466 welding Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229910000975 Carbon steel Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000010953 base metal Substances 0.000 description 1
- 239000010962 carbon steel Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Abstract
本发明实施例公开了一种新的机器人视觉标定及引导方法、装置及计算机设备。该方法包括：接收并判断用户拍摄的棋盘格图片的平行度是否大于预设的平行度阈值；若否，在拍摄界面上显示提示信息，并返回上一步骤；若是，获取棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点；依次控制机器人移动到该三个目标黑白格角点，记录机器人在该三个目标黑白格角点处的空间坐标系坐标；根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。通过应用本发明实施例的技术方案，可大幅减少人工进行视觉标定操作的步骤和耗时，提高作业效率。将标定的大量计算移到上位机，提高了计算效率。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种新的机器人视觉标定及引导方法、装置及计算机设备。
背景技术
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算得到，这个求解参数(内参、外参、畸变参数)的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。
2D相机标定常使用国际象棋棋盘格进行，基本标定过程如下：
1)将印有棋牌格的标定板或纸片贴在目标平面上；
2)确定相机的拍照位置，保持相机的镜头平面与棋牌平面平行；
3)拍一张照片，确定照片中n个点的像素坐标(n一般大于2)，然后操作机器人分别移动到这n个点位，获取这n个对应的三维机器人坐标；
4)利用这n个点在图片坐标系和机器人坐标系下的对应坐标，计算出这两个坐标系的数学转换关系。
以上方法存在以下缺陷：
1)棋牌的横纵格线在照片中必须保证是水平和竖直方向，这样的限制导致人工实际操作标定流程时需要反复微调标定棋盘的方向，操作非常繁琐；
2)如果相机的镜头平面与棋牌平面不平行的话，会造成较大的标定误差，而普通标定方法没有一个快速有效的机制来检测出这种不平行的情况；
3)照片中用于标定的n个目标点通常为棋盘中间的黑白角点，需要用户手动划取角点识别区域或者手动定位出目标角点位置，并且需再微调到准确位置，这样选取目标点的效率很低；
4)普通标定方法常在机器人控制器上实现两个坐标系的转换计算，而控制器本身硬件配置相对上位机较低，可用硬件资源也有限，会造成计算效率低下的问题；另外如果想根据视觉定位的目标点去对机器人做更复杂的轨迹引导，例如去调整机器人路径中的其他轨迹点，则只能在机器人控制器上进行编程，而控制器编程往往功能非常有限，且编程效率非常低。
发明内容
为了解决以上技术问题，本发明实施例提供了一种新的机器人视觉标定及引导方法、装置及计算机设备。
第一方面，本发明实施例提供了一种新的机器人视觉标定及引导方法，其包括：接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值；
若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤；
若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点；
依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标；
根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
其进一步的技术方案为，所述在所述用户的拍摄界面上显示提示信息，包括：
显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。
其进一步的技术方案为，所述根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定，包括：
通过以下公式进行视觉标定，其中，T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
其进一步的技术方案为，所述的新的机器人视觉标定及引导方法还包括：
控制机器人依次移动到多个预设的示教目标点，并记录各所述示教目标点的空间坐标系坐标；
将各所述示教目标点的空间坐标系坐标储存到上位机中。
其进一步的技术方案为，所述的新的机器人视觉标定及引导方法还包括：
获取相机图片中的目标点的图片坐标系坐标，并根据视觉标定结果计算所述目标点的空间坐标系坐标；
根据所述目标点的空间坐标系坐标调整各所述示教目标点的空间坐标系坐标；
将所述目标点的空间坐标系坐标以及调整后的各所述示教目标点的空间坐标系坐标发送给机器人。
第二方面，本发明实施例还提供了一种机器人视觉标定及引导装置，其包括：
判断单元，用于接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值；
提示单元，用于若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤；
第一获取单元，用于若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点；
第一控制单元，用于依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标；
标定单元，用于根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
其进一步的技术方案为，所述提示单元包括：
显示单元，用于显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。
其进一步的技术方案为，所述标定单元包括：
计算单元，用于通过以下公式
进行视觉标定，其中，其中T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。
通过应用本发明实施例的技术方案，可大幅减少人工进行视觉标定操作的步骤和耗时，提高作业效率。并将标定的大量计算移到上位机来实现，提高了计算效率，并能进一步通过上位机对机器人运行轨迹进行复杂的轨迹调整，且将调整后的轨迹点与机器人进行通讯传输以达到最优的运动轨迹，整体上实现了一套完整高效的机器人视觉引导操作流程。本发明有助于推动机器人自动化生产及柔性产线的实际应用和产业化落地。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种新的机器人视觉标定及引导方法的流程示意图；
图2为本发明另一实施例提供的一种新的机器人视觉标定及引导方法的流程示意图；
图3为本发明实施例提供的一种计算机设备的示意性框图；
图4为本发明实施例提供的一种焊接机器人运动轨迹的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本发明实施例提供的新的机器人视觉标定及引导方法的流程示意图。如图所示，该方法包括以下步骤S1-S5。
S1，接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值。
平行度具体的判断方法如下：上位机通过预设的视觉算法自动识别出棋盘四个长边上每个格子所占的像素个数(简称为像素分辨率)，如果四个边的像素分辨率都很接近的话，即任意两边的像素分辨率差值都小于系统设定的阈值，则判定为平行度达到要求；如果有任意两个边的像素分辨率差值大于阈值，则判定为平行度未达到要求。
具体实施中，通过棋盘格图片进行视觉标定。首先，接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值。为了减少标定误差，本发明中，对棋盘格图片的平行度进行检测，并控制棋盘格图片的平行度大于预设的平行度阈值。
需要说明的是，平行度阈值可由本领域技术人员根据经验进行设定，本发明对此不作具体限定。
S2，若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤。
具体实施中，如果所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片。
在一实施例中，在所述用户的拍摄界面上显示提示信息可包括：显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。由此，用户可以根据不同角度上的像素个数比较，获知该朝哪个方向调整拍照角度。
例如，在一实施例中，由四条蓝线组成的矩形中，四条边都标注了该边方向的单个棋盘边长对应的像素个数，也可以理解为实际空间距离到照片上像素距离的转换比例尺。在本实施例中，右边和下边的比例尺大于上边和左边的比例尺。如果希望达到相机镜头平面和棋盘平面完全平行，则需调整相机角度让棋盘左上方离相机镜头更近一些。
在显示了提示信息之后，返回接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤，如此循环直到用户拍摄的棋盘格图片的平行度大于预设的平行度阈值。
S3，若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点。
具体实施中，如果所述棋盘格图片的平行度大于预设的平行度阈值，则获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点。具体地，对所述棋盘格图片运行图像梯度算法，由算法将自动识别定位出棋牌格照片中的黑白格角点，并自动选取三个合适的黑白格角点。需要说明的是图片坐标系是预先设定的，本发明对此不做限定。
S4，依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标。
具体实施中，依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标。需要说明的是，空间坐标系是预先设定的，本发明对此不做限定。
S5，根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
具体实施中，在获取了三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标之后，则可以开始计算图片坐标系与空间坐标系之间的转换关系。
在一实施例中，以上步骤S5具体包括通过以下公式
进行视觉标定，其中，T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
两个三维直角坐标系进行转换，可以用七个参数来表示，分别是一个比例因子，三个旋转角，三平移距离。既然知道了三个点在这两个坐标系中的坐标，那么这七个参数可以唯一确定。以上描述的坐标转换的数学模型如下：
参见图2，在一些实施例中，本发明提出的一种新的机器人视觉标定及引导方法还包括以下步骤：
S6，控制机器人依次移动到多个预设的示教目标点，并记录各所述示教目标点的空间坐标系坐标。
在本发明实施例中，假设机器人运动轨迹由n(例如n＝3)个目标点组成。除了需要进行视觉识别定位的目标点以外，机器人运动轨迹上还有其他的n-1个目标点，需要示教来进行确定。具体实施中，控制机器人依次移动到多个预设的示教目标点，并记录各所述示教目标点的空间坐标系坐标。
S7，将各所述示教目标点的空间坐标系坐标储存到上位机中。
具体实施中，将各所述示教目标点的空间坐标系坐标储存到上位机中。
S8获取相机图片中的目标点的图片坐标系坐标，并根据视觉标定结果计算所述目标点的空间坐标系坐标。
具体实施中，实际机器人作业中，上位机先在相机图片中定位出目标点，并获取相机图片中的目标点的图片坐标系坐标。然后，根据视觉标定结果(即步骤S5中的标定结果)计算所述目标点的空间坐标系坐标。
S9，根据所述目标点的空间坐标系坐标调整各所述示教目标点的空间坐标系坐标。
具体实施中，根据所述目标点的空间坐标系坐标调整各所述示教目标点的空间坐标系坐标，得到最优轨迹。最优轨迹的调整方式根据实际应用场景来确定。参见图4，在一实施例中，在成功应用本发明的场景层架焊接工作站中，焊接轨迹由图4中的三个点T1、T2、T3组成。每个工件的变形公差不同，造成T1点的实际位置对于每个工件来说都不一样，因此T1是需要由视觉识别来定位的一个点。假设通过视觉定位后，T1点的空间坐标定位为(X1,Y1,Z1)，Z1为其在竖直方向上的坐标值，则T2点在竖直方向上的坐标值需调整为Z1，T3点在竖直方向上的坐标值需调整为Z1-2.5(细杆的直径为2.5毫米)。
S10，将所述目标点的空间坐标系坐标以及调整后的各所述示教目标点的空间坐标系坐标发送给机器人。
具体实施中，将所述目标点的空间坐标系坐标以及调整后的各所述示教目标点的空间坐标系坐标发送给机器人。机器人再根据这n个接收到的目标点来进行运动作业。
通过应用本发明实施例的技术方案，可大幅减少人工进行视觉标定操作的步骤和耗时，提高作业效率。并将标定的大量计算移到上位机来实现，提高了计算效率，并能进一步通过上位机对机器人运行轨迹进行复杂的轨迹调整，且将调整后的轨迹点与机器人进行通讯传输以达到最优的运动轨迹，整体上实现了一套完整高效的机器人视觉引导操作流程。本发明有助于推动机器人自动化生产及柔性产线的实际应用和产业化落地。
为了进一步解释本发明的技术方案，现提供一具体应用的实施例。
本发明已被应用在焊接机器人工作站上，焊接机器人为一个6轴机械臂，焊机电源为麦格米特PM500，焊接母材和焊丝材料都为碳钢，保护气为80％Ar+20％CO2，焊接环境为室内。
首先使用本发明中的方法对焊接的目标平面进行标定。确定好标定棋盘位置和拍照位置后，拍下照片，由算法自动识别出三个合适的角点P1、P2、P3。
将机器人依次移动到P1、P2、P3位置，由上位机记录下三点的机器人坐标。然后点击“完成标定”按钮，则上位机计算出图像坐标系到机器人坐标系的转换关系，此时完成标定。
整个标定流程的作业时间，从原来方法的平均15分钟，缩减到本发明新方法的2分钟，作业效率明显提升。
参见图4，本场景的焊接机器人运动轨迹如下如所示，由T1、T2、T3这三个点组成。这三个点的具体位置坐标对每个工件来说均不相同。原因在于，每个工件的尺寸都有细微的区别。T1的具体位置是靠相机拍照来识别的，具体是对每一个工件在焊接前先使用相机拍照，进而对T1的位置进行识别定位出来，再把坐标传给机器人去执行运动的动作。T2、T3的基准位置是事先示教确定好的，具体操作是在调试机器人时，将机器人依次移动到合适的T2、T3位置，然后上位机通过与机器人的底层通讯获取到T2、T3位置下的机器人坐标，把坐标保存在上位机。这个过程称作对T2、T3点的示教。
实际焊接中，上位机先识别照片求出T1坐标，然后根据T1坐标使用本场景下的轨迹算法，按最优路径原则，基于此前T2、T3的示教基准坐标，求解出对T2和T3调整后的最终坐标。最后将T1、T2、T3的最终坐标通过底层通讯发送给机器人，由机器人完成实际运动和焊接。
本发明还提供一种机器人视觉标定及引导装置。该机器人视觉标定及引导装置包括用于执行上述新的机器人视觉标定及引导方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，该机器人视觉标定及引导装置包括判断单元、提示单元、获取单元、第一控制单元以及标定单元。
判断单元，用于接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值。
提示单元，用于若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤。
第一获取单元，用于若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点。
第一控制单元，用于依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标。
标定单元，用于根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
在一实施例中，所述提示单元包括显示单元。
显示单元，用于显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。
在一实施例中，所述标定单元包括计算单元。
计算单元，用于通过以下公式进行视觉标定，其中，其中T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
在一实施例中，所述机器人视觉标定及引导装置还包括第二控制单元以及储存单元。
第二控制单元，用于控制机器人依次移动到多个预设的示教目标点，并记录各所述示教目标点的空间坐标系坐标；
储存单元，用于将各所述示教目标点的空间坐标系坐标储存到上位机中。
在一实施例中，所述机器人视觉标定及引导装置还包括
第二获取单元，用于获取相机图片中的目标点的图片坐标系坐标，并根据视觉标定结果计算所述目标点的空间坐标系坐标；
调整单元，用于根据所述目标点的空间坐标系坐标调整各所述示教目标点的空间坐标系坐标；
发送单元，用于将所述目标点的空间坐标系坐标以及调整后的各所述示教目标点的空间坐标系坐标发送给机器人。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述机器人视觉标定及引导装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述机器人视觉标定及引导装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3，图3是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图3，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行一种新的机器人视觉标定及引导方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种新的机器人视觉标定及引导方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值；
若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤；
若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点；
依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标；
根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
在一实施例中，处理器502在实现所述在所述用户的拍摄界面上显示提示信息步骤时，具体实现如下步骤：
显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。
在一实施例中，处理器502在实现所述根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定步骤时，具体实现如下步骤：
通过以下公式
进行视觉标定，其中，T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
在一实施例中，处理器502还实现如下步骤：
控制机器人依次移动到多个预设的示教目标点，并记录各所述示教目标点的空间坐标系坐标；
将各所述示教目标点的空间坐标系坐标储存到上位机中。
在一实施例中，处理器502还实现如下步骤：
获取相机图片中的目标点的图片坐标系坐标，并根据视觉标定结果计算所述目标点的空间坐标系坐标；
根据所述目标点的空间坐标系坐标调整各所述示教目标点的空间坐标系坐标；
将所述目标点的空间坐标系坐标以及调整后的各所述示教目标点的空间坐标系坐标发送给机器人。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行如下步骤：
接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值；
若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤；
若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点；
依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标；
根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
在一实施例中，所述处理器在执行所述计算机程序而实现所述在所述用户的拍摄界面上显示提示信息步骤时，具体实现如下步骤：
显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定步骤时，具体实现如下步骤：
通过以下公式
进行视觉标定，其中，T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
在一实施例中，所述处理器在执行所述计算机程序还实现如下步骤：
控制机器人依次移动到多个预设的示教目标点，并记录各所述示教目标点的空间坐标系坐标；
将各所述示教目标点的空间坐标系坐标储存到上位机中。
在一实施例中，所述处理器在执行所述计算机程序还实现如下步骤：
获取相机图片中的目标点的图片坐标系坐标，并根据视觉标定结果计算所述目标点的空间坐标系坐标；
根据所述目标点的空间坐标系坐标调整各所述示教目标点的空间坐标系坐标；
将所述目标点的空间坐标系坐标以及调整后的各所述示教目标点的空间坐标系坐标发送给机器人。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种新的机器人视觉标定及引导方法，其特征在于，包括：
接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值；
若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤；
若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点；
依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标；
根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
2.根据权利要求1所述的新的机器人视觉标定及引导方法，其特征在于，所述在所述用户的拍摄界面上显示提示信息，包括：
显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。
3.根据权利要求1所述的新的机器人视觉标定及引导方法，其特征在于，所述根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定，包括：
通过以下公式
进行视觉标定，其中，T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
4.根据权利要求1所述的新的机器人视觉标定及引导方法，其特征在于，所述的新的机器人视觉标定及引导方法还包括：
控制机器人依次移动到多个预设的示教目标点，并记录各所述示教目标点的空间坐标系坐标；
将各所述示教目标点的空间坐标系坐标储存到上位机中。
5.根据权利要求4所述的新的机器人视觉标定及引导方法，其特征在于，所述的新的机器人视觉标定及引导方法还包括：
获取相机图片中的目标点的图片坐标系坐标，并根据视觉标定结果计算所述目标点的空间坐标系坐标；
根据所述目标点的空间坐标系坐标调整各所述示教目标点的空间坐标系坐标；
将所述目标点的空间坐标系坐标以及调整后的各所述示教目标点的空间坐标系坐标发送给机器人。
6.一种机器人视觉标定及引导装置，其特征在于，包括：
判断单元，用于接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值；
提示单元，用于若所述棋盘格图片的平行度不大于预设的平行度阈值，在所述用户的拍摄界面上显示提示信息，以提示用户调整拍照角度重新拍摄棋盘格图片，并返回所述接收用户拍摄的棋盘格图片，判断所述棋盘格图片的平行度是否大于预设的平行度阈值的步骤；
第一获取单元，用于若所述棋盘格图片的平行度大于预设的平行度阈值，获取所述棋盘格图片中的三个黑白格角点的图片坐标系坐标，并将该三个黑白格角点作为目标黑白格角点；
第一控制单元，用于依次控制机器人移动到该三个目标黑白格角点，并记录机器人在该三个目标黑白格角点处的空间坐标系坐标；
标定单元，用于根据该三个目标黑白格角点的图片坐标系坐标以及空间坐标系坐标进行视觉标定。
7.根据权利要求6所述的机器人视觉标定及引导装置，其特征在于，所述提示单元包括：
显示单元，用于显示所述棋盘格图片中各角度上单个棋盘格边长的总像素个数。
8.根据权利要求6所述的机器人视觉标定及引导装置，其特征在于，所述标定单元包括：
计算单元，用于通过以下公式进行视觉标定，其中，其中T代表转换后的坐标，S代表转换前的坐标。R是3x 3维度的旋转矩阵，Δ是平移向量，λ是比例因子。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911091871.8A CN110853102B (zh) | 2019-11-07 | 2019-11-07 | 一种新的机器人视觉标定及引导方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911091871.8A CN110853102B (zh) | 2019-11-07 | 2019-11-07 | 一种新的机器人视觉标定及引导方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110853102A true CN110853102A (zh) | 2020-02-28 |
| CN110853102B CN110853102B (zh) | 2023-11-03 |
Family
ID=69601107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911091871.8A Active CN110853102B (zh) | 2019-11-07 | 2019-11-07 | 一种新的机器人视觉标定及引导方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110853102B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111625001A (zh) * | 2020-05-28 | 2020-09-04 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、工业机器人 |
| CN113269836A (zh) * | 2021-03-30 | 2021-08-17 | 深圳市世宗自动化设备有限公司 | 3d相机标定方法、装置、计算机设备及其存储介质 |
| CN113858214A (zh) * | 2021-11-11 | 2021-12-31 | 上海节卡机器人科技有限公司 | 一种用于机器人作业的定位方法与控制系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203650130U (zh) * | 2013-12-27 | 2014-06-18 | 华中科技大学 | 一种机床多运动轴平行度的检测装置 |
| CN106780623A (zh) * | 2016-12-14 | 2017-05-31 | 厦门理工学院 | 一种机器人视觉系统快速标定方法 |
| CN109003311A (zh) * | 2018-08-22 | 2018-12-14 | 上海庄生晓梦信息科技有限公司 | 一种鱼眼镜头的标定方法 |
| CN110103217A (zh) * | 2019-05-09 | 2019-08-09 | 电子科技大学 | 工业机器人手眼标定方法 |
-
2019
- 2019-11-07 CN CN201911091871.8A patent/CN110853102B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203650130U (zh) * | 2013-12-27 | 2014-06-18 | 华中科技大学 | 一种机床多运动轴平行度的检测装置 |
| CN106780623A (zh) * | 2016-12-14 | 2017-05-31 | 厦门理工学院 | 一种机器人视觉系统快速标定方法 |
| CN109003311A (zh) * | 2018-08-22 | 2018-12-14 | 上海庄生晓梦信息科技有限公司 | 一种鱼眼镜头的标定方法 |
| CN110103217A (zh) * | 2019-05-09 | 2019-08-09 | 电子科技大学 | 工业机器人手眼标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 程丽丽: "基于视觉技术的摆线齿轮参数及误差的快速测量系统研究" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111625001A (zh) * | 2020-05-28 | 2020-09-04 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、工业机器人 |
| CN111625001B (zh) * | 2020-05-28 | 2024-02-02 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、工业机器人 |
| CN113269836A (zh) * | 2021-03-30 | 2021-08-17 | 深圳市世宗自动化设备有限公司 | 3d相机标定方法、装置、计算机设备及其存储介质 |
| CN113858214A (zh) * | 2021-11-11 | 2021-12-31 | 上海节卡机器人科技有限公司 | 一种用于机器人作业的定位方法与控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110853102B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11911914B2 (en) | System and method for automatic hand-eye calibration of vision system for robot motion | |
| US11913771B2 (en) | Information processing device, object measuring system, object measuring method, and program storing medium | |
| JP6396516B2 (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
| JP2023052266A (ja) | 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 | |
| CN110570477B (zh) | 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 | |
| CN106650682B (zh) | 一种人脸追踪的方法及装置 | |
| CN111195897B (zh) | 用于机械手臂系统的校正方法及装置 | |
| US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
| CN110853102B (zh) | 一种新的机器人视觉标定及引导方法、装置及计算机设备 | |
| JP4004899B2 (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
| KR102062423B1 (ko) | 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템 | |
| KR20190021342A (ko) | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 | |
| JP2016192132A (ja) | 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| CN114952856A (zh) | 机械臂手眼标定方法、系统、计算机及可读存储介质 | |
| CN114283079A (zh) | 一种基于图卡拍摄校正的方法及设备 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
| US20150123892A1 (en) | Locating method, locating device, depth determining method and depth determining device of operating body | |
| US20210042576A1 (en) | Image processing system | |
| CN113330487A (zh) | 参数标定方法及装置 | |
| CN114677429A (zh) | 一种机械手的定位方法、装置、计算机设备和存储介质 | |
| CN114170319A (zh) | 测试标板的调整方法及装置 | |
| WO2019093299A1 (ja) | 位置情報取得装置およびそれを備えたロボット制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |