CN114683214A - 一种车载屏幕壳体自动化打螺丝的视觉定位方法 - Google Patents

一种车载屏幕壳体自动化打螺丝的视觉定位方法 Download PDF

Info

Publication number
CN114683214A
CN114683214A CN202210334559.2A CN202210334559A CN114683214A CN 114683214 A CN114683214 A CN 114683214A CN 202210334559 A CN202210334559 A CN 202210334559A CN 114683214 A CN114683214 A CN 114683214A
Authority
CN
China
Prior art keywords
camera
manipulator
coordinate system
punched
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210334559.2A
Other languages
English (en)
Other versions
CN114683214B (zh
Inventor
李林峰
汪杨刚
高强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Haiwei Technology Co ltd
Original Assignee
Wuhan Haiwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Haiwei Technology Co ltd filed Critical Wuhan Haiwei Technology Co ltd
Priority to CN202210334559.2A priority Critical patent/CN114683214B/zh
Publication of CN114683214A publication Critical patent/CN114683214A/zh
Application granted granted Critical
Publication of CN114683214B publication Critical patent/CN114683214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B27/00—Hand tools, specially adapted for fitting together or separating parts or objects whether or not involving some deformation, not otherwise provided for
    • B25B27/14—Hand tools, specially adapted for fitting together or separating parts or objects whether or not involving some deformation, not otherwise provided for for assembling objects other than by press fit or detaching same
    • B25B27/143—Hand tools, specially adapted for fitting together or separating parts or objects whether or not involving some deformation, not otherwise provided for for assembling objects other than by press fit or detaching same for installing wire thread inserts or tubular threaded inserts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种车载屏幕壳体自动化打螺丝的视觉定位方法，包括以下步骤：步骤1、对相机进行内参标定，得到相机的内参参数；步骤2、将相机固定于机械手的移动端上，对相机和机械手进行手眼标定，得到相机坐标系和机械手坐标系的转换关系；步骤3、将机械手上的螺丝枪与待打孔的螺丝孔对准，此时的状态为标准对位状态，并进行对位标定，得到对准状态下的待打孔的螺丝孔的中心特征点的相机坐标。本发明的相机的内外参数只需要标定一次，操作简单，能够自动修正机械手上螺丝枪与螺丝孔的相对位置，实现自动化打螺丝的高精度，高稳定性。

Description

一种车载屏幕壳体自动化打螺丝的视觉定位方法
技术领域
本发明涉及车载电子产品自动化生产技术领域，具体的讲是一种车载屏幕壳体自动化打螺丝的视觉定位方法。
背景技术
在车载屏幕自动化生产过程中，需要将屏幕的背壳安装固定在屏幕主体上，装配成一个完整的产品，屏幕的壳体主要是通过若干颗直径大小不一的螺丝装配在屏幕主体上。传统的打螺丝主要是通过人工完成，通过人工来寻找螺丝孔的位置，然后找到对应的孔径大小的螺丝，人工拧上去，其效率低下，满足不了自动化生产的需求，容易漏打螺丝孔，并且不能记录打螺丝的一些技术参数，比如螺丝的扭力、圈数以及转角等，这些技术参数用来评估螺丝打完的质量是否符合标准，并用来反馈一些残次品进行溯源返工等操作。
为了解决目前人工打螺丝的不足，一些单位已经研究出了机械手自动化打螺丝，依靠机械手的固定路径来打螺丝，但这种机械手打螺丝极度依靠机械手运动的精度以及产品固定位置的精度，机械手每次打螺丝的运动轨迹是固定不变的，就需要保证产品每次都要固定放置在相同的位置，这种自动化打螺丝方式精度较低，稳定性不高，会产出累计误差，不能自动校准螺丝与螺丝孔的相对位置。
发明内容
本发明要解决的技术问题是针对以上不足，提供一种车载屏幕壳体自动化打螺丝的视觉定位方法，本发明的视觉定位方法自动化程度高，通用性高，且视觉定位精准，误差小，稳定性高，可以满足车载屏幕产线自动化生产的需求。
为解决以上技术问题，本发明采用以下技术方案：
一种车载屏幕壳体自动化打螺丝的视觉定位方法，包括以下步骤：
步骤1、对相机进行内参标定，得到相机的内参参数；
步骤2、将相机固定于机械手的移动端上，对相机和机械手进行手眼标定，得到相机坐标系和机械手坐标系的转换关系；
步骤3、将机械手上的螺丝枪与待打孔的螺丝孔对准，此时的状态为标准对位状态，并进行对位标定，得到对准状态下的待打孔的螺丝孔的中心特征点的相机坐标；
步骤4、根据对准状态下的待打孔的螺丝孔的中心特征点的相机坐标计算待打孔的螺纹孔的中心特征点的相机坐标从待对准状态到对准状态的刚体转换关系；
根据相机坐标系和机械手坐标系的转换关系计算待打孔的螺纹孔的中心特征点的机械手坐标从待对准状态到对准状态的刚体转换关系；
步骤5、根据步骤4得到的刚体转换关系将待打孔的螺纹孔的中心特征点的坐标由待对准状态转换到对准状态，并根据转换后的螺纹孔的中心特征点坐标进行自动打螺丝。
进一步的，所述步骤1中内参标定采用张正友内参标定方法。
进一步的，所述步骤2具体包括以下步骤：
步骤21、将相机固定于机械手的移动端上；
步骤22、机械手带动相机从机械手的初始位置分别向X方向和Y方向移动至少两个位置，相机分别在两个位置处拍摄标定板，得到两个位置处的图像像素坐标，且通过内参标定得到的相机内参参数将两个图像像素坐标转换为相机坐标；
步骤23、分别构建每个位置处的手眼标定方程：AX＝XB，其中，A代表对应位置处的机械手坐标，B代表对应位置处的相机坐标；
步骤24、通过所有手眼标定方程解出相机坐标系与机械手坐标系的转换关系X。
进一步的，所述步骤3具体包括以下步骤：
步骤31、在螺丝枪上设置标志点；
步骤32、将螺丝枪与螺纹孔进行人工对准，此时的状态为标准对位状态；
步骤33、在对准状态下，获取螺丝枪上标志点的世界坐标P1和待打孔的螺丝孔的中心特征点的世界坐标P2；
此时机械手上的相机拍摄螺丝枪上的标志点和待打孔的螺丝孔的中心特征点，得到螺丝枪上的标志点和待打孔的螺丝孔的中心特征点在相机坐标系下的相机坐标
Figure BDA0003574048390000031
和
Figure BDA0003574048390000032
步骤33、通过相机自校准的方式分别标定出P1转换到相机坐标系下的相机坐标P1 c的刚体转换关系
Figure BDA0003574048390000033
和P2转换到相机坐标系下的相机坐标P2 c的刚体转换关系
Figure BDA0003574048390000034
步骤34、通过式：
Figure BDA0003574048390000035
计算在对准状态下待打孔的螺丝孔的中心特征点的相机坐标
Figure BDA0003574048390000036
进一步的，所述步骤4具体包括以下步骤：
步骤41、固定好屏幕背壳的位置，在螺丝枪上设置标志点；
步骤42、机械手移动到待打孔的螺丝孔附近，进行粗定位；
步骤43、机械手上的相机分别拍摄螺丝枪上标志点和待打孔的螺丝孔的中心特征点，对拍摄的中心特征点图像进行特征提取，分别获取摄螺丝枪上标志点的图像像素坐标P3和待打孔的螺丝孔的中心特征点的图像像素坐标P4；
步骤44、通过相机自校准的方式分别标定出P3转换到相机坐标系下的相机坐标P3 c的刚体转换关系
Figure BDA0003574048390000041
和P4转换到相机坐标系下的相机坐标P4 c的刚体转换关系
Figure BDA0003574048390000042
步骤45、根据式：
Figure BDA0003574048390000043
计算在当前状态下待打孔的螺丝孔的中心特征点的相机坐标
Figure BDA0003574048390000044
根据刚体变换方程
Figure BDA0003574048390000045
求解出相机坐标系下的待打孔的螺丝孔的中心特征点从待对准状态到对准状态下的刚体变换关系Rc和tc，其中，P2为待打孔的螺丝孔的中心特征点的世界坐标；
步骤46、机械手坐标系下螺纹孔中心特征点从待对准状态到对准状态的刚体转换关系Rb和tb可根据下式进行计算：
Figure BDA0003574048390000046
其中，
Figure BDA0003574048390000047
为相机坐标系到机械手坐标系的旋转矩阵，Rb为
Figure BDA0003574048390000048
的逆矩阵，
Figure BDA0003574048390000049
为相机坐标系到机械手坐标系的平移向量，tb为
Figure BDA00035740483900000410
的逆平移向量；
进一步的，在机械手坐标系下Rb可以使用俯仰角α，偏航角β和滚转角γ进行表示：
Figure BDA00035740483900000411
其中，根据模型的角度定义，α为模型绕Y轴的旋转角，β为模型绕Z轴的旋转角，γ为模型绕X轴的旋转角。
本发明采用以上技术方案后，与现有技术相比，具有以下优点：
本发明使用机器视觉来定位来引导机械手来对准螺丝孔，实现机器视觉自动化打螺丝，提高车载屏幕产线自动化的程度；
本发明的设计，结构简单，成本低，部署方便，相机的内外参数只需要标定一次，操作简单，能够自动修正机械手上螺丝枪与螺丝孔的相对位置，实现自动化打螺丝的高精度，高稳定性，并且能满足不同孔径、不同位置的螺丝与螺纹孔的装配。
下面结合附图和实施例对本发明进行详细说明。
附图说明
图1为本发明实施例中装置的结果示意图；
图2为屏幕壳体的螺纹孔结构分布图；
图3为本发明的坐标系转换原理图。
附图中，各标号所代表的部件列表如下：
1、机械手；2、螺丝枪；3、主视觉定位组件；3-1、相机；3-2、镜头；3-3、光源；4、辅助视觉定位组件；5、屏幕壳体；5-1、M1螺纹孔；5-2、M3螺纹孔；5-3、M5螺纹孔。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”“顺时针”“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
一种车载屏幕壳体自动化打螺丝的视觉定位方法，其特征在于，包括以下步骤：
步骤1、对相机进行内参标定，得到相机的内参参数；
其中，内参标定采用张正友相机内参标定方法，在相机内部参数标定过程中，首先以标定板的第一个姿态为基准，根据标定板上标志点的对应关系，分别计算标定板在其他姿态下相对于第一个姿态的位姿关系，即可获得各标定板姿态下初始的外部参数，并通过初始三维重建获得标定板上标志点的粗略三维坐标。然后，建立所有标志点逆向投影误差最小的目标方程，使用最小二乘法优化同时优化相机的内部参数和标定板上标志点的三维坐标。假设设标定板上共有n个标志点，标定过程中标定板在测量空间摆放了m个姿态，那么第x个姿态下标定板上的第y个标志点的图像像素坐标可表示为mxy，则目标方程为：
Figure BDA0003574048390000061
其中，p表示投影方程，可以将空间内的三维点投影到二维图像平面上；A是相机的内部参数矩阵，其初值可以根据相机和镜头的标称值计算得到；为畸变系数，包含镜头的径向畸变和切向畸变；
采集13张不同的位置和角度的标定板图像进行相机内参标定，获取相机的内参矩阵
Figure BDA0003574048390000062
其中，a和b分别是水平和垂直两个方向上的归一化焦距，(u0,v0)是主点的图像像素坐标，γ是图像两个轴的倾斜角。
进一步的，所述的相机内参标定考虑了镜头的三阶径向畸变与二阶切向畸变：
Figure BDA0003574048390000063
其中，
Figure BDA0003574048390000064
为实际的图像点物理尺寸坐标，(x,y)为理想的图像点物理尺寸坐标，r2＝x2+y2，k1,k2,k3分别为一阶、二阶和三阶径向畸变参数，p1,p2分别为一阶和二阶切向畸变。由于实际图像点像素坐标值为
Figure BDA0003574048390000065
Figure BDA0003574048390000066
理想图像点像素坐标值为u＝u0+axx+γy，v＝v0+ayy，则根据公式(2)有：
Figure BDA0003574048390000071
假设每个姿态下有m个图像点，拍摄n个姿态后，联立方程(3)可得2mn个方程组，可求得畸变参数的最小二乘解。
步骤2、将相机固定于机械手的移动端上，对相机和机械手进行手眼标定，得到相机坐标系和机械手坐标系的转换关系，具体包括以下步骤：
步骤21、将相机固定于机械手的移动端上；
步骤22、机械手带动相机从机械手的初始位置分别向X方向和Y方向移动至少两个位置，相机分别在两个位置处拍摄标定板，得到两个位置处的图像像素坐标，且通过内参标定得到的相机内参参数将两个图像像素坐标转换为相机坐标；
步骤23、分别构建每个位置处的手眼标定方程：AX＝XB，其中，A代表对应位置处的机械手坐标，B代表对应位置处的相机坐标；
步骤24、通过所有手眼标定方程解出相机坐标系与机械手坐标系的转换关系X；
具体的，如图3所示，以机械手带动相机从机械手的初始位置分别向X方向和Y方向移动两个位置为例，构建两个手眼标定方程：AiX＝XBi和AjX＝XBj，其中，Ai和Aj分别代表i处和j处的机械手坐标系的机械手坐标，Bi和Bj分别代表i处和j处的相机坐标系的相机坐标；
解算步骤包括：
步骤241、手眼标定的过程较为：以AX＝XB形式的求解为例，如图3所示的场景中，根据两个手眼标定方程得到：
AiXBi＝AjXBj
上式可转换为
Figure BDA0003574048390000081
其中，
Figure BDA0003574048390000082
即为相机从j位置到i位置的变换，
Figure BDA0003574048390000083
为机械手从i位置到j位置的变换；则：
AX＝XB
其中，
Figure BDA0003574048390000084
其中，R是3 X 3的单位正交矩阵，代表旋转，中T是3 X 1的平移向量；则：
Figure BDA0003574048390000085
步骤242、由未知数的数目可知，还需一组方程才能完成求解，即
Figure BDA0003574048390000086
引入矩阵直积
Figure BDA0003574048390000087
和向量化算子vec，由其性质可知：
Figure BDA0003574048390000088
步骤243、将式
Figure BDA0003574048390000089
转化为：
Figure BDA00035740483900000810
其中，I3代表3行3列的单位矩阵，O9×3代表9行3列的零矩阵，O9代表9行1列的零向量；
上式已经构成EX＝b的形式，其中，E表示系数矩阵，因此可采用下式求解：
X＝(ETE)-1ETb，
即可求出相机坐标系到基座坐标系的转换关系为
Figure BDA0003574048390000091
其中，
Figure BDA0003574048390000092
为旋转矩阵，
Figure BDA0003574048390000093
平移向量。
步骤3、将机械手上的螺丝枪与待打孔的螺丝孔对准，此时的状态为标准对位状态，并进行对位标定，得到对准状态下的待打孔的螺丝孔的中心特征点的相机坐标，具体包括以下步骤：
步骤31、在螺丝枪上设置标志点；
步骤32、将螺丝枪与螺纹孔进行人工对准，此时的状态为标准对位状态；
步骤33、在对准状态下，获取螺丝枪上标志点的世界坐标P1和待打孔的螺丝孔的中心特征点的世界坐标P2；
此时机械手上的相机拍摄螺丝枪上的标志点和待打孔的螺丝孔的中心特征点，得到螺丝枪上的标志点和待打孔的螺丝孔的中心特征点在相机坐标系下的相机坐标P1 c和P2 c；
步骤33、通过相机自校准的方式分别标定出P1转换到相机坐标系下的相机坐标P1 c的刚体转换关系
Figure BDA0003574048390000094
和P2转换到相机坐标系下的相机坐标P2 c的刚体转换关系
Figure BDA0003574048390000095
步骤34、通过式：
Figure BDA0003574048390000096
计算在对准状态下待打孔的螺丝孔的中心特征点的相机坐标
Figure BDA0003574048390000097
步骤4、根据对准状态下的待打孔的螺丝孔的中心特征点的相机坐标计算待打孔的螺纹孔的中心特征点的相机坐标从待对准状态到对准状态的刚体转换关系；
根据相机坐标系和机械手坐标系的转换关系计算待打孔的螺纹孔的中心特征点的机械手坐标从待对准状态到对准状态的刚体转换关系，具体包括以下步骤：
步骤41、固定好屏幕背壳的位置，在螺丝枪上设置标志点；
步骤42、机械手移动到待打孔的螺丝孔附近，进行粗定位；
步骤43、机械手上的相机分别拍摄螺丝枪上标志点和待打孔的螺丝孔的中心特征点，对拍摄的中心特征点图像进行特征提取，分别获取摄螺丝枪上标志点的图像像素坐标P3和待打孔的螺丝孔的中心特征点的图像像素坐标P4；
步骤44、通过相机自校准的方式分别标定出P3转换到相机坐标系下的相机坐标P3 c的刚体转换关系
Figure BDA0003574048390000101
和P4转换到相机坐标系下的相机坐标P4 c的刚体转换关系
Figure BDA0003574048390000102
步骤45、根据式：
Figure BDA0003574048390000103
计算在当前状态下待打孔的螺丝孔的中心特征点的相机坐标
Figure BDA0003574048390000104
根据刚体变换方程
Figure BDA0003574048390000105
求解出相机坐标系下的待打孔的螺丝孔的中心特征点从待对准状态到对准状态下的刚体变换关系Rc和tc，其中，P2为待打孔的螺丝孔的中心特征点的世界坐标；
步骤46、机械手坐标系下螺纹孔中心特征点从待对准状态到对准状态的刚体转换关系Rb和tb可根据下式进行计算：
Figure BDA0003574048390000106
其中，
Figure BDA0003574048390000107
为相机坐标系到机械手坐标系的旋转矩阵，Rb为
Figure BDA0003574048390000108
的逆矩阵，
Figure BDA0003574048390000109
为相机坐标系到机械手坐标系的平移向量，tb为
Figure BDA00035740483900001010
的逆平移向量；
进一步的，在机械手坐标系下Rb可以使用俯仰角α，偏航角β和滚转角γ进行表示：
Figure BDA00035740483900001011
其中，根据模型的角度定义，α为模型绕Y轴的旋转角，β为模型绕Z轴的旋转角，γ为模型绕X轴的旋转角。
步骤5、根据步骤4得到的刚体转换关系将待打孔的螺纹孔的中心特征点的坐标由待对准状态转换到对准状态，并根据转换后的螺纹孔的中心特征点坐标进行自动打螺丝。
如图2所示，为屏幕壳体5，屏幕壳体5上分布设置有M1螺纹孔5-1、M3螺纹孔5-2和M5螺纹孔5-3；
使用上述的视觉标定方法后，即可对屏幕壳体5上的M1螺纹孔5-1、M3螺纹孔5-2和M5螺纹孔5-3进行视觉定位自动化打螺丝。
如图1所示，一种车载屏幕壳体自动化打螺丝的装置，包括机械手1、螺丝枪2、主视觉定位组件3、辅助视觉定位组件4和屏幕壳体5，所述螺丝枪2、主视觉定位组件3、辅助视觉定位组件4均设置于机械手1的末端，所述主视觉定位组件3和辅助视觉定位组件4均包括相机3-1、镜头3-2和光源3-3，所述螺丝枪2上设置有标志点；
在本实施例中，相机3-1采用工业相机，镜头3-2采用工业镜头；
使用时，通过主视觉定位组件3和辅助视觉定位组件4协同工作，当主视觉定位组件3和辅助视觉定位组件4的相机结果比较接近时，求取测量结果的平均值；当主视觉定位组件3和辅助视觉定位组件4两个相机的测量结果相差较大时，系统进行异常处理。
以上所述为本发明最佳实施方式的举例，其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以权利要求的内容为准，任何基于本发明的技术启示而进行的等效变换，也在本发明的保护范围之内。

Claims (5)

1.一种车载屏幕壳体自动化打螺丝的视觉定位方法，其特征在于，包括以下步骤：
步骤1、对相机进行内参标定，得到相机的内参参数；
步骤2、将相机固定于机械手的移动端上，对相机和机械手进行手眼标定，得到相机坐标系和机械手坐标系的转换关系；
步骤3、将机械手上的螺丝枪与待打孔的螺丝孔对准，此时的状态为标准对位状态，并进行对位标定，得到对准状态下的待打孔的螺丝孔的中心特征点的相机坐标；
步骤4、根据对准状态下的待打孔的螺丝孔的中心特征点的相机坐标计算待打孔的螺纹孔的中心特征点的相机坐标从待对准状态到对准状态的刚体转换关系；
根据相机坐标系和机械手坐标系的转换关系计算待打孔的螺纹孔的中心特征点的机械手坐标从待对准状态到对准状态的刚体转换关系；
步骤5、根据步骤4得到的刚体转换关系将待打孔的螺纹孔的中心特征点的坐标由待对准状态转换到对准状态，并根据转换后的螺纹孔的中心特征点坐标进行自动打螺丝。
2.根据权利要求1所述的于机器视觉的车载屏幕壳体自动化打螺丝的方法，其特征在于，所述步骤1中内参标定采用张正友内参标定方法。
3.根据权利要求1所述的车载屏幕壳体自动化打螺丝的视觉定位方法，其特征在于，所述步骤2具体包括以下步骤：
步骤21、将相机固定于机械手的移动端上；
步骤22、机械手带动相机从机械手的初始位置分别向X方向和Y方向移动至少两个位置，相机分别在两个位置处拍摄标定板，得到两个位置处的图像像素坐标，且通过内参标定得到的相机内参参数将两个图像像素坐标转换为相机坐标；
步骤23、分别构建每个位置处的手眼标定方程：AX＝XB，其中，A代表对应位置处的机械手坐标，B代表对应位置处的相机坐标；
步骤24、通过所有手眼标定方程解出相机坐标系与机械手坐标系的转换关系X。
4.根据权利要求1所述的车载屏幕壳体自动化打螺丝的视觉定位方法，其特征在于，所述步骤3具体包括以下步骤：
步骤31、在螺丝枪上设置标志点；
步骤32、将螺丝枪与螺纹孔进行人工对准，此时的状态为标准对位状态；
步骤33、在对准状态下，获取螺丝枪上标志点的世界坐标P1和待打孔的螺丝孔的中心特征点的世界坐标P2；
此时机械手上的相机拍摄螺丝枪上的标志点和待打孔的螺丝孔的中心特征点，得到螺丝枪上的标志点和待打孔的螺丝孔的中心特征点在相机坐标系下的相机坐标
Figure FDA0003574048380000021
和
Figure FDA0003574048380000022
步骤33、通过相机自校准的方式分别标定出P1转换到相机坐标系下的相机坐标
Figure FDA0003574048380000023
的刚体转换关系
Figure FDA0003574048380000024
和P2转换到相机坐标系下的相机坐标
Figure FDA0003574048380000025
的刚体转换关系
Figure FDA0003574048380000026
步骤34、通过式：
Figure FDA0003574048380000027
计算在对准状态下待打孔的螺丝孔的中心特征点的相机坐标
Figure FDA0003574048380000028
5.根据权利要求4所述的车载屏幕壳体自动化打螺丝的视觉定位方法，其特征在于，所述步骤4具体包括以下步骤：
步骤41、固定好屏幕背壳的位置，在螺丝枪上设置标志点；
步骤42、机械手移动到待打孔的螺丝孔附近，进行粗定位；
步骤43、机械手上的相机分别拍摄螺丝枪上标志点和待打孔的螺丝孔的中心特征点，对拍摄的中心特征点图像进行特征提取，分别获取摄螺丝枪上标志点的图像像素坐标P3和待打孔的螺丝孔的中心特征点的图像像素坐标P4；
步骤44、通过相机自校准的方式分别标定出P3转换到相机坐标系下的相机坐标
Figure FDA0003574048380000031
的刚体转换关系
Figure FDA0003574048380000032
和P4转换到相机坐标系下的相机坐标P4 c的刚体转换关系
Figure FDA0003574048380000033
步骤45、根据式：
Figure FDA0003574048380000034
计算在当前状态下待打孔的螺丝孔的中心特征点的相机坐标
Figure FDA0003574048380000035
根据刚体变换方程
Figure FDA0003574048380000036
求解出相机坐标系下的待打孔的螺丝孔的中心特征点从待对准状态到对准状态下的刚体变换关系Rc和tc，其中，P2为待打孔的螺丝孔的中心特征点的世界坐标；
步骤46、机械手坐标系下螺纹孔中心特征点从待对准状态到对准状态的刚体转换关系Rb和tb可根据下式进行计算：
Figure FDA0003574048380000037
其中，
Figure FDA0003574048380000038
为相机坐标系到机械手坐标系的旋转矩阵，Rb为
Figure FDA0003574048380000039
的逆矩阵，
Figure FDA00035740483800000310
为相机坐标系到机械手坐标系的平移向量，tb为
Figure FDA00035740483800000311
的逆平移向量；
进一步的，在机械手坐标系下Rb可以使用俯仰角α，偏航角β和滚转角γ进行表示：
Figure FDA00035740483800000312
其中，根据模型的角度定义，α为模型绕Y轴的旋转角，β为模型绕Z轴的旋转角，γ为模型绕X轴的旋转角。
CN202210334559.2A 2022-03-30 2022-03-30 一种车载屏幕壳体自动化打螺丝的视觉定位方法 Active CN114683214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210334559.2A CN114683214B (zh) 2022-03-30 2022-03-30 一种车载屏幕壳体自动化打螺丝的视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210334559.2A CN114683214B (zh) 2022-03-30 2022-03-30 一种车载屏幕壳体自动化打螺丝的视觉定位方法

Publications (2)

Publication Number Publication Date
CN114683214A true CN114683214A (zh) 2022-07-01
CN114683214B CN114683214B (zh) 2024-09-17

Family

ID=82141250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210334559.2A Active CN114683214B (zh) 2022-03-30 2022-03-30 一种车载屏幕壳体自动化打螺丝的视觉定位方法

Country Status (1)

Country Link
CN (1) CN114683214B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107984201A (zh) * 2017-11-30 2018-05-04 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝方法
CN108312144A (zh) * 2017-12-25 2018-07-24 北京航天测控技术有限公司 基于机器视觉的机器人自动锁付控制系统及方法
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质
CN109159114A (zh) * 2018-08-16 2019-01-08 郑州大学 Scara机械手固定相机视觉系统手眼标定的高精度方法
CN110842919A (zh) * 2019-11-05 2020-02-28 四川长虹智能制造技术有限公司 一种机器人打螺钉的视觉引导方法
CN111815718A (zh) * 2020-07-20 2020-10-23 四川长虹电器股份有限公司 一种基于视觉的工业螺钉机器人快速切换工位的方法
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112935772A (zh) * 2021-01-08 2021-06-11 佛山科学技术学院 视觉引导机器人拧螺丝的方法、装置、存储介质和设备
WO2021217976A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 一种基于单目视觉定位的机械臂控制方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107984201A (zh) * 2017-11-30 2018-05-04 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝方法
CN108312144A (zh) * 2017-12-25 2018-07-24 北京航天测控技术有限公司 基于机器视觉的机器人自动锁付控制系统及方法
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质
CN109159114A (zh) * 2018-08-16 2019-01-08 郑州大学 Scara机械手固定相机视觉系统手眼标定的高精度方法
CN110842919A (zh) * 2019-11-05 2020-02-28 四川长虹智能制造技术有限公司 一种机器人打螺钉的视觉引导方法
WO2021217976A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 一种基于单目视觉定位的机械臂控制方法及装置
CN111815718A (zh) * 2020-07-20 2020-10-23 四川长虹电器股份有限公司 一种基于视觉的工业螺钉机器人快速切换工位的方法
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112935772A (zh) * 2021-01-08 2021-06-11 佛山科学技术学院 视觉引导机器人拧螺丝的方法、装置、存储介质和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋岳秦;卢军;孙姝丽;: "基于HALCON的机器人视觉系统标定方法研究", 南方农机, no. 20, 10 December 2018 (2018-12-10), pages 46 - 48 *

Also Published As

Publication number Publication date
CN114683214B (zh) 2024-09-17

Similar Documents

Publication Publication Date Title
CN110276806B (zh) 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
CN110666798B (zh) 一种基于透视变换模型的机器人视觉标定方法
CN111862221B (zh) Uvw平台标定方法、设备、纠偏方法、装置及对位系统
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN106426172A (zh) 一种工业机器人工具坐标系的标定方法与系统
CN113601158B (zh) 基于视觉定位的螺栓上料预拧紧系统及控制方法
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
CN112894209A (zh) 一种基于十字激光的管板智能焊接机器人自动平面校正方法
CN114519738A (zh) 一种基于icp算法的手眼标定误差修正方法
CN110136068B (zh) 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN111438688A (zh) 机器人校正方法、装置、计算机设备及存储介质
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN117817667B (zh) 一种基于svd分解法的机械臂末端姿态调整方法
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建系统
CN116619350A (zh) 一种基于双目视觉测量的机器人误差标定方法
CN111986267A (zh) 一种多相机视觉系统的坐标系统标定方法
CN114092552A (zh) 一种基于固定端图像进行大型刚体构件对接的方法
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN116652970B (zh) 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN107756391A (zh) 机械手臂校正系统的校正方法
CN113593050A (zh) 一种双目视觉引导的机器人智能装配方法、系统及装置
CN112507755A (zh) 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Room 572, 18th Floor, Building B4, Phase I, Longshan Innovation Park, Wuhan Future Science and Technology City, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Applicant after: Wuhan Haiwei Technology Co.,Ltd.

Address before: 1588-2, 15th floor, building B3, zone 2, National Geospatial Information Industry base, No. 3, wudayuan 4th Road, Donghu New Technology Development Zone, Wuhan, Hubei Province

Applicant before: WUHAN HAIWEI TECHNOLOGY Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant