CN113674345A - 一种二维像素级三维定位系统及定位方法 - Google Patents

一种二维像素级三维定位系统及定位方法 Download PDF

Info

Publication number
CN113674345A
CN113674345A CN202111237763.4A CN202111237763A CN113674345A CN 113674345 A CN113674345 A CN 113674345A CN 202111237763 A CN202111237763 A CN 202111237763A CN 113674345 A CN113674345 A CN 113674345A
Authority
CN
China
Prior art keywords
camera
dimensional
mark point
module
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111237763.4A
Other languages
English (en)
Other versions
CN113674345B (zh
Inventor
王盼
蒋薇薇
张勇
刘中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xinxiwang Automation Technology Co ltd
Original Assignee
Chengdu Xinxiwang Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xinxiwang Automation Technology Co ltd filed Critical Chengdu Xinxiwang Automation Technology Co ltd
Priority to CN202111237763.4A priority Critical patent/CN113674345B/zh
Publication of CN113674345A publication Critical patent/CN113674345A/zh
Application granted granted Critical
Publication of CN113674345B publication Critical patent/CN113674345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种二维像素级三维定位系统及定位方法,三维定位系统包括图像采集单元、激光测距单元和控制处理单元,图像采集单元用于拍摄获取待检测工件上标记点的图像,激光测距单元用于测量平行于相机光轴方向上标记点与激光测距单元之间的距离d;控制处理单元对图像进行分析,得出标记点在像素坐标系下的坐标(u,v),并根据距离d和激光测距单元测距位置在相机坐标系下的坐标数据计算标记点到相机的深度ZC,并基于坐标(u,v)以及ZC计算出标记点在世界坐标系下的三维坐标。相比于现有技术,所提供的三维定位系统及定位方法,能够在二维图像的基础上,实现像素精度级别的三维定位,极大的提升了三维定位精度,且实施成本较低。

Description

一种二维像素级三维定位系统及定位方法
技术领域
本发明涉及智能制造领域的机器视觉检测技术,尤其是一种二维像素级的三维定位系统及定位方法。
背景技术
目前,借助机器视觉系统实现产品的自动化装配在智能制造领域已逐渐得到了推广应用。在生产过程中,元件可能是以未知的姿态呈现到装配平台上,通过机器视觉系统可以定位元件的位置和方向,机器视觉引导将元件在2D或3D空间内的位置和方向发送给机器人,让机器人能够定位元件姿态,以便将元件对位。机器视觉引导在许多任务中都能够实现比人工定位高得多的速度和精度,对元件进行定位和对位,以便将其与其他部件装配在一起。
宽泛而言,机器视觉系统可以划分为仅考虑二维平面信息的2D视觉系统,以及基于三维空间信息的3D视觉系统。目前用于贴合对位的机器视觉通常是指2D视觉系统,即通过平面相机拍摄元件图像,通过图像分析识别计算确定元件的位置和方向(平面坐标信息),可实现平面对位装配,比如屏幕的对位贴合。然而,2D视觉系统虽然能够实现像素级的高精度平面对位,但由于2D视觉系统不能获得对象的空间坐标信息,因此难以实现三维层面的精准对位装配,比如曲面元件的装配对位。
目前的自动化装配中,在对装配面相对复杂的元件进行装配时,通常需要基于待装配元件的三维信息来重构元件的三维模型,从而确定元件在空间中的位姿形态,以实现精准对位装配。点云模型是目前较为基础的一种三维模型,点云是在同一空间参考系下表达目标空间分布的海量点集合,即在获取物体表面每个采样点的空间坐标后,得到的点的集合称之为“点云”。目前,点云数据的测量获取方式主要包括通过3D激光测距仪对目标对象进行扫描获取,以及通过深度相机拍摄获取,两者分别依据的是激光测量原理和摄影原理。3D激光扫描测距方式在逆向工程建模中应用较多,可适用于较大型目标的三维建模。但是,该方式对于其模型的建立需依赖大量的点云数据,计算量较大,并且由于其在扫描移动方向(XY方向)的移动定位精度有限,难以获得高精度的点云数据,且高精度的3D激光扫描仪成本较高,因此,该方式在目前的自动化装配中应用较为有限。
基于深度相机的视觉检测系统是目前在自动化装配中得到一定应用的3D机器视觉系统,其通常由多台相机组成,在机器视觉引导应用中,由多台安装在不同位置的相机组成的3D视觉系统向机器人提供元件方位信息(空间位姿信息)。目前应用于自动化装配的深度相机主要采用双目技术和结构光技术,双目技术的深度信息依赖纯软件算法得出,并且要求的测量精度越高,则要求越高的分辨率,计算则越复杂,实现算法需要很高的计算资源,导致实时性较差,处理芯片需要很高的计算性能,此外,该方式的测量还易受到光线的干扰。结构光方案作为双目方案的一种改进,能够解决双目技术中抗干扰性不足问题,但是,结构光方案依旧存在计算量较大,成本较高的问题。
综上,在目前的3D机器视觉检测中,提供一种高精度、高效率、低成本的定位技术成为了急需。
发明内容
本发明的目的在于至少部分的解决上述现有技术问题,提供一种高精度、高效率、低成本的二维像素级三维定位系统。
为了实现上述目的,本发明提供了一种二维像素级三维定位系统,包括图像采集单元、激光测距单元和控制处理单元,图像采集单元包括用于拍摄获取待检测工件上标记点的图像的相机,激光测距单元用于测量平行于相机光轴方向上标记点与激光测距单元之间的距离d;
控制处理单元包括图像处理模块、深度计算模块和坐标换算模块,图像处理模块用于对所述相机拍摄的图像进行分析处理,得出标记点在像素坐标系下的坐标(u,v);深度计算模块用于根据距离d和激光测距单元测距位置在相机坐标系下的坐标数据计算标记点到相机的深度值ZC;坐标换算模块可基于坐标(u,v)、ZC、相机内参和相机外参计算出标记点在世界坐标系下的三维坐标数据。
优选的,所述激光测距单元包括移动机构以及设置在所述移动机构上的激光测距仪,控制处理单元包括移动控制模块,移动机构受控于所述控制模块进行移动。
优选的,控制处理单元还包括用于存储待检测工件上标记点处的斜率参数和/或曲率参数的存储模块,移动控制模块包括阈值子模块、第一控制子模块和第二控制子模块,阈值子模块用于设置阈值以及将斜率参数和/或曲率参数与阈值进行比较,第一控制子模块和第二控制子模块根据比较结果生成对移动机构的控制信号。
优选的,当比较结果为斜率参数和/或曲率参数的绝对值小于阈值时,第一控制子模块根据激光测距仪和标记点在相机坐标系下的XY坐标差生成对移动机构的移动量控制信号。
优选的,当比较结果为斜率参数和/或曲率参数的绝对值大于阈值时,第二控制子模块根据激光测距仪和标记点在相机坐标系下的XY坐标差以及移动机构的固有误差生成对移动机构的移动量控制信号。
优选的,所述阈值设置为0.3-0.5中的任一值。
优选的,所述移动机构包括相互垂直的第一轨道和第二轨道,第一轨道上设置有第一电机,第二轨道上设置有第二电机,第二轨道可在第一电机的驱动下沿第一轨道移动,所述激光测距仪可在第二电机的驱动下沿第二轨道移动;第一轨道和第二轨道构成的平面与相机的成像面平行,第一电机和第二电机受控于所述移动控制模块。
本发明还提供一种二维像素级三维定位方法,包括步骤:
S1、通过平面相机拍摄获取待检测工件标记点的图像,通过图像分析确定标记点在像素坐标系下的坐标(u,v);
S2、通过激光测距仪测量获得平行于相机光轴方向上标记点到激光测距仪之间的距离d,再根据距离d和激光测距仪测距位置在相机坐标系下的坐标数据计算标记点到相机的深度值ZC
S3、根据标记点的坐标(u,v)、深度值ZC、相机内参和外参计算得出标记点在世界坐标系下三维坐标数据。
进一步的,所述步骤S2包括通过移动机构移动激光测距仪使其在平行于相机光轴方向对准标记点的步骤:当标记点处的斜率参数和/或曲率参数的绝对值小于设定阈值时,根据激光测距仪和标记点在相机坐标系下的XY坐标差确定移动机构的移动量;当斜率参数和/或曲率参数的绝对值大于设定阈值时,根据激光测距仪和标记点在相机坐标系下的XY坐标差以及移动机构的固有误差来确定移动机构的移动量。
优选的,所述阈值选取为0.3-0.5中的任一值。
本发明的有益效果体现在:
相比于现有用于自动化装配的三维定位技术,所提供的二维像素级三维定位系统及定位方法,能够基于平面相机,在二维图像的基础上,实现像素精度或亚像素精度级别的三维定位,极大的提升了三维定位精度,并且实施成本较低,为目前的装配定位提供了一个较为实用、高效的解决方案。
附图说明
图1为本发明实施例的二维像素级三维定位系统原理框图;
图2为本发明实施例的二维像素级三维定位系统构成示意图;
图3为一种实施例的激光测距单元的俯视图;
图4为不同曲率下的深度测量结果示意图;
图5为激光测距仪位于标记点正上方示意图;
图6为激光测距仪在固定设置方式下的测距示意图;
图7为自动装配系统转配原理示意图。
附图标记:
1-相机、2-激光测距仪、31-第一轨道、32-第二轨道、33-第一电机、34-第二电机、4-待检测工件、5-标记点、6-工件一、7-工件二、8-待装配工件一、9-待装配工件二、10-装配平台、11-机械手。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-7所示,本发明提供的具体实施例如下:
参阅图1和图2所示,本实施例的一种二维像素级三维定位系统,包括图像采集单元、激光测距单元和控制处理单元,图像采集单元包括用于拍摄获取待检测工件4上标记点5的图像的相机1,激光测距单元用于测量平行于相机光轴方向上标记点与激光测距单元之间的距离d;控制处理单元包括图像处理模块、深度计算模块和坐标换算模块,图像处理模块用于对所述相机拍摄的图像进行分析处理,得出标记点在像素坐标系下的坐标(u,v);深度计算模块用于根据距离d和激光测距单元测距位置在相机坐标系下的坐标数据计算标记点到相机的深度值ZC;坐标换算模块可基于坐标(u,v)、ZC、相机内参和相机外参计算出标记点在世界坐标系下的三维坐标数据。
可以理解的是,上述的待检测工件4可视为待装配的工件,标记点5通常被标记在工件的特定位置,且能够被视觉相机所识别,标记点可表征工件的特定方位信息。在实际装配中,通常在工件的多个关键位置分别设置标记点,通过多个标记点的空间坐标信息可准确对应得到工件的空间位姿,当然,在一些情况下,也可只设置一个标记点。在上述实施例方案中,所述相机优选采用工业相机,以获得高质量的拍摄图像,通过图像处理模块对相机拍摄的图像进行分析处理,从而得到标记点在像素坐标系下的坐标(u,v),实现对标记点的像素级别精度的定位,而对于限定成本的深度相机获取点云的精度有限,通常不足工业相机精度的1/100。应该指出的是,在实际拍摄的图像中,标记点通常会占据多个像素点位置,作为一种可选择的方案,可将标记点中心位置的像素点的坐标作为标记点在像素坐标系下的坐标。进一步的,上述实施例中,在确定标记点的坐标后,通过激光测距单元测量得到标记点与激光测距单元之间的距离d,所述距离d为平行于相机1光轴方向上的距离,深度计算模块可根据距离d和激光测距单元测距位置在相机坐标系下的坐标数据计算标记点到相机的深度值ZC。可以理解的是,相机坐标系是以相机的聚焦中心为原点,以相机光轴为Z轴建立的三维直角坐标系,即相机坐标系的原点为相机的光心,X轴与Y轴与图像的x,y轴平行。因此,标记点到相机的深度值ZC可通过距离d与激光测距仪在相机坐标系下的Z轴坐标值之和得出。相比现有技术中深度相机的复杂计算方式,本实施例中基于激光测距仪所测量的距离d,通过简单的计算即可得到标记点的深度值,极大简化了计算复杂度,可有效提升计算速度,同时测量精度也有明显提升。
还应该说明的是,坐标换算模块可设置为用于实现像素图像坐标系、图像坐标系、相机坐标系以及世界坐标系之间的转换计算,其存储有实施例中计算所需的相机内参、相机外参等数据,因而,坐标换算模块可基于目标(如标记点)坐标(u,v)、ZC、相机内参和相机外参计算出标记点在世界坐标系下的三维坐标数据,计算过程主要为:基于标记点在像素坐标系下的坐标(u,v)换算得到标记点在图像坐标系下的x,y坐标,结合相机的内参矩阵K,则进一步将标记点在图像坐标系下的x,y坐标换算为标记点在相机坐标系下的X,Y坐标,由此,即可得出标记点在相机坐标系下的三维坐标(XC,YC,ZC)。进一步的,结合相机外参旋转矩阵R和平移矩阵t,即可将标记点在相机坐标系下三维坐标数据换算为标记点在世界坐标系下的三维坐标数据。在实际应用中,即可根据标记点在世界坐标系下的三维坐标数据确定待检测工件的空间位姿。应该说明的是,本发明实施例中所涉及的相机内参和相机外参在本领域中具有确定的定义,相机内参主要指内参矩阵K,相机外参为描述相机姿态的旋转矩阵R和平移向量t,坐标换算模块所涉及的像素坐标系、图像坐标系、相机坐标系和世界坐标系的转换可参考现有技术,在此不做过多的赘述。
作为优选的,参阅图2和图3中所示,所述激光测距单元包括移动机构以及设置在所述移动机构上的激光测距仪2,控制处理单元包括移动控制模块,移动机构受控于所述控制模块进行移动,所述激光测距仪优选为激光位移传感器。可以理解的是,移动控制模块的设置目的在于控制移动机构将激光测距仪2移动到目标测距位置。为进一步提升距离d的测量精度,可将所述目标测距位置设定为在所述标记点5的正上方,也就是说,目标测距位置和标记点在相机坐标系下的XY坐标相同,参阅图5所示为激光测距仪位于标记点正上方示意图。进一步应该说明的是,根据实际控制精度的需要,激光测距单元也可仅包括激光测距仪,将激光测距仪2固定设置在靠近图像采集单元的相机1的位置,相机与激光测距仪均面向待检测工件。可以预见,该方式虽然无需设置移动机构进行精准对位,但是,由于激光测距仪的测量位置并非处于标记点的正上方,因此所直接测量得到的激光测距仪和标记点的距离并非是平行于光轴方向的距离,还需进行相应的计算,增加了计算复杂度,同时,其测量精度也低于设置移动机构的方式。参阅图6所示为激光测距仪靠近相机位置固定方式的测距示意图。
进一步优选的,控制处理单元还包括用于存储待检测工件上标记点处的斜率参数和/或曲率参数的存储模块,移动控制模块包括阈值子模块、第一控制子模块和第二控制子模块,阈值子模块用于设置阈值以及将斜率参数和/或曲率参数与阈值进行比较,第一控制子模块和第二控制子模块根据比较结果生成对移动机构的控制信号。
优选的,当比较结果为斜率参数和/或曲率参数的绝对值小于阈值时,第一控制子模块根据激光测距仪和标记点在相机坐标系下的XY坐标差生成对移动机构的移动量控制信号。
优选的,当比较结果为斜率参数和/或曲率参数的绝对值大于阈值时,第二控制子模块根据激光测距仪和标记点在相机坐标系下的XY坐标差以及移动机构的固有误差生成对移动机构的移动量控制信号。应该说明的是,在计算坐标差时,激光测距仪在相机坐标系下的XY坐标可选取激光测距仪光心的坐标数据。
在实际测试中发现,当待检测工件上标记点处为相对于水平面具有较小倾斜度(斜率)的斜面,或者,标记点处为曲率较小的曲面的情况下,标记点和偏离标记点一定范围的其它测试点的深度值相差较小;反之,当标记点处的斜率参数和/或曲率参数的绝对值较大时,标记点和偏离标记点一定范围的其它测试点的深度值相差较大,也就是说,随着标记点处的斜率参数和/或曲率参数的绝对值的增大,标记点处上相同间距的两个点的深度值差逐渐增大。参阅图4所示,其中Z轴平行于相机光轴,Z轴数值代表激光测距仪测量的距离d,P1和P2为位于曲率较小的工件一6上的两个标记点,P3和P4为位于曲率较大的工件二7上的两个标记点,P1和P2在X轴上的间距与P3和P4在X轴上的间距相同,从图中可以看出,标记点P1和P2的Z值(距离d)相差较小,而标记点P3和P4的Z值相差较大。鉴于此,在标记点处斜率参数和/或曲率参数的绝对值较小时,第一控制子模块根据激光测距仪和标记点在相机坐标系下的XY坐标差生成移动机构的移动量,可确保在激光测距仪的测量点位置偏离标记点时,所测量的深度值与标记点处的真实深度值相差较小,可确保较高的测量精度。而在标记点处斜率参数和/或曲率参数的绝对值较大时,第二控制模块根据激光测距仪和标记点在相机坐标系下的XY坐标差以及移动机构的固有误差来确定移动机构的移动量,可确保激光测距仪的测量点位置与标记点重合或者最大程度的接近标记点,从而使得所测量的深度值与标记点处的真实深度值相同或相差较小。应该说明的是,上述移动机构的固有误差(也称为机械误差)是指由于移动机构本身的结构设计而存在的固有的移动误差,也就是说移动机构的实际移动量相对目标移动量的偏移量。可以理解的是,所述移动机构的固有误差可预先进行测定,并存储到存储模块以便移动控制模块进行调用。
综上,上述实施例方案中,移动控制模块根据斜率参数和/或曲率参数的绝对值选择不同的移动控制策略,可对不同类型的待检测工件上的标记点深度值实现高精度的测量;同时,借助工业相机对标记点实现像素级别的平面坐标定位,从而实现对标记点位置信息的高精度测量定位。在实际测试中,本发明实施例的三维定位系统在三个轴向(X,Y,Z)的重复定位精度达到了0.5u,其相对于目前定位精度最优(达到10u左右)的深度相机取得了较为明显的提升。基于此,本发明实施例的三维定位系统尤其适用于要求高精度定位的曲面工件之间的装配定位,比如,需要将多片曲面工件进行定位装配的VR眼镜的装配,在VR眼镜的装配中,需要获取标记点的高精度三维坐标数据,否则很容易造成装配错位,而本发明实施例提供的三维定位系统能够较好的满足其装配精度需求。
作为一种优选的,为确保深度测量结果满足精度要求同时降低对移动机构的精度要求和成本,结合实际测试经验,建议将所述阈值选取为0.3-0.5中的任一值。
作为一种优选的,参阅图2所示,所述移动机构包括相互垂直的第一轨道31和第二轨道32,第一轨道上设置有第一电机33,第二轨道上设置有第二电机34,第二轨道32可在第一电机33的驱动下沿第一轨道31移动,所述激光测距仪2可在第二电机34的驱动下沿第二轨道32移动;第一电机33和第二电机34受控于所述移动控制模块,第一轨道31和第二轨道32构成的平面与相机的成像面平行。进一步可设置为第一轨道31与图像坐标系的X轴平行,第二轨道32与图像坐标系Y轴平行。通过上述方案设置,移动机构可将激光测距仪2快速精准的移动定位到标记点5正上方位置(目标测距位置),即使得激光测距仪2的测量点对准标记点5。在一些实际测试中,通过移动机构将激光测距仪先后移动到四个不同的标记点并分别进行测距,总耗时不足1秒,由此可见,本发明实施例的测量效率较高,能够较好的满足实际生产装配中对于定位效率的要求。
本发明还提供一种二维像素级三维定位方法,包括步骤:
S1、通过平面相机拍摄获取待检测工件标记点的图像,通过图像分析确定标记点在像素坐标系下的坐标(u,v);
S2、通过激光测距仪测量获得平行于相机光轴方向上标记点到激光测距仪之间的距离d,再根据距离d和激光测距仪测距位置在相机坐标系下的坐标数据计算标记点到相机的深度值ZC
S3、根据标记点的坐标(u,v)、深度值ZC、相机内参和外参计算得出标记点在世界坐标系下三维坐标数据。
应该说明的是,步骤S3中,根据标记点坐标(u,v)以及ZC计算出标记点在世界坐标系下的三维坐标数据,计算步骤主要包括:基于标记点在像素坐标系下的坐标(u,v)换算得到标记点在图像坐标系下的x,y坐标,结合相机的内参矩阵K,则进一步将标记点在图像坐标系下的x,y坐标换算为标记点在相机坐标系下的X,Y坐标,由此,即可得出标记点在相机坐标系下的三维坐标(XC,YC,ZC)。进一步的,结合相机外参旋转矩阵R和平移矩阵t,即可将标记点在相机坐标系下三维坐标数据换算为标记点在世界坐标系下的三维坐标数据。由于工件上标记点的空间位置信息与工件的空间位姿具有对应关系,因此,获取标记点在世界坐标系下的三维坐标数据即可定位工件的位姿,从而作为后续的对位计算提供支撑。
作为优选的,所述步骤S2包括通过移动机构移动激光测距仪使其在平行于相机光轴方向对准标记点的步骤:当标记点处的斜率参数和/或曲率参数的绝对值小于设定阈值时,根据激光测距仪和标记点在相机坐标系下的XY坐标差确定移动量;当斜率参数和/或曲率参数的绝对值大于设定阈值时,根据激光测距仪和标记点在相机坐标系下的XY坐标差以及移动机构的固有误差来确定移动量。
应该说明的是,上述移动机构的固有误差是指由于移动机构本身固有的移动误差,也就是移动机构的实际移动量相对目标移动量的偏移量。一般而言,一个移动机构的固有误差基本上是确定值,然而,通过实践发现,移动机构的固有误差在不同的移动形式或者移动距离下,会呈现出一定的波动。因而,作为进一步优选的方案,在移动机构确定所述移动量时,所述固有误差通过动态方式获取,具体的,当斜率参数和/或曲率参数的绝对值大于设定阈值时,移动控制模块根据激光测距仪和标记点在相机坐标系下的XY坐标差确定一个预移动量,并以该预移动量控制移动机构进行移动,启动相机进行拍摄获取激光测距仪移动后位置的图像,通过对图像进行分析,计算出激光测距仪与标记点在相机坐标系下新的XY坐标差,移动控制模块根据该新的XY坐标差确定修正移动量,并控制移动机构进行移动以修正激光测距仪的位置,进而使得激光测距仪的测距位置更为接近目标测距位置。
作为一种优选的,所述阈值选取为0.3-0.5中的任一值。
参阅图7所示,本发明实施例还提供一种高精度自动装配系统,包括由装配平台10和机械手11构成的机台、工控主机以及设置于装配平台10上方的视觉定位系统,所述视觉定位系统包括以上实施例中所述的二维像素级三维定位系统,所述工控主机接收二维像素级三维定位系统对待装配工件一8所测量得到标记点的三维坐标数据确定待装配工件一8的空间位姿,工控主机根据待装配工件8的空间位姿和待装配工件二9的空间位姿生成控制信号,并控制机械手11抓取并移动待装配工件二9执行待装配工件二9与待装配工件一8的对位装配操作。
应该说明的是,通常情况下,待装配工件二9的位姿为固定的标准位姿,因此,可直接将待装配工件二9的位姿信息进行存储,以提供工控主机直接调用。作为进一步的优选方案,还设置有用于检测获取待装配工件二9的标记点的三维坐标数据的二维像素级三维定位系统。
在本发明的实施例的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”等指示的方位或位置关系。
在本发明的实施例的描述中,具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中,需要理解的是,“-”和“~”表示的是两个数值之同的范围,并且该范围包括端点。例如:“A-B”表示大于或等于A,且小于或等于B的范围。“A~B''表示大于或等于A,且小于或等于B的范围。
在本发明的实施例的描述中,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种二维像素级三维定位系统,其特征在于,包括图像采集单元、激光测距单元和控制处理单元,图像采集单元包括用于拍摄获取待检测工件上标记点的图像的相机,激光测距单元用于测量平行于相机光轴方向上标记点与激光测距单元之间的距离d;
控制处理单元包括图像处理模块、深度计算模块和坐标换算模块,图像处理模块用于对所述相机拍摄的图像进行分析处理,得出标记点在像素坐标系下的坐标(u,v);深度计算模块用于根据距离d和激光测距单元测距位置在相机坐标系下的坐标数据计算标记点到相机的深度值ZC;坐标换算模块可基于坐标(u,v)、ZC、相机内参和相机外参计算出标记点在世界坐标系下的三维坐标数据。
2.根据权利要求1所述的二维像素级三维定位系统,其特征在于,所述激光测距单元包括移动机构以及设置在所述移动机构上的激光测距仪,控制处理单元包括移动控制模块,移动机构受控于所述控制模块进行移动。
3.根据权利要求2所述的二维像素级三维定位系统,其特征在于,控制处理单元还包括用于存储待检测工件上标记点处的斜率参数和/或曲率参数的存储模块,移动控制模块包括阈值子模块、第一控制子模块和第二控制子模块,阈值子模块用于设置阈值以及将斜率参数和/或曲率参数与阈值进行比较,第一控制子模块和第二控制子模块根据比较结果生成对移动机构的控制信号。
4.根据权利要求3所述的二维像素级三维定位系统,其特征在于,当比较结果为斜率参数和/或曲率参数的绝对值小于阈值时,第一控制子模块根据激光测距仪和标记点在相机坐标系下的XY坐标差生成对移动机构的移动量控制信号。
5.根据权利要求3所述的二维像素级三维定位系统,其特征在于,当比较结果为斜率参数和/或曲率参数的绝对值大于阈值时,第二控制子模块根据激光测距仪和标记点在相机坐标系下的XY坐标差以及移动机构的固有误差生成对移动机构的移动量控制信号。
6.根据权利要求3所述的二维像素级三维定位系统,其特征在于,所述阈值设置为0.3-0.5中的任一值。
7.根据权利要求2所述的二维像素级三维定位系统,其特征在于,所述移动机构包括相互垂直的第一轨道和第二轨道,第一轨道上设置有第一电机,第二轨道上设置有第二电机,第二轨道可在第一电机的驱动下沿第一轨道移动,所述激光测距仪可在第二电机的驱动下沿第二轨道移动;第一轨道和第二轨道构成的平面与相机的成像面平行,第一电机和第二电机受控于所述移动控制模块。
8.一种二维像素级三维定位方法,其特征在于,包括步骤:
S1、通过平面相机拍摄获取待检测工件标记点的图像,通过图像分析确定标记点在像素坐标系下的坐标(u,v);
S2、通过激光测距仪测量获得平行于相机光轴方向上标记点到激光测距仪之间的距离d,再根据距离d和激光测距仪测距位置在相机坐标系下的坐标数据计算标记点到相机的深度值ZC
S3、根据标记点的坐标(u,v)、深度值ZC、相机内参和外参计算得出标记点在世界坐标系下三维坐标数据。
9.根据权利要求8所述的二维像素级三维定位方法,其特征在于,所述步骤S2包括通过移动机构移动激光测距仪使其在平行于相机光轴方向对准标记点的步骤:当标记点处的斜率参数和/或曲率参数的绝对值小于设定阈值时,根据激光测距仪和标记点在相机坐标系下的XY坐标差确定移动机构的移动量;当斜率参数和/或曲率参数的绝对值大于设定阈值时,根据激光测距仪和标记点在相机坐标系下的XY坐标差以及移动机构的固有误差确定移动机构的移动量。
10.根据权利要求9所述的二维像素级三维定位方法,其特征在于,所述设定阈值选取为0.3-0.5中的任一值。
CN202111237763.4A 2021-10-25 2021-10-25 一种二维像素级三维定位系统及定位方法 Active CN113674345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111237763.4A CN113674345B (zh) 2021-10-25 2021-10-25 一种二维像素级三维定位系统及定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111237763.4A CN113674345B (zh) 2021-10-25 2021-10-25 一种二维像素级三维定位系统及定位方法

Publications (2)

Publication Number Publication Date
CN113674345A true CN113674345A (zh) 2021-11-19
CN113674345B CN113674345B (zh) 2022-04-15

Family

ID=78551065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111237763.4A Active CN113674345B (zh) 2021-10-25 2021-10-25 一种二维像素级三维定位系统及定位方法

Country Status (1)

Country Link
CN (1) CN113674345B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114234811A (zh) * 2021-12-21 2022-03-25 哈尔滨工业大学芜湖机器人产业技术研究院 基于视觉和激光测距的管路粗定位方法及系统
CN114281022A (zh) * 2021-12-24 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种管路控制点误差计算方法及系统
CN114723752A (zh) * 2022-06-07 2022-07-08 成都新西旺自动化科技有限公司 一种融合目标检测和模板匹配的高精度对位方法及系统
CN114877805A (zh) * 2022-05-18 2022-08-09 康佳集团股份有限公司 一种工件点位三维坐标测量装置、方法及系统
CN114877804A (zh) * 2022-05-18 2022-08-09 康佳集团股份有限公司 一种工件点位三维坐标获取装置、方法及系统
CN115355822A (zh) * 2022-10-19 2022-11-18 成都新西旺自动化科技有限公司 一种异形对位计算方法及系统
CN117249763A (zh) * 2023-11-14 2023-12-19 深圳市宏源建设科技有限公司 用于装配式建筑施工的激光测距方法、系统及装置
CN118080205A (zh) * 2024-04-24 2024-05-28 四川吉埃智能科技有限公司 一种基于视觉的自动喷涂方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020195748A1 (en) * 2000-08-29 2002-12-26 Farnworth Warren M. Layer thickness control for stereolithography utilizing variable liquid elevation and laser focal length
US20040179848A1 (en) * 2003-03-11 2004-09-16 Mikhail Belenkii Scintillation free laser communication system
CN106412433A (zh) * 2016-10-09 2017-02-15 深圳奥比中光科技有限公司 基于rgb‑ir深度相机的自动对焦方法及系统
CN107093195A (zh) * 2017-03-10 2017-08-25 西北工业大学 一种激光测距与双目相机结合的标记点定位方法
US20170344025A1 (en) * 2016-05-25 2017-11-30 Murata Machinery, Ltd. Self-position estimating apparatus and self-position estimating method
CN108287338A (zh) * 2017-12-19 2018-07-17 天津市计量监督检测科学研究院 基于误差相消原理的激光测距仪检定系统及其检定方法
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台(上海)信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN110986806A (zh) * 2019-12-31 2020-04-10 河南神州精工制造股份有限公司 高成型精度封头截面同轴度检测工装及利用其检测的方法
CN111340864A (zh) * 2020-02-26 2020-06-26 浙江大华技术股份有限公司 基于单目估计的三维场景融合方法及装置
CN111829441A (zh) * 2020-09-03 2020-10-27 东北大学 一种基于激光测距原理的巷道表面位移变形监测方法
CN112195693A (zh) * 2020-09-25 2021-01-08 闽江学院 一种轨道高低差精确检测装置及其测量方法
CN112965048A (zh) * 2021-02-09 2021-06-15 深圳市灵明光子科技有限公司 激光测距误差校正方法、装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020195748A1 (en) * 2000-08-29 2002-12-26 Farnworth Warren M. Layer thickness control for stereolithography utilizing variable liquid elevation and laser focal length
US20040179848A1 (en) * 2003-03-11 2004-09-16 Mikhail Belenkii Scintillation free laser communication system
US20170344025A1 (en) * 2016-05-25 2017-11-30 Murata Machinery, Ltd. Self-position estimating apparatus and self-position estimating method
CN106412433A (zh) * 2016-10-09 2017-02-15 深圳奥比中光科技有限公司 基于rgb‑ir深度相机的自动对焦方法及系统
CN107093195A (zh) * 2017-03-10 2017-08-25 西北工业大学 一种激光测距与双目相机结合的标记点定位方法
CN108287338A (zh) * 2017-12-19 2018-07-17 天津市计量监督检测科学研究院 基于误差相消原理的激光测距仪检定系统及其检定方法
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台(上海)信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN110986806A (zh) * 2019-12-31 2020-04-10 河南神州精工制造股份有限公司 高成型精度封头截面同轴度检测工装及利用其检测的方法
CN111340864A (zh) * 2020-02-26 2020-06-26 浙江大华技术股份有限公司 基于单目估计的三维场景融合方法及装置
CN111829441A (zh) * 2020-09-03 2020-10-27 东北大学 一种基于激光测距原理的巷道表面位移变形监测方法
CN112195693A (zh) * 2020-09-25 2021-01-08 闽江学院 一种轨道高低差精确检测装置及其测量方法
CN112965048A (zh) * 2021-02-09 2021-06-15 深圳市灵明光子科技有限公司 激光测距误差校正方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付守冲: "三维激光切割机切割头运动控制精度与力学性能分析", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》 *
梁元月: "基于双目立体视觉的工件识别定位方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114234811A (zh) * 2021-12-21 2022-03-25 哈尔滨工业大学芜湖机器人产业技术研究院 基于视觉和激光测距的管路粗定位方法及系统
CN114234811B (zh) * 2021-12-21 2024-04-02 长三角哈特机器人产业技术研究院 基于视觉和激光测距的管路粗定位方法及系统
CN114281022A (zh) * 2021-12-24 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种管路控制点误差计算方法及系统
CN114877805A (zh) * 2022-05-18 2022-08-09 康佳集团股份有限公司 一种工件点位三维坐标测量装置、方法及系统
CN114877804A (zh) * 2022-05-18 2022-08-09 康佳集团股份有限公司 一种工件点位三维坐标获取装置、方法及系统
CN114877804B (zh) * 2022-05-18 2024-08-30 康佳集团股份有限公司 一种工件点位三维坐标获取装置、方法及系统
CN114723752A (zh) * 2022-06-07 2022-07-08 成都新西旺自动化科技有限公司 一种融合目标检测和模板匹配的高精度对位方法及系统
CN115355822A (zh) * 2022-10-19 2022-11-18 成都新西旺自动化科技有限公司 一种异形对位计算方法及系统
CN115355822B (zh) * 2022-10-19 2023-01-17 成都新西旺自动化科技有限公司 一种异形对位计算方法及系统
CN117249763A (zh) * 2023-11-14 2023-12-19 深圳市宏源建设科技有限公司 用于装配式建筑施工的激光测距方法、系统及装置
CN117249763B (zh) * 2023-11-14 2024-01-26 深圳市宏源建设科技有限公司 用于装配式建筑施工的激光测距方法、系统及装置
CN118080205A (zh) * 2024-04-24 2024-05-28 四川吉埃智能科技有限公司 一种基于视觉的自动喷涂方法及系统

Also Published As

Publication number Publication date
CN113674345B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113674345B (zh) 一种二维像素级三维定位系统及定位方法
US11014211B2 (en) Monocular vision six-dimensional measurement method for high-dynamic large-range arbitrary contouring error of CNC machine tool
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
CN106097300A (zh) 一种基于高精度运动平台的多相机标定方法
Boochs et al. Increasing the accuracy of untaught robot positions by means of a multi-camera system
Mi et al. A vision-based displacement measurement system for foundation pit
CN112629441A (zh) 基于线结构光动态视觉的3d曲面玻璃轮廓扫描检测方法及系统
CN113160416B (zh) 一种用于煤流检测的散斑成像装置及方法
CN112658643B (zh) 接插件装配方法
CN111531407A (zh) 一种基于图像处理的工件姿态快速测量方法
CN113310433A (zh) 基于线结构光的虚拟双目立体视觉测量方法
CN113155047A (zh) 长距离孔距测量装置、方法、存储介质、设备及轨道车辆
CN118003340B (zh) 基于深度学习的视觉机械臂物料抓取控制方法及系统
JP2730457B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN107328358A (zh) 铝电解槽位姿的测量系统及测量方法
Maas Dynamic photogrammetric calibration of industrial robots
CN114998422B (zh) 一种基于误差补偿模型的高精快速三维定位系统
El-Hakim A hierarchical approach to stereo vision
CN114111578B (zh) 一种大口径元件的位姿自动确定方法
Clark et al. Measuring range using a triangulation sensor with variable geometry
CN114378808B (zh) 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置
WO2005073669A1 (en) Semi and fully-automatic camera calibration tools using laser-based measurement devices
CN111598945A (zh) 一种汽车发动机曲轴瓦盖的三维定位方法
Liu et al. A visual positioning and measurement system for robotic drilling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant