CN109448054A - 基于视觉融合的目标分步定位方法、应用、装置及系统 - Google Patents
基于视觉融合的目标分步定位方法、应用、装置及系统 Download PDFInfo
- Publication number
- CN109448054A CN109448054A CN201811082097.XA CN201811082097A CN109448054A CN 109448054 A CN109448054 A CN 109448054A CN 201811082097 A CN201811082097 A CN 201811082097A CN 109448054 A CN109448054 A CN 109448054A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate
- target
- feature point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明公开了一种基于视觉融合的目标分步定位的方法,采集含有目标特征点的第一图像实现目标特征点粗定位,根据第一图像中包含的坐标信息,采集含有目标特征点信息的第二图像,进行精定位,获取第二图像中包含的坐标信息,根据不同的坐标系之间的转换关系,获得目标特征点基于同一坐标系下的坐标变换量,进而定位目标特征点。同时还公开了一种基于视觉融合的目标分步定位的应用、装置和系统,该技术方案将定位精度和大视场的条件分离,采用两个不同类型相机来实现分步定位,解决了当工件移动范围比较大的时,定位精度不足的问题,并且在螺丝孔较多时,无需重复拍照,能够减少拍照次数,提高了生产效率,具有精度高和定位高效的优点。
Description
技术领域
本发明属于视觉定位技术领域,特别涉及一种基于视觉融合的目标分步定位方法、应用、装置及系统。
背景技术
利用视觉引导机器人进行自动化锁螺丝是目前自动化组装生产的一个热门解决方案,视觉技术结合工业机器人能够提高机器人柔性,在现有的技术方案中,机器人上装配了单视觉系统能够完成更高精度的锁螺丝任务,以及允许待组装工件在视觉视野范围内进行一定的移动。
针对现有的螺丝机定位方法,在工件移动范围比较大的时候,对这类工件的螺丝孔进行定位精度会下降,甚至无法完成组装任务,如果出现安装工件的螺丝孔比较多的情况时,视觉系统重复拍照的时间又会占用比较长的时间,导致无法满足实际生产效率的要求,现阶段技术没有明确的方法解决该问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的是提供基于视觉融合的目标分步定位方法、装置及系统,适用于在大范围内对多种工件进行视觉定位。
本发明所采用的技术方案是:
一种基于视觉融合的目标分步定位的方法,包括以下步骤:
采集含有目标特征点信息的第一图像,以实现所述目标特征点的粗定位;
根据所述第一图像中包含的坐标信息,采集含有所述目标特征点信息的第二图像,以进行精定位;
获取所述第二图像中包含的坐标信息,经过标定结果转换,进而获得所述目标特征点的精定位坐标。
进一步地,所述根据所述第一图像中包含的坐标信息,采集含有所述目标特征点信息的第二图像,以进行精定位的方法具体为:
获取含有目标特征点信息的第一图像后,通过改变图像采集视野的范围,以对所述目标特征点进行再次图像采集,并获得所述第二图像。
进一步地,所述方法包括:
获取目标特征点在第一参照系下的坐标;
获取目标特征点在第二参照系下的精定位坐标;
获得所述第二参照系下的坐标与所述第一参照系下的坐标的变换量。
进一步地,所述方法包括:
根据第一参照系下其他目标点与所述目标特征点之间的位置关系,通过所述变换量,定位其余目标点在所述第二参照系下的坐标位置。
进一步地,使用具有短焦距镜头的Eye-to-hand相机进行粗定位,所述第一图像中包含的坐标信息指目标特征点在所述Eye-to-hand相机坐标系下的坐标;
使用具有长焦距镜头的Eye-in-hand相机进行精定位,所述第二图像中包含的坐标信息指所述目标特征点在所述Eye-in-hand相机坐标系下的坐标。
进一步地,所述方法还包括:当所述定位目标有至少两个时,通过增加所述进行粗定位的相机数量,以进行至少两个定位目标的粗定位。
另一方面,本发明还提供利用上述任一种基于视觉融合的目标分步定位的方法在引导螺丝机对放置于底板上的工件进行螺丝孔定位中的应用。
另一方面,本发明还提供一种基于视觉融合的目标分步定位装置,包括设有目标特征点的底板,还包括第一相机和第二相机、微处理器和机器人,所述第二相机安装在机器人上,所述第一相机安装在底板上;所述微处理器的输出端与所述机器人的输入端连接;所述微处理器分别与第一相机和第二相机连接;
所述微处理器用于发送采集图像指令,控制所述第一相机和第二相机采集待测目标图像,所述机器人用于接收微处理器发送的移动指令以进行位置移动;
所述第一相机用于对底板上所述待测目标进行粗定位;所述第二相机用于对底板上所述待测目标进行精定位。
进一步地,所述第一相机为采用短焦距镜头的Eye-to-hand相机,所述第二相机为采用长焦距镜头的Eye-in-hand相机。
进一步地,所述微处理器与第一相机和第二相机之间分别采用USB通信方式;所述微处理器与机器人之间采用串口或网口通信方式。
另一方面,本发明还提供一种基于视觉融合的目标分步定位系统,包括:
图像获取模块,采集含有目标特征点信息的第一图像,以实现所述目标特征点的粗定位,并根据所述第一图像中包含的坐标信息,采集含有所述目标特征点信息的第二图像,以进行精定位;
标定转换模块,获取所述第一和第二图像中包含的坐标信息,经过标定结果转换,进而获得所述目标特征点的粗定位坐标和精定位坐标;
坐标定位模块,用于通过计算进行所述第一参照系下目标点在第二参照系下的坐标定位。
本发明的有益效果是:
本方案提供的一种基于视觉融合的目标分步定位方法,通过将定位精度和大视场的条件分离的方法实现分步定位,解决了现有定位技术中工件移动范围比较大的时候,对该类工件的螺丝孔进行定位时精度较低,甚至无法完成组装任务的问题。
其中Eye-to-hand相机负责对待测工件进行大视野粗定位,其采用短焦距镜头,成像视野范围大,能够满足大范围定位的要求,Eye-in-hand相机负责小视场的精定位,其定位精度取决于小视场相机,也就是Eye-in-hand相机,其采用长焦距,具有镜头畸变小的优点,其标定的误差也较小,解决了工件大范围内移动的时候,精度下降的问题。
当出现安装工件的螺丝孔比较多的情况时,视觉系统重复拍照的时间又会占用比较长的时间,导致无法满足实际生产效率的要求的问题,与现有技术相比,本发明在工件移动范围比较大的时候,其定位精度也能达到打螺丝的精度要求。该技术方案中对目标工件的摆放没有要求,无须工件放置在比较精确的位置,工件可以有旋转和平移,只需其处于Eye-to-hand相机的拍摄范围内即可,这样有大的作用范围,并且在螺丝孔较多时,无需对螺丝孔进行重复拍照,可以减少拍照次数,提高了生产效率,并且具有精度高的优点。
附图说明
图1是本发明一种实施例的基于视觉融合的目标分步定位方法流程图;
图2是本发明一种实施例的基于视觉融合的目标分步定位装置组成框图;
图3是本发明一种实施例的基于视觉融合的目标分步定位系统组成图;
图4是本发明一种实施例的机械手坐标系和双相机坐标系示意图;
图5是本发明一种实施例的基于视觉融合的目标分步定位方法示意图;
图6是本发明一种实施例中用到的坐标系示意图;
图7是本发明一种实施例的底板上CAD图纸坐标系示意图;
图8是本发明一种实施例适用于多种工件的定位示意图;
图9是本发明一种实施例的多个特征点圆心提取示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例一:
参照图1,是本发明实施例一的基于视觉融合的目标分步定位方法的流程图。本实施例的基于视觉融合的目标分步定位方法包括下列步骤:
S1、采集含有目标特征点信息的第一图像实现所述目标特征点的粗定位;
S2、根据所述第一图像中包含的坐标信息,在粗定位的位置,采集含有所述目标特征点信息的第二图像,以进行精定位,具体为:获取含有目标特征点信息的第一图像后,通过改变图像采集视野的范围,以对目标特征点进行再次图像采集,并获得第二图像;
S3、获取所述第二图像中包含的坐标信息,经过标定结果转换,进而获得所述目标特征点的精定位坐标。
S4:根据目标特征点在第一参照系下的坐标和精定位坐标,获得第二参照系下的精定位坐标与第一参照系下的坐标的变换量。
S5:根据第一参照系下其他目标点与目标特征点之间的位置关系,通过第二参照系下的坐标与第一参照系下的坐标的变换量,定位其余目标点在第二参照系下的坐标位置。
其中粗定位的具体过程为,通过使用具有短焦距镜头的Eye-to-hand相机进行定位,对放置在底板上并处于该相机拍摄范围内的目标特征点进行粗定位,并从获取的目标特征点图像中获取其在该相机坐标系中的坐标。
精定位的具体过程为,通过移动具有长焦距镜头的Eye-in-hand相机至所述粗定位获得的目标特征点的坐标处,对其进行精定位。
图2是本发明实施例一的基于视觉融合的目标分步定位装置组成框图,其中包括第一相机、第二相机、微处理器、机器人、待测目标和底板,其中第二相机安装在机器人上,第一相机安装在底板上,所述待测目标放置在底板上,微处理器与第一相机和第二相机均采用USB通信方式;微处理器与机器人采用串口或网口通信方式。
所述第一相机即为Eye-to-hand粗定位相机,其与底板连接,所述第二相机为Eye-in-hand精定位相机,其与机器人连接,两个相机均与微处理器连接,微处理器可以从其拍摄的目标特征点图像中获取目标特征点在其相机坐标系中的坐标值,微处理器与机器人之间通信,可以引导机器人移动第二相机至目标特征点处,坐标系转换也在微处理器中完成。
图3是本发明实施例一的基于视觉融合的目标分步定位系统组成图,其中包括图像获取模块、标定转换模块和坐标定位模块。
本发明所述机器人不限定为SCRAR机械手,4轴机械手或6轴机械手或直角坐标机器人,下面以在引导螺丝机对放置于底板上的工件进行螺丝孔定位的应用,所述机器人以SCARA机械手为例,详细说明本发明的基于视觉融合的目标分步定位方法的具体实施方式。
实施例二:
图4是本发明实施例二的机器人坐标系和相机坐标系示意图。其中SCARA机械手包括机械手基座13和机械手末端14,还包括底板15,机械手末端坐标系原点101,第一相机11是一种Eye-to-hand相机,采用短焦距镜头,第二相机12是一种Eye-in-hand相机,采用长焦距镜头,第一相机11负责大视场粗定位,第二相机12负责小视场精定位,其中第二相机12和机械手末端14是刚体结构连接,当机械手末端14移动时,第二相机12也会移动。
图5是本发明实施例二的基于视觉融合的目标分步定位方法示意图,以单个工件为例说明,其中包括第一相机11、第二相机12、机械手基座13、机械手末端14、底板15、工件102和特征点103。
根据图1中所述步骤S1采集含有目标特征点信息的第一图像实现所述目标特征点的粗定位,具体包括:
其中Eye-to-hand第一相机11在其拍摄视野内获得工件102的粗定位图像,第一相机11需要安装的是焦距比较小的镜头,用以满足工件102进行大范围移动的情况,第一相机11对目标在底板15上的具体位置无要求,只需处于其拍摄范围内即可,首先通过Eye-to-hand标定建立第一相机11与机械手基座13坐标系之间的坐标转化参数,通过获取的图像提取其特征点103的特征与先验知识进行模型匹配,得到图像坐标,实现对目标的检测。
第二相机12和机械手末端14的坐标转化关系是固定的,而与机械手基座13的坐标系转换关系会发生变化,第一相机11与底板15连接,其与机械手基座13的坐标系之间转换关系可以标定出来。
上述通过Eye-to-hand标定建立第一相机11与机械手基座13坐标系之间的坐标转化参数的过程为:
第一相机11与机械手基座13的标记方式为Eye-to-hand方式,第一相机11的图像坐标(u1,v1,1)与机械手基座13的基坐标(xw,yw,1)之间关系简化表示如下:
其中M2为仿射变换矩阵,(u1,v1)为第一相机11坐标系中的图像坐标,M2矩阵可以通过最小二乘法求解得到,由公式(1)可以获得第一相机11的图像坐标转换到机械手基座13的基坐标下的坐标,根据该坐标移动机械手末端14上第二相机12至此处。
第二相机12对于机械手末端14来说相当于一个工具,因此首先需要对其进行机械手末端14的工具标定,进行工具标定的时候,标定对象是第二相机2图像中心的坐标,例如像素分辨率为(W,H),则其相机图像中心坐标为(W/2,H/2)。
第二相机12安装的是焦距比较大的镜头,视场范围小,精度高。首先第二相机12在其拍摄视野内获得工件的精定位图像,图像中的特征点的中心是通过图像处理算法进行拟合得到,得到中心图像坐标(u2,v2,z2)后,即特征点在所述Eye-in-hand第二相机12坐标系下的坐标,由于机械手末端14与第二相机12通过Eye-in-hand的手眼标定算法,即可得到第二相机12中特征点的图像坐标在该机械手末端14坐标系下的坐标。
图6是本发明实施例二中用到的坐标系示意图。
其中包括底板15、第二相机12、特征点104、机械手基座13和机械手末端14,其中第二相机12坐标系为(x,y,z),第二相机12的图像坐标系为(xu,yu,zu),机械手末端14坐标系为(xu,yu,zu),所述Eye-in-hand标定过程如下:
首先在拍照平面上贴一张标志点,该标志点可为圆形,也可为其他可用于标识的形状,即图6中的工件的特征点104;
其次通过在机械手末端14装一根探针,示教得到特征点104在机械手末端14坐标系下的坐标P(u2,v2);
然后移动机械手末端14改变拍摄姿态,并获取得到新的机械手基座13坐标(xw,yw),并提取圆形标记物即特征点104的中心坐标图像坐标(u2,v2),移动9次得到9对坐标点对,从而得到第二相机12的标定参数。
最后进行手眼标定算法计算。
如图6中所述Eye-in-hand标定模型中,第二相机12中特征点104的图像坐标转化为在该机械手末端14坐标系下的坐标的过程如下述。
其转化关系用矩阵表示如下:
其中Min为第二相机12的内参数,Mex为第二相机12的外参数,(xe,ye)为机械手末端14的坐标,其中,
kx=dx/f (4)
ky=dy/f (5)
dx和dy分别为第二相机12的X和Y方向上像元尺寸大小,f为第二相机12的焦距,可以由第二相机12的芯片参数获得。
Mex为旋转平移矩阵,其中,
(x,y)为特征点在第二相机12坐标系的图像坐标,第二相机12垂直安装在机械手末端14上,该标定方法中不考虑第二相机12与机械手末端14坐标系平面不平行的情况,因此最后Mex的最后一行为[0,0,1]。
上述模型中展开,将常数项比例因子zcam放到等式右边,可以表示为:
k'x=dx*zcam/f (9)
k'y=dy*zcam/f (10)
其中(xe,ye)为特征点104在机械手末端14坐标系下的坐标,(u0,v0)为第二相机12成像光心的坐标。
将机械手末端14的坐标转换为机械手基座13坐标的坐标转换关系为:
其中(xf,yf)是机械手末端14法兰面的坐标,即机械手末端14位置的原点坐标,上述参数α通过读取SCARA机械手的关节信息可知得到。
通过上述公式(8),进行Eye-in-hand第二相机12的手眼标定算法,计算出矩阵Min和Mex中的参数,获得第二相机12坐标系和机械手末端14坐标系的转换关系,最后通过公式(11)得到将特征点104在第二相机12坐标系中的图像坐标转换到机械手基座13坐标系下的坐标。
由上述过程通过第二相机12标定参数将特征点104在第二相机12坐标系中的图像坐标转化到了机械手基座13坐标系(O-xwywzw)下的坐标,所述机械手基座13坐标系即为第二参照系,即所述将目标特征点在所述Eye-in-hand相机坐标系下的坐标转换到第二参照系中。
获取目标特征点在第一参照系下的坐标,在该实施例中指的是读取目标的CAD图纸,所述图纸坐标系即为所述第一参照系,在底板上建立其工件CAD图纸坐标系(O-xtytzt),获取目标特征点在其底板上CAD图纸坐标系中的坐标,目标特征点在其底板上CAD图纸坐标系中的坐标即视为目标在第一参照系下的坐标。
所述获得所述第二参照系下的坐标与所述第一参照系下的坐标的变换量的方法如下所述。
如图5中所述机械手基座13坐标系(O-xwywzw)和底板15上工件102图纸坐标系(O-xtytzt)的转化关系可以通过一个矩阵Hwt来表示:
上述Hwt的参数可以使用最小二乘法得到。
因此建立约束方程,先求解出Hwt,再通过Hwt -1转化得到工件102上待定位的其余目标点在机械手基座13坐标系下的坐标:
其中(xt,yt)为特征点102在底板15上工件图纸坐标系(O-xtytzt)上的坐标,(x't,y't)为工件102上其他目标位置在工件图纸坐标系上的坐标,(x'w,y'w)代表计算出的其余目标的坐标,即通过Hwt矩阵可以将工件图纸坐标系中的点转换到其在实际机械手基座13坐标系下的坐标,所述变换量为Hwt矩阵。
图7是本发明实施例二的底板上CAD图纸坐标系示意图。通过Hwt矩阵,微处理器即可引导机械手到机械手基座坐标系中待测目标的相应位置完成工件上每一个目标的定位。
如果待测工件位置移动,超出第一相机的拍摄范围,则重复S1至S3,如图5中,第一相机11对特征点102进行粗定位后,引导机械手末端14上的第二相机12到第一相机11图像坐标转换到机械手基座13的基坐标下的坐标位置处拍照,该特征点102可以与第二相机12在同一个视野范围内,也可以不在同一个视野范围,对于特征点102不能出现在第二相机12视野范围内的情况,需要引导机械手末端14到不同拍照位置去,从而获得不同视野范围内的特征点102在第二相机12坐标系下的图像坐标。
图8是本发明实施例二的两个工件的定位场景示意图,其中包括第一相机11、第二相机12、第三相机105、机械手基座13、机械手末端14、第一工件106、第一特征点107、第二工件108、第二特征点109和底板15。
第一工件106和第二工件108放置在底板15上,第一相机11和第三相机105为同一种相机,均为Eye-to-hand相机,第一相机11用于对第一工件106的第一特征点107进行粗定位,第三相机105用于对第二工件108的第二特征点109进行粗定位,利用第二相机12根据粗定位坐标分别依次对两个工件进行精定位,从图8可以得出在同一个机械臂需要对多个工件进行目标定位的应用场景,可以通过增加Eye-to-hand相机个数,分别实现对不同工件的上目标特征点的定位,工件一经放置,无需在定位过程中对其进行移动,提高了定位工作效率,本实施例中选用两个工件,但是该方法不限定工件的数目和类型,这使得发明能够很好地应用在柔性自动化组装螺丝孔的场景中。
图9是本发明实施例二的多个特征点圆心提取示意图,如图9所示,当第二相机在精定位时,同一个视野范围内出现3个特征点,第一特征点111、第二特征点112和第三特征点113,此时可通过图像处理算法进行拟合得到多个特征点的中心图像坐标,并存储于微处理器中,本实施例中选取特征点为3个,但是该方法不限定特征点个数。
本发明方法可以应用在引导螺丝机对放置于底板上的工件进行螺丝孔定位,当其应用于引导螺丝机对放置于底板上的工件进行螺丝孔定位时,需要在机械手上安装电动螺丝批,该电动螺丝批需要与机械手进行工具标定,采用本发明的双相机融合分步定位方法,特征点为单个螺丝孔,定位出螺丝孔在机械手基座坐标系的坐标后,需要经过机械手与螺丝批的工具坐标转化后,即可使得电动螺丝批对准定位的螺丝孔,进而可通过机械手的IO控制完成组装等工作。
本方案提供的一种基于视觉融合的目标分步定位方法,通过将定位精度和大视场的条件分离的方法,采用两个不同类型相机来实现分步定位,解决了现有定位技术中工件移动范围比较大的时候,对这类工件的螺丝孔进行定位精度会下降,甚至无法完成组装任务,当出现安装工件的螺丝孔比较多的情况时,视觉系统重复拍照的时间又会占用比较长的时间,导致无法满足实际生产效率的要求的问题。
该技术方案中对目标工件的摆放没有要求,无须工件放置在比较精确的位置,工件可以有旋转和平移,只需其处于Eye-to-hand相机的拍摄范围内即可,这样有大的作用范围,并且在螺丝孔较多时,无需对螺丝孔进行重复拍照,可以减少拍照次数,提高了生产效率,并且具有精度高的优点。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (11)
1.一种基于视觉融合的目标分步定位的方法,其特征在于,包括以下步骤:
采集含有目标特征点信息的第一图像,以实现所述目标特征点的粗定位;
根据所述第一图像中包含的坐标信息,采集含有所述目标特征点信息的第二图像,以进行精定位;
获取所述第二图像中包含的坐标信息,经过标定结果转换,进而获得所述目标特征点的精定位坐标。
2.根据权利要求1所述的一种基于视觉融合的目标分步定位的方法,其特征在于,所述根据所述第一图像中包含的坐标信息,采集含有所述目标特征点信息的第二图像,以进行精定位的方法具体为:
获取含有目标特征点信息的第一图像后,通过改变图像采集视野的范围,以对所述目标特征点进行再次图像采集,并获得所述第二图像。
3.根据权利要求2所述的一种基于视觉融合的目标分步定位的方法,其特征在于,所述方法包括:
获取目标特征点在第一参照系下的坐标;
获取目标特征点在第二参照系下的精定位坐标;
获得所述第二参照系下的坐标与所述第一参照系下的坐标的变换量。
4.根据权利要求3所述一种基于视觉融合的目标分步定位的方法,其特征在于,所述方法包括:
根据第一参照系下其他目标点与所述目标特征点之间的位置关系,通过所述变换量,定位其余目标点在所述第二参照系下的坐标位置。
5.根据权利要求1至4任一种所述的基于视觉融合的目标分步定位的方法,其特征在于:
使用具有短焦距镜头的Eye-to-hand相机进行粗定位,所述第一图像中包含的坐标信息指目标特征点在所述Eye-to-hand相机坐标系下的坐标;
使用具有长焦距镜头的Eye-in-hand相机进行精定位,所述第二图像中包含的坐标信息指所述目标特征点在所述Eye-in-hand相机坐标系下的坐标。
6.根据权利要求5所述的一种基于视觉融合的目标分步定位的方法,其特征在于,
所述方法还包括:当所述定位目标有至少两个时,通过增加所述进行粗定位的相机数量,以进行至少两个定位目标的粗定位。
7.如权利要求1至6任一项所述的一种基于视觉融合的目标分步定位的方法在引导螺丝机对放置于底板上的工件进行螺丝孔定位中的应用。
8.一种基于视觉融合的目标分步定位装置,包括设有目标特征点的底板,其特征在于,还包括第一相机和第二相机、微处理器和机器人,所述第二相机安装在机器人上,所述第一相机安装在底板上;所述微处理器的输出端与所述机器人的输入端连接;所述微处理器分别与第一相机和第二相机连接;
所述微处理器用于发送采集图像指令,控制所述第一相机和第二相机采集待测目标图像,所述机器人用于接收微处理器发送的移动指令以进行位置移动;
所述第一相机用于对底板上所述待测目标进行粗定位;所述第二相机用于对底板上所述待测目标进行精定位。
9.根据权利要求8所述的一种基于视觉融合的目标分步定位装置,其特征在于:
所述第一相机为采用短焦距镜头的Eye-to-hand相机,所述第二相机为采用长焦距镜头的Eye-in-hand相机。
10.根据权利要求8至9任一种所述的基于视觉融合的目标分步定位装置,其特征在于:
所述微处理器与第一相机和第二相机之间分别采用USB通信方式;
所述微处理器与机器人之间采用串口或网口通信方式。
11.一种基于视觉融合的目标分步定位系统,其特征在于,包括:
图像获取模块,采集含有目标特征点信息的第一图像,以实现所述目标特征点的粗定位,并根据所述第一图像中包含的坐标信息,采集含有所述目标特征点信息的第二图像,以进行精定位;
标定转换模块,获取所述第一和第二图像中包含的坐标信息,经过标定结果转换,进而获得所述目标特征点的粗定位坐标和精定位坐标;
坐标定位模块,用于通过计算进行所述第一参照系下目标点在第二参照系下的坐标定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811082097.XA CN109448054A (zh) | 2018-09-17 | 2018-09-17 | 基于视觉融合的目标分步定位方法、应用、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811082097.XA CN109448054A (zh) | 2018-09-17 | 2018-09-17 | 基于视觉融合的目标分步定位方法、应用、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109448054A true CN109448054A (zh) | 2019-03-08 |
Family
ID=65530911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811082097.XA Pending CN109448054A (zh) | 2018-09-17 | 2018-09-17 | 基于视觉融合的目标分步定位方法、应用、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109448054A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110018560A (zh) * | 2019-05-22 | 2019-07-16 | 程昔恩 | 一种和手机配套使用的便携电子显微镜及其使用方法 |
CN110148187A (zh) * | 2019-06-04 | 2019-08-20 | 郑州大学 | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 |
CN110191347A (zh) * | 2019-05-06 | 2019-08-30 | 复旦大学 | 基于特征点检测的全景视频的传输方法 |
CN110328468A (zh) * | 2019-03-19 | 2019-10-15 | 重庆金康动力新能源有限公司 | 焊机调度装置、焊接装置和焊机调度方法 |
CN111089569A (zh) * | 2019-12-26 | 2020-05-01 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉的大型箱体测量方法 |
CN111178296A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市鲲鹏智能装备制造有限公司 | 多工件视觉定位和识别方法 |
CN111383286A (zh) * | 2020-02-11 | 2020-07-07 | 北京迈格威科技有限公司 | 定位方法、装置、电子设备及可读存储介质 |
CN111815718A (zh) * | 2020-07-20 | 2020-10-23 | 四川长虹电器股份有限公司 | 一种基于视觉的工业螺钉机器人快速切换工位的方法 |
CN112364793A (zh) * | 2020-11-17 | 2021-02-12 | 重庆邮电大学 | 基于长短焦多相机车辆环境下的目标检测和融合方法 |
CN112454350A (zh) * | 2020-10-19 | 2021-03-09 | 中国电子科技集团公司第三十八研究所 | 一种多层无序物料的高精度快速视觉定位系统及方法 |
CN112497219A (zh) * | 2020-12-06 | 2021-03-16 | 北京工业大学 | 一种基于目标检测和机器视觉的柱状工件分类定位方法 |
CN113733078A (zh) * | 2020-05-27 | 2021-12-03 | 中国人民解放军63920部队 | 机械臂精调控制量判读方法、计算机可读存储介质 |
CN114619233A (zh) * | 2022-03-17 | 2022-06-14 | 深圳市华成工业控制股份有限公司 | 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机 |
CN114643472A (zh) * | 2022-04-28 | 2022-06-21 | 广州阿普顿自动化系统有限公司 | 螺母加工定位方法及螺母加工装置 |
WO2024021402A1 (zh) * | 2022-07-28 | 2024-02-01 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008046408A2 (de) * | 2006-10-20 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und vorrichtung zur feinpositionierung eines werkzeugs mit einer handhabungseinrichtung |
CN105014679A (zh) * | 2015-08-03 | 2015-11-04 | 华中科技大学无锡研究院 | 一种基于扫描仪的机器人手眼标定方法 |
CN106041927A (zh) * | 2016-06-22 | 2016-10-26 | 西安交通大学 | 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法 |
CN107825125A (zh) * | 2017-11-30 | 2018-03-23 | 中国地质大学(武汉) | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 |
CN107984201A (zh) * | 2017-11-30 | 2018-05-04 | 中国地质大学(武汉) | 一种基于视觉伺服的螺孔定位及锁卸螺丝方法 |
-
2018
- 2018-09-17 CN CN201811082097.XA patent/CN109448054A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008046408A2 (de) * | 2006-10-20 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und vorrichtung zur feinpositionierung eines werkzeugs mit einer handhabungseinrichtung |
CN105014679A (zh) * | 2015-08-03 | 2015-11-04 | 华中科技大学无锡研究院 | 一种基于扫描仪的机器人手眼标定方法 |
CN106041927A (zh) * | 2016-06-22 | 2016-10-26 | 西安交通大学 | 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法 |
CN107825125A (zh) * | 2017-11-30 | 2018-03-23 | 中国地质大学(武汉) | 一种基于视觉伺服的螺孔定位及锁卸螺丝装置 |
CN107984201A (zh) * | 2017-11-30 | 2018-05-04 | 中国地质大学(武汉) | 一种基于视觉伺服的螺孔定位及锁卸螺丝方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110328468A (zh) * | 2019-03-19 | 2019-10-15 | 重庆金康动力新能源有限公司 | 焊机调度装置、焊接装置和焊机调度方法 |
CN110328468B (zh) * | 2019-03-19 | 2021-08-17 | 重庆金康动力新能源有限公司 | 焊机调度装置、焊接装置和焊机调度方法 |
CN110191347A (zh) * | 2019-05-06 | 2019-08-30 | 复旦大学 | 基于特征点检测的全景视频的传输方法 |
CN110191347B (zh) * | 2019-05-06 | 2021-06-04 | 复旦大学 | 基于特征点检测的全景视频的传输方法 |
CN110018560A (zh) * | 2019-05-22 | 2019-07-16 | 程昔恩 | 一种和手机配套使用的便携电子显微镜及其使用方法 |
CN110148187A (zh) * | 2019-06-04 | 2019-08-20 | 郑州大学 | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 |
CN111089569A (zh) * | 2019-12-26 | 2020-05-01 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉的大型箱体测量方法 |
CN111178296A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市鲲鹏智能装备制造有限公司 | 多工件视觉定位和识别方法 |
CN111178296B (zh) * | 2019-12-31 | 2024-03-01 | 深圳市鲲鹏智能装备制造有限公司 | 多工件视觉定位和识别方法 |
CN111383286A (zh) * | 2020-02-11 | 2020-07-07 | 北京迈格威科技有限公司 | 定位方法、装置、电子设备及可读存储介质 |
CN111383286B (zh) * | 2020-02-11 | 2023-10-27 | 北京迈格威科技有限公司 | 定位方法、装置、电子设备及可读存储介质 |
CN113733078A (zh) * | 2020-05-27 | 2021-12-03 | 中国人民解放军63920部队 | 机械臂精调控制量判读方法、计算机可读存储介质 |
CN111815718A (zh) * | 2020-07-20 | 2020-10-23 | 四川长虹电器股份有限公司 | 一种基于视觉的工业螺钉机器人快速切换工位的方法 |
CN112454350A (zh) * | 2020-10-19 | 2021-03-09 | 中国电子科技集团公司第三十八研究所 | 一种多层无序物料的高精度快速视觉定位系统及方法 |
CN112364793A (zh) * | 2020-11-17 | 2021-02-12 | 重庆邮电大学 | 基于长短焦多相机车辆环境下的目标检测和融合方法 |
CN112497219A (zh) * | 2020-12-06 | 2021-03-16 | 北京工业大学 | 一种基于目标检测和机器视觉的柱状工件分类定位方法 |
CN112497219B (zh) * | 2020-12-06 | 2023-09-12 | 北京工业大学 | 一种基于目标检测和机器视觉的柱状工件分类定位方法 |
CN114619233B (zh) * | 2022-03-17 | 2023-08-08 | 深圳市华成工业控制股份有限公司 | 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机 |
CN114619233A (zh) * | 2022-03-17 | 2022-06-14 | 深圳市华成工业控制股份有限公司 | 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机 |
CN114643472A (zh) * | 2022-04-28 | 2022-06-21 | 广州阿普顿自动化系统有限公司 | 螺母加工定位方法及螺母加工装置 |
WO2024021402A1 (zh) * | 2022-07-28 | 2024-02-01 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109448054A (zh) | 基于视觉融合的目标分步定位方法、应用、装置及系统 | |
CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
CN108972557B (zh) | 微零件位姿自动对准装置及其方法 | |
CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
CN110202573B (zh) | 全自动手眼标定、工作平面标定方法及装置 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN110276806A (zh) | 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法 | |
CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统 | |
EP1960941A2 (en) | Device and method for calibrating an imaging device for generating three-dimensional surface models of moving objects | |
CN107449374A (zh) | 柔性布局的视觉辅助激光振镜扫描系统及其现场校准方法 | |
CN110148187A (zh) | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
CN110465946B (zh) | 一种像素坐标与机器人坐标关系标定方法 | |
CN110490942A (zh) | 一种基于scara机械手第二臂的移动相机标定方法 | |
CN113643384B (zh) | 坐标系标定方法、自动组装方法及装置 | |
CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
CN109940626A (zh) | 一种基于机器人视觉的画眉机器人系统及其控制方法 | |
CN113724337B (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
CN112229323B (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
CN110136068A (zh) | 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统 | |
CN112658643A (zh) | 接插件装配方法 | |
CN116740187A (zh) | 一种无重叠视场多相机联合标定方法 | |
CN208478309U (zh) | 一种用于晶圆对准的光学成像装置和晶圆对准系统 | |
CN112958960A (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
CN112884841A (zh) | 一种基于语义目标的双目视觉定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |
|
RJ01 | Rejection of invention patent application after publication |