CN104345688B - 工作场所中定位工具的方法、相应系统和计算机可读存储介质 - Google Patents

工作场所中定位工具的方法、相应系统和计算机可读存储介质 Download PDF

Info

Publication number
CN104345688B
CN104345688B CN201410381927.4A CN201410381927A CN104345688B CN 104345688 B CN104345688 B CN 104345688B CN 201410381927 A CN201410381927 A CN 201410381927A CN 104345688 B CN104345688 B CN 104345688B
Authority
CN
China
Prior art keywords
point
tool
operating point
component
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410381927.4A
Other languages
English (en)
Other versions
CN104345688A (zh
Inventor
阿里桑德罗·奇西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centro Ricerche Fiat SCpA
Original Assignee
Centro Ricerche Fiat SCpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centro Ricerche Fiat SCpA filed Critical Centro Ricerche Fiat SCpA
Publication of CN104345688A publication Critical patent/CN104345688A/zh
Application granted granted Critical
Publication of CN104345688B publication Critical patent/CN104345688B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/30—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position

Abstract

一种用于定位工业操作工具的方法，该工具位于与要在其上进行作业的组件上的不同位置相关联的操作序列的操作点的序列中，该方法包括：将光源与所述工具以及识别相对于所述组件固定的位置参考三元组的至少三个光源相关联；经由至少包括两个摄像机的立体视觉装置获取所述工具和组件的至少两个相应的图像；尤其在组件上进行工业操作时通过以下步骤追踪所述组件上的所述操作点的位移，识别参考三元组的位置以及工具的光源的点；参照由参考三元组假定的位置计算操作序列的操作点的位置；以及，估计工具相对于操作点的计算的位置的位置。

Description

工作场所中定位工具的方法、相应系统和计算机可读存储 介质
技术领域
本发明涉及对用于工业操作的工具进行定位的技术，该工具定位于与一个要在其上进行作业的组件上的不同位置相关联的一系列操作点中。
在下文中，应当理解的是“工具”是用于进行有可能与机械手机器人相关联的工业操作的器具，例如扳手或焊接叉；但该限定应被理解为还扩展到用于把持工具的元件，例如能够固定末梢执行器的所述机器人的法兰。
背景技术
在工业领域的组装过程中，假定对象化即尤其是工具相对于系统即工业操作例如拧紧操作的参考轴的三元组的位置的定位是至关重要的。
在这一点上，重要的在于理解例如螺钉是如何被拧紧的，以便于：
在设想有特定的序列但没有被遵从的情况下避免旋入；以及
为单独的拧紧操作预留扭矩和角度的数据(并且不用于一系列的拧紧操作)。
图1中举例说明的是扳手11以及给出操作点L1至操作点Ln的多重性的组件12，即在该操作点有螺钉要旋入的位于空间PL1至空间PLn中不同的各自位置中。
因此定位的目的一方面在于了解组件12所在的位置，并且从而了解操作点L1至操作点Ln要旋入的位置，以及另一方面在于了解扳手11所在的位置。
技术问题
有基于超声技术的市场体系能够达到上述目的，但通常给出相当大的局限性。实际上，这些系统不进行组件定位，而是不考虑组件的存在/位置都记录相对于接收机的空间中的坐标。因此，只有在组件经常到达相同位置的情况下这些系统才能得到应用。在移动流水线的情况下，唯一的解决方案是读取组件的传送带的编码器并且重新计算组件的位置。
发明目的
本发明的目的在于提出一种在本说明书的开头所指示的类型的方法，该方法将能够解决以上提到的问题并且即使在组件移动时也能够定位组件，而无需从移动组件的系统中获取信息。
本发明进一步的目的在于提供一种灵活的并且能够使用经济上灵活的系统的方法。
发明内容
为了实现上述的目的，本发明的主题是一种给出权利要求1中所指明的特征的定位方法。本发明进一步的主题是根据权利要求9的定位系统以及根据权利要求15的计算机程序产品。如在此所使用的，提及该计算机程序产品应被理解为相当于提及计算机可读器件，该计算机可读器件包含用于控制处理系统的指令以便于协调本发明方法的实施。提及“至少一个计算机”显然应被理解为突出以模块化和/或分布式的形式实施本发明的可能性。
附图说明
本发明进一步的特征和优点将参照附图从接下来的说明中出现，所述附图仅以非限定举例的方式提供，并且其中：
图1先前已经说明；
图2为实施本发明定位方法的系统的示意图；
图3为本发明方法的初始化程序的原理图；
图4为本发明方法的特性化程序的原理图；
图5为本发明方法的追踪程序的步骤的原理图；
图6为本发明方法的追踪程序的其他步骤的原理图；
图7为本发明方法的追踪程序的步骤的原理图；以及
图8至图10示出了说明本发明定位方法的流程图。
具体实施方式
简而言之，所提出的所述方法和系统设想通过关联参照物以定位经历工业操作的组件，该参照物包括相对于所述组件固定的光源以及相对于操作工具固定的光源。基于经由立体摄像机(即在空间中识别其位置的摄像机，针对该摄像机的图像在计算机上应用立体视觉程序)估计的参照物的位置，在每个瞬间计算所述组件上的操作点的位置。因此，通过计算与所谓“连续移动”流水线(组件相对于参照物在该流水线上连续移动)前进的次数兼容的次数，即使在组件移动时也有可能定位组件上的操作点，因此随着序列中的每个操作点的到达，将要到达的操作点的位置适时变化。另外，所述方法有利地保证组件定位的六个自由度。
图2中说明的是设计为实施本发明方法的系统。
由附图标记10指定为一个整体的上述系统包括立体视觉装置20，该立体视觉装置20以自身已知的方式包括右侧摄像机21a和左侧摄像机21b。这些摄像机21a和摄像机21b拍摄工作区域30，工作区域30中分别在位置PC1、PC2、PC3设置有SC1、SC2、SC3三个光源，尤其是三个红外发光二级管(LED)，这三个光源以固定的方式相对于要追踪的组件12相关联。在一个例子中，这三个光源设置于盘13上，盘13转而关联到组件12。工具11同样位于工作区域30中，即在优选的例子中，相应的光源ST相对于扳手固定，该光源ST同样优选为固定在位置PT中的红外LED，位置PT可以例如靠近操作端或工具端。
图2的系统10通常经由相应的控制系统60)置为例如个人计算机，以控制立体视觉装置20的操作以及获取立体视觉装置20的右侧摄像机21a和左侧摄像机21b所拍摄的图像。控制系统60通常被配置为通过已知的立体计算技术中的一种，从由摄像机20a和摄像机20b所获得两个图像即右侧图像14a和左侧图像14b，获取所拍摄的场景即例如工作区域30的操作点的空间位置。
控制系统60被配置为使用立体方式执行组件12定位的过程，尤其是定位操作点L1至操作点Ln，该程序的一般形式由图10的流程图中的图例所代表。因此该方法通常包括系统初始化程序100，其生成数据校准文件FC，该数据校准文件FC包括基于摄像机的定位并且能够首先进行修正以在极线状态下操作摄像机的数据；该方法还包括工作环境的特性化程序200，在特性化程序200中建立特性化文件CZ，特性化文件CZ包括用于识别参考点RE的三元组的SC1、SC2、SC3三个光源中每一个的位置x、y、z以及操作点L1至操作点Ln(即将要进行的操作序列SE)中每一个的位置x、y、z。在通常执行于工业操作的常规步骤之前的程序100和程序200中得到的校准文件FC和特性化文件CZ的基础上，执行追踪程序300。该追踪程序首先追踪工具11和组件12的操作点L1至操作点 Ln的位置PL1至位置PLn；该追踪程序在组件12移动时连续计算这些位置PL1至位置PLn。在这些位置的基础上，追踪程序300还计算离工具11的PT位置最近的Lmin点。如果距离小于给定门限，追踪程序300指示工具11位于操作点Lmin，并且例如可以进行操作，尤其是旋入。如上所述，本发明方法在工业操作中可能局限于追踪程序300，但程序100和程序200有助于设定在工业操作中本发明定位方法和系统所使用的数量。
因此，在本发明方法的框架中，最初设想有用于初始化立体视觉装置20的初始化程序100。
上述程序100设想以摄像机21a和摄像机21b框出工作区域30的方式定位两个摄像机21a和21b，之后进行校准以旨在提取摄像机21a和摄像机21b相对于彼此的位置，以修正摄像机21a和摄像机21b的光学失真，并使两个摄像机21a和21b的图像对极，即以这样的方式进行：给定横坐标x和纵坐标y或图像中的高度，左侧摄像机21b获得的左侧图像14b的每个点在右侧摄像机21a获得的右侧图像14a中位于相同高度y。
参见图3，图3图示性地说明了控制计算机60的整个屏幕，控制计算机60经由校准软件被配置为执行程序100，显示右侧图像14a和左侧图像14b，右侧图像14a和左侧图像14b在此处代表构成校准仪15的摄像机21a和摄像机21b直接获得的两个图像。该校准仪15通常是包括特定的点或几何图形的物体，并且校准仪15的配置是预先知晓的。上述校准仪15尤其包括尤其是A3UNI格式的薄片，其上印有30个等距离间隔的黑色圆圈16，圆圈之间的间隔是已知的。
参见图7的流程图，为了首先进行校准，设想步骤110以获取所述摄像机21a和摄像机21b的图像，所述摄像机21a和摄像机21b构成用于给出已知几何图形16的校准仪15。
在步骤120中，接下来设想在计算机60上处理图像14a和14b，以提取所述已知几何图形的坐标，尤其在该实例中是在圆圈16的圆心的摄像机平面上的坐标。
计算机60尤其经由校准软件被配置为自动提取上述坐标，并进行以下操作：
应用滤波器，例如向零发送低于特定门限的图像的像素的颜色的所有值；
查找图像中出现的最大的白体；
在白体中查找圆形物体(即所述圆圈)；
提取圆圈的圆心；
在校准仪15中识别角落圆圈以及角落圆圈从给定角落开始在顺时针方向上的排列(在角落的圆圈16为此目的被上色为红色、白色、黄色、橙色)；以及
将其他所有圆圈(例如蓝色)的圆心逐行排列成从红色到白色，直到从橙色到黄色的行。
在提取圆圈16的圆心相对于两个摄像机21a和21b的图像14a和图像14b的坐标(其是以相同方式排列的的)步骤120之后，因此在从右侧和左侧提取的点或位置之间存在对应，这些坐标由校准步骤使用，该校准步骤应用在立体视觉领域已知的校准技术本身并提取包括用于进行图像14a和图像14b的极线校正的数据的校准文件FC，例如，如URLhttps://sites.google.com/site/pubredi/computer-vision/stereo-view-ge ometry所示。
由于尤其是在不同位置使用校准仪15获得的图像14a和图像14b的配对数目就越多则校准结果越好，因此优选在程序1000中连续(大约20fps)获取图像并且以8位实时处理图像。
在随后的程序200和程序300中使用校准文件FC。通过使用这些已叙述的校准文件FC，能够对获取的每一对图像14a和图像14b应用转换，因此光学失真得到修正并且得到极线的状态。
在进行如所述的图像14a和图像14b的修正之后，本身已知的立体视觉程序为属于两个图像14a和14b的每个点返回该点在空间位置x、y、z；即给定左侧图像14b上的点的图像坐标以及右侧图像14上的对应点的图像坐标，立体视觉程序进行所述点的空间位置的三角测量。在两个摄像机其中一个的焦点中有参考系统的原点，该原点有指向另一个焦点的x轴，还有与摄像机的轴平行的z轴。
现在接着描述优选由安装在工作区域30的系统10进行的工作环境的特性化程序200，例如紧接着初始化(另一方面，也可以在工作区域30中进行)。
在步骤210中设想将摄像机21a和摄像机21b的光学器件配置为只检测组件SC1、SC2、SC3以及工具ST上的光源的波长。如果红外LED被作为光源使用，那么摄像机可以具有针对红外线的光学敏感性，或者可以在摄像机21a和摄像机21b的光学器件上为程序200和随后的程序300安装带通滤波器，这样只有组件SC1、SC2、SC3以及扳手ST上的光源的波长是可见的。
接下来是限定相对于组件12固定的光源SC1、SC2、SC3的三元组RE的步骤220。无论是否安装在盘13上，光源SC1、SC2、SC3都可以直接安装在组件12上或安装在托盘上或安装在运输所述托盘的支撑物上。
参见图4，图4为控制计算机60的屏幕的示意图，控制计算机60在步骤220中经由特性化软件被配置为执行程序200，并显示右侧图像14a和左侧图像14b，还识别对应光源SC1、SC2、SC3的三个位置PC1、PC2、PC3。这些位置被系统10特别地使用用于查找对象的算法自动识别并排列，该算法提取该对象的圆心。同样，直接由所述软件通过应用上述提供三个位置PC1、PC2、PC3的位置坐标x，y，z的立体视觉程序在步骤220中再一次计算位置PC1、PC2、PC3之间的距离r1、r2、r3。
系统10然后被配置为将位置PC1、PC2、PC3的所述三元组以及相应的距离r1、r2、r3作为系统10的参考RE存储例如在其自身的存储器件中。
接下来设想将要执行的存储操作序列SE的操作230，即操作点L1至操作点Ln以及将要达到的操作点L1至操作点Ln中的排列(操作路径，尤其是拧紧操作)。
在图5中可能注意到关于操作230的对应于工具12的光源ST的进一步的第四个光点，该光点与工具PT的位置相关联(在本例中，光源ST位于主轴轴线)。优选地，工具没有在识别出参考三元组的操作220中出现。工具在记录路径的操作230中出现。
由于工具12在各操作点L1至操作点Ln上位移，因此识别每次由光源ST假定的位置PT的系统10在特性化文件CZ中存储操作点L1至操作点Ln的位置PL1至位置PLn，位置PL1至位置PLn限定将要执行的操作序列SE。也就是说，这是一个学习程序，例如在该学习程序中以设想的序列执行操作序列并且记录位置。
存储的特性化文件CZ包括三个参考点PC1、PC2、PC3中每一个的位置x，y，z以及每个旋入点的位置x，y，z(优选以操作序列所设想的正确的序列)。
点的识别，即对应于光源的位置的识别，更确切地说是左侧图像14b中的一个点与右侧图像14a中的一个点之间的对应，可能导致误差。为了赋予该识别鲁棒性，举例设想使用进行如下操作的组合算法：
左侧图像14b的每个点与具有相似高度y(y轴标识图像的行)的右侧图像14a的每个点耦合；“相似”意味着在几个像素范围内的高度差，例如+/-3个像素；事实上，由于导致图像对极，因此每个点在两个图像中实际上对应相同高度y；
对于应用了立体视觉计算程序的两个图像14a和14b中的每一对点，提取假定的点的坐标x，y，z；从该计算程序一般获得超过四个的三维点；
给定第一个点，计算从其它所有点到该第一个点的距离；如果得到的其中一个距离与为参考三元组RE设想的距离r1、r2、r3中的一个很相似(例如，在门限值之内)，临时存储该点对；计算从其它潜在点到该点对的距离，如果找到三元组RE的第三个点则中断程序；所述程序连续直到识别了位置PC1、PC2、PC3的三元组RE；
因此图5的起始图形中不构成参考三元组RE的一部分的点是第四个点，即工具11的光源ST的位置PT。
当然，一个必要条件为上述图像中应该有四个并且只有四个点，滤光器计划获得该四个点。
任何不同的条件均不被接受。
图6说明了追踪步骤中的系统的计算机的整个屏幕，正如已经描述的，该追踪步骤是在经由工具11在组件12上正常进行工业操作时实施的。
并且在这种情况下，摄像机21a和摄像机21b以8比特连续获取右侧图像14a和左侧图像14b并且实时处理(例如处理时间保证大约20fps)。系统10在每一帧进行如下操作：
通过修正文件FC来极线校正321右侧图像14a和左侧图像14b；
使用立体计算程序提取322的右侧图像14a和左侧图像14b的点在空间位置；
识别323点以及参考三元组RE的相应位置PC1、PC2、PC3，即根据立体视觉程序通过空间位置的三角测量识别323组件12上的参考光源SC1、SC2、SC3以及工具11即扳手的点PT；
参照由参考三元组RE假定的位置PC1、PC2、PC3重新计算324操作序列SE的位置PL1至位置PLn；由于组件11与参考三元组RE彼此相对固定，因此一旦参考三元组RE的位置PC1、PC2、PC3被获知，就有可能导出任何其它的点的位置；例如，在执行追踪程序300的时间段内为后续收到的每个帧进行重新计算步骤324，在执行追踪程序300的该时间段内组件12和操作点L1至操作点Ln在摄像机所拍摄的工作区域30内移动。
计算325在操作序列SE中的操作点Lmin，操作点Lmin的位置PLmin是最靠近工具12的位置PT的一个位置；
在相对于操作点326的位置的识别步骤中，如果最靠近的操作点Lmin所处的距离比能够设置的极限距离rlim(针对拧紧操作典型地是15mm)短，系统10将工具12看做设置在对应于必需的操作点的位置，并且生成正面的识别信号M，例如点亮相应的灯，或在任何情况下都产生正反馈或开启状态。
操作325和326构成用于定位相对于操作序列SE的位置PL1至位置PLn的工具的位置的可能的操作的一部分。
当然，一旦工具11相对于操作序列SE的点的位置被识别，就可以根据想要得到的结果以及应用来管理信息。例如，当扳手11的位置PT对应操作点Li时，就有可能控制相应螺钉的旋入。否则，就有可能在设想有特定序列但没有被遵从的情况下抑制该操作(尤其是旋入操作)，并且同样有可能存储操作的参数，例如为单独的拧紧操作保留扭矩和角度的数据(并且不用于一系列的拧紧操作)。
现在接下来具体描述在相对于组件12固定的参考三元组RE的位置被获知后如何进行操作序列SE的操作点L1至操作点Ln的位置PL1至位置PLn的重新计算步骤324。正如已经提及的，在序列的储存230步骤中保存特性化文件CZ，特性化文件CZ包括三个参考点PC1、PC2、PC3中每一个在空间位置x，y，z以及操作点L1至操作点Ln中每个操作点的位置x，y，z(优选以操作序列所设想的正确的序列)。
实际上，假设光源SC1、SC2、SC3的参考三元组RE的初始位置是从记录步骤230获知的，以及光源SC1、SC2、SC3的参考三元组RE的最终位置是从追踪程序300获知的，尤其是从识别步骤323获知的，则这样的信息用于理解组件12如何在空间中的移动。一旦获得了位移，那么该位移就应用于操作序列的点。
因此，关于上述位移所进行的计算，即在空间中的旋转转换(rototranslation)，一般可知在空间中的任何等距都能由以下系统表示：
其矩阵形式为：
其中，在a、b、c中的3x3子矩阵是正交矩阵，一个恰当的例子是旋转矩阵。变量d中的3x1子向量代表转换子向量，1x4子向量(最后一行)是恒定的。在简洁形式中我们有：
P′4×1＝R4×4·P4×1；
其中，P′4×1是到达系统中的坐标的向量，P4×1是启动系统中的坐标的向量，R4×4是旋转转换矩阵。
为了进行以上提及的转换，有必要获知关于轴的旋转角度(欧拉角)以及转换向量。
针对分别的四个点P1、P2、P3、P4，给定初始位置和最终位置，即在记录步骤230中保存的位置以及在追踪300程序中从步骤323获得的位置，本发明方法转而设想旋转转换矩阵R的后向计算。
因此在矩阵形式中我们得到：
或者简洁形式为：
P′4×4＝R4×4·P4×4
必须通过对如下的到达参考系统(步骤323)中的点的位置的矩阵P求逆以获得上述旋转转换矩阵R(忽略矩阵的维度)：
R＝Ps·P-1
因此需要四个点的原因很明显；否则，到达参考系统中的点的位置的矩阵P不会是可逆的。因为在讨论中的这种情况下，事实上只有三个点是可用的，因为有参考三元组的三个光源，因此必须通过结合之前的三个固定点P1、P2、P3以获得第四个点P4。需要强调的是，第四个点P4不能是其它三个点的线性组合；即第四个点P4不能位于相同平面；也就是说，矩阵P是不可逆的。
通过应用例如以下标准以获得经由结合的第四个点P4的提取操作：
点P4位于垂直于穿越三个固定点P1、P2、P3的平面的直线；
点P4穿过三个固定点P1、P2、P3的中间点Pm；
点P4与中间点Pm之间的距离被设置为等于三个固定点P1、P2、P3之间的平均距离。
具体地，为了识别第四个点P4，第一步是要计算穿过三个固定点的平面π的方程式，即：
π：ax+by+cz+d=0
通过展开矩阵的行列式获得该笛卡尔方程：
即通过计算其子式：
dD＝-(ax1+by1+cz1)
在这个已经完成后，三个固定点P1、P2、P3中的中间点Pm的值得以计算。垂直于π平 面并且穿越所述中间点Pm的直线的参数方程是
这个已经完成，将P4设置为未知点，参数t的值被发现，因此从中间点到未知点的距离等于距离dist，其中dist等于三个固定点之间的平均距离，可知dist为：
即，
其中，
这时，替换直线的参数方程中的t，第四个点P4被找到。
那么总之，针对讨论中的情况，我们会发现旋转转换矩阵R(4x4)使得从一个参考系统到另一个参考系统的通道成为可能。如果我们用P指定属于旧参考系统的点(记录操作点序列的步骤中的参考三元组)并且用P’指定属于新参考系统的点(在追踪步骤300中所识别的三元组)，那么通过将P的倒数与P’相乘来计算矩阵R：
P′＝R·P→R＝P′·P-1
这时，旋转转换矩阵R被应用于从旧位置(即在记录步骤230中存储的旋入的点的位置)传到新位置(与追踪步骤300中的识别步骤323关联的位置)的操作序列的点。
因此，本发明方法的优点清楚地显现。
本发明方法有利地产生相对于用于连续移动流水线的通用组件的操作点的工具的位置，组件在该流水线上相对于参照物连续移动；因此到达序列中的每个点后将要到达的点的位置随着时间变化。本发明方法实际上能够以高计算速度被有利地实施，该高计算速度能够适应连续移动应用。
这目前有利地以廉价的方式获得，因为除了进行系统控制以及获取的图像的处理的计算机以外，系统仅需要大概配备有光学滤波器以及四个光源(尤其是四个LED)的两个摄像机。
由于摄像机能够被设置在任何位置而无需任何参照物，所以本发明方法有利地被证明目前在安装上是很灵活的。事实上，校准程序计算摄像机共同的位置。更换光学器件就足以变化框出的区域。
本发明方法有利地实现了取决于框出的区域的高精度系统：框出的区域越狭窄，精度越是提高。即使以系统速度为代价，摄像机分辨率的提高也成为可能。
实施所述方法的系统有利地仅对要遮挡四个光源中的一个光源的遮挡物是敏感的。另一方面，使用大量摄像机有可能减少该缺点的影响。系统反而对温度和电磁波不敏感。
可以同时使用组件和工具的多个系统，其中对每一个系统改变将被认为是有效的光源的波长(例如，在可见光以及近红外线范围内)。
当然，在不影响本发明原则的情况下，构造和实施例的细节可以相对于已经描述的内容仅以举例的方式在此广泛地变化，而不脱离权利要求的范围。
实施本发明方法的系统能被使用于有必要获知工作区域中的工具的位置的不同应用中。
因此光源能够如所描述的被安装到扳手或焊接叉或需要在组件上以及一系列操作点中作业的其它任何工具上。
本发明方法可能使用一个或多个计算机或微处理器卡或微控制器实施。特别地，可以在卡或微处理器上只设置一个进行位置计算程序以及立体视觉系统控制的控制模块。
除了以连续移动模式操作以外，所述方法和系统也可以应用于以下模式中：
静止模式，在静止模式中组件相对于参照物固定，因此要达到的点相对于外界总是位于相同的位置；
止行模式，在止行模式中组件相对于参照物可以位于任何位置，但一旦组件已经定位，在推断出组件的操作序列之前组件不再移动。

Claims (13)

1.一种用于定位工业操作工具的方法，该工业操作工具位于与要在其上进行作业的组件(12)上的不同位置相关联的操作序列(SE)的操作点(L1至Ln)的序列中，该方法包括：
将光源(ST)与所述工具(11)以及识别相对于所述组件(12)固定的位置参考三元组(RE)的至少三个光源(SC1、SC2、SC3)相关联；
经由至少包括两个摄像机(21a、21b)的立体视觉装置(20)获取所述工具(11)和组件(12)的至少两个相应的图像；
通过以下步骤进行所述组件(12)上的所述操作点(L1至Ln)的位移的追踪操作(300)：
识别(323)参考三元组(RE)的位置(PC1、PC2、PC3)以及工具(11)的光源(ST)的点(PT)；
参照由参考三元组(RE)假定的位置计算(324)操作序列(SE)的操作点(L1至Ln)的位置(PL1至PLn)；以及
估计(325、326)工具(PT)相对于操作点(L1至Ln)的计算的位置(PL1至PLn)的位置(PT)。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：在参照由参考三元组(RE)假定的位置计算(324)操作序列(SE)的操作点(L1至Ln)的位置(PL1至PLn)之后，计算操作序列中最靠近工具(11)的点(PT)的操作点(PLmin)并且估计所述最靠近的操作点(PLmin)所处的距离是否比能够距与工具(11)的源(ST)关联的位置(PT)设置的极限距离(rlim)短，并且如果是，则发射指示工具(11)在所要求的操作点处的对应信号(M)。
3.根据权利要求1或2所述的方法，其特征在于，在所述追踪操作(300)之前，所述方法包括用于初始化立体视觉装置(20)的初始化程序(100)，其包括：
获取(110)所述摄像机(21a、21b)的图像，所述摄像机(21a、21b)构成给出已知几何图形(16)的校准仪(15)；
提取(120)所述已知几何图形(16)的坐标；以及
向校准程序提供(130)所述坐标，该校准程序基于摄像机(21a、21b)相对于彼此的位置计算修正值(FC)以使得两个摄像机(21a、21b)的图像对极。
4.根据权利要求1或2所述的方法，其特征在于，所述方法包括工作环境的特性化程序(200)，其包括：
将摄像机(21a和21b)的光学器件配置(210)为只检测组件(SC1、SC2、SC3)以及工具(ST)上的光源的波长；
限定(220)相对于组件(12)固定的参考三元组(RE)的位置(PC1、PC2、PC3)以及所述位置(PC1、PC2、PC3)之间的距离(r1、r2、r3)；以及
将所述位置(PC1、PC2、PC3)以及距离(r1、r2、r3)作为用于追踪操作(300)的参考值存储。
5.根据权利要求4所述的方法，其特征在于，工作环境的所述特性化程序(200)还包括：记录(230)操作序列(SE)的位置(PL1至PLn)，在操作点(L1至Ln)移位工具(11)并且将工具(11)的连续位置(PT)记录(230)为操作序列(SE)的位置(PL1至PLn)。
6.根据权利要求5所述的方法，其特征在于，所述方法包括：在特性化文件(CZ)中记录三个参考点(PC1、PC2、PC3)中的每一个的空间位置以及每个操作点(L1至Ln)的空间位置(PL1至PLn)。
7.根据权利要求5所述的方法，其特征在于，参照由参考三元组(RE)假定的位置计算(324)操作序列(SE)的操作点(L1至Ln)的位置(PL1至PLn)的操作包括：执行(130)记录的工作位置(230)到追踪期间计算的工作位置中的旋转转换(R)，相应的旋转转换矩阵(R)基于包括在记录操作(230)期间的参考三元组(RE)的位置的矩阵(P)以及包括在识别操作(323)期间获得的参考三元组(RE)的位置的矩阵(P’)得到。
8.根据权利要求1所述的方法，其特征在于，所述追踪操作(300)的步骤是与连续获取图像(14a、14b)实时地执行的。
9.根据权利要求4所述的方法，其特征在于，限定(220)相对于组件(12)固定的参考三元组(RE)的位置(PC1、PC2、PC3)以及所述位置(PC1、PC2、PC3)之间的距离(r1、r2、r3)的操作包括以下步骤：
将两个图像中的一个图像(14b)的每个点与具有相似高度(y)的另一个图像(14a)的每个点相耦合；
经由立体视觉计算程序为两个图像(14a、14b)中的每一对点计算假定的点的坐标(x，y，z)；
给定第一个假定的点，计算其距其它假定的点的距离；
如果所述距离与参考三元组(RE)的距离(r1、r2、r3)中的一个相似，则临时存储相应的点对；
对其它假定的点重复距离计算，当发现参考三元组(RE)的第三个点时中断计算。
10.一种用于定位工业操作工具的系统，该工具位于与要在其上进行作业的组件(12)上的不同位置相关联的操作序列(SE)的操作点(L1至Ln)的序列中，该系统包括：
与所述工具(11)以及识别与所述组件(12)固定关联的位置参考三元组(RE)的至少三个光源(SC1、SC2、SC3)相关联的光源(ST)；包括至少两个摄像机(21a、21b)的立体视觉装置(20)，以及一个控制模块(60)，控制模块(60)被配置为控制所述立体视觉装置并获取所述摄像机(21a、21b)的图像(14a、14b)；
所述控制模块(60)被配置为根据权利要求1至9中任一项的方法追踪(300)在所述组件(12)上的所述操作点(L1至Ln)的位移。
11.根据权利要求10所述的定位系统，其特征在于，所述光源(ST、SC1、SC2、SC3)是LED。
12.根据权利要求10或11所述的系统，其特征在于，所述工具(11)为扳手并且所述操作点(L1至Ln)为旋入点。
13.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时能够实现权利要求1至9中任一项的所述方法。
CN201410381927.4A 2013-08-05 2014-08-05 工作场所中定位工具的方法、相应系统和计算机可读存储介质 Expired - Fee Related CN104345688B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13179271.5A EP2835703B1 (en) 2013-08-05 2013-08-05 Method for the localization of a tool in a workplace, corresponding system and computer program product
EP13179271.5 2013-08-05

Publications (2)

Publication Number Publication Date
CN104345688A CN104345688A (zh) 2015-02-11
CN104345688B true CN104345688B (zh) 2018-12-21

Family

ID=49226011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410381927.4A Expired - Fee Related CN104345688B (zh) 2013-08-05 2014-08-05 工作场所中定位工具的方法、相应系统和计算机可读存储介质

Country Status (4)

Country Link
US (1) US9591228B2 (zh)
EP (1) EP2835703B1 (zh)
CN (1) CN104345688B (zh)
BR (1) BR102014018280A2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3194882T3 (pl) * 2014-09-15 2021-10-25 Dti Group Limited Filtrowanie wyładowań łukowych przy użyciu urządzeń do rejestrowania wielu obrazów
WO2017015105A1 (en) 2015-07-17 2017-01-26 Apex Brands, Inc. Vision system with automatic calibration
CN105132957B (zh) * 2015-09-17 2017-08-29 中国环境科学研究院 一种锌电解过程重金属水污染物源削减成套技术方法
CN106056603A (zh) * 2016-05-30 2016-10-26 吉林大学 基于立体视觉的焊接执行参数在线检测方法
US11166643B2 (en) 2016-06-07 2021-11-09 Michael F. O'Rourke Non-invasive method of estimating intra-cranial pressure (ICP)
TWI668541B (zh) 2017-09-29 2019-08-11 財團法人工業技術研究院 機器人工具中心點校正系統及其方法
EP3857654A4 (en) 2018-09-28 2022-06-01 Hubbell Incorporated POWER TOOL WITH CRIMP LOCATION
CN110681057B (zh) * 2019-09-17 2021-07-13 天津大学 一种用于实验小鼠的实时追踪照射装置
EP3855261A1 (en) * 2020-01-27 2021-07-28 ABB Schweiz AG Determining control parameters for an industrial automation device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08210808A (ja) * 1995-02-03 1996-08-20 Toshiba Eng Co Ltd 位置検出装置
JPH10286746A (ja) * 1997-04-11 1998-10-27 Mori Seiki Co Ltd Ｎｃ工作機械における工具刃先測定装置
JP2003211347A (ja) * 2002-01-16 2003-07-29 Toyoda Mach Works Ltd 主軸位置検出機能を備えた工作機械及び主軸位置検出方法
JP2007196327A (ja) * 2006-01-26 2007-08-09 Union Tool Co 位置検出装置
DE102011011286A1 (de) * 2011-02-15 2012-08-16 Rheinisch-Westfälische Technische Hochschule Aachen Verfahren und System zur Korrektur der Position eines durch eine Steuerung bewegten Objektes
CN102699359A (zh) * 2012-05-31 2012-10-03 长春理工大学 微小车床对刀装置及方法
CN202656010U (zh) * 2012-05-31 2013-01-09 中国工程物理研究院激光聚变研究中心 一种五轴加工中心用非接触式双向在线瞄准与定位系统
CN103163180A (zh) * 2011-12-12 2013-06-19 本田技研工业株式会社 无损检测系统
CN103170878A (zh) * 2013-03-31 2013-06-26 苏州科技学院 一种新型的微细铣刀与工件在线定位的方法
CN103170877A (zh) * 2013-03-31 2013-06-26 苏州科技学院 一种微细车削过程中金刚石车刀精确定位的方法
CN103217128A (zh) * 2013-04-22 2013-07-24 钟兴辉 双镜头测量系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
WO2005026659A1 (ja) * 2003-09-11 2005-03-24 Cubic, Inc. 三次元計測装置
US7594933B2 (en) * 2006-08-08 2009-09-29 Aesculap Ag Method and apparatus for positioning a bone prosthesis using a localization system
TWI346595B (en) * 2009-01-13 2011-08-11 Univ Chung Yuan Christian System for positioning micro tool of micro machine and method thereof

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08210808A (ja) * 1995-02-03 1996-08-20 Toshiba Eng Co Ltd 位置検出装置
JPH10286746A (ja) * 1997-04-11 1998-10-27 Mori Seiki Co Ltd Ｎｃ工作機械における工具刃先測定装置
JP2003211347A (ja) * 2002-01-16 2003-07-29 Toyoda Mach Works Ltd 主軸位置検出機能を備えた工作機械及び主軸位置検出方法
JP2007196327A (ja) * 2006-01-26 2007-08-09 Union Tool Co 位置検出装置
DE102011011286A1 (de) * 2011-02-15 2012-08-16 Rheinisch-Westfälische Technische Hochschule Aachen Verfahren und System zur Korrektur der Position eines durch eine Steuerung bewegten Objektes
CN103163180A (zh) * 2011-12-12 2013-06-19 本田技研工业株式会社 无损检测系统
CN102699359A (zh) * 2012-05-31 2012-10-03 长春理工大学 微小车床对刀装置及方法
CN202656010U (zh) * 2012-05-31 2013-01-09 中国工程物理研究院激光聚变研究中心 一种五轴加工中心用非接触式双向在线瞄准与定位系统
CN103170878A (zh) * 2013-03-31 2013-06-26 苏州科技学院 一种新型的微细铣刀与工件在线定位的方法
CN103170877A (zh) * 2013-03-31 2013-06-26 苏州科技学院 一种微细车削过程中金刚石车刀精确定位的方法
CN103217128A (zh) * 2013-04-22 2013-07-24 钟兴辉 双镜头测量系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于双目立体视觉的工件识别定位与抓取系统研究;魏敬强;《中国优秀硕士学术论文全文数据库 信息科技辑》;20111215;I138-1433 *
摄像机定位深度误差修正方法;卢韶芳;《东南大学学报（自然科学版）》;20120930;36-40 *
数控车床位置精度检测与评定方法对比分析;王胜;《中国机械工程》;20130726;1862-1867 *
激光划切机中工件对准的图像定位方法;潘乐;《电子工业专用设备》;20091231;39-42 *

Also Published As

Publication number Publication date
EP2835703B1 (en) 2016-05-25
US9591228B2 (en) 2017-03-07
EP2835703A1 (en) 2015-02-11
US20150035948A1 (en) 2015-02-05
BR102014018280A2 (pt) 2016-06-28
CN104345688A (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
CN104345688B (zh) 工作场所中定位工具的方法、相应系统和计算机可读存储介质
Singh et al. Bigbird: A large-scale 3d database of object instances
Basso et al. Robust intrinsic and extrinsic calibration of RGB-D cameras
EP3166043B1 (en) Locating a feature for robotic guidance
TW202012955A (zh) 具有球形視野的三維感測器的擋板
WO2015168042A1 (en) 3d mapping with flexible camera rig
US20170221224A1 (en) Position measurement apparatus for measuring position of object having reflective surface in the three-dimensional space
Gratal et al. Visual servoing on unknown objects
US11446822B2 (en) Simulation device that simulates operation of robot
Zhu et al. Robust plane-based calibration of multiple non-overlapping cameras
Rudakova et al. Camera matrix calibration using circular control points and separate correction of the geometric distortion field
KR102270922B1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
Lopez-Nicolas et al. Homography-based visual control of nonholonomic vehicles
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
US9804252B2 (en) System and method for measuring tracker system accuracy
Mühlenbrock et al. Fast, accurate and robust registration of multiple depth sensors without need for RGB and IR images
US11580662B2 (en) Associating three-dimensional coordinates with two-dimensional feature points
KR20230081963A (ko) 딥러닝을 이용한 용접 자동화 시스템 및 이의 용접 자동화 방법
Peters et al. Robot self‐calibration using actuated 3D sensors
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
Ulrich et al. High-accuracy 3D image stitching for robot-based inspection systems
Yu Orb-Slam Examination in the Indoor Textureless Environment
Costi et al. Mobile Motion Capture
Chen et al. Robust homography for real-time image un-distortion
KR20180107916A (ko) 고정된 패턴 마스크를 이용하여 블랙, 화이트를 프로젝션을 수행하는 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181221

Termination date: 20200805

CF01 Termination of patent right due to non-payment of annual fee