CN112955004B - 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体 - Google Patents

工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体 Download PDF

Info

Publication number
CN112955004B
CN112955004B CN201980071707.2A CN201980071707A CN112955004B CN 112955004 B CN112955004 B CN 112955004B CN 201980071707 A CN201980071707 A CN 201980071707A CN 112955004 B CN112955004 B CN 112955004B
Authority
CN
China
Prior art keywords
tool
tools
distance
image data
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980071707.2A
Other languages
English (en)
Other versions
CN112955004A (zh
Inventor
A.埃里克森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeLaval Holding AB
Original Assignee
DeLaval Holding AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeLaval Holding AB filed Critical DeLaval Holding AB
Publication of CN112955004A publication Critical patent/CN112955004A/zh
Application granted granted Critical
Publication of CN112955004B publication Critical patent/CN112955004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01JMANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00Milking machines or devices
    • A01J5/017Automatic attaching or detaching of clusters
    • A01J5/0175Attaching of clusters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45113Animal handling, milking robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Animal Husbandry (AREA)
  • Environmental Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

通过经由在原点位置(PC)处的相机(130)记录表示要确定位置的工具(141、142、143、144)的三维图像数据(Dimg3D)来确定工具(141、142、143、144)在自动挤奶装置中的位置。使用涉及将图像数据(Dimg3D)与参考数据进行匹配的算法,在三维图像数据(Dimg3D)中识别工具候选(TC1,TC2,TC3,TC4)。基于原点位置(PC)和表示从原点位置(PC)到每个识别的工具候选(TC1,TC2,TC3,TC4)的相应距离的数据来为工具(141、142、143、144)计算相应的位置(PT1,PT2,PT3,PT4)。假定工具(141、142、143、144)具有相对彼此的预定位置(Δd)。因此,如果间隔距离(ds)相对于预定的相对位置(Δd)超过第一阈值(dth1),则忽略在距第一工具候选(TC1)的间隔距离(ds)处检测到的任何第二工具候选(TC2)。

Description

工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性 数据载体
技术领域
本发明总体上涉及在操作之前自动挤奶设备的初始化。特别地,本发明涉及用于确定自动挤奶装置中的工具位置的系统以及在这种系统中实现的方法。本发明还涉及旋转挤奶平台、计算机程序和非易失性数据载体。
背景技术
当今的自动挤奶装置是非常复杂的装置。对于旋转挤奶平台而言尤其如此,其中挤奶机器人或类似的自动设备为相对大数量的挤奶站服务。除其他外,这意味着挤奶机器人将奶头杯和其他工具例如清洁杯以完全自动的方式附接至动物。因此,挤奶机器人必须能够在完成挤奶过程的每个阶段之后从存储位置自动检索相关工具并有可能将它们返回至其。这进而要求挤奶机器人具有关于每个工具的相应位置的非常准确的知识。
在现有技术的解决方案中,操作者通过例如经由操纵杆控制挤奶机器人的抓握装置到在拾取特定工具时抓握装置应定位至的空间坐标来教导挤奶机器人相关的工具拾取位置。当抓握装置具有相对于工具的期望的拾取位置时,操作者通过输入确认命令将该位置编程到用于挤奶机器人的控制单元中。这种工具位置的半手动编程是不理想的,例如由于挤奶机器人的用户操作控制链接中的各种精度,并且出于安全原因而因为可能需要操作者位于难以甚至无法看到抓握装置是否实际位于期望拾取位置的地方。
旋转挤奶平台通常具有相当大数量的挤奶摊位,例如多达80个,有时甚至更多。在此,每个挤奶摊位都有其自己的一组工具,它们以奶头杯以及可能的一个或多个清洁杯的形式。
当然,通过所述半手动方式将所有这些工具的各个位置编程到挤奶机器人中既繁琐又容易出错。因此,在实践中,操作者通常教导挤奶机器人一个摊位的相应工具位置作为参考。然后,将这些参考位置的空间坐标转换为代表所有剩余摊位中的工具位置的相应空间坐标。鉴于所提及的误差源,很明显,该策略可能导致各个工具位置出现相当大的误差,特别是对于较大型的旋转挤奶平台而言。
发明内容
因此,本发明的目的是提供一种方便的解决方案,用于以有效且准确的方式确定工具在自动挤奶装置中的相应位置。
根据本发明的一方面,该目的通过一种用于确定自动挤奶装置中的工具位置的系统来实现。该系统包含相机和控制单元。相机配置为从原点位置记录要确定相应位置的至少两个工具的三维图像数据。控制单元配置为使相机获得表示至少两个工具的三维图像数据。控制单元配置为使用涉及将图像数据与参考数据进行匹配的算法来识别三维图像数据中的工具候选。控制单元配置为基于原点位置和表示从原点位置到每个识别的工具候选的相应距离的数据来为至少两个工具计算相应的位置。假定至少两个工具存储在专用空间中。因此,这些工具具有相对彼此的预定位置。控制单元还配置为:如果间隔距离相对于预定的相对位置超过第一阈值,则忽略在距第一工具候选的间隔距离处检测到的任何第二工具候选。
该系统是有利的,因为它避免了人类操作者的半手动介入。此外,在自动挤奶装置的所有挤奶站中的所有工具的每个相应位置可以以高精确度被特别地记录并且以全自动的方式被存储以供以后使用。
根据本发明的这方面的一实施例,控制单元配置为将至少两个工具的相应位置存储在存储单元中。可通过结合拾取用于附接到动物的至少两个工具中的至少一个的工具拾取系统从存储单元检索存储的相应位置。因此,自动挤奶装置可以直接投入运行。
优选地,至少两个工具被放置在工具支架中,并且系统包括布置在机械臂上的抓握装置。在相应位置已被存储在存储单元中之后,控制单元还配置为:从存储单元检索存储的相应位置,并且控制机械臂和抓握装置,以从工具支架拾取至少两个工具中的至少一个。进一步优选地,每个工具的相应位置表示为在三维图像数据中描绘的物体上的特定点的空间坐标。
根据本发明的该方面的另一实施例,包括四个工具,其以预定义模式相对彼此布置。在此,控制单元配置为使用关于预定义模式的信息来确认和/或忽略至少一个工具候选。
例如,四个工具可以沿着线、沿着弧或在方形中布置。在这种情况下,控制单元配置为:在用于所述工具的一组工具候选中,忽略在距将至少两个其他工具候选互连的估计线的超过第二阈值距离的离群距离处检测到的任何工具候选。
如果四个工具布置成在线中的工具的每个相邻工具之间具有相等距离,则控制单元配置为忽略在这样的位置处检测到的工具候选:工具候选导致第一和第二间距离之间的差超过第三阈值距离;其中第一间距离是包括工具候选和第一工具候选的主对相邻工具候选之间的空隙,并且第二间距离是包括工具候选和第二工具候选的副对相邻工具候选之间的空隙。因此,可以从该过程排除所谓的假阳性工具候选者。
根据本发明的这方面的又一实施例,如果在控制单元中获得了三维图像数据之后的处理时间,已经识别少于预定数量(例如两个)的工具候选,则控制单元配置为将相机重新定位到新原点位置。控制单元配置为从新原点位置使相机获得更新的三维图像数据。优选地,三维图像数据是动态的。这意味着图像数据可以由视频序列表示和/或由以一个或多个角度从一个或多个原点位置记录的多个静止图像构建而成。因此,从任何单个相机角度都可能看不到所有工具。然而,通过重新定位相机,可以建立完整的三维图像数据集,其完全代表所有工具。进一步地,控制单元配置为基于新原点位置和表示从新原点位置到每个识别的工具候选的相应距离的数据来计算至少两个工具的相应位置。结果,如果由于某种原因而存在妨碍工具的相机查看的临时干扰,则也可以获得较高的数据质量。
根据本发明的这方面的另一实施例,相机布置在机械臂上。当然,这是有利的,因为它允许方便地移动和重新定位相机。此外,在挤奶装置的正常操作期间使用的相机也可以用于将工具位置编程到系统中。
根据本发明的另一方面,该目的是通过一种具有多个挤奶摊位的旋转挤奶平台来实现的。每个挤奶摊位又包括至少两个工具,并且旋转挤奶平台包含用于确定工具位置的上述系统。除了上述优点之外,该旋转挤奶平台是有利的,因为无论平台大小如何,都不需要坐标转换来记录工具位置。
根据本发明的另一方面,该目的通过一种用于确定工具在自动挤奶装置中的位置的方法来实现。该方法包括经由在原点位置处的相机记录表示要确定位置的至少两个工具的三维图像数据。该方法还包括使用涉及将图像数据与参考数据进行匹配的算法来在三维图像数据中识别工具候选。然后基于原点位置和表示从原点位置到每个识别的工具候选的相应距离的数据来为至少两个工具计算相应的位置。至少两个工具具有相对彼此的预定位置,并且该方法还包括:如果间隔距离相对于预定的相对位置超过第一阈值,则忽略在距第一工具候选的间隔距离处检测到的任何第二工具候选。参照该系统,从上述讨论中可以明显看出该方法以及其优选实施例的优点。
根据本发明的另一方面,该目的通过一种计算机程序来实现,该计算机程序可加载到通信地连接至处理单元的非易失性数据载体中。计算机程序包括用于当计算机程序在处理单元上运行时执行上述方法的软件。
根据本发明的另一方面,该目的是通过一种包含上述计算机程序的非易失性数据载体来实现的。
根据以下描述和从属权利要求,本发明的其他优点、有益特征和应用将是显而易见的。
附图说明
现在将通过作为示例公开的优选实施例并参考附图来更详细地解释本发明。
图1示出了根据本发明一实施例的用于确定工具位置的系统;
图2-4示意性地示出了根据本发明实施例的如何可以丢弃识别的工具候选;
图5示出了根据本发明一实施例的旋转挤奶平台;以及
图6通过流程图示出了根据本发明的通用方法。
具体实施方式
在图1中,我们看到根据本发明一实施例的系统。在此,该系统布置为确定四个不同工具(例如一组奶头杯141、142、143和144)的相应位置。
该系统包括相机130和控制单元120。相机130配置为记录要确定相应位置的工具141、142、143和144的三维图像数据Dimg3D。优选地,相机130是飞行时间相机(ToF相机),即基于已知光速来解决距离的范围成像相机系统。然而,根据本发明,相机130可以是能够确定到被成像物体的相应距离的任何替代成像系统,例如发射结构化光的2D相机或组合的光检测和测距LIDAR相机系统。此外,三维图像数据Dimg3D可以是动态的。这意味着三维图像数据Dimg3D可以由视频序列表示和/或由以一个或多个角度从一个或多个原点位置PC记录的多个静止图像构建而成。
因此,相机130位于原点位置PC处,并且可以如图1所示布置在机械臂110上,或者放置在另一合适结构上,例如三脚架。在任何情况下,原点位置PC的空间坐标(xC,yC,zC)都是高精度已知的。结果,由相机130记录的三维图像数据Dimg3D形成了用于确定相机130的视场VF内的任何物体的位置的基础。即,特定点的空间坐标可以基于原点位置PC(xC,yC,zC)和数据d1(x1,y1,z1)计算,例如空间向量,其表示从原点位置PC(xC,yC,zC)到所描绘物体上的特定点的三维距离。例如,特定点可以是第一工具候选TC1上的明确定义的点,比如奶头杯主体的对称中心与奶头杯主体的衬里边缘之间的交点。
控制单元120配置为使相机130获得表示工具141、142、143和144的三维图像数据Dimg3D,并将三维图像数据Dimg3D转发给控制单元120。控制单元120然后配置为使用涉及将图像数据Dimg3D与参考数据进行匹配的算法来识别三维图像数据Dimg3D中的工具候选TC1,TC2,TC3和TC4。例如,参考数据可以包括工具的一个或多个特征模式和/或典型的工具轮廓。控制单元120配置为基于原点位置PC(xC,yC,zC)和表示从原点位置PC(xC,yC,zC)到每个识别的工具候选TC1,TC2,TC3和TC4的相应距离的数据来为每个工具141、142、143和144计算相应的位置PT1,PT2,PT3和PT4
为了提高定位过程的效率,根据本发明应用以下策略。由于可以假设每个工具141、142、143和144存储在专用空间中,比如在支架150中的给定位置处,因此可以假定工具141、142、143和144具有相对彼此的预定位置。在图1中,通过在支架150中将每个相邻工具彼此隔开的相等距离Δd示出了这种工具间关系。
现在参考图2,根据本发明,控制单元120配置为:如果间隔距离ds相对于预定的相对位置Δd超过第一阈值dth1,则忽略在距第一工具候选TC1的间隔距离ds处检测到的任何第二工具候选TC2。例如,如果相等距离Δd是10厘米,则可以丢弃从第一工具候选TC1超过15厘米检测到的任何第二工具候选TC2。当然,该策略适用于任何多个工具,例如二个、四个等。
假设存在三个或更多个工具,例如四个工具141、142、143和144,则这些工具可以以预定义模式相对于彼此布置,例如在方形的角中、沿着弧或沿着如图1所示的线L。在这种情况下,控制单元120优选地配置为使用关于预定义模式的信息来确认和/或忽略至少一个工具候选TC1,TC2,TC3和TC4。下面,将通过本发明的两个实施例来举例说明。
图3示出了根据线性布置将一组工具存储在支架150中的情况。在此,相机130已经记录了其中已识别工具候选TC1,TC2,TC3和TC4的三维图像数据Dimg3D。可以看出,在用于工具的一组工具候选中,在距将其他工具候选(此处分别为TC1,TC2和TC4)中的至少两个互连的估计线Le的离群距离do处已经检测到第三工具候选TC3。假设离群距离do超过第二阈值距离dth2,则根据本发明一实施例,控制单元120配置为忽略检测到的工具候选TC3
此外,如果存在多个工具141、142、143和144,则控制单元120可以基于工具相对彼此布置的预定义模式得出进一步结论。图4示出了根据本发明第三实施例的如何可以丢弃识别的工具候选TC2
这里,四个工具141、142、143和144布置在线L(见图1)中,线L中的每个相邻工具之间具有相等距离Δd。控制单元120配置为使用关于预定义工具模式的信息来忽略工具候选TC2,该工具候选在这样的位置被检测到:所述工具候选TC2导致第一间距离Δd1和第二间距离Δd2之间的差超过第三阈值距离。第一间距离Δd1是包括所述工具候选TC2和第一其他工具候选TC1的主对相邻工具候选(例如TC1和TC2)之间的空隙。第二间距离是包括所述工具候选TC2和另一第二工具候选TC3的副对相邻工具候选(例如TC2和TC3)之间的空隙。
类似地,控制单元120也可以使用组织工具的预定义模式来确认工具候选。即例如,如果在距第一工具候选的期望距离Δd处找到第二工具候选,则可以确认第二工具候选的位置。
为了便于在操作自动挤奶装置时有效地使用计算的工具位置[P],根据本发明一实施例,该系统包括存储单元160,例如闪存或只读存储器(ROM)形式的存储介质。控制单元120还配置为将至少两个工具141、142、143和144的相应位置[P]存储在存储单元160中。可通过结合拾取通常用于附接到动物的至少两个工具141、142、143和144中的至少一个的工具拾取系统从存储单元160检索存储的相应位置[P]。
根据本发明一实施例,至少两个工具141、142、143和144被放置在工具支架150中,如图1所示。用于确定工具在自动挤奶装置中的位置的系统还包含抓握装置115,其布置在机械臂110上。在将相应位置[P]存储在存储单元160中之后,控制单元120配置为从存储单元160检索存储的相应位置[P],并控制机械臂110和抓握装置115以从工具支架150拾取至少两个工具141、142、143和144中的至少一个,使得例如可以将这个/这些工具附接到动物。抓握装置115可包含一个或多个电磁体,其构造成与至少两个工具141、142、143和144中的每个上的一个或多个磁性构件协作。可替代地,或除此之外,抓握装置115可包含至少一个机械抓握爪,其构造为抓紧工具本身或其一部分,例如抓握杆。
优选地,如果系统中包括机械臂110,则将相机130布置在机械臂110上。即,这极大地促进实现上述过程。
通常有利的是,控制单元120和相机130配置为通过执行计算机程序127以自动方式实现上述过程。因此,控制单元120可以包括存储计算机程序127的存储单元126,即非易失性数据载体,计算机程序127又包含用于使中央控制单元120中的至少一个处理器形式的处理电路当计算机程序127在至少一个处理器上运行时执行上述动作的软件。
图5示出了根据本发明一实施例的旋转挤奶平台500。旋转挤奶平台500具有多个挤奶摊位520i,这里总共为24个。每个挤奶摊位520i包含至少两个工具,由参考数字141、142、143、144象征性地表示。旋转挤奶平台500还包括用于确定相应工具位置的系统,其在此通过机械臂510象征性地表示。所述定位系统510配置为根据以上描述的过程分别针对每个所述挤奶摊位520i中的至少两个工具141、142、143和144计算相应的位置PT1,PT2,PT3和PT4
优选地,旋转挤奶平台500逐步旋转通过系统510,从而以连续方式计算平台500上所有挤奶摊位520i的相应工具位置。
为了总结,并参考图6中的流程图,我们现在将描述根据本发明的用于确定工具在自动挤奶装置中的位置的通用方法。
在第一步骤610,在已知原点位置处通过相机记录三维图像数据。三维图像数据表示挤奶装置的至少两个工具,其相应位置将被确定。
在随后的步骤620,使用涉及将图像数据与参考数据进行匹配的算法在三维图像数据中识别工具候选。
此后,在步骤630,计算至少两个工具的相应位置。位置计算基于相机的已知原点位置和表示从原点位置到每个识别的工具候选的相应距离的数据。至少两个工具具有相对彼此的预定位置。如果间隔距离相对于预定的相对位置超过第一阈值距离,则忽略在距第一工具候选的间隔距离处检测到的任何第二工具候选。
随后,该过程结束。
参考图6描述的所有处理步骤以及步骤的任何子序列可以借助于编程的处理器来控制。此外,尽管以上参考附图描述的本发明的实施例包括处理器和在至少一个处理器中执行的处理,但本发明因此还扩展到计算机程序,特别是载体上或之中的计算机程序,适于将本发明付诸实践。该程序可以是源代码、目标代码、中间源代码和目标代码的形式,比如以部分编译的形式或者以适于在根据本发明的处理的实施方式中使用的任何其他形式。该程序可以是操作系统的一部分,也可以是单独的应用程序。载体可以是能够携带程序的任何实体或设备。例如,载体可以包括存储介质,例如闪存、ROM(只读存储器),例如DVD(数字视频/通用磁盘)、CD(光盘)或半导体ROM、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)或磁记录介质,例如软盘或硬盘。此外,载体可以是可传输载体,比如电或光信号,其可以经由电缆或光缆或者通过无线电或通过其他方式来传送。当程序体现在可以通过电缆或者其他设备或装置直接传送的信号中时,可以通过这种电缆或者设备或装置来构成载体。可替代地,载体可以是其中嵌入有程序的集成电路,该集成电路适于执行相关过程或在其的执行中使用。
当在本说明书中使用时,术语“包括/包含”用于指定存在所陈述的特征、整数、步骤或部件。然而,该术语不排除存在或添加一个或多个附加特征、整数、步骤或部件或者其组。
本发明不限于附图中描述的实施例,而是可以在权利要求的范围内自由地变化。

Claims (15)

1.一种用于确定工具在自动挤奶装置中的位置的系统,该系统包括:
相机(130),其配置为从原点位置(PC)记录要确定相应位置的至少两个工具(141、142、143、144)的三维图像数据(Dimg3D),以及
控制单元(120),其配置为:
使相机(130)获得表示至少两个工具的三维图像数据(Dimg3D),
使用涉及将三维图像数据(Dimg3D)与参考数据进行匹配的算法来识别三维图像数据(Dimg3D)中的工具候选(TC1,TC2,TC3,TC4),以及
基于原点位置(PC(xC,yC,zC))和表示从原点位置到识别的每个工具候选(TC1,TC2,TC3,TC4)的相应距离(d1(x1,y1,z1))的数据来为至少两个工具(141、142、143、144)计算相应的位置(PT1,PT2,PT3,PT4),
其特征在于,
至少两个工具(141、142、143、144)具有相对彼此的预定位置(Δd),并且控制单元(120)还配置为:如果间隔距离(ds)相对于预定的相对位置(Δd)超过第一阈值(dth1),则忽略在距第一工具候选的间隔距离(ds)处检测到的任何第二工具候选,
其中,所述控制单元(120)配置为将至少两个工具(141、142、143和144)的相应位置([P])存储在存储单元(160)中,可通过结合拾取用于附接到动物的至少两个工具(141、142、143和144)中的至少一个的工具拾取系统从所述存储单元(160)检索存储的相应位置([P]),
其中,所述至少两个工具(141、142、143、144)被放置在工具支架(150)中,所述系统包括布置在机械臂(110)上的抓握装置(115),并且在将所述相应位置([P])存储在所述存储单元(160)中之后,所述控制单元(120)还配置为:
从存储单元(160)检索存储的相应位置([P]),并且
控制机械臂(110)和抓握装置(115),以从工具支架(150)拾取至少两个工具(141、142、143和144)中的至少一个。
2.根据权利要求1所述的系统,其中,所述至少两个工具包括以预定义模式相对彼此布置的四个工具(141、142、143、144),并且所述控制单元(120)配置为使用关于预定义模式的信息来确认和/或忽略至少一个工具候选(TC1,TC2,TC3,TC4)。
3.根据权利要求1或2所述的系统,其中,所述至少两个工具包括沿着线(L)布置的四个工具(141、142、143、144),并且所述控制单元(120)配置为:在用于所述工具的一组工具候选中,忽略在距将至少两个其他工具候选互连的估计线(Le)的超过第二阈值距离(dth2)的离群距离(do)处检测到的任何工具候选。
4.根据权利要求3所述的系统,其中,所述四个工具(141、142、143,144)布置成在所述线(L)中的所述工具的每个相邻工具之间具有相等距离(Δd),并且所述控制单元(120)配置为忽略在这样的位置处检测到的工具候选:所述工具候选导致第一间距离(Δd1)和第二间距离(Δd2)之间的差超过第三阈值距离,其中第一间距离(Δd1)是包括所述工具候选和第一工具候选的主对相邻工具候选之间的空隙,并且第二间距离是包括所述工具候选和第二工具候选的副对相邻工具候选之间的空隙。
5.根据权利要求1或2所述的系统,其中,所述至少两个工具(141、142、143、144)中的每个的相应位置(PT1,PT2,PT3,PT4)表示为在三维图像数据(Dimg3D)中描绘的物体上的特定点的空间坐标。
6.根据权利要求1或2所述的系统,其中,如果在控制单元(120)中获得了三维图像数据(Dimg3D)之后的处理时间,已经识别少于预定数量的工具候选,则控制单元(120)配置为:将相机(130)重新定位到新原点位置(PC),至少两个工具(141、142、143、144)从该新原点位置(PC)在相机(130)中可见;使相机(130)获得代表所述至少两个工具的更新的三维图像数据(Dimg3D),该更新的三维图像数据(Dimg3D)已从新原点位置(PC)记录;基于新原点位置(PC)和表示从新原点位置(PC)到每个识别的工具候选(TC1,TC2,TC3,TC4)的相应距离的数据来计算至少两个工具(141、142、143、144)的相应位置(PT1,PT2,PT3,PT4)。
7.根据权利要求1所述的系统,其中,所述相机(130)布置在所述机械臂(110)上。
8.一种具有多个挤奶摊位(520i)的旋转挤奶平台(500),每个挤奶摊位包括至少两个工具(141、142、143、144),并且该旋转挤奶平台(500)包括根据前述权利要求中任一项所述的系统,该系统布置为计算至少两个工具(141、142、143、144)在每个所述挤奶摊位(520i)中的相应位置(PT1,PT2,PT3,PT4)。
9.一种用于确定工具在自动挤奶装置中的位置的方法,该方法包括:
经由在原点位置(PC)处的相机(130)记录表示要确定位置的至少两个工具(141、142、143、144)的三维图像数据(Dimg3D),
使用涉及将图像数据(Dimg3D)与参考数据进行匹配的算法,在三维图像数据(Dimg3D)中识别工具候选(TC1,TC2,TC3,TC4),以及
基于原点位置(PC(xC,yC,zC))和表示从原点位置到识别的每个工具候选(TC1,TC2,TC3,TC4)的相应距离(d1(x1,y1,z1))的数据来为至少两个工具(141、142、143、144)计算相应的位置(PT1,PT2,PT3,PT4),其特征在于,至少两个工具(141、142、143、144)具有相对彼此的预定位置(Δd),并且该方法还包括:
如果间隔距离(ds)相对于预定的相对位置(Δd)超过第一阈值(dth1),则忽略在距第一工具候选的间隔距离(ds)处检测到的任何第二工具候选,
所述方法还包括:将至少两个工具(141、142、143和144)的相应位置([P])存储在存储单元(160)中,可通过结合拾取用于附接到动物的至少两个工具(141、142、143和144)中的至少一个的工具拾取系统从所述存储单元(160)检索存储的相应位置([P]),
其中,所述至少两个工具(141、142、143、144)被放置在工具支架(150)中,所述工具拾取系统包括布置在机械臂(110)上的抓握装置(115),并且在将所述相应位置([P])存储在所述存储单元(160)中之后,所述方法还包括:
从存储单元(160)检索存储的相应位置([P]),并且
控制机械臂(110)和抓握装置(115),以从工具支架(150)拾取至少两个工具(141、142、143和144)中的至少一个。
10.根据权利要求9所述的方法,其中,所述至少两个工具包括以预定义模式相对彼此布置的四个工具(141、142、143、144),并且所述方法包括:
使用关于预定义模式的信息来确认和/或忽略至少一个工具候选(TC1,TC2,TC3,TC4)。
11.根据权利要求9或10所述的方法,其中,所述至少两个工具包括沿着线(L)布置的四个工具(141、142、143、144),并且所述方法包括:
在用于所述工具的一组工具候选中,忽略在距将至少两个其他工具候选(TC1,TC2,TC4)互连的估计线(Le)的超过第二阈值距离(dth2)的离群距离(do)处检测到的任何工具候选。
12.根据权利要求11所述的方法,其中,所述四个工具(141、142、143、144)布置成在所述线(L)中的所述工具的每个相邻工具之间具有相等距离(Δd),并且所述方法包括:
忽略在这样的位置处检测到的工具候选:所述工具候选导致第一间距离(Δd1)和第二间距离(Δd2)之间的差超过第三阈值距离,其中第一间距离(Δd1)是包括所述工具候选和第一工具候选的主对相邻工具候选之间的空隙,并且第二间距离是包括所述工具候选和第二工具候选的副对相邻工具候选之间的空隙。
13.根据权利要求9或10所述的方法,其中,所述至少两个工具(141、142、143、144)中的每个的相应位置(PT1,PT2,PT3,PT4)表示为在三维图像数据(Dimg3D)中描绘的物体上的特定点的空间坐标。
14.根据权利要求9或10所述的方法,其中,如果在获得了三维图像数据(Dimg3D)之后的处理时间,已经识别少于预定数量的工具候选,则所述方法包括:
将相机(130)重新定位到新原点位置(PC),至少两个工具(141、142、143、144)从该新原点位置(PC)在相机(130)中可见,
使相机(130)获得代表所述至少两个工具的更新的三维图像数据(Dimg3D),该更新的三维图像数据(Dimg3D)已从新原点位置(PC)记录,以及
基于新原点位置(PC)和表示从新原点位置(PC)到每个识别的工具候选(TC1,TC2,TC3,TC4)的相应距离的数据来计算至少两个工具(141、142、143、144)的相应位置(PT1,PT2,PT3,PT4)。
15.一种非易失性数据载体(126),包含被加载到所述非易失性数据载体的计算机程序(127),所述非易失性数据载体(126)通信地连接至处理单元(125),所述计算机程序(127)包括用于当计算机程序在所述处理单元(125)上运行时执行根据权利要求9至14中任一项所述的方法的软件。
CN201980071707.2A 2018-11-01 2019-10-28 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体 Active CN112955004B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1800210 2018-11-01
SE1800210-5 2018-11-01
PCT/SE2019/051066 WO2020091664A1 (en) 2018-11-01 2019-10-28 Tool-positioning system and method, rotary milking platform, computer program and non-volatile data carrier

Publications (2)

Publication Number Publication Date
CN112955004A CN112955004A (zh) 2021-06-11
CN112955004B true CN112955004B (zh) 2023-08-25

Family

ID=68542719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980071707.2A Active CN112955004B (zh) 2018-11-01 2019-10-28 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体

Country Status (5)

Country Link
US (1) US20210392842A1 (zh)
EP (1) EP3873198B1 (zh)
CN (1) CN112955004B (zh)
CA (1) CA3118054A1 (zh)
WO (1) WO2020091664A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102105049A (zh) * 2008-07-29 2011-06-22 Gea农业技术有限公司 用于将挤奶杯安置于动物乳头上的方法和设备
CA2849211A1 (en) * 2011-04-28 2012-07-03 Henk Hofman System for controlling the position of a robot carriage in a rotary milking platform
CN102958351A (zh) * 2010-07-08 2013-03-06 利拉伐控股有限公司 对挤奶进行控制的方法和设备
CN103209585A (zh) * 2010-11-23 2013-07-17 利拉伐控股有限公司 用于动物的挤奶室
WO2015126241A1 (en) * 2014-02-18 2015-08-27 Lely Patent N.V. Milking robot for attaching a teat cup
CN106572646A (zh) * 2014-08-21 2017-04-19 利拉伐控股有限公司 在旋转挤奶系统中执行奶头相关操作的方法和装置及旋转挤奶系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9802614D0 (sv) * 1998-07-24 1998-07-24 Alfa Laval Agri Ab An apparatus for milking an animal
SE530339C2 (sv) * 2006-07-13 2008-05-06 Delaval Holding Ab En apparat och förfarande för att igenkänna och bestämma en position
AU2009229565A1 (en) * 2008-03-27 2009-10-01 Delaval Holding Ab Positioning of teat cups

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102105049A (zh) * 2008-07-29 2011-06-22 Gea农业技术有限公司 用于将挤奶杯安置于动物乳头上的方法和设备
CN102958351A (zh) * 2010-07-08 2013-03-06 利拉伐控股有限公司 对挤奶进行控制的方法和设备
CN103209585A (zh) * 2010-11-23 2013-07-17 利拉伐控股有限公司 用于动物的挤奶室
CA2849211A1 (en) * 2011-04-28 2012-07-03 Henk Hofman System for controlling the position of a robot carriage in a rotary milking platform
WO2015126241A1 (en) * 2014-02-18 2015-08-27 Lely Patent N.V. Milking robot for attaching a teat cup
CN106572646A (zh) * 2014-08-21 2017-04-19 利拉伐控股有限公司 在旋转挤奶系统中执行奶头相关操作的方法和装置及旋转挤奶系统

Also Published As

Publication number Publication date
EP3873198A1 (en) 2021-09-08
EP3873198B1 (en) 2022-11-09
WO2020091664A1 (en) 2020-05-07
CA3118054A1 (en) 2020-05-07
US20210392842A1 (en) 2021-12-23
CN112955004A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US11772267B2 (en) Robotic system control method and controller
JP6813229B1 (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
US11049280B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
EP1905548B1 (en) Workpiece picking apparatus
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
JP7495688B2 (ja) ロボットシステムの制御方法及び制御装置
AU2009229565A1 (en) Positioning of teat cups
US20150071491A1 (en) Method And Device For Optically Determining A Position And/Or Orientation Of An Object In Space
US10957067B2 (en) Control apparatus, object detection system, object detection method and program
KR20200123261A (ko) 신발 부품의 자동 식별
JP2014161965A (ja) 物品取り出し装置
CN109822568B (zh) 机器人控制方法、系统及存储介质
JP6846951B2 (ja) ロボット設定装置、ロボットシステム、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
CN116214480A (zh) 通过利用视觉伺服的演示的机器人教导
CN112955003B (zh) 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体
Ibarguren et al. Particle filtering for industrial 6DOF visual servoing
CN112955004B (zh) 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体
Long et al. Robotic pool: An experiment in automatic potting
CN113232022B (zh) 一种圆盘传送跟踪控制方法、系统、装置及存储介质
CN111470244B (zh) 机器人系统的控制方法以及控制装置
JP2022142773A (ja) オブジェクトのカメラ画像からオブジェクトの場所を位置特定するための装置及び方法
CN114932554B (zh) 抓取机器人的自主移动方法、装置、存储介质及设备
JP6659886B1 (ja) ランダムに積み重ねた複数の対象物の干渉を排除するシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant