CN112955003A - 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体 - Google Patents

工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体 Download PDF

Info

Publication number
CN112955003A
CN112955003A CN201980071646.XA CN201980071646A CN112955003A CN 112955003 A CN112955003 A CN 112955003A CN 201980071646 A CN201980071646 A CN 201980071646A CN 112955003 A CN112955003 A CN 112955003A
Authority
CN
China
Prior art keywords
tool
tools
candidate
img3d
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980071646.XA
Other languages
English (en)
Other versions
CN112955003B (zh
Inventor
A.埃里克森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeLaval Holding AB
Original Assignee
DeLaval Holding AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeLaval Holding AB filed Critical DeLaval Holding AB
Publication of CN112955003A publication Critical patent/CN112955003A/zh
Application granted granted Critical
Publication of CN112955003B publication Critical patent/CN112955003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K1/00—Housing animals; Equipment therefor
    • A01K1/12—Milking stations
    • A01K1/126—Carousels
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01J—MANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00—Milking machines or devices
    • A01J5/017—Automatic attaching or detaching of clusters
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01J—MANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00—Milking machines or devices
    • A01J5/017—Automatic attaching or detaching of clusters
    • A01J5/0175—Attaching of clusters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0052—Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/04—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof
    • B25J15/0491—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof comprising end-effector racks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45113—Animal handling, milking robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Zoology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

通过经由在原点位置(PC)处的相机(130)记录表示要确定位置的工具(141、142、143、144)的三维图像数据(Dimg3D)来确定工具(141、142、143、144)在自动挤奶装置中的位置。使用涉及将图像数据(Dimg3D)与参考数据进行匹配的算法，在三维图像数据(Dimg3D)中识别工具候选(TC1,TC2,TC3,TC4)。基于原点位置(PC)和表示从原点位置(PC)到每个识别的工具候选(TC1,TC2,TC3,TC4)的相应距离的数据来为工具(141、142、143、144)计算相应的位置(PT1,PT2,PT3,PT4)。假定工具(141、142、143、144)根据相对彼此的空间均匀分布来布置。因此，忽略在这样的位置处被检测到的任何工具候选(TC2)：用于候选(TC2)的位置偏离空间均匀分布。

Description

工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性 数据载体
技术领域
本发明总体上涉及在操作之前自动挤奶设备的初始化。特别地，本发明涉及用于确定自动挤奶装置中的工具位置的系统以及在这种系统中实现的方法。本发明还涉及旋转挤奶平台、计算机程序和非易失性数据载体。
背景技术
当今的自动挤奶装置是非常复杂的装置。对于旋转挤奶平台而言尤其如此，其中挤奶机器人或类似的自动设备为相对大数量的挤奶站服务。除其他外，这意味着挤奶机器人将奶头杯和其他工具例如清洁杯以完全自动的方式附接至动物。因此，挤奶机器人必须能够在完成挤奶过程的每个阶段之后从存储位置自动检索相关工具并有可能将它们返回至其。这进而要求挤奶机器人具有关于每个工具的相应位置的非常准确的知识。
在现有技术的解决方案中，操作者通过例如经由操纵杆控制挤奶机器人的抓握装置到在拾取特定工具时抓握装置应定位至的空间坐标来教导挤奶机器人相关的工具拾取位置。当抓握装置具有相对于工具的期望的拾取位置时，操作者通过输入确认命令将该位置编程到用于挤奶机器人的控制单元中。这种工具位置的半手动编程是不理想的，例如由于挤奶机器人的用户操作控制链接中的各种精度，并且出于安全原因而因为可能需要操作者位于难以甚至无法看到抓握装置是否实际位于期望拾取位置的地方。
旋转挤奶平台通常具有相当大数量的挤奶摊位，例如多达80个，有时甚至更多。在此，每个挤奶摊位都有其自己的一组工具，它们以奶头杯以及可能的一个或多个清洁杯的形式。
当然，通过所述半手动方式将所有这些工具的各个位置编程到挤奶机器人中既繁琐又容易出错。因此，在实践中，操作者通常教导挤奶机器人一个摊位的相应工具位置作为参考。然后，将这些参考位置的空间坐标转换为代表所有剩余摊位中的工具位置的相应空间坐标。鉴于所提及的误差源，很明显，该策略可能导致各个工具位置出现相当大的误差，特别是对于较大型的旋转挤奶平台而言。
发明内容
因此，本发明的目的是提供一种方便的解决方案，用于以有效且准确的方式确定工具在自动挤奶装置中的相应位置。
根据本发明的一方面，该目的通过一种用于确定自动挤奶装置中的工具位置的系统来实现。该系统包含相机和控制单元。相机配置为从原点位置记录要确定相应位置的至少四个工具的三维图像数据。控制单元配置为使相机获得表示至少四个工具的三维图像数据。控制单元配置为使用涉及将图像数据与参考数据进行匹配的算法来识别三维图像数据中的工具候选。控制单元配置为基于原点位置和表示从原点位置到每个识别的工具候选的相应距离的数据来为至少四个工具计算相应的位置。假定至少四个工具根据相对彼此的空间均匀分布来布置。因此，控制单元还配置为忽略在这样的位置处被检测到的任何工具候选：用于候选的位置偏离空间均匀分布。
该系统是有利的，因为它避免了人类操作者的半手动介入。此外，在自动挤奶装置的所有挤奶站中的所有工具的每个相应位置可以以高精确度被特别地记录并且以全自动的方式被存储以供以后使用，而不管工具是沿着线、沿着弧还是在方形中组织的。
优选地，控制单元配置为对三维图像数据应用线性回归分类算法，以确定至少四个工具的空间均匀分布。
当然，虽然每个工具占据在所有三个空间维度上延伸的体积，但有利的是将特定工具的位置定义为在三维图像数据中的所描绘物体上的特定点。例如，特定点可以是在识别的工具候选上的明确定义的点。
根据本发明的这方面的一实施例，控制单元配置为将至少四个工具的相应位置存储在存储单元中。可通过结合拾取用于附接到动物的至少四个工具中的至少一个的工具拾取系统从存储单元检索存储的相应位置。因此，自动挤奶装置可以直接投入运行。
优选地，至少四个工具被放置在工具支架中，并且系统包括布置在机械臂上的抓握装置。在相应位置已被存储在存储单元中之后，控制单元还配置为：从存储单元检索存储的相应位置，并且控制机械臂和抓握装置，以从工具支架拾取至少四个工具中的至少一个。进一步优选地，每个工具的相应位置表示为在三维图像数据中描绘的物体上的特定点的空间坐标。
根据本发明的该方面的另一实施例，至少四个工具以预定义模式相对彼此布置。在此，控制单元配置为使用关于预定义模式的信息来确认和/或忽略至少一个工具候选。
例如，至少四个工具可以沿着线布置。在这种情况下，控制单元配置为：在用于所述工具的一组工具候选中，忽略在距将至少两个其他工具候选互连的估计线的超过第二阈值距离的离群距离处检测到的任何工具候选。
如果至少四个工具布置成在线中的工具的每个相邻工具之间具有相等距离，则控制单元配置为忽略在这样的位置处检测到的工具候选：工具候选导致第一和第二间距离之间的差超过第三阈值距离；其中第一间距离是包括工具候选和第一工具候选的主对相邻工具候选之间的空隙，并且第二间距离是包括工具候选和第二工具候选的副对相邻工具候选之间的空隙。因此，可以从该过程排除所谓的假阳性工具候选者。
根据本发明的这方面的又一实施例，如果在控制单元中获得了三维图像数据之后的处理时间，已经识别少于预定数量(例如四个)的工具候选，则控制单元配置为将相机重新定位到新原点位置。控制单元配置为从新原点位置使相机获得代表至少四个工具的更新的三维图像数据。三维图像数据可以是动态的。这意味着数据可以由视频序列表示和/或由以一个或多个角度从一个或多个原点位置记录的多个静止图像构建而成。进一步地，控制单元配置为基于新原点位置和表示从新原点位置到每个识别的工具候选的相应距离的数据来计算至少四个工具的相应位置。结果，如果由于某种原因而存在妨碍工具的相机查看的临时干扰，则也可以获得较高的数据质量。
根据本发明的这方面的另一实施例，相机布置在机械臂上。当然，这是有利的，因为它允许方便地移动和重新定位相机。此外，在挤奶装置的正常操作期间使用的相机也可以用于将工具位置编程到系统中。
根据本发明的另一方面，该目的是通过一种具有多个挤奶摊位的旋转挤奶平台来实现的。每个挤奶摊位又包括至少四个工具，并且旋转挤奶平台包含用于确定工具位置的上述系统。除了上述优点之外，该旋转挤奶平台是有利的，因为无论平台大小如何，都不需要坐标转换来记录工具位置。
根据本发明的另一方面，该目的通过一种用于确定工具在自动挤奶装置中的位置的方法来实现。该方法包括经由在原点位置处的相机记录表示要确定位置的至少四个工具的三维图像数据。该方法还包括使用涉及将图像数据与参考数据进行匹配的算法来在三维图像数据中识别工具候选。然后基于原点位置和表示从原点位置到每个识别的工具候选的相应距离的数据来为至少四个工具计算相应的位置。至少四个工具根据相对彼此的空间均匀分布来布置。该方法还包括忽略在这样的位置处被检测到的任何工具候选：用于候选的位置偏离空间均匀分布。参照该系统，从上述讨论中可以明显看出该方法以及其优选实施例的优点。
根据本发明的另一方面，该目的通过一种计算机程序来实现，该计算机程序可加载到通信地连接至处理单元的非易失性数据载体中。计算机程序包括用于当计算机程序在处理单元上运行时执行上述方法的软件。
根据本发明的另一方面，该目的是通过一种包含上述计算机程序的非易失性数据载体来实现的。
根据以下描述和从属权利要求，本发明的其他优点、有益特征和应用将是显而易见的。
附图说明
现在将通过作为示例公开的优选实施例并参考附图来更详细地解释本发明。
图1示出了根据本发明一实施例的用于确定工具位置的系统；
图2-4示意性地示出了根据本发明实施例的如何可以丢弃识别的工具候选；
图5示出了根据本发明一实施例的旋转挤奶平台；以及
图6通过流程图示出了根据本发明的通用方法。
具体实施方式
在图1中，我们看到根据本发明一实施例的系统。在此，该系统布置为确定四个不同工具(例如一组奶头杯141、142、143和144)的相应位置。
该系统包括相机130和控制单元120。相机130配置为记录要确定相应位置的工具141、142、143和144的三维图像数据Dimg3D。优选地，相机130是飞行时间相机(ToF相机)，即基于已知光速来解决距离的范围成像相机系统。然而，根据本发明，相机130可以是能够确定到被成像物体的相应距离的任何替代成像系统，例如发射结构化光的2D相机或组合的光检测和测距LIDAR相机系统。此外，三维图像数据Dimg3D可以是动态的。这意味着三维图像数据Dimg3D可以由视频序列表示和/或由以一个或多个角度从一个或多个原点位置PC记录的多个静止图像构建而成。
因此，相机130位于原点位置PC处，并且可以如图1所示布置在机械臂110上，或者放置在另一合适结构上，例如三脚架。在任何情况下，原点位置PC的空间坐标(xC,yC,zC)都是高精度已知的。结果，由相机130记录的三维图像数据Dimg3D形成了用于确定相机130的视场VF内的任何物体的位置的基础。即，特定点的空间坐标可以基于原点位置PC(xC,yC,zC)和数据d1(x1,y1,z1)计算，例如空间向量，其表示从原点位置PC(xC,yC,zC)到所描绘物体上的特定点的三维距离。例如，特定点可以是第一工具候选TC1上的明确定义的点，比如奶头杯主体的对称中心与奶头杯主体的衬里边缘之间的交点。
控制单元120配置为使相机130获得表示工具141、142、143和144的三维图像数据Dimg3D，并将三维图像数据Dimg3D转发给控制单元120。控制单元120然后配置为使用涉及将图像数据Dimg3D与参考数据进行匹配的算法来识别三维图像数据Dimg3D中的工具候选TC1,TC2,TC3和TC4。例如，参考数据可以包括工具的一个或多个特征模式和/或典型的工具轮廓。控制单元120配置为基于原点位置PC(xC,yC,zC)和表示从原点位置PC(xC,yC,zC)到每个识别的工具候选TC1,TC2,TC3和TC4的相应距离的数据来为每个工具141、142、143和144计算相应的位置PT1,PT2,PT3和PT4。
为了提高定位过程的效率，根据本发明应用以下策略。由于可以假设每个工具141、142、143和144存储在专用空间中，比如在支架150中的给定位置处，因此可以假定工具141、142、143和144具有相对彼此的预定位置。更精确地，假定工具141、142、143和144根据相对彼此的空间均匀分布来布置。在图1中，通过在支架150中将每个相邻工具彼此隔开的相等距离Δd示出了这种工具间关系。
控制单元120配置为：忽略在这样的位置处被检测到的任何工具候选TC2：用于候选TC2的位置偏离空间均匀分布。为了确定工具候选是否偏离空间均匀分布，控制单元120可以配置为根据线性回归在图像数据Dimg3D中表达模式识别问题。
使用将来自单个物体类的模式置于线性子空间上的基本概念，可以开发线性模型，其将图像数据Dimg3D表示为特定类图库的线性组合。然后可以使用最小二乘法解决反问题。为此，控制单元120优选地配置为在三维图像数据Dimg3D上应用线性回归分类算法(LRC)，以确定与141、142、143和144的空间均匀分布的任何偏离。
能够将均匀分布的工具与图像数据Dimg3D中的其他物体区分开的能力是有益的，尤其是因为控制单元120从而可以避免将工具附近的杆、其他摊位设备或类似工具(如物体)视为工具候选。
现在参考图2，根据本发明，控制单元120配置为：如果间隔距离ds相对于预定的相对位置Δd超过第一阈值dth1，则忽略在距第一工具候选TC1的间隔距离ds处检测到的任何第二工具候选TC2。例如，如果相等距离Δd是10厘米，则可以丢弃从第一工具候选TC1超过15厘米检测到的任何第二工具候选TC2。当然，该策略实际上可应用于大于两个的任何数量的工具。
假设存在三个或更多个工具，例如四个工具141、142、143和144，则这些工具可以以预定义模式相对于彼此布置，例如在方形的角中、沿着弧或沿着如图1所示的线L。在这种情况下，控制单元120优选地配置为使用关于预定义模式的信息来确认和/或忽略至少一个工具候选TC1,TC2,TC3和TC4。下面，将通过本发明的两个实施例来举例说明。
图3示出了根据线性布置将一组工具存储在支架150中的情况。在此，相机130已经记录了其中已识别工具候选TC1,TC2,TC3和TC4的三维图像数据Dimg3D。可以看出，在用于工具的一组工具候选中，在距将其他工具候选(此处分别为TC1,TC2和TC4)中的至少两个互连的估计线Le的离群距离do处已经检测到第三工具候选TC3。假设离群距离do超过第二阈值距离dth2，则根据本发明一实施例，控制单元120配置为忽略检测到的工具候选TC3。
此外，如果存在多个工具141、142、143和144，则控制单元120可以基于工具相对彼此布置的预定义模式得出进一步结论。图4示出了根据本发明第三实施例的如何可以丢弃识别的工具候选TC2。
这里，四个工具141、142、143和144布置在线L(见图1)中，线L中的每个相邻工具之间具有相等距离Δd。控制单元120配置为使用关于预定义工具模式的信息来忽略工具候选TC2，该工具候选在这样的位置被检测到：所述工具候选TC2导致第一间距离Δd1和第二间距离Δd2之间的差超过第三阈值距离。第一间距离Δd1是包括所述工具候选TC2和第一其他工具候选TC1的主对相邻工具候选(例如TC1和TC2)之间的空隙。第二间距离是包括所述工具候选TC2和另一第二工具候选TC3的副对相邻工具候选(例如TC2和TC3)之间的空隙。
类似地，控制单元120也可以使用组织工具的预定义模式来确认工具候选。即例如，如果在距第一工具候选的期望距离Δd处找到第二工具候选，则可以确认第二工具候选的位置。
为了便于在操作自动挤奶装置时有效地使用计算的工具位置[P]，根据本发明一实施例，该系统包括存储单元160，例如闪存或只读存储器(ROM)形式的存储介质。控制单元120还配置为将至少两个工具141、142、143和144的相应位置[P]存储在存储单元160中。可通过结合拾取通常用于附接到动物的至少四个工具141、142、143和144中的至少一个的工具拾取系统从存储单元160检索存储的相应位置[P]。
根据本发明一实施例，至少四个工具141、142、143和144被放置在工具支架150中，如图1所示。用于确定工具在自动挤奶装置中的位置的系统还包含抓握装置115，其布置在机械臂110上。在将相应位置[P]存储在存储单元160中之后，控制单元120配置为从存储单元160检索存储的相应位置[P]，并控制机械臂110和抓握装置115以从工具支架150拾取至少四个工具141、142、143和144中的至少一个，使得例如可以将这个/这些工具附接到动物。抓握装置115可包含一个或多个电磁体，其构造成与至少四个工具141、142、143和144中的每个上的一个或多个磁性构件协作。可替代地，或除此之外，抓握装置115可包含至少一个机械抓握爪，其构造为抓紧工具本身或其一部分，例如抓握杆。
优选地，如果系统中包括机械臂110，则将相机130布置在机械臂110上。即，这极大地促进实现上述过程。
通常有利的是，控制单元120和相机130配置为通过执行计算机程序127以自动方式实现上述过程。因此，控制单元120可以包括存储计算机程序127的存储单元126，即非易失性数据载体，计算机程序127又包含用于使中央控制单元120中的至少一个处理器形式的处理电路当计算机程序127在至少一个处理器上运行时执行上述动作的软件。
图5示出了根据本发明一实施例的旋转挤奶平台500。旋转挤奶平台500具有多个挤奶摊位520i，这里总共为24个。每个挤奶摊位520i包含至少四个工具，由参考数字141、142、143、144象征性地表示。旋转挤奶平台500还包括用于确定相应工具位置的系统，其在此通过机械臂510象征性地表示。所述定位系统510配置为根据以上描述的过程分别针对每个所述挤奶摊位520i中的至少四个工具141、142、143和144计算相应的位置PT1,PT2,PT3和PT4。优选地，旋转挤奶平台500逐步旋转通过系统510，从而以连续方式计算平台500上所有挤奶摊位520i的相应工具位置。
为了总结，并参考图6中的流程图，我们现在将描述根据本发明的用于确定工具在自动挤奶装置中的位置的通用方法。
在第一步骤610，在已知原点位置处通过相机记录三维图像数据。三维图像数据表示挤奶装置的至少四个工具，其相应位置将被确定。
在随后的步骤620，使用涉及将图像数据与参考数据进行匹配的算法在三维图像数据中识别工具候选。
此后，在步骤630，计算至少四个工具的相应位置。位置计算基于相机的已知原点位置和表示从原点位置到每个识别的工具候选的相应距离的数据。至少四个工具具有相对彼此的预定位置。更精确地，至少四个工具根据相对彼此的空间均匀分布来布置。忽略在这样的位置处被检测到的任何工具候选：用于候选的位置偏离空间均匀分布。
随后，该过程结束。
参考图6描述的所有处理步骤以及步骤的任何子序列可以借助于编程的处理器来控制。此外，尽管以上参考附图描述的本发明的实施例包括处理器和在至少一个处理器中执行的处理，但本发明因此还扩展到计算机程序，特别是载体上或之中的计算机程序，适于将本发明付诸实践。该程序可以是源代码、目标代码、中间源代码和目标代码的形式，比如以部分编译的形式或者以适于在根据本发明的处理的实施方式中使用的任何其他形式。该程序可以是操作系统的一部分，也可以是单独的应用程序。载体可以是能够携带程序的任何实体或设备。例如，载体可以包括存储介质，例如闪存、ROM(只读存储器)，例如DVD(数字视频/通用磁盘)、CD(光盘)或半导体ROM、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)或磁记录介质，例如软盘或硬盘。此外，载体可以是可传输载体，比如电或光信号，其可以经由电缆或光缆或者通过无线电或通过其他方式来传送。当程序体现在可以通过电缆或者其他设备或装置直接传送的信号中时，可以通过这种电缆或者设备或装置来构成载体。可替代地，载体可以是其中嵌入有程序的集成电路，该集成电路适于执行相关过程或在其的执行中使用。
当在本说明书中使用时，术语“包括/包含”用于指定存在所陈述的特征、整数、步骤或部件。然而，该术语不排除存在或添加一个或多个附加特征、整数、步骤或部件或者其组。
本发明不限于附图中描述的实施例，而是可以在权利要求的范围内自由地变化。

Claims (22)

1.一种用于确定工具在自动挤奶装置中的位置的系统，该系统包括：
相机(130)，其配置为从原点位置(PC)记录要确定相应位置的至少四个工具(141、142、143、144)的三维图像数据(Dimg3D)，以及
控制单元(120)，其配置为：
使相机(130)获得表示至少四个工具的三维图像数据(Dimg3D)，
使用涉及将三维图像数据(Dimg3D)与参考数据进行匹配的算法来识别三维图像数据(Dimg3D)中的工具候选(TC1,TC2,TC3,TC4)，以及
基于原点位置(PC(xC,yC,zC))和表示从原点位置到识别的每个工具候选(TC1,TC2,TC3,TC4)的相应距离(d1(x1,y1,z1))的数据来为至少四个工具(141、142、143、144)计算相应的位置(PT1,PT2,PT3,PT4)，
其特征在于，
所述至少四个工具(141、142、143、144)根据相对彼此的空间均匀分布来布置，并且所述控制单元(120)还配置为忽略在这样的位置处被检测到的任何工具候选(TC2)：用于候选(TC2)的位置偏离空间均匀分布。
2.根据权利要求1所述的系统，其中，所述控制单元(120)配置为对所述三维图像数据(Dimg3D)应用线性回归分类算法，以确定至少四个工具(141、142、143、144)的空间均匀分布。
3.根据权利要求1或2中任一项所述的系统，其中，所述至少两个工具包括以预定义模式相对彼此布置的四个工具(141、142、143、144)，并且所述控制单元(120)配置为使用关于预定义模式的信息来确认和/或忽略至少一个工具候选(TC1,TC2,TC3,TC4)。
4.根据前述权利要求中任一项所述的系统，其中，所述至少四个工具(141、142、143、144)沿着线(L)布置，并且所述控制单元(120)配置为：在用于所述工具的一组工具候选中，忽略在距将至少两个其他工具候选(TC1,TC2,TC4)互连的估计线(Le)的超过第二阈值距离(dth2)的离群距离(do)处检测到的任何工具候选(TC3)。
5.根据权利要求4所述的系统，其中，所述四个工具(141、142、143，144)布置成在所述线(L)中的所述工具的每个相邻工具之间具有相等距离(Δd)，并且所述控制单元(120)配置为忽略在这样的位置处检测到的工具候选(TC2)：所述工具候选(TC2)导致第一间距离(Δd1)和第二间距离(Δd2)之间的差超过第三阈值距离，其中第一间距离(Δd1)是包括所述工具候选(TC2)和第一工具候选(TC1)的主对相邻工具候选(TC1,TC2)之间的空隙，并且第二间距离是包括所述工具候选(TC2)和第二工具候选(TC3)的副对相邻工具候选之间的空隙。
6.根据前述权利要求中任一项所述的系统，其中，所述至少四个工具(141、142、143、144)中的每个的相应位置(PT1,PT2,PT3,PT4)表示为在三维图像数据(Dimg3D)中描绘的物体上的特定点的空间坐标。
7.根据前述权利要求中任一项所述的系统，其中，如果在控制单元(120)中获得了三维图像数据(Dimg3D)之后的处理时间，已经识别少于预定数量的工具候选，则控制单元(120)配置为：将相机(130)重新定位到新原点位置(PC)，至少四个工具(141、142、143、144)从该新原点位置(PC)在相机(130)中可见；使相机(130)获得代表所述至少四个工具的更新的三维图像数据(Dimg3D)，该更新的三维图像数据(Dimg3D)已从新原点位置(PC)记录；基于新原点位置(PC)和表示从新原点位置(PC)到每个识别的工具候选(TC1,TC2,TC3,TC4)的相应距离的数据来计算至少四个工具(141、142、143、144)的相应位置(PT1,PT2,PT3,PT4)。
8.根据前述权利要求中任一项所述的系统，其中，所述控制单元(120)配置为将至少四个工具(141、142、143和144)的相应位置([P])存储在存储单元(160)中，可通过结合拾取用于附接到动物的至少四个工具(141、142、143和144)中的至少一个的工具拾取系统从所述存储单元(160)检索存储的相应位置([P])。
9.根据权利要求8所述的系统，其中，所述至少四个工具(141、142、143、144)被放置在工具支架(150)中，所述系统包括布置在机械臂(110)上的抓握装置(115)，并且在将所述相应位置([P])存储在所述存储单元(160)中之后，所述控制单元(120)还配置为：
从存储单元(160)检索存储的相应位置([P])，并且
控制机械臂(110)和抓握装置(115)，以从工具支架(150)拾取至少四个工具(141、142、143和144)中的至少一个。
10.根据权利要求9所述的系统，其中，所述相机(130)布置在所述机械臂(110)上。
11.一种具有多个挤奶摊位(520i)的旋转挤奶平台(500)，每个挤奶摊位包括至少四个工具(141、142、143、144)，并且该旋转挤奶平台(500)包括根据前述权利要求中任一项所述的用于确定工具位置的系统，该系统布置为计算至少四个工具(141、142、143、144)在每个所述挤奶摊位(520i)中的相应位置(PT1,PT2,PT3,PT4)。
12.一种用于确定工具在自动挤奶装置中的位置的方法，该方法包括：
经由在原点位置(PC)处的相机(130)记录表示要确定位置的至少四个工具(141、142、143、144)的三维图像数据(Dimg3D)，
使用涉及将图像数据(Dimg3D)与参考数据进行匹配的算法，在三维图像数据(Dimg3D)中识别工具候选(TC1,TC2,TC3,TC4)，以及
基于原点位置(PC(xC,yC,zC))和表示从原点位置到识别的每个工具候选(TC1,TC2,TC3,TC4)的相应距离(d1(x1,y1,z1))的数据来为至少四个工具(141、142、143、144)计算相应的位置(PT1,PT2,PT3,PT4)，其特征在于，
所述至少四个工具(141、142、143、144)根据相对彼此的空间均匀分布来布置，并且所述方法包括：
忽略在这样的位置处被检测到的任何工具候选(TC2)：用于候选(TC2)的位置偏离空间均匀分布。
13.根据权利要求12所述的方法，包括：
对所述三维图像数据(Dimg3D)应用线性回归分类算法，以确定至少四个工具(141、142、143、144)的空间均匀分布。
14.根据权利要求13所述的方法，其中，所述至少四个工具(141、142、143、144)以预定义模式相对彼此布置，并且所述方法包括：
使用关于预定义模式的信息来确认和/或忽略至少一个工具候选(TC1,TC2,TC3,TC4)。
15.根据权利要求12至14中任一项所述的方法，其中，所述至少四个工具(141、142、143、144)沿着线(L)布置，并且所述方法包括：
在用于所述工具的一组工具候选中，忽略在距将至少两个其他工具候选(TC1,TC2,TC4)互连的估计线(Le)的超过第二阈值距离(dth2)的离群距离(do)处检测到的任何工具候选(TC3)。
16.根据权利要求15所述的方法，其中，所述四个工具(141、142、143、144)布置成在所述线(L)中的所述工具的每个相邻工具之间具有相等距离(Δd)，并且所述方法包括：
忽略在这样的位置处检测到的工具候选(TC2)：所述工具候选(TC2)导致第一间距离(Δd1)和第二间距离(Δd2)之间的差超过第三阈值距离，其中第一间距离(Δd1)是包括所述工具候选(TC2)和第一工具候选(TC1)的主对相邻工具候选(TC1,TC2)之间的空隙，并且第二间距离是包括所述工具候选(TC2)和第二工具候选(TC3)的副对相邻工具候选之间的空隙。
17.根据权利要求12至16中任一项所述的方法，其中，所述至少四个工具(141、142、143、144)中的每个的相应位置(PT1,PT2,PT3,PT4)表示为在三维图像数据(Dimg3D)中描绘的物体上的特定点的空间坐标。
18.根据权利要求12至17中任一项所述的方法，其中，如果在获得了三维图像数据(Dimg3D)之后的处理时间，已经识别少于预定数量的工具候选，则所述方法包括：
将相机(130)重新定位到新原点位置(PC)，至少四个工具(141、142、143、144)从该新原点位置(PC)在相机(130)中可见，
使相机(130)获得代表所述至少四个工具的更新的三维图像数据(Dimg3D)，该更新的三维图像数据(Dimg3D)已从新原点位置(PC)记录，以及
基于新原点位置(PC)和表示从新原点位置(PC)到每个识别的工具候选(TC1,TC2,TC3,TC4)的相应距离的数据来计算至少四个工具(141、142、143、144)的相应位置(PT1,PT2,PT3,PT4)。
19.根据权利要求12至18中任一项所述的方法，包括：
将至少四个工具(141、142、143和144)的相应位置([P])存储在存储单元(160)中，可通过结合拾取用于附接到动物的至少四个工具(141、142、143和144)中的至少一个的工具拾取系统从所述存储单元(160)检索存储的相应位置([P])。
20.根据权利要求19所述的方法，其中，所述至少四个工具(141、142、143、144)被放置在工具支架(150)中，所述工具拾取系统包括布置在机械臂(110)上的抓握装置(115)，并且在将所述相应位置([P])存储在所述存储单元(160)中之后，所述方法还包括：
从存储单元(160)检索存储的相应位置([P])，并且
控制机械臂(110)和抓握装置(115)，以从工具支架(150)拾取至少四个工具(141、142、143和144)中的至少一个。
21.一种计算机程序(127)，其可加载到通信地连接至处理单元(125)的非易失性数据载体(126)中，所述计算机程序(127)包括用于当计算机程序在处理单元(125)上运行时执行根据权利要求12至20中任一项所述的方法的软件。
22.一种非易失性数据载体(126)，包含权利要求21所述的计算机程序(127)。
CN201980071646.XA 2018-11-01 2019-10-28 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体 Active CN112955003B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1800212 2018-11-01
SE1800212-1 2018-11-01
PCT/SE2019/051070 WO2020091668A1 (en) 2018-11-01 2019-10-28 Tool-positioning system and method, rotary milking platform, computer program and non-volatile data carrier

Publications (2)

Publication Number Publication Date
CN112955003A true CN112955003A (zh) 2021-06-11
CN112955003B CN112955003B (zh) 2023-04-07

Family

ID=68542721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980071646.XA Active CN112955003B (zh) 2018-11-01 2019-10-28 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体

Country Status (5)

Country Link
US (1) US11882812B2 (zh)
EP (1) EP3873200B1 (zh)
CN (1) CN112955003B (zh)
CA (1) CA3118049A1 (zh)
WO (1) WO2020091668A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020231314A1 (en) * 2019-05-14 2020-11-19 Delaval Holding Ab System and method for measuring key features of a rotary milking parlor arrangement, computer program and non-volatile data carrier

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095401A (zh) * 2006-06-27 2008-01-02 马斯兰股份有限公司 乳头杯和输奶管组合,联接器和监视输奶管完整性方法
US20100278374A1 (en) * 2006-07-13 2010-11-04 Delaval Holding Ab method and apparatus for recognising and determining the position of at least one teat cup
US20110061596A1 (en) * 2008-03-27 2011-03-17 Delaval Holding Ab Positioning of teat cups
CN106886995A (zh) * 2017-01-13 2017-06-23 北京航空航天大学 多线性示例回归器聚合的图像显著对象分割方法
US20170200287A1 (en) * 2016-01-11 2017-07-13 Rolls-Royce Plc Methods and apparatus for enabling determination of a position of an object
CN107883831A (zh) * 2016-09-30 2018-04-06 卡尔蔡司工业测量技术有限公司 测量系统和测量方法
CN107950402A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的挤奶器自动控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3742867C3 (de) 1987-12-17 1998-04-09 Fraunhofer Ges Forschung Vorrichtung zum Fügen von Elementen in entsprechende Aufnahmeelemente eines Objekts
AU6862198A (en) 1997-04-04 1998-10-30 Alfa Laval Agri Ab Method and apparatus for generating image information when carrying out animal related operations
SE9802614D0 (sv) 1998-07-24 1998-07-24 Alfa Laval Agri Ab An apparatus for milking an animal
NL1015559C2 (nl) 2000-06-28 2002-01-02 Idento Electronics Bv Melksysteem met driedimensionale beeldvorming.
NL1032435C2 (nl) 2006-09-05 2008-03-06 Maasland Nv Inrichting voor het automatisch melken van een melkdier.
WO2014148972A1 (en) 2013-02-06 2014-09-25 Delaval Holding Ab Teat treatment method and apparatus
NL2010406C2 (nl) 2013-03-07 2014-09-10 Rotec Engineering B V Grijper voor het aanbrengen van melkbekers bij een te melken dier, robotarm en melkmachine voorzien daarvan, en werkwijze daarvoor.
NL2016721B1 (nl) 2016-05-03 2017-11-10 Lely Patent Nv Werkwijze voor uitvoeren van een speengerelateerde handeling, en robotinrichting daarvoor
IL246617B2 (en) 2016-07-05 2023-10-01 Eyal Brayer Establish means and methods for free grazing
DE102016112596A1 (de) 2016-07-08 2018-01-11 Gea Farm Technologies Gmbh Verfahren und Vorrichtung zum automatischen Ansetzen von Melkbechern an Zitzen eines milchgebenden Tieres
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
US9807971B1 (en) * 2016-08-17 2017-11-07 Technologies Holdings Corp. Vision system with automatic teat detection
US10817970B2 (en) * 2016-08-17 2020-10-27 Technologies Holdings Corp. Vision system with teat detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095401A (zh) * 2006-06-27 2008-01-02 马斯兰股份有限公司 乳头杯和输奶管组合,联接器和监视输奶管完整性方法
US20100278374A1 (en) * 2006-07-13 2010-11-04 Delaval Holding Ab method and apparatus for recognising and determining the position of at least one teat cup
US20110061596A1 (en) * 2008-03-27 2011-03-17 Delaval Holding Ab Positioning of teat cups
US20170200287A1 (en) * 2016-01-11 2017-07-13 Rolls-Royce Plc Methods and apparatus for enabling determination of a position of an object
CN107883831A (zh) * 2016-09-30 2018-04-06 卡尔蔡司工业测量技术有限公司 测量系统和测量方法
CN106886995A (zh) * 2017-01-13 2017-06-23 北京航空航天大学 多线性示例回归器聚合的图像显著对象分割方法
CN107950402A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的挤奶器自动控制方法

Also Published As

Publication number Publication date
CN112955003B (zh) 2023-04-07
US11882812B2 (en) 2024-01-30
EP3873200B1 (en) 2022-11-09
CA3118049A1 (en) 2020-05-07
WO2020091668A1 (en) 2020-05-07
US20210392841A1 (en) 2021-12-23
EP3873200A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
US11504853B2 (en) Robotic system architecture and control processes
EP2888603B1 (en) Robot positioning system
EP1905548B1 (en) Workpiece picking apparatus
CN111683798B (zh) 工件拾取装置以及工件拾取方法
JP2019518297A (ja) ロボット支援型物体学習視覚システム
AU2009229565A1 (en) Positioning of teat cups
US10957067B2 (en) Control apparatus, object detection system, object detection method and program
JP2013025401A (ja) 自己位置推定装置、自己位置推定方法およびプログラム
CN109822568B (zh) 机器人控制方法、系统及存储介质
CN112955003B (zh) 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体
JP2018144159A (ja) ロボット設定装置、ロボットシステム、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US20230173660A1 (en) Robot teaching by demonstration with visual servoing
JP2022160363A (ja) ロボットシステム、制御方法、画像処理装置、画像処理方法、物品の製造方法、プログラム、及び記録媒体
CN112955004B (zh) 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体
Long et al. Robotic pool: An experiment in automatic potting
CN113232022B (zh) 一种圆盘传送跟踪控制方法、系统、装置及存储介质
GB2582931A (en) A method for determining camera placement within a robotic cell environment
CN111470244B (zh) 机器人系统的控制方法以及控制装置
EP3873199B1 (en) Tool-pickup system, method, computer program and non-volatile data carrier
CN113825395B (zh) 用于测量旋转挤奶厅布置的关键特征的系统和方法、计算机程序以及非易失性数据载体
JP6659886B1 (ja) ランダムに積み重ねた複数の対象物の干渉を排除するシステム
CN114932554B (zh) 抓取机器人的自主移动方法、装置、存储介质及设备
EP4145987B1 (en) System and computer-implemented method for determining an offset for a milking tool in an automatic milking machine
JP2024072429A (ja) 画像処理装置、画像処理方法、ロボットシステム、物品の製造方法、撮像装置、撮像装置の制御方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant