CN114364618A - 用于确定对象位置的方法和装置 - Google Patents
用于确定对象位置的方法和装置 Download PDFInfo
- Publication number
- CN114364618A CN114364618A CN201980100223.6A CN201980100223A CN114364618A CN 114364618 A CN114364618 A CN 114364618A CN 201980100223 A CN201980100223 A CN 201980100223A CN 114364618 A CN114364618 A CN 114364618A
- Authority
- CN
- China
- Prior art keywords
- measurement
- error
- determined
- robotic system
- positions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
- B25J9/1005—Programme-controlled manipulators characterised by positioning means for manipulator elements comprising adjusting means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Manipulator (AREA)
Abstract
本公开的实施例提供了用于确定对象的对象位置的方法。在该方法中,从一组传感器分别收集对象中的一组特征标记的一组测量位置。基于对象位置以及该组特征标记的一组估计位置与对象位置之间的一组偏移,分别获取该组估计位置。基于该组测量位置和该组估计位置,生成误差函数。基于误差函数确定对象位置。利用这些实施例,可以极大地提高用于确定对象位置的性能和准确性。
Description
技术领域
本公开的示例实施例概括地涉及位置确定,并且更具体地,涉及用于确定集装箱(container)对象的位置的方法、装置、计算机系统、计算机可读介质和系统。
背景技术
如今,航运服务在人们的日常生活中起着重要的作用。每天都有无数的集装箱被装载在船上并且在世界各地运输。为了确保集装箱在运输过程中可以保持相对静止,通过使用锁定设备(诸如扭锁(twist lock))将多个集装箱固定在一起。由于锁定设备通常由航运公司拥有,因此,当集装箱到达它们的目的地时,需要从船上卸载集装箱,并从集装箱上移除全部锁定设备。
已经提出了多种用于由机器人系统移除锁定设备的方案。首先必须准确地确定集装箱的位置,使得机器人系统可以到达用于移除锁定设备的正确操作点。目前,采用相机来确定集装箱对象的位置。然而,这些相机是固定的并且不能收集关于集装箱的全部信息。因此,希望以更有效和方便的方式确定对象的对象位置。
发明内容
本公开的示例实施例提供了用于确定对象的对象位置的方案。
在第一方面,本公开的示例实施例提供了一种用于确定对象的对象位置的方法。该方法包括:从一组传感器分别收集对象中的一组特征标记的一组测量位置;基于对象位置以及该组特征标记的一组估计位置与对象位置之间的一组偏移,分别获取该组估计位置;基于该组测量位置和该组估计位置,生成误差函数;以及基于误差函数确定对象位置。利用这些实施例,可以基于对象中的多个特征标记的多个测量位置来确定对象位置。通过将对象位置视为代价函数中的未知值,可以以有效并且容易的方式确定对象位置。此外,上述实施例可以在没有任何人工干预的情况下以自动方式实现,因此可以大大提高性能和精度。
在本公开的一些实施例中,该方法进一步包括:关于该一组特征标记中的特征标记,基于对象的尺寸限定,获取特征标记的估计位置与对象位置之间的一组偏移中的偏移。在这些实施例中,对象的尺寸(例如长度、宽度、高度等)是预定的,并且多个特征标记与对象位置之间的相对位置也是恒定值。因此,可以基于尺寸限定和对象位置来确定表示相对位置的偏移。由于可以直接从对象的规格中获得尺寸限定,因此,可以以快速和容易的方式确定偏移。
在本公开的一些实施例中,该方法进一步包括:分别获取一组传感器的一组测量精度,该组测量精度中的测量精度表示该组测量位置中的测量位置的潜在误差;以及基于该组测量精度更新误差函数。应当理解,来自传感器的测量位置并不总是精确的,有时可能存在潜在误差。通常,测量精度取决于传感器的硬件/软件配置以及在收集过程期间实施的步骤。利用这些实施例,测量精度被考虑来更新误差函数,使得误差函数可以反映测量位置与估计位置之间的误差的更多潜在方面。
在本公开的一些实施方式中,对象位置是未知的并且包括定位分量和定向分量,并且其中基于误差函数确定对象位置包括:通过求解误差函数来确定对象位置,使得所确定的对象位置将误差函数限制在预定义的范围内。在这些实施例中,对象位置由未知向量表示,并且误差函数是与未知向量相关联的函数。因此,可以利用某些约束求解误差函数,来确定未知向量。例如,对象位置可以被设置为将误差函数最小化的向量,因此,可以以有效和方便的方式确定优化的对象位置。
在本公开的一些实施例中,该方法进一步包括:基于该组测量位置以及所确定的对象位置,确定该组特征标记的一组误差;以及响应于所确定的该组误差低于误差阈值,将所确定的对象位置标识为“有效”。利用这些实施例,可以将所确定的对象位置带入误差函数,以检查所确定的对象位置是否足够可靠。这里,可以预先确定误差阈值以表示可靠的标准。如果该组误差低于误差阈值,则这可以指示所确定的对象是可靠的并且是可接受的。在这些实施例中,可以仅输出可靠的对象位置用于进一步控制机器人系统来移除锁定设备。
在本公开的一些实施例中,该方法进一步包括:响应于该组误差中的误差高于误差阈值,从该组测量位置中移除与该误差相关联的测量位置;以及从该组估计位置中移除与该误差相关联的估计位置。如果与特征标记的测量位置相关联的误差高于误差阈值,则其指示对象位置不适合于测量位置,因此可以丢弃该测量位置。利用这些实施例,可以丢弃导致不可接受误差的测量位置,并且该组中的测量位置的数目可以减少。
在本公开的一些实施例中,该组传感器中的传感器被安装到处于第一姿态的机器人系统,并且该方法还包括:响应于该组测量位置中的测量位置的数目低于数目阈值,指示机器人系统从第一姿态移动到第二姿态;以及从被安装到处于第二姿态的机器人系统的传感器收集另一测量位置。利用这些实施例,如果可靠的测量位置不能达到数目阈值,则可以收集更多的测量位置。当传感器被安装到机器人系统时,可以指示机器人系统改变其姿态以收集更多可靠的测量位置。
在本公开的一些实施例中,该组特征标记中的特征标记包括以下任何项:对象中的锁定孔,锁定设备通过锁定孔被安装以用于固定对象;以及对象的角。通常,锁定孔和角是可以基于诸如图像识别和机器学习的技术容易地从对象中被标识的典型特征。因此,这些实施方式可以提供用于确定特征标记的测量位置的其他步骤的可靠基础。
在本公开的一些实施方式中,锁定设备被安装到对象用于固定对象,并且该方法进一步包括:基于所确定的对象位置,更新用于移除锁定设备的机器人系统的操作;以及基于更新的操作,指示机器人系统移除锁定设备。通常,大型船舶一次携带数千个集装箱,因此需要无数的扭锁来将这些集装箱固定在一起。利用这些实施例,可以自动确定集装箱对象的对象位置,然后可以在卸载过程中由机器人系统移除锁定设备,而无需任何人工干预。此外,可以显著地减少工人的数目,并且可以极大地增加卸载过程的效率。
在本公开的一些实施方式中,更新机器人系统的操作包括:获取锁定设备的锁类型;基于所确定的锁类型,获取机器人系统的操作中的操作点;以及基于所确定的对象位置来校正操作点。应当理解,用于移除各种类型的锁定设备的操作是不同的,并且这些实施例可以基于锁类型来选择相应的操作,以确保可以正确地实施进一步的移除过程。此外,可以基于所确定的对象位置来校正机器人系统的操作中的操作点,因此机器人系统可以到达被校正的操作点,并且有效地移除锁定设备。
在第二方面中,本公开的示例实施方式提供了一种用于确定对象的对象位置的装置。该装置包括:收集单元,被配置为从一组传感器分别收集对象中的一组特征标记的一组测量位置;获取单元,被配置为基于对象位置以及该组特征标记的一组估计位置与对象位置之间的一组偏移,分别获取该组估计位置;生成单元,被配置为基于该测量位置和该组估计位置,生成误差函数;以及确定单元,被配置为基于误差函数确定对象位置。
在本公开的一些实施例中,确定单元进一步被配置为:关于该组特征标记中的特征标记,基于对象的尺寸限定,获取特征标记的估计位置与对象位置之间的一组偏移中的偏移。
在本公开的一些实施例中,该装置进一步包括:精度单元,被配置为分别获取一组传感器的一组测量精度,该组测量精度中的测量精度表示该组测量位置中的测量位置的潜在误差;以及更新单元,被配置为基于该组测量精度更新误差函数。
在本公开的一些实施例中,对象位置是未知的并且包括定位分量和定向分量,并且其中确定单元进一步被配置为:通过求解误差函数来确定对象位置,使得所确定的对象位置将误差函数限制在预定义的范围内。
在本公开的一些实施例中,该装置进一步包括检查单元,被配置为:基于该组测量位置和所确定的对象位置,确定该组特征标记的一组误差;以及响应于所确定的该组误差低于误差阈值,将所确定的对象位置标识“有效”。
在本公开的一些实施例中,检查单元进一步被配置为:响应于该组误差中的误差高于误差阈值,从该组测量位置中移除与该误差相关联的测量位置;以及从该组估计位置中移除与该误差相关联的估计位置。
在本公开的一些实施例中,该组传感器中的传感器被安装到处于第一姿态的机器人系统,并且该装置进一步包括:指令单元,被配置为:响应于该组测量位置中的测量位置的数目低于数目阈值,指示机器人系统从第一姿态移动到第二姿态;以及从被安装到处于第二姿态的机器人系统的传感器收集另一测量位置。
在本公开的一些实施例中,该组特征标记中的特征标记包括以下任何项:对象中的锁定孔,锁定设备通过锁定孔被安装以用于固定对象;以及对象的角。
在本公开的一些实施例中,锁定设备被安装到对象用于固定对象,并且该装置进一步包括:指令单元,被配置为:基于确定的对象位置,更新用于移除锁定设备的机器人系统的操作;以及基于更新的操作,指示机器人系统移除锁定设备。
在本公开的一些实施例中,指令单元进一步被配置为:获取锁定设备的锁类型;基于确定的锁类型,获取机器人系统的操作中的操作点;以及基于所确定的对象位置来校正操作点。
在第三方面中,提供了一种用于确定对象的对象位置的计算机系统。该计算机系统包括:耦合到计算机可读存储器单元的计算机处理器,存储器单元包括指令,指令在由计算机处理器执行时实现根据本公开第一方面的用于确定对象的对象位置的方法。
在第四方面中,提供了一种计算机可读介质,其上存储有指令,当指令在至少一个处理器上被执行时,使至少一个处理器执行根据本公开第一方面的用于确定对象的对象位置的方法。
在第五方面中,提供了一种用于确定对象的对象位置的系统。该系统包括:一组传感器,被配置为分别收集对象中的一组特征标记的一组测量位置;一组机器人系统,被配置为支撑该组传感器;以及计算机系统,被配置为根据本公开的第三方面确定对象的对象位置。
附图说明
图1示出了其中可以实现本公开的实施例的工作环境的示意图;
图2示出了根据本公开的实施例的用于确定对象的对象位置的示意图;
图3示出了根据本公开的实施例的用于确定对象的对象位置的方法的流程图;
图4示出了根据本公开的实施例的一组特征标记和对象的对象位置的示意图;
图5示出了根据本公开的实施例的用于确定特征标记的估计位置的示意图;
图6示出了根据本公开的实施例的用于调整收集特征标记的另一测量位置的机器人系统的姿态的示意图;
图7示出根据本公开的实施例的用于校正机器人系统的操作的操作点的示意图;
图8示出了根据本公开的实施例的用于确定对象的对象位置的装置的示意图;
图9示出了根据本公开的实施例的用于确定对象的对象位置的计算机系统的示意图;以及
图10示出了根据本公开的实施例的用于确定对象的对象位置的系统的示意图。
在整个附图中,相同或相似的附图标记用于指示相同或相似的元件。
具体实施方式
现在将参考附图中示出的几个示例实施例来描述本公开的原理。尽管在附图中示出了本公开的示例性实施例,但是应当理解,描述这些实施例仅是为了便于本领域技术人员更好地理解并由此实现本公开,而不是以任何方式限制本公开的范围。
出于描述的目的,将参考图1来提供实施例的工作环境的一般描述。图1示出了其中可以实现本公开的实施例的工作环境100的示意图。在本公开的上下文中,将通过将集装箱作为对象的示例来描述实施例,在集装箱上可安装多个锁定设备。具体地,在图1中,从船舶上卸载对象110(诸如集装箱),而锁定设备120和122仍然被安装在集装箱上。首先,可以确定对象110的对象位置,然后可以由机器人系统130基于所确定的锁类型移除锁定设备120和122。
目前,采用诸如相机的传感器来确定集装箱对象的对象位置。然而,这些相机被固定到港口处的起重机或其他框架上,并且不能收集对象的全部信息。因此,希望以更有效和方便的方式确定对象位置。
将参考图2提供关于如何确定对象位置的更多细节。图2示出了根据本公开的实施例的用于确定对象110的对象位置的示意图。在图2中,可以配备一组传感器210和212用于分别收集一组特征标记的一组测量位置。这里,特征标记可以包括对象110中的任何锁定孔(locking hole),锁定设备120通过该锁定孔被安装以用于固定对象110。此外,特征标记可包括对象110的角(corner)。在这些实施例中,传感器210可以收集对象110中的一个特征标记的测量位置220,并且传感器212可以收集对象110中的另一个特征标记的测量位置222。这里的测量位置可以包括定位分量和定向分量。
对于特征标记组,可以分别基于对象位置以及一组估计位置230和232与对象位置之间的一组偏移来获取该组估计位置230和232。这里,对象位置是稍后要确定的未知值,并且它可以由包括定位分量和定向分量的向量来表示。基于一组测量位置220和222以及一组估计位置230和232,可以生成误差函数240,然后可以基于误差函数240确定对象位置250。
将参考图3提供本发明的细节,该图示出了根据本公开的实施例的用于确定对象110的对象位置250的方法300的流程图。在方框310,对于对象110中的一组特征标记,可以分别从一组传感器210和212收集一组测量位置220和222。将参考图4进行描述,该图4示出了根据本公开的实施例的一组特征标记和对象的对象位置的示意图400。图4示出了对象110的透视图,在对象110中存在一组四个特征标记410、420、430和440。这里,特征标记可以包括对象110中的锁定孔和对象110的角中的任何项。通常,锁定孔和角是可以基于诸如图像识别、机器学习等技术从对象中所识别的典型特征。因此,这些实施例可以提供用于确定特征标记的测量位置的进一步步骤的牢固基础。
由于对于各种传感器的收集过程是类似的,因此在下文中,传感器210将被作为示例来描述关于测量位置收集的细节。如图4所示,传感器210可以被部署在对象110附近,用于收集特征标记410的测量位置220。传感器210可以包括诸如2D图像相机的图像测量相机,用于收集特征标记410的图像。基于图像处理技术,可以根据收集的图像确定测量位置220。备选地,也可以由3D相机设备实现传感器210。具体地,3D相机中的激光设备可以测量特征标记410与激光设备之间的相对定位,以便以更精确的方式测量位置220。
在这些实施例中,特征标记410的测量位置220可以由向量表示,并且特征标记420的测量位置222可以由向量表示。在一般形式中,特征标记420的测量位置222可以由向量表示。应当理解,测量位置中的每个分量也可以是向量的形式。例如,可以表示特征标记i的定位,并且可以由(xi,yi,zi)表示。同时,可以表示特征标记i的定向并且可以由各种格式表示。例如,在李代数(1ie algebra)中,定向可以由旋转矩阵表示。在另一示例中,定向也可以由(pitchi,ralli,yawi)表示。出于描述的目的,以下段落将通过将李代数中的旋转矩阵作为定向的示例来提供关于实施例的更多细节。
此外,在图4中,参考标记450表示对象110的中心,该中心可以被作为对象110的对象位置250。这里,对象110的对象位置250可以由向量表示。在方法300的开始,向量是未知的,并且可以在图3中的框340处确定向量中的值。
在框320处,可以基于对象位置以及一组特征标记410和420的一组估计位置230和232与对象位置之间的一组偏移,来分别获取该组估计位置230和232。由于对象110的尺寸是已知的,并且对于特定类型集装箱而言,特征标记总是位于固定位置。此时,特征标记410的位置(称为估计位置)可以由对象位置以及特征标记410与对象位置之间的偏移来表示。
图5示出了根据本公开的实施例的用于确定特征标记的估计位置的示意图500。在图5中,尺寸限定510可以限定关于对象的信息的各个方面。例如,可以限定长度、宽度、高度,同时也可以限定锁定孔的位置。如果特征标记i是对象110中的锁定孔,则可基于锁定孔的长度、宽度和位置来确定特征标记i的偏移520。此外,可以基于对象位置250和偏移520采确定特征标记i的估计位置530。具体地,估计位置530可以表示为
在这些实施例中,对象的尺寸是固定的,并且多个特征标记与对象位置之间的相对位置也是恒定值。由于可以直接从对象的规格中获取尺寸限定,因此它提供了一种用于确定估计位置的简单方法。
返回参考图3中的框330,可以基于一组测量位置220和222以及一组估计位置230和232,来生成误差函数240。这里,特征标记的数目在不同的实施例中可以变化。例如,数目可以是8、4或其他整数。以下段落将提供关于误差函数240的更多细节,其中针对一组n个特征标记分别收集一组n个测量位置。
由于位置包括定位和定向方面,因此,误差函数240也可以包括上述两个方面。对于定位方面,以下公式1可以用于确定与特征标记i相关的定位误差:
在公式1中,表示特征标记i的定位误差,表示特征标记i的测量位置的定位,表示对象110的对象位置的定位(在此未知),以及表示李代数格式的定位偏移。因此,表示特征标记i的估计位置。总之,公式1示出了测量位置与估计位置之间的差。
对于定向方面,定向误差可以由以下公式2表示:
尽管上述公式示出了当由李代数表示定向时确定误差的方法。但是,在本公开的另一个实施例中,可以用其他格式来表示定向,因此可以对应地修改上述公式。此外,可以组合上述公式1和公式2以确定总误差。
在本公开的一些实施例中,例如可以使用以下公式3。
在本公开的一些实施例中,可以分别针对一组传感器210和212获取一组测量精度。这里,一组测量精度中的测量精度表示一组测量位置220和222中的测量位置的潜在误差。应当理解,来自传感器的测量位置并不总是精确结果,有时可能存在潜在的误差。具体地,关于用于收集特征标记i的测量位置的传感器i,测量精度可以表示为矩阵Qi。
通常,测量精度取决于传感器的硬件/软件配置以及在测量过程期间实现的步骤。利用这些实施例,考虑测量精度来更新误差函数240,使得误差函数240可以反映测量位置与估计位置之间的误差的更多潜在方面。此外,可以基于一组测量精度来更新误差函数240。在一个实施例中,误差函数240可以基于如下公式6来确定:
返回参考图3中的块340,可以基于误差函数240来确定对象位置。利用这些实施例,可以基于对象110中的多个特征标记的多个测量位置来确定对象位置250。通过将对象位置视为误差函数240中的未知值,可以以有效且容易的方式确定对象位置。此外,上述实施方式可以在没有人工干预的情况下以自动方式实现,因此可以大大提高性能和准确性。
在本公开的一些实施例中,可以通过求解误差函数240来确定对象位置250,使得所确定的对象位置250将误差函数240限制在预定范围内。在误差函数240中,对象位置由未知向量表示,并且误差函数240是与该未知向量相关联的函数,因此可以通过在特定约束下求解误差函数240来确定该未知向量。例如,对象位置250可以被设置为将误差函数240最小化的向量,因此可以以有效和方便的方式确定优化的对象位置。继续上述示例,可以基于如下公式7来确定对象位置250:
以上段落已经提供了用于确定对象位置250的细节,可以进一步检查所确定的对象位置以查看它是否是可靠的对象位置。在本公开的一些实施例中,可以基于一组测量位置以及对象位置来确定用于一组特征标记的一组误差。具体地,可以将所确定的向量带入公式3到4中的任何公式,以检查单个结果是否低于预定义的误差阈值。这里,运算符可以表示矩阵的范数运算。如果全部的结果都低于预定义的误差阈值,则可以将所确定的见为“有效”。利用这些实施例,可以将所确定的对象位置带入误差函数,以检查所确定的对象位置是否足够可靠。这里,可以预先确定误差阈值以表示可靠标准。在这些实施例中,只有可靠的对象位置被输出用于进一步控制机器人系统来移除锁定设备。
如果的结果高于预定义的误差阈值,则可以认为所确定的时于特征标记i是“无效的”。此时,特征标记i的测量位置可以被丢弃,并且方法300可以被重复用于另一轮确定。例如,采用四个传感器来收集四个特征标记的测量位置。此时,以及可以用于确定对象位置如果基于所确定的高于误差阈值,则指示测量位置不可靠,然后可以将丢弃。此外,以及可以用于重复方法300,直到找到可靠的对象位置。利用这些实施方式,可以丢弃导致不可接受误差的测量位置,并且可以减少组中测量位置的数目。
在本公开的一些实施例中,可以预先设置数目阈值(例如,2或大于2的另一整数)。如果测量位置的数目低于数目阈值,则可以认为该组测量位置不足以用于对象位置确定。继续上面的示例,如果新确定的导致不可靠的和则特征标记1和2的测量位置也将被丢弃,这将把数目减少到1。如果数目阈值被设置为2,则可以从传感器收集更多的测量位置。
在本公开的一些实施方式中,可以调整传感器的位置以收集合格的测量位置。例如,可以移动传感器以更好的角度靠近特征标记。这里,传感器可以被安装到处于第一姿态的机器人系统,可以指示机器人系统从第一姿态移动到第二姿态以提高测量位置的质量。然后,可以从被安装到处于第二姿态的机器人系统的传感器收集另一测量位置。
图6示出了根据本公开的实施例的用于调整收集特征标记的另一测量位置的机器人系统的姿态的示意图600。在图6中,可以控制机器人系统沿箭头610移动。因此,传感器210可以被移动到位置620用于进一步收集。当传感器被安装到机器人系统时,可以指示机器人系统改变其姿态以收集更可靠的测量位置。如果可靠的测量位置不能达到数目阈值,则这些实施例提供用于收集(多个)测量位置的解决方案。
在本公开的一些实施例中,一旦确定了对象位置250,就可以由机器人系统移除安装到对象110用于固定对象的锁定设备。这里,机器人系统可以是单独的机器人系统,备选地,机器人系统可以是其上安装有传感器的机器人系统。由于机器人系统的操作根据对象位置而变化,因此,可以基于所确定的对象位置来更新机器人系统的操作。然后,可以基于更新的操作指示机器人系统移除锁定设备。通常,大型船舶一次携带数千个集装箱,因此需要无数的扭锁来将这些集装箱固定在一起。利用这些实施例,可以确定集装箱对象的对象位置,然后在卸载过程中可以由机器人系统自动移除锁定设备,而无需任何人工干预。此外,可以显着地减少工人的数目,并且可以极大地提高卸载过程的效率。
应当理解,用于移除各种类型的锁定设备的操作是不同的,并且实施例可以基于锁类型来选择对应的操作,以确保在正确的基础上实现进一步的移除过程。为了移除锁定设备,可以首先获取锁定设备的锁类型。然后,可以基于所确定的锁类型来确定机器人系统的操作中的操作点。此外,可以基于所确定的对象位置来校正机器人系统的操作路径中的操作点,因此,机器人系统可以到达所校正的操作点并有效地移除锁定设备。
在本发明的一些实施例中,机器人系统的操作由操作路径限定。图7示出了根据本公开的实施例的用于校正机器人系统的操作的操作点的示意图700。在图7中,操作710由用于移除锁定设备i的机器人系统实施。可以从操作710中提取操作点720,并且可以将操作点720的校正位置740表示为用于移除锁定设备i。此时,可以基于公式9和10来确定校正位置740。
在这些公式中,表示对象位置与用于移除锁定设备i的操作点730之间的偏移,表示操作点730在对象110的坐标中的定向矩阵,其可以基于对象和锁定设备i的尺寸来确定。利用这些实施例,机器人系统可以以定制的方式操作,用于移除具有特定锁类型的锁定设备i。
应当理解,本公开的实施例可以是非常有效的,尤其是在用于从船上卸载集装箱的港口中,并且可以自动确定数千个集装箱的集装箱位置。此外,利用确定的集装箱位置,可以在没有任何人工干预的情况下移除安装在集装箱上的锁定设备。
在本公开的一些实施例中,提供了一种用于确定对象的对象位置的装置800。图8示出了根据本公开的实施例的用于确定对象的对象位置的装置800的示意图。如图8所示,装置800可以包括:收集单元810,被配置为从一组传感器分别收集对象中的一组特征标记的一组测量位置;获取单元820,被配置为基于对象位置和一组特征标记的一组估计位置与对象位置之间的一组偏移,分别获取该组估计位置;生成单元830,被配置为基于该组测量位置和该组估计位置,生成误差函数;以及确定单元840,被配置为基于误差函数确定对象位置。
在本公开的一些实施例中,确定单元820进一步被配置为:关于一组特征标记中的特征标记,基于对象的尺寸限定,获取针对特征标记的估计位置与对象位置之间的一组偏移中的偏移。
在本公开的一些实施例中,装置800进一步包括:精度单元,被配置为分别获取一组传感器的一组测量精度,该组测量精度中的测量精度表示针对该组测量位置中的测量位置的潜在误差;以及更新单元,被配置为基于该组测量精度更新误差函数。
在本公开的一些实施例中,对象位置是未知的并且包括定位分量和定向分量,并且确定单元840进一步被配置为:通过求解误差函数来确定对象位置,使得所确定的对象位置将误差函数限制在预定义的范围内。
在本公开的一些实施例中,装置800进一步包括检查单元,被配置为:基于该组测量位置和所确定的对象位置,确定该组特征标记的一组误差;以及响应于所确定的该组误差低于误差阈值,将所确定的对象位置标识为“有效”。
在本公开的一些实施例中,检查单元进一步被配置为:响应于该组误差中的误差高于误差阈值,从该组测量位置中移除与该误差相关联的测量位置;以及从该组估计位置中移除与该误差相关联的估计位置。
在本公开的一些实施例中,该组传感器中的传感器被安装到处于第一姿态的机器人系统,并且该装置800进一步包括:指令单元,被配置为:响应于该组测量位置中的测量位置的数目低于数目阈值,指示机器人系统从第一姿态移动到第二姿态;以及从被安装到处于第二姿态的机器人系统的传感器收集另一测量位置。
在本公开的一些实施例中,该组特征标记中的特征标记包括以下任何项:对象中的锁定孔,锁定设备通过该锁定孔被安装以用于固定对象;以及对象的角。
在本公开的一些实施例中,锁定设备被安装到对象用于固定对象,并且装置800进一步包括:指令单元,被配置为:基于所确定的对象位置更新用于移除锁定设备的机器人系统的操作;以及基于更新的操作指示机器人系统移除锁定设备。
在本公开的一些实施例中,指令单元进一步被配置为:获取锁定设备的锁类型;基于所确定的锁类型获取机器人系统的操作中的操作点;以及基于所确定的对象位置来校正操作点。
在本公开的一些实施例中,提供了一种用于确定对象的对象位置的系统900。图9示出了根据本公开的实施例的用于确定对象的对象位置的计算机系统900的示意图。如图9所示,计算机系统900可以包括耦合到计算机可读存储器单元920的计算机处理器910,并且存储器单元920包括指令922。当由计算机处理器910执行时,指令922可以实现如前面段落中描述的用于确定对象的对象位置的方法,并且将在下文中省略细节。
在本公开的一些实施例中,提供了一种用于确定对象的对象位置的计算机可读介质。该计算机可读介质具有存储在其上的指令,并且当在至少一个处理器上执行该指令时,该指令可以使该至少一个处理器执行如在前面段落中描述的用于确定对象的对象位置的方法,并且在下文中将省略细节。
在本公开的一些实施例中,提供了一种用于确定对象的对象位置的系统。图10示出了根据本公开的实施例的用于确定对象的对象位置的系统1000的示意图。系统1000包括:一组传感器210和212,被配置为分别收集对象110中的一组特征标记的一组测量位置;一组机器人系统1020和1022,被配置为支撑该组传感器210和212;以及计算机系统1010,被配置为如先前段落中所描述的那样确定对象110的对象位置。
通常,本公开的各种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。一些方面可以用硬件来实现,而其他方面可以用固件或软件来实现,这些固件或软件可以由控制器、微处理器或其他计算设备来执行。虽然本公开的实施例的各方面被示出并描述为框图、流程图或使用一些其他图形表示,但将理解,本文描述的框、装置、系统、技术或方法可在作为非限制性示例的硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其一些组合中实现。
本公开还提供了有形地存储在非瞬态计算机可读存储介质上的至少一种计算机程序产品。计算机程序产品包括在目标真实或虚拟处理器上的设备中执行的诸如包括在程序模块中的那些计算机可执行指令,以执行上文参考图3所述的过程或方法。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。可以根据各种实施例中的需要在程序模块之间组合或分开程序模块的功能。用于程序模块的机器可执行指令可在本地或分布式设备内执行。在分布式设备中,程序模块可位于本地和远程存储介质中。
用于执行本公开的方法的程序代码可以用一种或多种编程语言的任意组合来编写。这些程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器或控制器,使得程序代码在被处理器或控制器执行时使流程图和/或框图中指定的功能/操作被实现。程序代码可以完全在机器上被执行、部分在机器上被执行、作为独立软件包被执行、部分在机器上部分在远程机器上被执行或完全在远程机器或服务器上被执行。
上述程序代码可以包含在机器可读介质上,该机器可读介质可以是可以包含或存储由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。机器可读存储介质的更具体的示例将包括具有一条或多条导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适的组合。
此外,虽然以特定顺序描述了操作,但是这不应被理解为要求以所示的特定顺序或按顺序执行这些操作,或者执行所有示出的操作,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。同样地,虽然在上述讨论中包含了若干特定实现细节,但是这些细节不应当被解释为对本公开的范围的限制,而应当被解释为对特定实施方式所特有的特征的描述。在单独实施例的上下文中描述的某些特征也可以在单个实施方式中组合实现。另一方面,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。
虽然已经用结构特征和/或方法动作专用的语言描述了本主题,但是应当理解,所附权利要求中定义的主题不必限于上述具体特征或动作。相反,上述特定特征和动作是作为实现权利要求的示例形式而公开的。
Claims (23)
1.一种用于确定对象的对象位置的方法,所述方法包括:
从一组传感器分别收集所述对象中的一组特征标记的一组测量位置;
基于所述对象位置以及所述一组特征标记的一组估计位置与所述对象位置之间的一组偏移,分别获取所述一组估计位置;
基于所述一组测量位置和所述一组估计位置,生成误差函数;以及
基于所述误差函数确定所述对象位置。
2.根据权利要求1所述的方法,进一步包括:关于所述一组特征标记中的特征标记,
基于所述对象的尺寸限定,获取所述特征标记的估计位置与所述对象位置之间的所述一组偏移中的偏移。
3.根据权利要求1所述的方法,进一步包括:
分别获取所述一组传感器的一组测量精度,所述一组测量精度中的测量精度表示所述一组测量位置中的测量位置的潜在误差;以及
基于所述一组测量精度更新所述误差函数。
4.根据权利要求1所述的方法,其中所述对象位置是未知的并且包括定位分量和定向分量,并且其中基于所述误差函数确定所述对象位置包括:
通过求解所述误差函数来确定所述对象位置,使得所确定的所述对象位置将所述误差函数限制在预定义的范围内。
5.根据权利要求1所述的方法,进一步包括:
基于所述一组测量位置以及所确定的所述对象位置,确定所述一组特征标记的一组误差;以及
响应于所确定的所述一组误差低于误差阈值,将所确定的所述对象位置标识为“有效”。
6.根据权利要求5所述的方法,进一步包括:响应于所述一组误差中的误差高于所述误差阈值,
从所述一组测量位置中移除与所述误差相关联的测量位置;以及
从所述一组估计位置中移除与所述误差相关联的估计位置。
7.根据权利要求6所述的方法,其中所述一组传感器的一传感器被安装到处于第一姿态的机器人系统,并且所述方法还包括:响应于所述一组测量位置中的测量位置的数目低于数目阈值,
指示所述机器人系统从所述第一姿态移动到第二姿态;以及
从被安装到处于所述第二姿态的机器人系统的所述传感器收集另一测量位置。
8.根据权利要求1所述的方法,其中所述一组特征标记中的特征标记包括以下任何项:
所述对象中的锁定孔,锁定设备通过所述锁定孔被安装以用于固定所述对象;以及
所述对象的角。
9.根据权利要求1所述的方法,其中锁定设备被安装到所述对象用于固定所述对象,并且所述方法进一步包括:
基于所确定的所述对象位置,更新用于移除所述锁定设备的机器人系统的操作;以及
基于更新的所述操作,指示所述机器人系统移除所述锁定设备。
10.根据权利要求9所述的方法,其中更新所述机器人系统的所述操作包括:
获取所述锁定设备的锁类型;
基于所确定的所述锁类型,获取所述机器人系统的所述操作中的操作点;以及
基于所确定的所述对象位置来校正所述操作点。
11.一种用于确定对象的对象位置的装置,所述装置包括:
收集单元,被配置为从一组传感器分别收集所述对象中的一组特征标记的一组测量位置;
获取单元,被配置为基于所述对象位置以及所述一组特征标记的一组估计位置与所述对象位置之间的一组偏移,分别获取所述一组估计位置;
生成单元,被配置为基于所述一组测量位置和所述一组估计位置,生成误差函数;以及
确定单元,被配置为基于所述误差函数确定所述对象位置。
12.根据权利要求11所述的装置,其中所述获取单元被进一步配置为:关于所述一组特征标记中的特征标记,
基于所述对象的尺寸限定,获取所述特征标记的估计位置与所述对象位置之间的所述一组偏移中的偏移。
13.根据权利要求11所述的装置,进一步包括:
精度单元,被配置为分别获取所述一组传感器的一组测量精度,所述一组测量精度中的测量精度表示所述一组测量位置中的测量位置的潜在误差;以及
更新单元,被配置为基于所述一组测量精度更新所述误差函数。
14.根据权利要求11所述的装置,其中所述对象位置是未知的并且包括定位分量和定向分量,并且其中所述确定单元进一步被配置为:
通过求解所述误差函数来确定所述对象位置,使得所确定的所述对象位置将所述误差函数限制在预定义的范围内。
15.根据权利要求11所述的装置,进一步包括:检查单元,被配置为:
基于所述一组测量位置和所确定的所述对象位置,确定所述一组特征标记的一组误差;以及
响应于所确定的所述一组误差低于误差阈值,将所确定的所述对象位置标识为“有效”。
16.根据权利要求15所述的装置,其中所述检查单元进一步被配置为:响应于所述一组误差中的误差高于所述误差阈值,
从所述一组测量位置中移除与所述误差相关联的测量位置;以及
从所述一组估计位置中移除与所述误差相关联的估计位置。
17.根据权利要求16所述的装置,其中所述一组传感器的一传感器被安装到处于第一姿态机器人系统,并且所述装置进一步包括:指令单元,被配置为:响应于所述一组测量位置中的所述测量位置的数目低于数目阈值,
指示所述机器人系统从所述第一姿态移动到第二姿态;以及
从被安装在处于所述第二姿态的机器人系统的传感器收集另一测量位置。
18.根据权利要求11所述的装置,其中所述一组特征标记中的特征标记包括以下任何项:
所述对象中的锁定孔,锁定设备通过所述锁定孔被安装以用于固定所述对象;以及
所述对象的角。
19.根据权利要求11所述的装置,其中锁定设备被安装到所述对象用于固定所述对象,并且所述装置进一步包括:
指令单元,被配置为:
基于所确定的所述对象位置,更新用于移除所述锁定设备的机器人系统的操作;以及
基于更新的所述操作,指示所述机器人系统移除所述锁定设备。
20.根据权利要求19所述的装置,其中所述指令单元进一步被配置为:
获取所述锁定设备的锁类型;
基于所确定的所述锁类型,获取所述机器人系统的所述操作中的操作点;以及
基于所确定的所述对象位置来校正所述操作点。
21.一种用于确定对象的对象位置的计算机系统,包括:
计算机处理器,耦合到计算机可读存储器单元,所述存储器单元包括指令,所述指令在由所述计算机处理器执行时,实现根据权利要求1至10中任一项所述的方法。
22.一种计算机可读介质,其上存储有指令,所述指令当在至少一个处理器上被执行时,使所述至少一个处理器执行根据权利要求1至10中任一项所述的方法。
23.一种用于确定对象的对象位置的系统,包括:
一组传感器,被配置为分别收集对象中的一组特征标记的一组测量位置;
一组机器人系统,被配置为支撑所述一组传感器;以及
计算机系统,被配置为根据权利要求21确定所述对象的对象位置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/101125 WO2021030973A1 (en) | 2019-08-16 | 2019-08-16 | Method and apparatus for determining object location |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114364618A true CN114364618A (zh) | 2022-04-15 |
CN114364618B CN114364618B (zh) | 2023-03-14 |
Family
ID=74660134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980100223.6A Active CN114364618B (zh) | 2019-08-16 | 2019-08-16 | 用于确定对象位置的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220335735A1 (zh) |
EP (1) | EP4013701A4 (zh) |
CN (1) | CN114364618B (zh) |
WO (1) | WO2021030973A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024074877A1 (en) * | 2022-10-07 | 2024-04-11 | Dp World Fze | A twist-lock storage system and associated method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120089320A1 (en) * | 2010-10-11 | 2012-04-12 | Containertrac, Inc. | Method of automatic positioning for loading and unloading of container ships in container terminals |
WO2012141658A2 (en) * | 2011-04-15 | 2012-10-18 | Manivannan S O Chellappa | Device for handling an inter-box connector |
CN105438993A (zh) * | 2014-09-24 | 2016-03-30 | 西门子公司 | 自动地光学确定集装箱吊具的目标位置的方法和系统 |
CN106829246A (zh) * | 2017-01-22 | 2017-06-13 | 上海振华重工(集团)股份有限公司 | 一种应用于集卡的集装箱锁销自动拆装系统 |
CN108460800A (zh) * | 2016-12-12 | 2018-08-28 | 交通运输部水运科学研究所 | 集装箱图像定位方法及系统 |
CN108491851A (zh) * | 2018-01-29 | 2018-09-04 | 江苏大学 | 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法 |
CN109319317A (zh) * | 2018-11-28 | 2019-02-12 | 上海国际港务(集团)股份有限公司尚东集装箱码头分公司 | 一种码头集装箱锁销自动装卸视觉定位系统 |
CN208883030U (zh) * | 2018-09-26 | 2019-05-21 | 上海振华港机(集团)宁波传动机械有限公司 | 一种集装箱锁具自动拆装装置 |
CN109878926A (zh) * | 2019-04-17 | 2019-06-14 | 上海振华重工(集团)股份有限公司 | 集装箱固定锁钮的定位方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5602392B2 (ja) * | 2009-06-25 | 2014-10-08 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9437005B2 (en) * | 2011-07-08 | 2016-09-06 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
-
2019
- 2019-08-16 WO PCT/CN2019/101125 patent/WO2021030973A1/en unknown
- 2019-08-16 CN CN201980100223.6A patent/CN114364618B/zh active Active
- 2019-08-16 US US17/635,969 patent/US20220335735A1/en active Pending
- 2019-08-16 EP EP19942348.4A patent/EP4013701A4/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120089320A1 (en) * | 2010-10-11 | 2012-04-12 | Containertrac, Inc. | Method of automatic positioning for loading and unloading of container ships in container terminals |
WO2012141658A2 (en) * | 2011-04-15 | 2012-10-18 | Manivannan S O Chellappa | Device for handling an inter-box connector |
CN105438993A (zh) * | 2014-09-24 | 2016-03-30 | 西门子公司 | 自动地光学确定集装箱吊具的目标位置的方法和系统 |
CN108460800A (zh) * | 2016-12-12 | 2018-08-28 | 交通运输部水运科学研究所 | 集装箱图像定位方法及系统 |
CN106829246A (zh) * | 2017-01-22 | 2017-06-13 | 上海振华重工(集团)股份有限公司 | 一种应用于集卡的集装箱锁销自动拆装系统 |
CN108491851A (zh) * | 2018-01-29 | 2018-09-04 | 江苏大学 | 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法 |
CN208883030U (zh) * | 2018-09-26 | 2019-05-21 | 上海振华港机(集团)宁波传动机械有限公司 | 一种集装箱锁具自动拆装装置 |
CN109319317A (zh) * | 2018-11-28 | 2019-02-12 | 上海国际港务(集团)股份有限公司尚东集装箱码头分公司 | 一种码头集装箱锁销自动装卸视觉定位系统 |
CN109878926A (zh) * | 2019-04-17 | 2019-06-14 | 上海振华重工(集团)股份有限公司 | 集装箱固定锁钮的定位方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114364618B (zh) | 2023-03-14 |
EP4013701A1 (en) | 2022-06-22 |
EP4013701A4 (en) | 2023-04-19 |
US20220335735A1 (en) | 2022-10-20 |
WO2021030973A1 (en) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8463079B2 (en) | Method and apparatus for geometrical measurement using an optical device such as a barcode and/or RFID scanner | |
US11592512B2 (en) | Method for calibrating a magnetometer | |
US9787960B2 (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
US10044996B2 (en) | Method for projecting virtual data and device enabling this projection | |
AU2013379669B2 (en) | Apparatus and method for three dimensional surface measurement | |
CN107431788B (zh) | 视觉系统中的基于图像的托盘对准和管槽定位的方法和系统 | |
CN110717861B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
CN109801333B (zh) | 体积测量方法、装置、系统及计算设备 | |
US20100328682A1 (en) | Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium | |
US20150269735A1 (en) | Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system | |
US20210039257A1 (en) | Workpiece picking device and workpiece picking method | |
JP6877293B2 (ja) | 位置情報記録方法および装置 | |
US9584768B2 (en) | Information processing apparatus, information processing method and computer-readable storage medium | |
WO2012011608A1 (en) | Position and orientation measurement apparatus, position and orientation measurement method, and storage medium | |
US11094082B2 (en) | Information processing apparatus, information processing method, robot system, and non-transitory computer-readable storage medium | |
JP2009053136A (ja) | 3次元計測方法および3次元計測装置 | |
US11927438B2 (en) | Methods and systems for calibrating fiducial markers relative to an object | |
CN114364618B (zh) | 用于确定对象位置的方法和装置 | |
US20110013012A1 (en) | Method and apparatus for determining the deformation of a fuel assembly of a pressurized water reactor | |
US20220091405A1 (en) | Microscopy System, Method and Computer Program for Aligning a Specimen Carrier | |
WO2023217047A1 (zh) | 定位方法、装置、电子设备及可读存储介质 | |
CN205472298U (zh) | 一种集装箱起重机自动化检测标定系统 | |
Prasse et al. | New approaches for singularization in logistic applications using low cost 3D sensors | |
US20220277603A1 (en) | Method and apparatus for determining lock type |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |