CN117500643A - 把持信息生成装置、方法及程序 - Google Patents

把持信息生成装置、方法及程序 Download PDF

Info

Publication number
CN117500643A
CN117500643A CN202280040169.2A CN202280040169A CN117500643A CN 117500643 A CN117500643 A CN 117500643A CN 202280040169 A CN202280040169 A CN 202280040169A CN 117500643 A CN117500643 A CN 117500643A
Authority
CN
China
Prior art keywords
unit
grip
information
gripping
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040169.2A
Other languages
English (en)
Inventor
纺望创真
高西完治
长谷川友纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN117500643A publication Critical patent/CN117500643A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39536—Planning of hand motion, grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

获取部(30)获取表示由把持部把持的对象物的三维形状的对象物信息和与把持部的形状相关的把持部信息，提取部(50)将对象物上的两个点的对且满足基于通过获取部(30)所获取的对象物信息和把持部信息的条件、并去除了类似的对的剩余的对进行聚类，提取成为各集簇的代表的对作为把持点，生成部(60)根据通过提取部(50)提取的把持点，生成表示在由把持部把持对象物的情况下对象物与把持部的相对位置关系的把持信息。

Description

把持信息生成装置、方法及程序
技术领域
本公开涉及把持信息生成装置、把持信息生成方法及把持信息生成程序。
背景技术
为了成功进行机械手对工件的拾取及投放、拾取及放置、拾取及组装等机器人操作，需要通过机械手适当地把持工件。为了生成这样的机械手对工件的把持的动作信息，进行预先准备机械手与工件的相对位置关系即把持信息。
作为与把持信息的生成相关的技术，例如提出了针对夹具、吸盘等产业用末端执行器使用对象物的计算机辅助设计(CAD)模型而生成把持信息的技术(参照非专利文献1)。该技术将作为对象物的模型的网格模型分离成重叠的平面，由此对网格模型进行预处理。此外，该技术使用分离后的平面来确定一般的产业用末端执行器的接点，并合成把持姿势。
现有技术文献
非专利文献
非专利文献1：Weiwei Wan,Kensuke Harada,Fumio Kanehiro,“Planning Graspswith Suction Cups and Parallel Grippers Using Superimposed Segmentation ofObject Meshes”,IEEE Transactions on Robotics,Volume 37,Issue 1,2021.02.
发明内容
发明所要解决的技术问题
但是，非专利文献1所记载的技术采用了基于参数的分析方式，所以存在缺乏一贯性这样的问题。即，在非专利文献1所记载的技术中需要调整许多参数。因此，最终生成的把持信息大幅依赖于作为这些参数所选择的值，参数的选择对所生成的把持信息的质量产生影响。另外，在调整许多参数的情况下，需要与参数的调整方法相关的专业知识，对于没有那样的专业知识的用户而言，生成可靠的具有一贯性的把持信息比较困难。进而，在非专利文献1所记载的技术中，由于如上述那样许多参数的调整、用于生成网格模型的网格分割等的计算量庞大、进行两次用于生成不干涉的把持信息的冲突检测等，因此还存在把持信息的生成所需的计算时间变长的问题。此外，在非专利文献1所记载的技术中，由于是基于参数的分析方式，所以存在也生成关于不实用的把持姿势的把持信息等冗余的把持信息的情况。进而，在非专利文献1所记载的技术中，仅考虑了将对象物从外侧夹入而进行把持的外部把持，不能应用于例如以从环状的对象物的内侧张开的方式进行把持的内部把持。
本公开正是鉴于上述情况而完成的，其目的在于，抑制计算时间并生成具有一贯性的把持信息。
用于解决问题的技术方案
为了达到上述目的，本公开所涉及的把持信息生成装置构成为包括：获取部，获取表示由把持部把持的对象物的三维形状的对象物信息和与所述把持部的形状相关的把持部信息；提取部，将所述对象物上的两个点的对且满足基于通过所述获取部所获取的所述对象物信息和所述把持部信息的条件的对进行聚类，并提取成为各集簇的代表的对作为把持点；以及生成部，根据通过所述提取部所提取的把持点，生成表示在由所述把持部把持所述对象物的情况下所述对象物与所述把持部的相对位置关系的把持信息。
此外，也可以是，所述对象物信息是将多个多边形的平面结合而成的网格构造的信息。
此外，也可以是，所述提取部将表示所述两个点各自所属的所述平面之间形成的角度、所述把持部的开度以及由所述把持部把持所述对象物时的稳定性中各者的指标各自处于分别设定的值的范围内作为所述条件，提取所述把持点。
此外，也可以是，所述把持信息生成装置包括预先处理部，所述预先处理部针对通过所述获取部所获取的所述对象物信息，执行削减所述平面的数量的简化处理、去除噪声的平滑处理、使所述平面的尺寸的偏差成为阈值以下的优化处理以及检测具有单个旋转轴的平面的集合的对称性检测处理中的至少一个预先处理，
所述提取部根据通过所述预先处理部进行预先处理之后的所述对象物信息提取所述把持点。
此外，也可以是，所述预先处理部对通过所述获取部所获取的所述对象物信息中的所述平面的数量、噪声的有无以及所述平面的尺寸的偏差进行评价，并根据评价结果执行所述预先处理。
此外，也可以是，所述提取部在将所述对中类似的对中的一方去除之后，进行所述聚类。
此外，也可以是，所述提取部提取最接近所述集簇的中心的对作为成为所述集簇的代表的对。
此外，也可以是，所述生成部根据在由所述把持部在所述把持点把持所述对象物的状态下使所述把持部以通过所述把持点的直线为轴相对于所述对象物每次相对旋转预定角度的各状态下的所述对象物和所述把持部的位置及姿势，生成所述把持信息。
此外，也可以是，所述生成部将所述对象物和所述把持部产生干涉的所述把持信息去除。
此外，也可以是，所述生成部对各个所述把持信息赋予表示把持状态的稳定性的指标。
此外，本公开所涉及的把持信息生成方法是这样的方法：获取部获取表示由把持部把持的对象物的三维形状的对象物信息和与所述把持部的形状相关的把持部信息，提取部将所述对象物上的两个点的对且满足基于通过所述获取部所获取的所述对象物信息和所述把持部信息的条件的对进行聚类，并提取成为各集簇的代表的对作为把持点，生成部根据通过所述提取部所提取的把持点，生成表示在由所述把持部把持所述对象物的情况下所述对象物与所述把持部的相对位置关系的把持信息。
此外，本公开所涉及的把持信息生成程序用于使计算机作为获取部、提取部以及生成部发挥功能，所述获取部获取表示由把持部把持的对象物的三维形状的对象物信息和与所述把持部的形状相关的把持部信息，所述提取部将所述对象物上的两个点的对且满足基于通过所述获取部所获取的所述对象物信息和所述把持部信息的条件的对进行聚类，并提取成为各集簇的代表的对作为把持点，所述生成部根据通过所述提取部所提取的把持点，生成表示在由所述把持部把持所述对象物的情况下所述对象物与所述把持部的相对位置关系的把持信息。
发明效果
根据本公开所涉及的把持信息生成装置、方法及程序，能够抑制计算时间并生成具有一贯性的把持信息。
附图说明
图1是用于说明把持信息的图。
图2是用于说明把持信息的图。
图3是表示把持信息生成装置的硬件结构的框图。
图4是表示把持信息生成装置的功能结构的例子的框图。
图5是表示执行了简化处理的对象物信息的一例的图。
图6是表示执行了平滑处理的对象物信息的一例的图。
图7是表示执行了优化处理的对象物信息的一例的图。
图8是用于说明由两个平面的法线向量形成的角度θ的图。
图9是用于说明由两个平面的法线向量形成的角度θ的图。
图10是用于说明Ndistance及Hdistance的计算的图。
图11是用于说明与把持时的稳定性相关的条件的图。
图12是用于说明与各条件相关的指标的计算的图。
图13是用于说明与各条件相关的指标的计算的图。
图14是用于说明基于条件的对的提取的图。
图15是用于说明去除类似的对的图。
图16是用于说明基于对的把持点的图。
图17是用于说明对的聚类的图。
图18是表示使把持点绕轴旋转的各状态的阵列的一例的图。
图19是用于说明去除干涉的状态的图。
图20是用于说明把持信息的排序的图。
图21是表示把持信息生成处理的流程的流程图。
图22是用于说明三根手指的机械手的应用例的图。
具体实施方式
下面，参照附图对本公开的实施方式的一例进行说明。另外，在各附图中对相同或者等效的构成要素及部分标注相同的参照附图标记。此外，附图的尺寸及比率存在为了说明上的方便而被夸大、与实际的比率不同的情况。
本实施方式所涉及的把持信息生成装置生成把持信息，该把持信息作为表示把持部与由把持部把持的对象物的相对位置关系的多个候选的信息。参照图1，以把持部是机械手、对象物是工件的情况为例，对把持信息进行说明。另外，在本实施方式中，以把持部是如图1所示被安装在机械臂的前端、并具有对置的两根平行的手指的机械手的情况为例进行说明。
把持信息例如是如图1所示利用机械手把持工件时的、机械手的基准位置相对于工件的相对坐标(x、y、z)及相对姿势(roll：翻滚角，pitch：俯仰角，yaw：偏航角)(下面称作“把持姿势”)的信息。把持信息是有关多个把持姿势的把持信息被列表化的信息。在图1的例子中示出了三个把持姿势(把持姿势1、2、3)，但在列表中包括更多的把持姿势(例如数百种)的把持信息。另外，在图1中示出了利用机械手(把持部)从外侧将工件(对象物)夹入并把持的外部把持的例子。在本实施方式中，如图2所示例如也将内部把持作为对象，该内部把持将机械手插入环状的工件的内侧，以将机械手从内侧张开的方式把持工件。
图3是表示作为本实施方式所涉及的把持信息生成装置10发挥功能的计算机的硬件结构的框图。如图3所示，把持信息生成装置10具有CPU(Central Processing Unit：中央处理单元)12、存储器14、存储装置16、输入装置18、输出装置20、存储介质读取装置22以及通信I/F(Interface：接口)24。各结构经由总线26可相互通信地进行连接。
在存储装置16存储有用于执行后述的把持信息生成处理的把持信息生成程序。CPU12是中央运算处理单元，执行各种程序，或控制各结构。即，CPU12从存储装置16读出程序，将存储器14作为作业区域执行程序。CPU12按照在存储装置16存储的程序进行上述各结构的控制及各种运算处理。
存储器14由RAM(Random Access Memory：随机存取存储器)构成，作为作业区域暂且存储程序及数据。存储装置16由ROM(Read Only Memory：只读存储器)、及HDD(Hard DiskDrive：硬盘驱动)、SSD(Solid State Drive：固态驱动)等构成，存储包括操作系统的各种程序及各种数据。
输入装置18例如是键盘、鼠标等进行各种输入用的装置。输出装置20例如是显示器、打印机等输出各种信息用的装置。作为输出装置20，通过采用触摸面板显示器，则也可以作为输入装置18发挥功能。
存储介质读取装置22进行在CD(Compact Disc：压缩磁盘)-ROM、DVD(DigitalVersatile Disc：数字通用光盘)-ROM、蓝光光盘、USB(Universal Serial Bus：通用串行总线)存储器等各种存储介质存储的数据的读入、和针对存储介质写入数据等。通信I/F 24是与其他设备进行通信用的接口，例如使用以太网(注册商标)、FDDI、Wi-Fi(注册商标)等标准。
下面，对本实施方式所涉及的把持信息生成装置10的功能结构进行说明。图4是表示把持信息生成装置10的功能结构的例子的框图。如图4所示，把持信息生成装置10包括获取部30、预先处理部40、提取部50和生成部60作为功能结构。各功能结构通过由CPU12读出在存储装置16存储的把持信息生成程序，并扩展到存储器14中进行执行而实现的。
获取部30获取表示由把持部把持的对象物的三维形状的对象物信息和与把持部的形状相关的把持部信息。对象物信息是将多个多边形(例如三角形)的平面结合而成的网格构造的信息。对象物信息例如包括对象物的本地坐标系中的各平面的顶点及中心的各个坐标信息。把持部信息包括把持部的形状、可动范围等信息。获取部30将所获取的对象物信息交接给预先处理部40，并将把持部信息交接给提取部50。
预先处理部40针对由获取部30所交接的对象物信息执行预先处理。更详细地讲，预先处理部40包括评价部41、简化部42、平滑部43、优化部44和对称性检测部45。
评价部41对构成对象物信息的平面的数量、对象物信息中的噪声的有无以及构成对象物信息的平面的尺寸的偏差进行评价。例如，存在把持信息生成装置10所输入的对象物信息是超过了把持信息的生成所需程度的详细信息的情况，如为使用了三维打印机等的对象物的制造目的所准备的信息的情况等。在这样的情况下，作为对象物信息的网格构造的信息也成为详细的信息，存在构成对象物信息的平面的数量庞大的情况。这样，为了评价构成对象物信息的平面的数量是否是把持信息的生成所需的数量以上，例如评价部41评价平面的数量相对于对象物的尺寸的比率是否在阈值以内。
此外，例如评价部41根据与对象物信息的生成方法相关的信息，判定对象物信息中的噪声的有无。更具体地讲，也可以是，评价部41在对象物信息是通过CAD(Computer-Aided Design：计算机辅助设计)等计算机图形所生成的信息的情况下，判定为对象物信息不包括噪声。此外，也可以是，评价部41在对象物信息是根据利用三维扫描仪等测量装置测量对象物而得的三维点群数据生成的信息的情况下，判定为对象物信息包括噪声。另外，即使是三维点群数据时，也存在噪声等级低至不需要后述的平滑处理的程度的情况。因此，评价部41例如也可以利用基于熵的方式或者基于高斯的方式等方法来评价对象物信息的噪声等级。评价部41根据评价结果，使简化部42、平滑部43及优化部44分别执行预先处理。
简化部42在通过评价部41被评价为构成对象物信息的平面的数量为必要数量以上的情况下，执行削减构成对象物信息的平面的数量的简化处理。具体地讲，简化部42在从对象物信息删除了边缘即平面的边的情况下，将删除前后的对象物的形状的变化达到阈值以内的边缘删除，由此削减平面的数量。图5表示通过简化处理被削减了平面数量的对象物信息的一例。
平滑部43在通过评价部41被评价为对象物信息包括噪声的情况下、或者被评价为噪声等级在预定的阈值以上的情况下，执行从对象物信息去除噪声的平滑处理。具体地讲，平滑部43采用噪声去除方式，将因噪声而生成的微小的平面与相邻的平面合并。图6表示通过平滑处理，对象物的外形形状的凹凸被平滑的例子。
优化部44执行优化处理，该优化处理使通过评价部41所评价的、构成对象物信息的多个平面各自的尺寸的偏差成为阈值以下。理论上优化后的网格构造通过固定的尺寸且固定的形状的平面的结合而构成。在对象物信息是这样优化后的网格构造的情况下，在后述的把持信息的生成中，能够生成涵盖通过把持部把持对象物这样的作业整体的被均等分散的把持信息。因此，优化部44以多个平面各自的尺寸的偏差达到阈值以下的方式，具体进行平面的合并或者分割。图7表示执行了优化处理的对象物信息的一例。
对称性检测部45对于构成对象物信息的多个平面，执行检测具有单个旋转轴的平面的集合(下面称作“对称面”)的对称性检测处理。根据与单个对称面相关联的所有的把持点(详情后述)生成的把持信息表示相同的把持姿势。因此，例如当在根据某一把持点生成的把持信息中对象物和把持部产生干涉的情况下、或接近角度困难的情况下等，能够选择相同对称面的其他把持点，容易避免干涉和接近角度的困难性。因此，对称性检测部45用于将后面的处理的简化作为目的来检测对称面。另外，所谓接近角度的困难性，是指用于实现该把持信息表示的把持姿势的机器人的姿势因机器人的物理上的限制、即机器人的关节的自由度的限制而困难。
预先处理部40将预先处理之后的对象物信息交接给提取部50。
提取部50根据预先处理部40的预先处理之后的对象物信息，将与对象物上的两个点相关的两个平面的对且满足基于对象物信息和把持部信息的条件的对进行聚类，并提取基于成为各集簇的代表的对的把持点。更详细地讲，提取部50包括分析部51、类似去除部52和学习部53。
分析部51将表示两个平面形成的角度、把持部的开度以及把持时的稳定性的指标处于预定范围内作为条件，提取满足条件的两个平面的对。下面，对各条件进行具体说明。下面，设第k个平面为“Fk”，设平面Fk的中心为“ck”。另外，k为k＝1、2、……、max，max为构成对象物信息的平面的数量。
首先，对与两个平面形成的角度相关的条件进行说明。分析部51根据下式(1)，求出由在ci通过的平面Fi的法线向量Ni →(在附图及数式中，关于在Ni上面加“→”、向量的表述，以后也一样)、和在cj通过的平面Fj的法线向量Nj →形成的角度θi，j。法线向量Ni →及Nj →分别将朝向平面的内侧的方向及朝向外侧的方向作为对象。
【数式1】
分析部51当θi，j在预定的范围内的情况下，判定为平面Fi和平面Fj的对满足与两个平面形成的角度相关的条件。例如，分析部51在如图8所示θi，j为178°～180°的情况下，判定为平面Fi和平面Fj的对满足与两个平面形成的角度相关的条件。另外，图8的左图表示可以进行内部把持的两个平面，右图表示可以进行外部把持的两个平面。如图9所示，在θi，j接近0°的情况下、小于178°的情况下，不可能由把持部进行把持，分析部51对于该平面Fi和平面Fj的对，判定为不满足与两个平面形成的角度相关的条件。另外，上述的178°这样的θi，j的角度是一例，该角度是依赖于把持部的物理特性的值。
下面，对与把持部的开度相关的条件进行说明。分析部51如图10及下式(2)所示，求出从平面Fi的中心ci朝向平面Fj的中心cj的向量Dij →。此外，分析部51求出从ci朝向平面Fj的向量，即与平面Fi的法线向量Ni →平行的向量Nij →。将向量Nij →与平面Fj的交点、即ci相对于平面Fj的垂直投影点设为ci *。分析部51计算式(3)所示的Nij →的尺寸，作为点ci与ci *的距离Ndistance。下面，将平面Fi与平面Fj的Ndistance表述为“Ni，j”。另外，在如图8的右图或者图10所示那样的进行外部把持的情况下，Ni，j<0，在如图8的左图所示那样的内部把持的情况下，Ni，j>0。
【数式2】
分析部51当Ni，j的尺寸在把持部的开度的范围内的情况下，对于平面Fi和平面Fj的对，判定为满足与把持部的开度相关的条件。另外，所谓把持部的开度在本实施方式中是指作为机械手的两根手指的张开幅度。当把持部的开度的最大值Grippermax例如是50mm的情况下，分析部51将下式(4)设为与把持部的开度相关的条件。
1<|Ni，j|<Grippermax＝50mm (4)
另外，在上式(4)中，作为一例，设为Grippermax＝50mm，但Grippermax的值是依赖于把持部的物理特性的值。
下面，对与把持时的稳定性相关的条件进行说明。分析部51如图10及下式(5)所示，计算cj与ci *的距离Hdistance作为表示把持时的稳定性的指标。当Hdistance越大时，在用两根手指的机械手把持对象物的情况下，动量产生的程度越大。因此，能够利用Hdistance表示把持时的稳定性。
【数式3】
例如，在将由两个平面形成的角截止到180°的范围设为能够稳定把持的范围的情况下，确定与该角度相应的Hdistance的阈值Hmax。在阈值Hmax例如为3mm的情况下，分析部51将下式(6)设为与把持时的稳定性相关的条件。另外，下面将平面Fi与平面Fj的Hdistance表述为“Hi，j”。
0≤Hi，j<Hmax＝3mm (6)
另外，在上式(6)中，作为一例，设为Hmax＝3mm，但Hmax的值是依赖于把持部的物理特性的值。
此外，分析部51即使是在不满足上式(6)的条件的情况下，当点ci *被包括在平面Fj中的情况下，也可以判定为满足把持时的稳定性的条件。分析部51关于点ci *是否被包括在平面Fj中，例如也可以如图11所示，根据由连接ci *和Fj的各个顶点所得的线段形成的三个三角形的面积之和(S1+S2+S3)是否与Fj的面积相等进行判定。
分析部51如图12及图13所示，对于两个平面的所有的对计算上述的θi，j、Ni，j及Hi，j，并提取满足所有条件的对ij。通过提取满足上述各条件的两个平面的对，如图14所示，能够提取从两个平面的所有的对的数量削减后的数量的对。另外，在图14中，实线箭头表示被提取的对，虚线箭头表示未被提取的对、即被删除的对。在后述的图15中也一样。分析部51将所提取的对交接给类似去除部52。
类似去除部52将从分析部51所交接的对中、类似的对彼此中的一方去除。具体地讲，也可以是，类似去除部52将与平面Fi相关的对ij中、对每个唯一的Ndistance保留Hdistance为最小的对，将剩余的对去除。例如，关于对1，2及对1，4，设为N1，2＝N1，4、而且H1，2>H1，4。在这种情况下，如图15所示，类似去除部52将对1，4保留，将对1，2去除。同样地，关于对1，7及对1，max，设为N1，7＝N1，max、而且H1，7>H1，max。在这种情况下，如图15所示，类似去除部52将对1，max保留，将对1，7去除。类似去除部52对各个平面Fi进行该处理。类似去除部52将未去除而保留下来的对交接给学习部53。
学习部53对从类似去除部52所交接的对进行聚类。具体地讲，学习部53生成表示对ij的特征向量Vij＝(xi，yi，zi，xj，yj，zj，Ni，j)。(xi，yi，zi)表示ci的坐标，(xj，yj，zj)表示cj的坐标。学习部53根据特征向量空间上的各特征向量Vij的位置，使用均值偏移(MeanShift)法等方法对对ij进行聚类。学习部53从各集簇选择成为代表点的特征向量。例如，学习部53也可以求出各集簇的中心，选择最接近中心的特征向量作为代表点。学习部53根据与所选择的特征向量Vij对应的对ij提取把持点。例如，如图16所示，在与所选择的特征向量Vij对应的对ij的ci *存在于平面Fj上的情况下，学习部53提取对(ci，ci *)作为把持点。另一方面，在与所选择的特征向量Vik对应的对ik的ci *不存在于平面Fk上的情况下，学习部53提取对(ci，ck)作为把持点。
图17概略地表示特征向量Vij的聚类的情形。另外，在图17中，为了简化说明，以二维方式表示特征向量空间。在图17中，各圆圈表示各特征向量Vij，虚线的椭圆表示各集簇，×表示集簇的中心。此外，圆圈中带影线的圆圈表示从各集簇被选择为代表点的特征向量Vij。提取部50将通过学习部53所提取的把持点交接给生成部60。
生成部60根据从提取部50所交接的把持点生成把持信息。更详细地讲，生成部60包括阵列生成部61、干涉去除部62和排序部63。
阵列生成部61生成在由把持部在把持点把持对象物的状态下，以通过作为把持点的两个点的直线为轴、使把持部相对于对象物每次相对旋转预定角度的状态的阵列(排列)。阵列包括阵列所表示的各状态下的对象物及把持部的位置及姿势的信息。图18表示阵列的一例。如图18所示，当将在作为把持点的两个点通过的直线设为y轴的情况下，x轴及z轴也被假定作为旋转轴。但是，根据对称性检测部45的检测结果，这些轴在阵列之间成为相同的把持姿势并且会生成重复的把持信息，所以在本实施方式中将y轴作为旋转轴。阵列生成部61将所生成的阵列交接给干涉去除部62。
干涉去除部62将从阵列生成部61所交接的阵列表示的各状态中的对象物和把持部产生干涉的状态从阵列中去除。具体地讲，干涉去除部62如图19所示，在阵列的各状态中，将对象物信息表示的对象物的形状和把持部信息表示的把持部的形状中存在重复区域的状态去除。在图19中，示出了虚线表示的状态被从阵列中去除的例子。干涉去除部62对于去除了对象物和把持部产生干涉的状态的阵列的各状态，根据对象物及把持部的位置及姿势的信息生成把持信息，并交接给排序部63。
排序部63对各个把持信息赋予表示把持状态的稳定性的指标。具体地讲，排序部63根据对象物信息表示的对象物的形状、把持部信息表示的把持部的形状以及把持信息，计算把持状态下的对象物与把持部的接触面积。然后，排序部63赋予表示接触面积越大时稳定性越高的指标。因此，越是被赋予了表示稳定性高的指标的把持信息，表示排序越高。例如，在图20的(A)～(F)的例子中，排序按照(A)～(F)的顺序升高。此外，在图20的(G)及(H)的例子中，(G)的排序比(H)高。通过被赋予该指标，在使用把持信息计算机器人姿势时，能够从多个把持信息的候选中选择有效率且稳定性较高的把持信息，如选择排序较高的把持姿势等。另外，表示把持状态的稳定性的指标不限于上述的接触面积的例子。例如，也可以替代接触面积或者与接触面积一起，使用对象物的重心以及把持状态下的对象物和把持部的接触区域的重心的距离。
生成部60输出被赋予了指标的把持信息，并存储在把持信息DB(database：数据库)70中。
下面，对本实施方式所涉及的把持信息生成装置10的作用进行说明。图21是表示通过把持信息生成装置10的CPU12所执行的把持信息生成处理的流程的流程图。把持信息生成处理是本公开所涉及的把持信息生成方法的一例。CPU12从存储装置16读出把持信息生成程序，并扩展到存储器14中进行执行，由此CPU12作为把持信息生成装置10的各功能结构发挥功能，执行图21所示的把持信息生成处理。
在步骤S10中，获取部30获取对象物信息及把持部信息，将所获取的对象物信息交接给预先处理部40，将把持部信息交接给提取部50。
然后，在步骤S12中，预先处理部40的评价部41评价对象物信息，根据评价结果使简化部42、平滑部43及优化部44执行预先处理。此外，对称性检测部45执行对称性检测处理。预先处理部40将预先处理之后的对象物信息交接给提取部50。
然后，在步骤S14中，提取部50的分析部51对于构成预先处理之后的对象物信息的平面的所有组合，计算θi，j、Ni，j及Hi，j。
然后，在步骤S16中，分析部51提取满足如下条件的两个平面的对ij：与使用了θi，j的两个平面形成的角度相关的条件、与使用了Ni，j的把持部的开度相关的条件、与使用了Hi，j的把持时的判定性相关的条件。接着，在步骤S18中，提取部50的类似去除部52在与平面Fi相关的对ij中，对每个唯一的Ndistance保留Hdistance为最小的对，将剩余的对去除，由此将类似的对去除。
接着，在步骤S20中，提取部50的学习部53生成表示在上述步骤S18的处理中所保留的对ij的特征向量Vij＝(xi，yi，zi，xj，yj，zj，Ni，j)。学习部53根据特征向量空间上的Vij的位置，对对ij进行聚类。此外，学习部53求出各集簇的中心，选择与中心最近的特征向量Vij作为代表点，根据与所选择的特征向量Vij对应的对ij提取把持点。
接着，在步骤S22中，生成部60的阵列生成部61根据把持点生成阵列。此外，生成部60的干涉去除部62在阵列所包括的各状态中，将对象物和把持部产生干涉的状态从阵列中去除，对剩余的阵列的各状态，根据对象物及把持部的位置及姿势的信息生成把持信息。进而，生成部60的排序部63对各个把持信息赋予表示把持状态的稳定性的指标。此外，生成部60输出被赋予了指标的把持信息，并存储在把持信息DB70中，把持信息生成处理结束。
如以上说明的那样，本实施方式所涉及的把持信息生成装置获取表示通过把持部把持的对象物的三维形状的对象物信息、和与把持部的形状相关的把持部信息。此外，把持信息生成装置将对象物上的两个点的对、且满足基于所获取的对象物信息及把持部信息的条件的对进行聚类，提取成为各集簇的代表的对作为把持点。另外，把持信息生成装置根据所提取的把持点，生成表示在由把持部把持对象物的情况下的对象物与把持部的相对位置关系的把持信息。这样，通过利用对象物上的两个点的对的聚类、即非参数性的学习方法提取把持点，能够抑制计算时间并生成具有一贯性的把持信息。
例如，在非专利文献1所记载的技术中需要调整八个参数。另一方面，在本实施方式所涉及的把持信息生成装置中，需要调整的参数是三个：聚类时的平均偏移半径、规定与把持时的稳定性相关的条件的阈值Hmax、以及阵列生成时的旋转角度。另外，平均偏移半径是用于调整所生成的把持信息的数量的参数。
此外，本实施方式所涉及的把持信息生成装置在对两个平面的对进行聚类之前，按照基于对象物信息及把持部信息的条件进行对的筛选。进而，把持信息生成装置将类似的对删除。通过这些处理，能够抑制重复的把持信息和不实用的把持信息的生成，而且能够抑制计算时间。
此外，本实施方式所涉及的把持信息生成装置使用将多个多边形的平面结合而成的网格构造的对象物信息，对该对象物信息执行简化处理、平滑处理、优化处理、对称性检测处理等预先处理。由此，能够进一步削减把持信息的生成所需的时间。例如，在对象物信息所包括的平面的数量约为9000个平面的情况下，本实施方式所涉及的把持信息生成装置与非专利文献1所记载的技术相比，能够以10倍的速度生成把持信息。
通过利用本实施方式所涉及的把持信息生成装置自动生成把持信息，能够缩短拾取及投放、拾取及放置、拾取及组装等机器人的路径计划中的事前设定所需的时间。
公开的技术能够应用作为提供CAD文件的自动把持信息登记的在线服务、对已有的把持信息登记软件的追加功能、对三维模拟基础的把持计划系统的追加功能等。
机器人的把持计划的技术对于广范围的机器人应用是很重要的技术，如在物流中利用的机器人、在医院、办公楼、餐馆等服务中利用的机器人、批量挑选、组装机器人等工业机器人等。如本实施方式这样能够抑制计算时间并且生成具有一贯性的把持信息的技术，对于上述各种各样的对象物所对应的应用极其有用。
另外，在上述实施方式中，以两根手指的机械手为例进行了说明，但公开的技术也能够应用于具有三根以上手指的机械手。在这种情况下，只要将在多个手指各自与对象物的接触点中发挥作用的力的中心点，视为上述实施方式的一根手指接触对象物的点即可。例如，如图21所示，在两根手指和一根手指平行地对置的结构的三根手指机械手的情况下，将一侧的两根手指各自的力作用于对象物的作用点设为ci1及ci2，将在各个作用点发挥作用的力设为Pci1及Pci2。在这种情况下，只要设为Pci rep的力作用于Pci1与Pci2的比率所对应的作用点的中心ci rep即可。另外，关于另一侧的一根手指，当在一根手指的力作用于对象物的作用点cj发挥作用的力是Pcj的情况下，只要将cj直接设为作用点的中心cj rep，使Pcj rep(＝Pcj)的力作用于cj rep即可。
此外，本实施方式所涉及的把持信息生成装置无论是如图1所示那样的外部把持的把持信息的生成、还是如图2所示那样的内部把持的把持信息的生成，都能够应用。
此外，在上述实施方式中，由CPU读取并执行软件(程序)的把持信息生成处理，也可以由CPU以外的各种处理器来执行。作为这种情况时的处理器，可示例具有为执行特定的处理而专门设计的电路结构的处理器即专用电气电路等，如在FPGA(Field ProgrammableGate Array：可现场编程门阵列)等的制造之后能够变更电路结构的PLD(ProgrammableLogic Device：可编程逻辑器件)、以及ASIC(Application Specific IntegratedCircuit：专用集成电路)等。此外，把持信息生成处理也可以由这些各种处理器中的一个处理器来执行，还可以由同种或者不同种类的两个以上的处理器的组合(例如多个FPGA、以及CPU与FPGA的组合等)来执行。此外，这些各种处理器的硬件构造更具体地讲是组合了半导体元件等电路元件的电气电路。
此外，在上述实施方式中说明了把持信息生成程序被预先存储(安装)在存储装置中的形式，但不限于此。程序也可以以被存储在CD-ROM、DVD-ROM、蓝光光盘、USB存储器等存储介质中的形式来提供。此外，程序还可以设为经由网络从外部装置下载的形式。
附图标记说明
10把持信息生成装置；12CPU；14存储器；16存储装置；18输入装置；20输出装置；22存储介质读取装置；24通信I/F；26总线；30获取部；40预先处理部；41评价部；42简化部；43平滑部；44优化部；45对称性检测部；50提取部；51分析部；52类似去除部；53学习部；60生成部；61阵列生成部；62干涉去除部；63排序部；70把持信息DB。

Claims (12)

1.一种把持信息生成装置，包括：
获取部，获取表示由把持部把持的对象物的三维形状的对象物信息和与所述把持部的形状相关的把持部信息；
提取部，将所述对象物上的两个点的对且满足基于通过所述获取部所获取的所述对象物信息和所述把持部信息的条件的对进行聚类，并提取成为各集簇的代表的对作为把持点；以及
生成部，根据通过所述提取部所提取的把持点，生成表示在由所述把持部把持所述对象物的情况下所述对象物与所述把持部的相对位置关系的把持信息。
2.根据权利要求1所述的把持信息生成装置，其中，
所述对象物信息是将多个多边形的平面结合而成的网格构造的信息。
3.根据权利要求2所述的把持信息生成装置，其中，
所述提取部将表示所述两个点各自所属的所述平面之间形成的角度、所述把持部的开度以及由所述把持部把持所述对象物时的稳定性中各者的指标各自处于分别设定的值的范围内作为所述条件，提取所述把持点。
4.根据权利要求2或3所述的把持信息生成装置，其中，
所述把持信息生成装置包括预先处理部，所述预先处理部针对通过所述获取部所获取的所述对象物信息，执行削减所述平面的数量的简化处理、去除噪声的平滑处理、使所述平面的尺寸的偏差成为阈值以下的优化处理以及检测具有单个旋转轴的平面的集合的对称性检测处理中的至少一个预先处理，
所述提取部根据通过所述预先处理部进行预先处理之后的所述对象物信息提取所述把持点。
5.根据权利要求4所述的把持信息生成装置，其中，
所述预先处理部对通过所述获取部所获取的所述对象物信息中的所述平面的数量、噪声的有无以及所述平面的尺寸的偏差进行评价，并根据评价结果执行所述预先处理。
6.根据权利要求1至5中任一项所述的把持信息生成装置，其中，
所述提取部在将所述对中类似的对中的一方去除之后，进行所述聚类。
7.根据权利要求1至6中任一项所述的把持信息生成装置，其中，
所述提取部提取最接近所述集簇的中心的对作为成为所述集簇的代表的对。
8.根据权利要求1至7中任一项所述的把持信息生成装置，其中，
所述生成部根据在由所述把持部在所述把持点把持所述对象物的状态下使所述把持部以通过所述把持点的直线为轴相对于所述对象物每次相对旋转预定角度的各状态下的所述对象物和所述把持部的位置及姿势，生成所述把持信息。
9.根据权利要求1至8中任一项所述的把持信息生成装置，其中，
所述生成部将所述对象物和所述把持部产生干涉的所述把持信息去除。
10.根据权利要求1至9中任一项所述的把持信息生成装置，其中，
所述生成部对各个所述把持信息赋予表示把持状态的稳定性的指标。
11.一种把持信息生成方法，包括：
获取部获取表示由把持部把持的对象物的三维形状的对象物信息和与所述把持部的形状相关的把持部信息，
提取部将所述对象物上的两个点的对且满足基于通过所述获取部所获取的所述对象物信息和所述把持部信息的条件的对进行聚类，并提取成为各集簇的代表的对作为把持点，
生成部根据通过所述提取部所提取的把持点，生成表示在由所述把持部把持所述对象物的情况下所述对象物与所述把持部的相对位置关系的把持信息。
12.一种把持信息生成程序，用于使计算机作为获取部、提取部以及生成部发挥功能，
所述获取部获取表示由把持部把持的对象物的三维形状的对象物信息和与所述把持部的形状相关的把持部信息，
所述提取部将所述对象物上的两个点的对且满足基于通过所述获取部所获取的所述对象物信息和所述把持部信息的条件的对进行聚类，并提取成为各集簇的代表的对作为把持点，
所述生成部根据通过所述提取部所提取的把持点，生成表示在由所述把持部把持所述对象物的情况下所述对象物与所述把持部的相对位置关系的把持信息。
CN202280040169.2A 2021-06-11 2022-03-28 把持信息生成装置、方法及程序 Pending CN117500643A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-098120 2021-06-11
JP2021098120A JP2022189506A (ja) 2021-06-11 2021-06-11 把持情報生成装置、方法、及びプログラム
PCT/JP2022/015153 WO2022259723A1 (ja) 2021-06-11 2022-03-28 把持情報生成装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN117500643A true CN117500643A (zh) 2024-02-02

Family

ID=84425150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040169.2A Pending CN117500643A (zh) 2021-06-11 2022-03-28 把持信息生成装置、方法及程序

Country Status (5)

Country Link
US (1) US20240278419A1 (zh)
EP (1) EP4353425A1 (zh)
JP (1) JP2022189506A (zh)
CN (1) CN117500643A (zh)
WO (1) WO2022259723A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595403B (zh) * 2023-07-17 2023-09-15 天津膜术工场环保科技有限公司 一种排风管道气体状态实时监测管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013111696A (ja) * 2011-11-29 2013-06-10 Seiko Epson Corp 把持ロボット、制御装置、制御方法、及びプログラム
JP2016093879A (ja) * 2014-11-17 2016-05-26 富士通株式会社 把持計画決定プログラム、把持計画決定方法および設計支援装置
JP7392409B2 (ja) * 2019-11-15 2023-12-06 オムロン株式会社 設定装置、設定方法およびプログラム

Also Published As

Publication number Publication date
EP4353425A1 (en) 2024-04-17
US20240278419A1 (en) 2024-08-22
WO2022259723A1 (ja) 2022-12-15
JP2022189506A (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
JP6036662B2 (ja) ロボットシミュレーション装置、プログラム、記録媒体及び方法
Liu et al. Grasping posture of humanoid manipulator based on target shape analysis and force closure
US10140395B2 (en) Detecting collisions in a simulated machining of a workpiece represented by dexels
JP6282798B2 (ja) 工作物の機械加工のシミュレーション
JP6294072B2 (ja) 剛体運動によって変換される幾何学要素
EP3031585A2 (en) Collision avoidance method, control device, and program
CN110480624B (zh) 多关节机器人的干扰判定装置、干扰判定方法、记录介质
CN117500643A (zh) 把持信息生成装置、方法及程序
CN114925462B (zh) 一种基于切削力与刚度关联演变的薄壁件加工变形预测方法
Popov et al. Real-time estimation of multiple potential contact locations and forces
CN105144007B (zh) 在加工仿真期间执行撤销操作和重做操作的系统和方法
JP2008507056A (ja) いくつかのデジタルシミュレーション化幾何学的オブジェクト間で近接領域を同定する方法およびシステム
US11775699B2 (en) Extracting grasping cues from tool geometry for digital human models
WO2021075379A1 (ja) 回避軌道生成装置、方法、及びプログラム
JP5404109B2 (ja) 情報処理装置及び情報処理方法
CN114511745B (zh) 三维点云分类及旋转姿态预测方法及系统
Morales et al. Experimental prediction of the performance of grasp tasks from visual features
JP4981313B2 (ja) ３次元形状処理装置及び曲面作成プログラム並びに曲面作成方法
Fekula et al. Determining stable equilibria of spatial objects and validating the results with drop simulation
JP7029056B2 (ja) 分割領域生成プログラム、分割領域生成装置、および分割領域生成方法
Gautam et al. Feature curve extraction from data points
CN114378860B (zh) 软体机器人操纵器的生成式设计技术
CN117576289A (zh) 一种新型连续碰撞检测方法
Renner et al. Techniques for the calculation of medial surfaces of solids
Hu et al. ONE PIECE: One Patchwork In Effectively Combined Extraction for grasp

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination