CN114845844B - 信息处理装置、工件识别装置及工件取出装置 - Google Patents

Abstract

信息处理装置即计算机(4)具有：候选检测部(13)，其基于抓持机构所涉及的抓持对象即工件的测量数据，对在抓持时抓持机构所采取的位置及姿态即抓持位置姿态的候选进行检测；评价值计算部(14)，其计算对采取作为候选的抓持位置姿态而由抓持机构抓持工件的情况下的抓持的稳定性进行评价而得到的结果即评价值；位置姿态决定部(15)，其基于评价值而决定抓持机构所要采取的抓持位置姿态；以及抓持评价学习部(21)，其基于将针对每个工件的测量数据和针对每个工件的抓持位置姿态的信息彼此关联的数据集，对用于评价抓持的稳定性的抓持评价模型进行学习。评价值计算部(14)将作为候选的抓持位置姿态的信息和测量数据向抓持评价模型输入而对评价值进行计算。

Description

信息处理装置、工件识别装置及工件取出装置

技术领域

本发明涉及决定抓持机构所要采取的位置及姿态的信息处理装置、工件识别装置及工件取出装置。

背景技术

已知一种工件取出装置，该工件取出装置从散乱堆积的多个工件将工件一个一个地取出。散乱堆积是指以位置及姿态随机的状态将物体堆积。在专利文献1公开了一种工件取出装置，该工件取出装置具有对工件进行抓持的抓持机构即手部，基于通过对散乱堆积的工件进行3维测量而取得的3维测量数据而决定抓持位置姿态。抓持位置姿态设为在对工件进行抓持时手部所采取的位置及姿态。专利文献1所涉及的工件取出装置是将手部模型拟合为3维测量数据，由此对抓持成功的可能性进行评价。专利文献1所涉及的工件取出装置基于抓持成功的可能性的评价结果即得分而决定抓持位置姿态。

专利文献1：日本专利第5558585号公报

发明内容

在工件的形状的个体差异大的情况下，能够稳定地抓持工件的抓持位置姿态针对每个工件而不同，因此难以对抓持成功的可能性进行评价。例如即使以对工件的重心附近的部分进行抓持的方式决定出抓持位置姿态，但根据工件的不同，有时即使对除了重心附近以外的部分进行抓持也能够实现稳定的抓持。根据在专利文献1中公开的现有技术，工件取出装置关于工件的形状的波动小的工件例如关于工业部件，能够准确地评价是否能够实现稳定的抓持，另一方面，在工件的形状存在波动的情况下难以实现准确的评价。因此，根据现有技术，存在下述问题，即，工件取出装置关于形状存在波动的工件，难以决定能够将工件稳定地抓持的抓持机构的位置及姿态。

本发明就是鉴于上述情况而提出的，其目的在于得到能够决定能够将形状存在波动的工件分别稳定地抓持的抓持机构的位置及姿态的信息处理装置。

为了解决上述的课题，并达到目的，本发明所涉及的信息处理装置具有：候选检测部，其基于抓持机构所涉及的抓持对象即工件的测量数据，对在抓持时抓持机构所采取的位置及姿态即抓持位置姿态的候选进行检测；评价值计算部，其计算对采取作为候选的抓持位置姿态而由抓持机构抓持工件的情况下的抓持的稳定性进行评价而得到的结果即评价值；位置姿态决定部，其基于评价值而决定抓持机构所要采取的抓持位置姿态；以及抓持评价学习部，其基于将针对每个工件的测量数据和针对每个工件的抓持位置姿态的信息彼此关联的数据集，对用于评价抓持的稳定性的抓持评价模型进行学习。评价值计算部通过将作为候选的抓持位置姿态的信息和测量数据向抓持评价模型输入而对评价值进行计算。

发明的效果

本发明所涉及的信息处理装置具有下述效果，即，能够决定能够将形状存在波动的工件分别稳定地抓持的抓持机构的位置及姿态。

附图说明

图1是表示本发明的实施方式1所涉及的工件取出装置的结构的图。

图2是实施方式1所涉及的工件取出装置的框图。

图3是表示实施方式1所涉及的工件取出装置的动作顺序的流程图。

图4是用于对通过实施方式1所涉及的工件取出装置实施的抓持位置姿态的识别进行说明的第1图。

图5是用于对通过实施方式1所涉及的工件取出装置实施的抓持位置姿态的识别进行说明的第2图。

图6是表示实施方式1所涉及的工件取出装置所具有的数据集取得部的结构例的图。

具体实施方式

下面，基于附图对本发明的实施方式所涉及的信息处理装置、工件识别装置及工件取出装置详细地进行说明。此外，本发明并不限定于本实施方式。

实施方式1

图1是表示本发明的实施方式1所涉及的工件取出装置的结构的图。实施方式1所涉及的工件取出装置1将在箱8中散乱堆积的多个工件7一个一个地取出。各工件7是手部6的抓持对象。在实施方式1中，工件7是形状存在个体差异的产品或者生产物。工件7的例子是能够以片(piece)为单位进行分拣的食品。在实施方式1中，用户是指负责包含工件取出装置1在内的系统的构建或者运转的运营商、或者使用工件取出装置1的生产技术者。

工件取出装置1具有工业用机器人即机器人2、对机器人2进行控制的控制器3、信息处理装置即计算机4和3维视觉传感器即传感器5。机器人2、控制器3、计算机4和传感器5彼此能够通信地连接。

机器人2具有抓持机构即手部6。手部6安装于机器人2的臂前端。机器人2在机器人2的可动区域内使手部6移动，并且使手部6的姿态变化。控制器3对机器人2的臂和手部6进行控制。

在实施方式1中，手部6具有通过能够开闭的2个或者多个爪对工件7进行夹持的机构。手部6也可以具有通过产生吸引力而对工件7进行吸附的机构。在工件7形成有孔的情况下，手部6可以具有下述机构，即，将2个或者多个爪插入至孔，将爪打开而对工件7进行保持。

计算机4和传感器5构成对工件7的位置和工件7的姿态进行识别的工件识别装置。工件识别装置还对由手部6抓持工件7时手部6所采取的位置及姿态进行识别。传感器5对包含工件7的场景进行观测，由此取得工件7的3维测量数据。传感器5生成包含工件7的3维测量数据在内的场景信息。传感器5将生成的场景信息向计算机4输出。

在实施方式1中，传感器5是双镜头或者大于或等于三镜头的立体照相机。传感器5可以是具有如激光器或者投影器这样的投光部的主动方式的立体照相机、使用飞行时间方式的设备、使用因子分解法、Structure from Motion或者Structure and Motion的方法的设备、运动立体照相机、使用视觉体积交叉法的设备等。传感器5只要是能够取得任意区域的3维数据的设备即可。

计算机4是进行运算处理的信息处理装置，该运算处理用于基于3维测量数据对抓持位置姿态进行识别。由计算机4识别的抓持位置姿态是手部6抓持工件7时手部6所采取的实际的抓持位置姿态。在实施方式1中，计算机4是个人计算机等计算机。在计算机4安装用于对抓持位置姿态进行识别的程序。

图2是实施方式1所涉及的工件取出装置的框图。在图2中示出了计算机4所具有的功能结构和用于实现计算机4的功能结构的硬件结构。

计算机4具有：处理器10，其是执行各种处理的处理部；存储器11，其是对信息进行存储的存储部；以及接口(InterFace：I/F)12，其负责与计算机4的外部装置之间的信息的收发。

处理器10是CPU(Central Processing Unit)。处理器10可以是处理装置、运算装置、微处理器、微型计算机或DSP(Digital Signal Processor)。存储器11包含RAM(RandomAccess Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable ReadOnly Memory)或者EEPROM(注册商标)(Electrically Erasable Programmable Read OnlyMemory)、HDD(Hard Disk Drive)或者SSD(Solid State Drive)。用于对抓持位置姿态进行识别的程序储存于存储器11。处理器10执行在存储器11储存的程序。

在图2中示出了通过使用处理器10而实现的功能结构。计算机4具有通过使用处理器10而实现的功能部即候选检测部13、评价值计算部14、位置姿态决定部15、数据集取得部16、实绩取得部17及学习部18。

候选检测部13、评价值计算部14、位置姿态决定部15、数据集取得部16、实绩取得部17及学习部18的各功能是通过处理器10及软件的组合而实现的。各功能也可以通过处理器10及固件的组合而实现，也可以通过处理器10、软件及固件的组合而实现。软件或者固件作为程序被记述，储存于存储器11。处理器10读出软件或者固件。处理器10执行软件或者固件。

用于对抓持位置姿态进行识别的程序可以记录于计算机可读取的存储介质。计算机4可以将在存储介质记录的程序向存储器11储存。存储介质可以是软盘即移动型存储介质或者半导体存储器即闪存。用于对抓持位置姿态进行识别的程序可以从其他计算机或者服务器装置经由通信网络向计算机4安装。

I/F 12对由传感器5输出的场景信息进行接收。候选检测部13基于从I/F 12输入的场景信息对抓持位置姿态的候选进行检测。候选检测部13将检测出的候选即抓持位置姿态的信息向评价值计算部14输出。

评价值计算部14对评价值进行计算，该评价值是对由手部6采取作为候选的抓持位置姿态而抓持工件7的情况下的抓持的稳定性进行评价而得到的结果。抓持的稳定性设为是工件7的抓持成功、且直至手部6解除抓持为止能够维持手部6对工件7的保持的程度。抓持的稳定性低的情况包含在对工件7进行抓持时抓持失败的可能性高的情况、被抓持的工件7从手部6脱落的可能性高的情况、和由于手部6向工件7周围的物体的干涉而抓持失败的情况。作为手部6可能发生干涉的物体，具有在试图抓持的工件7的周围存在的工件7或者箱8等。

评价值计算部14通过将作为候选的抓持位置姿态的信息和场景信息向抓持评价模型输入而对评价值进行计算。抓持评价模型是用于对由手部6抓持工件7的情况下的抓持状态进行评价的评价模型。评价值计算部14基于抓持评价模型对根据工件7的测量数据和抓持位置姿态而推测的抓持状态进行评价。评价值计算部14将计算出的评价值向位置姿态决定部15输出。

位置姿态决定部15基于评价值而决定通过控制器3对手部6的控制使手部6所要采取的抓持位置姿态。位置姿态决定部15将决定的抓持位置姿态的信息向I/F 12输出。I/F12将抓持位置姿态的信息向控制器3发送。控制器3基于抓持位置姿态的信息，对通过机器人2实施的抓持动作进行控制。控制器3将与由手部6抓持工件7的实绩有关的实绩数据向I/F 12输出。实绩数据包含表示由手部6进行的抓持的成功与否的信息、抓持位置姿态的信息和计算出的评价值。

存储器11对抓持评价模型和可靠性评价模型进行存储。抓持评价模型包含干涉模型、保持模型及权重信息。干涉模型是用于对在被抓持的工件7的周围存在的物体和手部6之间的干涉的发生状态进行评价的评价模型。保持模型是用于在工件7被抓持的情况下对在手部6保持工件7的状态进行评价的评价模型。

权重信息是表示与干涉的发生状态有关的评价和与在手部6保持工件7的状态有关的评价之间的权重的参数。评价值计算部14将通过干涉模型得到的评价结果和通过保持模型得到的评价结果按照权重信息进行加权而对评价值进行计算。可靠性评价模型是用于对决定的抓持位置姿态的可靠性进行评价的评价模型。

学习部18是对各种评价模型进行学习的机器学习装置。学习部18具有对抓持评价模型进行学习的抓持评价学习部21、对抓持评价模型进行更新的模型更新部22和对可靠性评价模型进行学习的可靠性学习部23。

数据集取得部16取得将针对每个工件7的测量数据和针对每个工件7的抓持位置姿态的信息彼此关联得到的数据集。数据集取得部16将取得的数据集向抓持评价学习部21输出。抓持评价学习部21基于从数据集取得部16输入的数据集对抓持评价模型进行学习。数据集取得部16从由I/F 12接收的场景信息取得工件7的测量数据。

实绩取得部17取得由I/F 12接收到的实绩数据。实绩取得部17将取得的实绩数据向模型更新部22和可靠性学习部23输出。可靠性学习部23对可靠性评价模型进行学习，该可靠性评价模型用于基于实绩数据对在位置姿态决定部15中决定的抓持位置姿态的可靠性进行评价。

计算机4可以具有接受用户的输入操作的输入装置。输入装置是如键盘、鼠标或者触摸面板这样的用于输入信息的装置。计算机4可以具有通过画面对信息进行显示的显示装置。省略输入装置和显示装置的图示。

接下来，对通过工件取出装置1实施的动作的详细内容进行说明。图3是表示实施方式1所涉及的工件取出装置的动作顺序的流程图。在图3示出了从开始工件取出装置1的运转前的开启调整至通过工件取出装置1的运转进行工件7的抓持为止的顺序。步骤S1至步骤S3的顺序是开启调整的顺序。步骤S4至步骤S9是直至通过工件取出装置1的运转而进行工件7的抓持为止的顺序。

在步骤S1中，数据集取得部16取得数据集。用户将用于模型学习的工件登记指示给计算机4。工件登记是指对与成为抓持对象的工件7相关的信息进行登记。用户例如通过对输入装置进行操作而对工件登记进行指示。计算机4按照工件登记的指示向传感器5输出测量指令。传感器5按照测量指令而取得场景信息，将场景信息向计算机4发送。数据集取得部16取得数据集的结构要素即场景信息。此外，传感器5可以对在箱8中散乱堆积的工件7和在测量用的工作台上单体放置的工件7中的任意者进行测量。

另外，用户将抓持位置姿态的信息和表示使手部6采取该抓持位置姿态的情况下的抓持的成功与否的信息向输入装置输入。数据集取得部16将向输入装置输入的信息与工件7的测量数据相关联而登记，由此创建数据集。如上所述，数据集取得部16取得数据集。

此外，也可以在数据集取得部16通过手动输入以外而登记抓持位置姿态的信息。数据集取得部16可以导入通过执行已有的识别算法而得到的抓持位置姿态的信息。表示抓持的成功与否的信息通过赋予正确标签而被登记。另外，计算机4可以通过使用仿真而取得数据集。关于通过使用仿真而取得数据集在后面记述。

如果取得数据集，则在步骤S2中，抓持评价学习部21基于在步骤S1中取得的数据集对抓持评价模型进行学习。抓持评价学习部21例如按照神经网络，通过所谓的有教师学习对抓持评价模型进行学习。在这里，有教师学习是通过将某输入、结果即标签的数据的组大量地赋予给机器学习装置，从而对数据集所存在的特征进行学习，根据输入对结果进行推定的学习。如果抓持评价模型的学习完成，则在步骤S3中，存储器11对抓持评价模型进行存储。

在工件7的抓持状态的评价中，干涉的发生状态和工件7被保持的状态成为重要的观点。抓持评价学习部21将抓持评价模型分为干涉模型和保持模型，由此能够分别针对干涉的发生状态和工件7被保持的状态筛选评价对象而进行学习。由此，计算机4能够使学习模型的收敛性提高。

设定通过干涉模型得到的评价结果和通过保持模型得到的评价结果的权重，由此计算机4能够分别对与干涉的发生状态有关的评价和与工件7被保持的状态有关的评价的重视程度进行调整。由此，计算机4能够与在抓持时避免干涉会有助于抓持的成功率提高的情况、和将手部6向工件7的接触状态变得良好会有助于抓持的成功率提高的情况这两者相对应地决定抓持位置姿态。另外，计算机4对权重信息进行学习，由此能够得到权重信息而不依靠用户的设定，该权重信息使得与避免干涉有关的权重和使手部6的接触状态变得良好有关的权重成为最佳的比率。

计算机4将数据集分为培训数据和测试数据，可以基于测试数据中的抓持位置姿态的检测精度而将抓持评价模型的学习结果提示给用户。计算机4例如通过显示装置中的显示而提示学习结果。由此，用户能够对使用了抓持评价模型的评价的精度进行确认，能够及早地判断通过使用抓持评价模型而开始工件取出装置1的运转后是否良好。

计算机4可以使用学习中的抓持评价模型而进行与抓持位置姿态有关的评价，由此将数据集所包含的正确标签标错的数据的列表提示给用户。用户按照提示，进行数据集所包含的数据的修正或者删除。由此，计算机4能够抑制数据集所包含的正确标签的标错所导致的学习精度的降低。

在开启调整的接下来用于工件取出装置1的开启的调整工序中，用户在控制器3安装机器人程序。控制器3执行机器人程序。控制器3按照机器人程序的记述，将用于对抓持位置姿态进行识别的识别指令向传感器5发送。传感器5取得场景信息，向计算机4发送场景信息。

在步骤S4中，计算机4取得从传感器5发送出的场景信息。在步骤S5中，候选检测部13基于工件7的测量数据对抓持位置姿态的候选进行检测。候选检测部13从工件7的形状对包含能够由手部6进行抓持的特征的部分进行提取，由此对设为抓持位置的候选的位置进行检测。

作为能够抓持的特征，如果是通过爪对工件7进行夹持的手部6，则是与爪的形状吻合的边缘。如果是使工件7吸附的手部6，则是比一定的尺寸大的平面。如果是将爪打开而对工件7进行保持的手部6，则是供爪插入的孔。候选检测部13通过图像解析对特征进行识别。候选检测部13对检测出的位置处的用于抓持的抓持姿态进行检测。由此，候选检测部13对抓持位置姿态的候选进行检测。进行检测的候选的数量是任意的。候选检测部13将与检测出的候选有关的抓持位置姿态的信息向评价值计算部14输出。

在步骤S6中，评价值计算部14对与通过步骤S5检测出的各候选有关的评价值进行计算。评价值计算部14从存储器11读出与机器人程序所指定的工件7相对应的抓持评价模型。评价值计算部14通过将作为候选的抓持位置姿态的信息和场景信息向抓持评价模型输入而对评价值进行计算。评价值计算部14将计算出的评价值和作为候选的抓持位置姿态的信息向位置姿态决定部15输出。

在步骤S7中，位置姿态决定部15从作为候选的抓持位置姿态中决定手部6所要采取的抓持位置姿态。位置姿态决定部15在候选中决定评价值最高的抓持位置姿态。如上所述，位置姿态决定部15基于评价值而决定抓持位置姿态。在步骤S8中，I/F 12将通过步骤S7决定的抓持位置姿态的信息向控制器3发送。

计算机4可以由候选检测部13对通过图像解析而识别出的工件7的重心位置或者工件7所占的区域进行检测，通过将包含工件7在内的工件7附近的测量数据向评价值计算部14输入而由评价值计算部14对抓持位置姿态和评价值进行计算。在该情况下，抓持评价学习部21在对评价值进行学习的同时对抓持位置姿态进行学习。在通过神经网络而实现评价值和抓持位置姿态的学习的情况下，向神经网络的输入层输入以工件7的重心为中心的一定范围的测量数据，从神经网络的输出层将评价值和抓持位置姿态的信息进行输出。

或者，计算机4可以通过将由候选检测部13检测出的候选即抓持位置姿态的信息向评价值计算部14输入，从而由评价值计算部14对抓持位置姿态进行修正，将由评价值计算部14修正后的抓持位置姿态的信息进行输出。在通过神经网络而实现修正后的抓持位置姿态的学习的情况下，向神经网络的输入层输入以工件7的重心为中心的一定范围的测量数据和作为候选的抓持位置姿态的信息，从神经网络的输出层将修正后的抓持位置姿态的信息进行输出。

控制器3如果接收到抓持位置姿态的信息，则将使手部6采取由计算机4决定的抓持位置姿态的动作指令向机器人2发送。在步骤S9中，手部6按照向机器人2输入的动作指令，采取由计算机4决定的抓持位置姿态对工件7进行抓持。由此，工件取出装置1结束图3所示的顺序所涉及的动作。

在从计算机4向控制器3发送的抓持位置姿态的信息包含表示机器人坐标系中的抓持位置的3维坐标和爪的接近方向的数据。接近方向通过以3轴各自为中心的角度而表示。在抓持位置姿态的信息中，作为识别结果的可靠度可以包含通过步骤S6计算出的评价值。可靠度通过0至1为止的实数表示。设为可靠度的评价值可以是与抓持的稳定性有关的评价值、与干涉的发生状态有关的评价值和与工件7被保持的状态有关的评价值的任意者。

图4是用于对通过实施方式1所涉及的工件取出装置实施的抓持位置姿态的识别进行说明的第1图。图5是用于对通过实施方式1所涉及的工件取出装置实施的抓持位置姿态的识别进行说明的第2图。在图4示出了将3个工件7一起而对各工件7进行抓持时的手部模型25的例子。图4所示的手部模型25示意地表示通过2个爪对工件7进行夹持的手部6。如图4所示，各工件7的形状没有对齐且包含有复杂的凹凸。

在图5示出了作为与1个工件7有关的候选而检测出2个抓持位置姿态的情况下的例子。在表示2个抓持位置姿态之中的一个的手部模型25－1中，2个爪之中的一个碰到凸部，另一个碰到凹部。在表示2个抓持位置姿态之中的另一个的手部模型25－2中，2个爪两者碰到平坦的边缘。另外，在通过手部模型25－1表示的抓持位置姿态的情况下，能够对与工件7的重心接近的位置进行抓持，另一方面，在通过手部模型25－2表示的抓持位置姿态的情况下，对从工件7的重心偏离的位置进行抓持。

在图5所示的例子的情况下，与手部模型25－2的位置相比在手部模型25－1的位置能够稳定地抓持工件7。但是，在仅着眼于是否与爪的形状吻合的观点的情况下，通过手部模型25－2表示的抓持位置姿态与通过手部模型25－1表示的抓持位置姿态相比评价变高。如上所述，在基于预先决定的基准而进行评价的情况下，如手部模型25－1的抓持位置姿态那样，尽管能够对适于抓持的位置进行抓持，但有时评价降低。另外，在基于预先决定的基准而进行评价的情况下，如手部模型25－2的抓持位置姿态那样尽管对不适于抓持的位置进行抓持，但有时评价提高。在实施方式1中，计算机4使用通过学习得到的抓持评价模型，由此关于形状存在个体差异的工件7，分别能够准确地评价是否能够实现稳定的抓持。

在实施方式1中，在数据集包含工件7的测量数据、抓持位置姿态的信息和表示抓持的成功与否的信息。如工件7为直线状的形状的情况那样，在能够通过工件7的轴向而表现工件7的姿态的情况下，可以在数据集包含工件7的轴向的信息。通过基于包含轴向的信息在内的数据集的学习，计算机4能够对适于工件7的姿态的抓持位置姿态进行识别。

另外，在数据集可以包含表示手部6的状态的信息。在通过2个爪对工件7进行夹持的手部6的情况下，爪的打开宽度的信息可以包含于数据集。另外，爪的插入深度的信息可以包含于数据集。通过基于包含表示手部6的状态的信息在内的数据集的学习，计算机4能够对与工件7的状态相匹配的最佳的手部6的状态进行识别。根据工件7的形状、位置或者姿态，设想到以预先唯一地设定的打开宽度或者插入深度不会稳定抓持的情况。工件取出装置1按照工件7的形状、位置或者姿态，能够将打开宽度及进入深度动态地变更，由此能够进一步提高抓持的成功率。

在检测出抓持位置姿态的多个候选的情况下，计算机4可以将与各候选有关的抓持位置姿态的信息向控制器3发送。计算机4可以将抓持位置姿态的信息按照评价值的顺序进行排序，向控制器3发送。

在数据集可以包含将散乱堆积的多个工件7分别取出的次序的信息。抓持评价学习部21可以基于该数据集，对用于将散乱堆积的多个工件7分别取出的最佳的次序进行学习。计算机4能够对用于取出工件7的最佳的次序进行识别。在通过一次识别而多次进行工件7的取出的情况下，在不会由于工件7的取出而场景散乱的范围决定针对每个工件7的次序，由此工件取出装置1能够使多次取出动作中的抓持成功率提高。

接下来，对通过使用仿真而实现的数据集的取得进行说明。图6是表示实施方式1所涉及的工件取出装置所具有的数据集取得部的结构例的图。在图6示出了通过仿真而自动地生成数据集的情况下的数据集取得部16的结构例。

数据集取得部16具有：场景设定部31，其设定对工件7被取出的环境进行模拟的假想空间中的场景；场景信息生成部32，其按照场景的设定而生成场景信息；抓持信息设定部33，其对抓持信息进行设定；数据集生成部34，其生成将抓持信息和场景信息相关联的数据集；以及数据变换部35。抓持信息包含针对每个工件7的抓持位置姿态的信息和评价值。

在场景设定部31中，在假想空间对设想出与实际上取出工件7的情况相同的规格及相同的状况的假想传感器及假想工件进行配置，对可取得的测量数据进行模拟。规格是由传感器5对场景进行观测时的视场角或者解析度这样的条件。状况是测量距离或者工件7的配置状态这样的状况。配置状态是散乱堆积、水平放置、整列这样的状态。场景信息生成部32对可取得的测量数据进行模拟而生成场景信息。

为了创建抓持信息，在抓持信息设定部33设定有表示相对于工件7何种抓持位置姿态为最佳的指标。作为指标，能够采用抓持位置和工件7的重心之间的距离、手部6和工件7的接触面积的大小、手部6和工件7的接触面的角度、工件7之中的与手部6接触的面的凹凸的程度、接近方向的限制条件、手部6插入时的工件7或者手部6有无损坏这样的项目。指标可以是包含与这些项目之中的多个项目有关的参数在内的评价函数。在评价函数可以包含针对每个项目的权重。在将工件7配置于仅铅垂上侧开放的箱8的情况下，手部6从箱8的水平方向或者箱8的铅垂下方向箱8的内部的移动受到限制。接近方向的限制条件是与如上所述的限制有关的条件。

数据集生成部34不仅生成抓持成功的情况下的数据即正确数据，还生成抓持失败的情况下的数据即失败数据。失败数据也被称为负数据。不仅是抓持明显不可能的情况下的失败数据，与接近最佳的抓持位置姿态但抓持容易失败的抓持位置姿态相关的失败数据也包含于数据集。接近最佳的抓持位置姿态但抓持容易失败的情况，举出在最佳的抓持位置附近的工件7的表面存在局部的凹陷或者局部的尖峰的情况等。通过生成如上所述的失败数据，从而计算机4能够准确地评价与最佳的抓持位置姿态容易混淆且预见到抓持的失败的抓持位置姿态。计算机4能够得到性能更高的抓持评价模型。

数据变换部35进行数据变换，该数据变换用于使由场景信息生成部32生成的场景信息的品质与通过对包含工件7的实际的场景进行观测而取得的场景信息的品质接近。

一般来说，在仿真数据中不包含实际数据所包含那样的噪声。即使向仿真数据人工地附加噪声，也难以将仿真数据的数据品质设为与实际数据相同的数据品质。与此相对，数据变换部35进行用于将仿真数据的数据品质设为与实际数据相同的数据品质的数据变换。数据变换部35进行应用了GAN(Generative Adversarial Networks)的数据变换，该GAN是进行具有彼此不同品质的数据的相互变换的神经网络的框组。作为数据变换处理的方法，存在基于物理模型而重现数据缺损和误差要因的方法、和通过机器学习而获得用于数据变换的特征表现的方法等。

在这里，2个数据组之中的一个设为通过仿真而生成的仿真数据组。2个数据组之中的另一个设为实际上取得的实际数据组。作为数据变换的1个方式，数据变换部35基于仿真数据和实际数据的相互变换的学习结果，进行用于将与实际数据的品质接近的品质赋予给仿真数据的数据变换。数据集生成部34将经过数据变换部35的变换后的数据集进行输出。如上所述，计算机4通过数据变换部35的数据变换，在数据集取得部16得到与由传感器5取得的实际数据的乖离少的仿真数据。由此，计算机4能够进行与基于作为实际数据的数据集的学习接近的学习，能够准确地评价抓持状态。

或者，计算机4作为数据变换的其他方式，也可以进行基于使用仿真数据而生成的数据集的学习，将实际数据变换为与仿真数据的品质接近的品质，将变换后的数据输入而进行抓持状态的评价。进行哪种方式所涉及的数据变换能够根据工件7或者由机器人2进行的任务等而适当选择。可以对两种方式的数据变换进行测试，对得到良好的测试结果的一种方式进行选择。

此外，计算机4也可以基于作为仿真数据的数据集对抓持评价模型进行学习，以对与在进行抓持时所识别出的抓持位置姿态有关的实际数据赋予与仿真数据的品质接近的品质的方式，对与抓持位置姿态有关的实际数据进行变换。由此，计算机4能够使用基于仿真数据的抓持评价模型而准确地评价抓持状态。

如上所述，数据集取得部16通过使用仿真而取得数据集。由此，计算机4能够减少创建数据集的工作量和作业成本。

接下来，对通过反馈实施的抓持评价模型的更新进行说明。向模型更新部22输入表示抓持的成功与否即抓持结果的实绩数据。模型更新部22基于实绩数据对从存储器11读出的抓持评价模型进行更新。模型更新部22通过基于实际的抓持结果的再学习，对抓持评价模型进行更新。

在实施方式1中，模型更新部22基于在开启调整中实施的抓持试验的结果而对抓持评价模型进行更新。模型更新部22可以在工件取出装置1的运转中，在任意的定时对抓持评价模型进行更新。模型更新部22在由用户指示的定时对抓持评价模型进行更新。或者，模型更新部22也可以随时取得实绩数据，继续通过强化学习进行的抓持评价模型的学习。模型更新部22可以将这些更新组合而进行。

假设计算机4通过使用由仿真生成的数据集的学习而得到抓持评价模型，将抓持评价模型应用于实际的场景而对抓持状态进行了评价。在该情况下，由于通过仿真生成的场景信息和在实际空间中取得的场景信息的乖离，有时抓持成功率降低。其原因之一在于，在实际空间取得的场景信息中，可能包含由噪声、传感器5中的光学系统的畸变或者校正偏差等引起的测量误差，与此相对，在通过仿真生成的场景信息中不包含如上所述的测量误差。与此相对，计算机4基于在实际空间取得的场景信息对抓持评价模型进行更新，由此能够准确地评价抓持状态。

此外，模型更新部22可以生成新的抓持评价模型，该新的抓持评价模型具有下述功能，即，输入基于抓持评价模型而取得的抓持位置姿态的信息即解，将抓持的成功率低的解排除在外。在该情况下，计算机4也能够准确地评价抓持状态。

模型更新部22在通过抓持评价模型的更新而抓持的成功率小于一定的成功率的情况下，可以将抓持评价模型恢复为更新前的抓持评价模型。计算机4在成功率小于一定的成功率的情况下，可以将通知成功率降低的情况的警报在显示装置进行显示。由此，工件取出装置1能够确保最低限度的抓持性能。在继续通过强化学习进行的抓持评价模型的学习的情况下，通过抓持评价模型的更新使机器人2的动作实时地变化，因此计算机4在成功率降低的情况下恢复抓持评价模型，由此能够抑制抓持的成功率的降低。

接下来，对基于可靠性评价模型的抓持位置姿态的选择进行说明。存储器11对通过由可靠性学习部23进行的学习而得到的可靠性评价模型进行存储。位置姿态决定部15将与在机器人程序中指定出的工件7相对应的可靠性评价模型从存储器11读出。位置姿态决定部15将决定的抓持位置姿态的信息向可靠性评价模型输入，由此对与可靠性有关的评价值进行计算。位置姿态决定部15将计算出的评价值即可靠性评价值和阈值进行比较，由此判断决定出的抓持位置姿态是否是抓持失败的可能性高的抓持位置姿态。

位置姿态决定部15在可靠性评价值大于或等于阈值的情况下，将决定的抓持位置姿态的信息向I/F 12输出。位置姿态决定部15在可靠性评价值小于阈值的情况下，基于由评价值计算部14计算出的评价值和可靠性评价值，从作为候选的抓持位置姿态中再次进行抓持位置姿态的选择，由此重新决定抓持位置姿态。位置姿态决定部15将决定的抓持位置姿态的信息向I/F 12输出。

计算机4基于可靠性评价模型对抓持位置姿态进行选择，由此能够使抓持的成功率进一步提高。此外，计算机4只要进行通过模型更新部22实施的抓持评价模型的更新和基于可靠性评价模型的抓持位置姿态的选择之中的至少一者即可。由此，计算机4能够使抓持的成功率提高。

接下来，对实施方式1的应用进行说明。计算机4可以搭载下述功能，即，在即使使用反馈了实绩数据的抓持评价模型，抓持的成功率仍低迷的情况下，可以通过对系统错误或者日志进行显示而将校正的修正提示给用户。手部6或者机器人2的部件等会发生历时劣化，由此有时向机器人2输入的校正值和机器人2的状态发生乖离。在该情况下，即使使用反馈了实绩数据的抓持评价模型，抓持的成功率也有可能不提高。由此，计算机4能够将用于使抓持的成功率提高的校正提示给用户。

学习部18即机器学习装置并不限于内置于计算机4，也可以设置于计算机4的外部。机器学习装置可以是经由网络而与计算机4连接的装置。机器学习装置可以存在于云服务器上。可以在计算机4安装训练好的抓持评价模型。

机器学习装置可以在云服务器上基于从多个现场收集到的数据集而生成抓持评价模型。基于关于大量的工件7而生成的数据集即大数据而生成抓持评价模型，由此计算机4能够使抓持的成功率进一步提高。计算机4可以将基于大数据而生成的抓持评价模型作为反映了通常的抓持的特征量的基础模型而使用，以基础模型为基准，针对每个现场或者关于新的工件7而生成抓持评价模型。期待在基础模型中反映与现场或者工件7无关，而是共通的特征量，因此机器学习装置与从新对抓持评价模型进行学习的情况相比，能够缩短学习所需的时间。另外，机器学习装置使用基础模型，由此能够基于少的数据集对能够以高精度对抓持位置姿态进行识别的抓持评价模型进行学习。

如食品这种，在烹饪方法相同且材料不同的工件7之间，可能存在形状不同且工件7的表面的状态类似的情况和形状类似且工件7的表面的状态不同的情况。机器学习装置关于如上所述存在类似性的工件7之间，可以沿用训练好的模型对抓持评价模型进行学习。期待在训练好的学习模型中反映了工件7彼此共通的特征量，因此与机器学习装置从新对抓持评价模型进行学习的情况相比，能够缩短学习所需的时间。另外，机器学习装置使用训练好的模型，由此能够基于少的数据集对能够以高精度对抓持位置姿态进行识别的抓持评价模型进行学习。在计算机4中，在工件登记时可以登记烹饪方法或者作为材料的工件7的属性信息。能够基于属性信息对类似的工件7进行检索，由此计算机4可以推荐在与彼此类似的工件7有关的学习时使用训练好的模型。

计算机4可以在用于对抓持位置姿态进行识别的抓持评价模型即和与抓持直接相关的信息有关的学习同时地进行与抓持间接地相关的信息的学习。例如，计算机4可以对用于识别工件7的种类的类识别处理的信息或者与工件7的正反的判别这样的抓持后的任务相关的信息进行学习。由此，工件取出装置1与在抓持工件7之后对工件7的种类和工件7的正反进行判别的情况相比，能够减少工序数，且能够使结构紧凑。

在实施方式1中，计算机4为了在机器人2的可动区域内使手部6移动，对与手部6的限制条件的范围内有关的抓持评价模型进行学习。计算机4可以解除或放宽手部6的限制条件而对抓持评价模型进行学习。基于解除或者放宽限制条件的情况下的抓持评价模型而进行工件7的识别试验，由此计算机4对手部6的打开宽度等信息进行收集。计算机4对收集到的信息进行解析，由此能够对可稳定地抓持的手部6的设计值进行推测。例如，以手部6的打开宽度的中央值与手部6的行程的中心位置处的手部6的打开宽度一致的方式设计手部6。计算机4基于如上所述设计的手部6而再次对模型进行学习。计算机4与在预先确定手部6的限制条件后对模型进行学习的情况相比较，能够对适于工件7的模型进行学习，能够使抓持的成功率提高。

根据实施方式1，抓持评价学习部21基于将针对每个工件7的测量数据和针对每个工件7的抓持位置姿态的信息彼此相关联的数据集，对用于评价抓持的稳定性的抓持评价模型进行学习。评价值计算部14将作为候选的抓持位置姿态的信息和测量数据向抓持评价模型输入，由此对评价值进行计算。由此，计算机4具有能够决定可将形状存在波动的工件7分别稳定地抓持的抓持机构的位置及姿态这一效果。

以上的实施方式所示的结构，表示本发明的内容的一个例子，也能够与其他公知技术进行组合，在不脱离本发明的主旨的范围，也能够对结构的一部分进行省略、变更。

标号的说明

1工件取出装置，2机器人，3控制器，4计算机，5传感器，6手部，7工件，8箱，10处理器，11存储器，12I/F，13候选检测部，14评价值计算部，15位置姿态决定部，16数据集取得部，17实绩取得部，18学习部，21抓持评价学习部，22模型更新部，23可靠性学习部，25、25－1、25－2手部模型，31场景设定部，32场景信息生成部，33抓持信息设定部，34数据集生成部，35数据变换部。

Claims (8)

1.一种信息处理装置，其特征在于，具有：

候选检测部，其基于抓持机构所涉及的抓持对象即工件的测量数据，对在抓持时所述抓持机构所采取的位置及姿态即抓持位置姿态的候选进行检测；

评价值计算部，其计算对采取作为所述候选的抓持位置姿态而由所述抓持机构抓持工件的情况下的抓持的稳定性进行评价而得到的结果即评价值；

位置姿态决定部，其基于所述评价值而决定所述抓持机构所要采取的抓持位置姿态；以及

抓持评价学习部，其基于将针对每个工件的测量数据和针对每个工件的抓持位置姿态的信息彼此关联的数据集，对用于评价抓持的稳定性的抓持评价模型进行学习，

所述评价值计算部通过将作为所述候选的抓持位置姿态的信息和所述测量数据向所述抓持评价模型输入，从而对所述评价值进行计算，

所述信息处理装置还具有：

抓持信息设定部，其对包含针对每个工件的抓持位置姿态的信息和评价值在内的抓持信息进行设定；

数据集生成部，其生成将所述抓持信息和包含所述测量数据的场景信息相关联的所述数据集；

场景设定部，其设定用于生成对工件被取出的环境进行模拟而得到的假想空间中的场景的信息；以及

场景信息生成部，其基于关于场景所设定的信息而生成所述场景信息。

2.根据权利要求1所述的信息处理装置，其特征在于，

所述抓持评价模型包含：干涉模型，其用于对处于被抓持的工件的周围的物体和所述抓持机构之间的干涉的发生状态进行评价；以及保持模型，其用于对在工件被抓持的情况下在所述抓持机构保持工件的状态进行评价，

所述评价值计算部基于通过所述干涉模型得到的评价结果和通过所述保持模型得到的评价结果而对所述评价值进行计算。

3.根据权利要求2所述的信息处理装置，其特征在于，

所述抓持评价模型包含权重信息，该权重信息表示与所述干涉的发生状态有关的评价、和与在所述抓持机构保持工件的状态有关的评价之间的权重，

所述评价值计算部按照所述权重信息对通过所述干涉模型得到的评价结果和通过所述保持模型得到的评价结果进行加权而对所述评价值进行计算。

4.根据权利要求3所述的信息处理装置，其特征在于，

所述抓持评价学习部对所述权重信息进行学习。

5.根据权利要求1所述的信息处理装置，其特征在于，

具有数据变换部，该数据变换部进行数据变换，该数据变换用于使由所述场景信息生成部生成的所述场景信息的数据品质与通过对包含工件的实际的场景进行观测而取得的场景信息的数据品质接近。

6.根据权利要求1至5中任一项所述的信息处理装置，其特征在于，具有：

实绩取得部，其取得包含表示通过所述抓持机构进行的抓持的成功与否的信息、抓持位置姿态的信息和计算出的所述评价值的实绩数据；以及

可靠性学习部，其对可靠性评价模型进行学习，该可靠性评价模型用于基于所述实绩数据对在所述位置姿态决定部中决定的抓持位置姿态的可靠性进行评价，

所述位置姿态决定部基于所述可靠性评价模型对抓持位置姿态进行选择。

7.一种工件识别装置，其特征在于，具有：

传感器，其对包含抓持机构所涉及的抓持对象即工件的场景进行观测，将工件的测量数据进行输出；

候选检测部，其基于所述测量数据，对在抓持时所述抓持机构所采取的位置及姿态即抓持位置姿态的候选进行检测；

评价值计算部，其计算对采取作为所述候选的抓持位置姿态而由所述抓持机构抓持工件的情况下的抓持的稳定性进行评价而得到的结果即评价值；

位置姿态决定部，其基于所述评价值而决定所述抓持机构所要采取的抓持位置姿态；以及

抓持评价学习部，其基于将针对每个工件的测量数据和针对每个工件的抓持位置姿态的信息彼此关联的数据集，对用于评价抓持的稳定性的抓持评价模型进行学习，

所述评价值计算部通过将作为所述候选的抓持位置姿态的信息和所述测量数据向所述抓持评价模型输入而对所述评价值进行计算，

所述工件识别装置还具有：

抓持信息设定部，其对包含针对每个工件的抓持位置姿态的信息和评价值在内的抓持信息进行设定；

数据集生成部，其生成将所述抓持信息和包含所述测量数据的场景信息相关联的所述数据集；

场景设定部，其设定用于生成对工件被取出的环境进行模拟而得到的假想空间中的场景的信息；以及

场景信息生成部，其基于关于场景所设定的信息而生成所述场景信息。

8.一种工件取出装置，其特征在于，

具有：

机器人，其具有抓持机构；

控制器，其对所述机器人进行控制；

传感器，其对包含所述抓持机构所涉及的抓持对象即工件的场景进行观测，将工件的测量数据进行输出；以及

计算机，其向对与在抓持时所述抓持机构所采取的位置及姿态即抓持位置姿态有关的抓持的稳定性进行评价的抓持评价模型输入所述测量数据，由此决定所述抓持机构所要采取的抓持位置姿态，将决定的抓持位置姿态的信息向所述控制器输出，

所述计算机具有：

候选检测部，其基于所述测量数据，对所述抓持机构所采取的抓持位置姿态的候选进行检测；

评价值计算部，其计算对采取作为所述候选的抓持位置姿态而由所述抓持机构抓持工件的情况下的抓持的稳定性进行评价而得到的结果即评价值；

位置姿态决定部，其基于所述评价值而决定所述抓持机构的控制所应用的抓持位置姿态，将决定的抓持位置姿态的信息向所述控制器输出；以及

抓持评价学习部，其基于将针对每个工件的测量数据和针对每个工件的抓持位置姿态的信息彼此关联的数据集对所述抓持评价模型进行学习，

所述评价值计算部通过将作为所述候选的抓持位置姿态的信息和所述测量数据向所述抓持评价模型输入，从而对所述评价值进行计算，

所述计算机还具有：

抓持信息设定部，其对包含针对每个工件的抓持位置姿态的信息和评价值在内的抓持信息进行设定；

数据集生成部，其生成将所述抓持信息和包含所述测量数据的场景信息相关联的所述数据集；

场景设定部，其设定用于生成对工件被取出的环境进行模拟而得到的假想空间中的场景的信息；以及

场景信息生成部，其基于关于场景所设定的信息而生成所述场景信息。

Images