CN114981837A - 物体识别装置及物体识别方法 - Google Patents

Abstract

物体识别装置(10)的特征在于，具有：图像取得部(101)，其取得对象物体的图像；图像变换部(102)，其使用图像变换参数，对由图像取得部(101)所取得的图像即传感器图像进行图像变换而对变换后图像进行输出；识别部(103)，其基于变换后图像而识别对象物体的状态；评价部(108)，其基于识别部(103)的识别结果，对为了生成变换后图像所使用的图像变换参数进行评价；以及输出部(104)，其对识别结果及评价部(108)的评价结果进行输出。

Description

物体识别装置及物体识别方法

技术领域

本发明涉及基于拍摄对象物体所得到的图像而识别对象物体的物体识别装置及物体识别方法。

背景技术

在各种产业中，开发了掌握物体的位置姿态等物体的状态的识别技术。识别技术例如在工业用机器人抓持物体而输送时，用于与物体的状态相匹配地对工业用机器人进行控制。在专利文献1公开了下述技术，即，在抓持对象物体的抓持系统中，基于拍摄对象物体而得到的图像对物体的状态进行识别。

专利文献1：日本特开2018－205929号公报

发明内容

但是，根据专利文献1所公开的技术存在下述问题，即，在执行识别处理时的环境例如对象物体的周边环境、测量条件等发生变化的情况下，有时识别性能降低。

本发明就是鉴于上述情况而提出的，其目的在于得到即使在执行识别处理时的环境发生变化的情况下，也能够使识别性能提高的物体识别装置。

为了解决上述的课题，并达到目的，本发明的物体识别装置的特征在于，具有：图像取得部，其取得对象物体的图像；图像变换部，其使用图像变换参数，对由图像取得部取得的图像即传感器图像进行图像变换而将变换后图像进行输出；识别部，其基于变换后图像而识别对象物体的状态；评价部，其基于识别部的识别结果，对为了生成变换后图像而使用的图像变换参数进行评价；以及输出部，其将识别结果及评价部的评价结果进行输出。

发明的效果

根据本发明，具有下述效果，即，即使在执行识别处理时的环境发生变化的情况下，也能够使识别性能提高。

附图说明

图1是表示实施方式1所涉及的物体识别装置的功能结构的图。

图2是表示图1所示的输出部所显示的显示画面的一个例子的图。

图3是表示图1所示的第1学习部的详细结构的一个例子的图。

图4是用于对图1所示的第1学习部的动作例进行说明的流程图。

图5是用于对图1所示的第1学习部使用CycleGAN的情况下的动作例进行说明的图。

图6是用于对图1所示的物体识别装置在运转开始前进行的处理进行说明的流程图。

图7是用于对图1所示的物体识别装置的运转中的动作进行说明的流程图。

图8是表示实施方式2所涉及的物体识别装置的功能结构的图。

图9是用于对图8所示的物体识别装置在运转开始前进行的处理进行说明的流程图。

图10是用于对图8所示的物体识别装置在运转中进行的处理进行说明的流程图。

图11是表示实施方式3所涉及的物体识别装置的功能结构的图。

图12是用于对图11所示的仿真部的动作进行说明的流程图。

图13是用于对图11所示的物体识别装置在运转开始前进行的处理进行说明的流程图。

图14是表示实施方式4所涉及的物体识别装置的功能结构的图。

图15是用于对图13所示的物体识别装置在运转开始前进行的处理进行说明的流程图。

图16是表示用于实现实施方式1～4所涉及的物体识别装置的功能的专用硬件的图。

图17是表示用于实现实施方式1～4所涉及的物体识别装置的功能的控制电路的结构的图。

具体实施方式

下面，基于附图对本发明的实施方式所涉及的物体识别装置及物体识别方法详细地进行说明。此外，本发明的技术范围不受以下所示的实施方式限定。

实施方式1.

图1是表示实施方式1所涉及的物体识别装置10的功能结构的图。物体识别装置10具有图像取得部101、图像变换部102、识别部103、输出部104、第1学习部105、存储部106、图像变换参数决定部107、评价部108和输入接受部109。物体识别装置10具有下述功能，即，基于拍摄对象物体而得到的图像，识别对象物体的位置姿态这一状态。

图像取得部101取得对象物体的图像。图像取得部101可以是具有图像传感器的拍摄装置，也可以是取得由与物体识别装置10连接的拍摄装置拍摄到的图像的接口。下面，将由图像取得部101取得的图像称为传感器图像。图像取得部101将所取得的传感器图像分别输出至图像变换部102及第1学习部105。传感器图像可以是单色图像，也可以是RGB图像。另外，传感器图像可以是将距离通过亮度的明暗表现的距离图像。距离图像可以基于具有3维的位置信息的点的集合数据而生成。此时，图像取得部101优选与距离图像同时地取得最低限度的信息，该最低限度的信息用于根据距离图像而再构成具有3维的位置信息的点的集合。用于再构成点的集合的最低限度的信息是焦距、标尺等。

此外，图像取得部101可以能够取得多个种类的图像。例如，图像取得部101可以能够取得对象物体的单色图像及距离图像这两者。此时，图像取得部101可以是能够通过1台对单色图像及距离图像这两者进行拍摄的拍摄装置，也可以由对单色图像进行拍摄的拍摄装置和对距离图像进行拍摄的拍摄装置构成。但是，在将单色图像的拍摄和距离图像的拍摄由不同的拍摄装置进行的情况下，优选事先掌握2台拍摄装置之间的位置关系。

图像变换部102使用图像变换参数，对由图像取得部101取得的传感器图像进行图像变换而将变换后图像输出至识别部103。图像变换部102使用存储于存储部106、第1学习部105的学习结果即图像变换参数，以传感器图像针对每个目标图像组而具有预先确定的特征的方式进行图像变换。在本实施方式中，将具有预先确定的特征的图像称为目标图像，将目标图像的集合称为目标图像组。

相同的目标图像组所包含的多个目标图像具有共通的特征。此时共通的特征例如是对象物体的形状、对象物体的表面特性、测量距离、深度等。另外，共通的特征也可以是识别的对象即对象物体以外的物体的位置姿态、干扰光的种类及强度、测量传感器的种类、测量传感器的参数、对象物体的配置状态、图像的风格、对象物体的数量等。在这里，测量传感器的参数是焦距、光圈等参数。对象物体的配置状态是整列状态、散装状态等。相同的目标图像组所包含的多个目标图像可以具有1个共通的特征，也可以具有多个共通的特征。另外，“具有共通的特征”不仅是上述这种特征相同的情况，还包含类似的情况。例如，对象物体的形状在确定出长方体、圆柱、六棱柱这样的基准形状的情况下，即使目标图像内的对象物体的形状是能够近似为相同的基准形状的程度的近似度，也能够设为具有共通的特征的图像。另外，对象物体的表面特性在例如确定出黑色、白色、灰色这样的基准色的情况下，即使目标图像内的对象物体的表观的色泽是能够分类为相同的基准色的程度的近似度，也能够设为具有共通的特征的图像。

在目标图像映照出至少1个对象物体。此时，在目标图像内映照出的对象物体无需一定映照出整体。例如，有时对象物体的一部分处于测量范围外、对象物体的一部分由其他物体隐藏、在目标图像内映照出的对象物体的一部分缺失，但没有问题。另外，在目标图像内映照出多个对象物体的情况下，多个对象物体的配置状态可以是整列状态，也可以是散装状态。目标图像优选是容易识别对象物体的图像。容易识别对象物体的图像例如是对象物体的形状不复杂，具有如长方体、立方体这样的简单形状、噪声少的图像。

图像变换部102所使用的图像变换参数的参数值及种类根据图像变换方法而不同。图像变换部102优选使用使得变换后图像中的对象物体的位置姿态这一状态不相对于传感器图像中的对象物体的状态大幅地变化的图像变换方法。图像变换部102例如能够使用利用了神经网络的图像变换方法。在使用利用了神经网络的图像变换方法的情况下，图像变换参数包含构成网络的各单元间的权重系数。

识别部103基于由图像变换部102输出的变换后图像，识别对象物体的位置姿态这一状态。识别部103所使用的识别方法没有特别限制。例如，识别部103可以使用以能够从图像将对象物体的状态进行输出的方式进行事前学习的基于机器学习的识别方法，也可以使用将对象物体的CAD(Computer-Aided Design)数据和3维测量数据进行对照而推定对象物体的状态的模型匹配。识别部103可以使用1种识别方法而进行识别处理，也可以将多个种类的识别方法组合而进行识别处理。识别部103将识别结果分别输出至输出部104及评价部108。识别结果例如包含识别部103的识别处理时间及由识别部103识别出的对象物体的个数的至少任一者。

输出部104具有将识别结果和在后面详述的评价部108的评价结果进行输出的功能。关于由输出部104将识别结果及评价结果进行输出的方法，没有特别限制。例如，输出部104可以具有显示装置，在显示装置的画面上对识别结果及评价结果进行显示。另外，输出部104也可以具有与外部装置的接口，将识别结果及评价结果发送至外部装置。

图2是表示图1所示的输出部104所显示的显示画面的一个例子的图。图2中的“input”示出了对传感器图像进行显示的区域，“parameter”示出了对图像变换参数和评价结果即评价值进行显示的区域。另外，图2中的“conversion”示出了对变换后图像进行显示的区域，“recognition”示出了对识别结果进行显示的区域。例如，如果用户进行了对在“parameter”显示出的多个图像变换参数之中的1个进行选择的操作，则在显示画面的“Name”对选择出的图像变换参数的名称进行显示，在“Value”对使用了选择出的图像变换参数的情况下的评价值进行显示，在“conversion”对使用了选择出的图像变换参数的情况下的变换后图像进行显示，在“recognition”对使用了选择出的图像变换参数的情况下的识别结果进行显示。

第1学习部105对图像变换参数进行学习，该图像变换参数用于将传感器图像以具有目标图像组的特征的方式进行图像变换。第1学习部105针对每个目标图像组对图像变换部102所使用的图像变换参数进行学习。图3是表示图1所示的第1学习部105的详细结构的一个例子的图。第1学习部105具有状态观测部11和机器学习部12。在目标图像组所包含的多个目标图像之间的波动小的情况下，第1学习部105能够得到图像变换参数的可能性变高，该图像变换参数能够进行再现了目标图像组的特征的图像变换。在传感器图像的与目标图像组的乖离大的情况下，第1学习部105的图像变换参数的学习难以收敛。

状态观测部11对图像变换参数、目标图像组和变换后图像及目标图像组的特征的相似度进行观测而作为状态变量。机器学习部12按照基于图像变换参数、目标图像组、相似度的状态变量而创建的训练数据集，针对每个目标图像组对图像变换参数进行学习。

机器学习部12所使用的学习算法可以是任意的学习算法。作为一个例子，对机器学习部12使用强化学习的情况进行说明。强化学习是某环境内的行动主体即智能体对当前的状态进行观测，决定应采取的行动这一学习算法。智能体通过对行动进行选择而从环境得到回报，对通过一系列的行动而回报得到最多这样的对策进行学习。作为强化学习的代表性的方法，已知Q学习、TD学习。例如，在Q学习的情况下，行动价值函数Q(s_t，a_t)的一般性的更新式通过下面的算式(1)表示。

【式1】

在算式(1)中，s_t表示时刻t的环境，a_t表示时刻t的行动。通过行动a_t，环境变为s_t+1。r_t+1表示与作为行动a_t的结果而变化的环境相应地赋予的回报，γ表示折扣率，α表示学习系数。

通过算式(1)表示的更新式是如果时刻t+1的最好的行动a的行动价值Q大于在时刻t执行的行动a的行动价值Q，则增大行动价值Q，在相反的情况下，减小行动价值Q。换言之，以使时刻t的行动a的行动价值Q接近时刻t+1的最好的行动价值的方式，对行动价值函数Q(s_t，a_t)进行更新。通过重复如上所述的更新，从而某环境中的最好的行动价值不断依次传播为其以前的环境中的行动价值。

机器学习部12具有回报计算部121和函数更新部122。

回报计算部121基于状态变量对回报进行计算。回报计算部121基于状态变量所包含的相似度对回报r进行计算。变换后图像再现了目标图像组的特征的程度越高，则相似度变得越高。例如，在相似度高于预先确定的阈值的情况下，回报计算部121使回报r增大。回报计算部121例如能够赋予“1”的回报而使回报r增大。另一方面，在相似度低于预先确定的阈值的情况下，回报计算部121使回报r减小。回报计算部121例如能够赋予“－1”的回报而使回报r减小。相似度与目标图像组的特征的种类相应地，按照公知的方法进行计算。

函数更新部122按照由回报计算部121计算的回报r，对用于决定图像变换参数的函数进行更新。例如在Q学习的情况下，将通过算式(1)表示的行动价值函数Q(s_t，a_t)作为用于决定图像变换参数的函数使用。

图4是用于对图1所示的第1学习部105的动作例进行说明的流程图。图4所示的动作是在开始物体识别装置10的运转前进行的。第1学习部105的状态观测部11使用图像取得部101而取得传感器图像组(步骤S101)。状态观测部11从预先确定的多个目标图像组中对1个目标图像组进行选择(步骤S102)。

第1学习部105设定针对选择出的目标图像组的图像变换参数(步骤S103)。第1学习部105使图像变换部102使用设定出的图像变换参数对传感器图像进行图像变换(步骤S104)。

第1学习部105的状态观测部11取得状态变量即图像变换参数、目标图像组、变换后图像及目标图像组的特征的相似度(步骤S105)。状态观测部11将所取得的状态变量输出至机器学习部12。机器学习部12的回报计算部121判定相似度是否高于阈值(步骤S106)。

在相似度高于阈值的情况下(步骤S106：Yes)，回报计算部121使回报r增大(步骤S107)。在相似度低于阈值的情况下(步骤S106：No)，回报计算部121使回报r减小(步骤S108)。回报计算部121将计算出的回报r输出至函数更新部122。

函数更新部122按照由回报计算部121计算出的回报r，对行动价值函数Q(s_t，a_t)进行更新(步骤S109)。第1学习部105判断是否满足预先确定的学习结束条件(步骤S110)。学习结束条件优选是用于对图像变换参数的学习精度大于或等于基准进行判定的条件。例如，学习结束条件是“将步骤S103至步骤S109的处理重复的次数超过预先确定的次数”、“从开始针对相同的目标图像组的图像变换参数的学习起的经过时间超过预先确定的时间”等。

在不满足学习结束条件的情况下(步骤S110：No)，第1学习部105从步骤S103起重复处理。在满足学习结束条件的情况下(步骤S110：Yes)，第1学习部105将针对目标图像组的图像变换参数的学习结果进行输出(步骤S111)。

第1学习部105判断针对全部目标图像组的学习是否结束(步骤S112)。在针对全部目标图像组的学习没有结束的情况下，即，在存在学习没有结束的目标图像组的情况下(步骤S112：No)，第1学习部105从步骤S102起重复处理。在针对全部目标图像组的学习结束的情况下(步骤S112：Yes)，第1学习部105结束图像变换参数学习处理。

以上，对第1学习部105利用强化学习而进行机器学习的例子进行了说明，但第1学习部105也可以按照其他公知的方法例如神经网络、遗传编程、功能逻辑编程、支持向量机等执行机器学习。

图5是用于对图1所示的第1学习部105使用CycleGAN(Generative AdversarialNetworks)的情况下的动作例进行说明的图。在第2例中，第1学习部105利用CycleGAN对图像变换参数进行学习。在使用CycleGAN的情况下，第1学习部105如图5所示，使用第1生成器G、第2生成器F、第1识别器D_X和第2识别器D_Y，对图像变换参数进行学习。

第1学习部105使用2种图像组X、Y的训练数据，对图像组X、Y间的图像变换参数进行学习。将图像组X的训练数据所包含的图像称为图像x，将图像组Y的训练数据所包含的图像称为图像y。

第1生成器G根据图像x而生成具有图像组Y的特征的图像。将向第1生成器G输入图像x时的输出设为G(x)。第2生成器F根据图像y而生成具有图像组X的特征的图像。将向第2生成器F输入图像y时的输出设为F(y)。第1识别器D_X对x和F(y)进行区分。第2识别器D_Y对y和G(x)进行区分。

第1学习部105基于2种损失，以第1生成器G及第2生成器F的图像变换精度提高，第1识别器D_X及第2识别器D_Y的识别精度提高的方式进行学习。具体地说，第1学习部105以下面的算式(2)所示的总损失L(G、F、D_X、D_Y)满足下面的算式(3)所示的目的函数的方式进行学习。

【式2】

【式3】

算式(2)所包含的第1损失L_GAN(G，D_Y，X，Y)是在第1生成器G根据图像x而生成具有图像组Y的特征的图像G(x)时产生的损失。算式(2)所包含的第2损失L_GAN(F，D_X，Y，X)是在第2生成器F根据图像y而生成具有图像组X的特征的图像F(x)时产生的损失。算式(2)所包含的第3损失L_cyc(G，F)是在将图像x输入至第1生成器G而生成图像G(x)、将生成的图像G(x)输入至第2生成器F而生成图像F(G(x))的情况下产生的损失与在将图像y输入至第2生成器F而生成图像F(y)、将生成的图像F(y)输入至第1生成器G而生成图像G(F(y))的情况下产生的损失之和。

即，第1学习部105基于下面的4个前提，以总损失总损失L(G，F，D_X，D_Y)变小的方式进行第1生成器G及第2生成器F的学习，以总损失总损失L(G，F，D_X，D_Y)变大的方式进行第1识别器D_X及第2识别器D_Y的学习。

1.将图像x输入至第1生成器G而变换后的图像G(x)应该与图像组Y类似。

2.将图像y输入至第2生成器F而变换后的图像F(y)应该与图像组X类似。

3.将图像G(x)输入至第2生成器F而变换后的图像F(G(x))应该与图像组X类似。

4.将图像F(y)输入至第1生成器G而变换后的图像G(F(y))应该与图像组Y类似。

第1学习部105将传感器图像组作为图像组X、将目标图像组作为图像组Y而进行上述的学习，对根据传感器图像组而生成目标图像组的第1生成器G所使用的图像变换参数进行学习，将学习结果输出至存储部106。第1学习部105关于多个种类的目标图像组的各个目标图像组而进行上述的学习，针对每个目标图像组对图像变换参数进行学习。

返回图1的说明。存储部106对第1学习部105的学习结果即针对每个目标图像组的图像变换参数进行存储。

图像变换参数决定部107基于由后面记述的评价部108在运转开始前进行评价而得到的评价结果，从多个图像变换参数中决定在运转中图像变换部102所使用的图像变换参数。图像变换参数决定部107将决定的图像变换参数通知给图像变换部102。

图像变换参数决定部107例如可以将评价值E_c最大的图像变换参数作为图像变换部102所使用的图像变换参数，也可以使评价部108向输出部104输出评价结果，将由用户对输出的评价结果进行确认后选择出的图像变换参数作为图像变换部102所使用的图像变换参数。例如，在考虑学习时使用的传感器图像和实际得到的传感器图像的光的加减由于时间段等的影响而改变的情况下，考虑输出部104在评价结果的基础上，还将使用各个图像变换参数的情况下的变换后图像进行输出。在该情况下，用户对变换后图像进行确认，能够对可进行抑制光的反射的变换的图像变换参数进行选择。此时，输出部104可以将评价值大于或等于阈值的图像变换参数的评价值和变换后图像进行输出，不将评价值小于阈值的图像变换参数进行输出。

评价部108在运转开始前，基于使用多个图像变换参数的各个图像变换参数的情况下的识别部103的识别结果，对多个图像变换参数分别进行评价。具体地说，评价部108对评价值E_c进行计算，将计算出的评价值E_c即评价结果分别输出至图像变换参数决定部107及输出部104。由评价部108进行计算的评价值E_c例如通过下面的算式(4)表示。

【式4】

在这里，p_r表示识别精度，t_r表示识别处理时间，w_pr、w_tr表示权重系数。即，评价值E_c是将识别精度p_r乘以权重系数w_pr而得到的值与将识别处理时间t_r的倒数乘以权重系数w_tr而得到的值之和。

通常，识别精度p_r和识别处理时间t_r处于折衷的关系。因此，只要根据用户更重视哪一者而决定权重系数w_pr、w_tr的值即可。例如，在即使识别精度稍微降低也希望重视识别处理的速度的情况下，只要减小权重系数w_pr的值而增大权重系数w_tr的值即可。反之，在即使花费时间也要重视识别精度的情况下，只要增大权重系数w_pr的值而减小权重系数w_tr的值即可。

识别精度p_r是能够对传感器图像中的对象物体进行识别的程度或者对象物体的状态的误差，具体地说是位置姿态的误差。例如，在识别精度p_r是能够对传感器图像中的对象物体进行识别的程度的情况下，识别精度p_r通过下面的算式(5)表示。

【式5】

在这里，n_r表示能够识别出的对象物体的个数，N_w表示传感器图像中的对象物体的数量。即，通过算式(5)表示的识别精度p_r是将能够识别出的对象物体的个数n_r除以传感器图像中的对象物体的数量N_w而得到的值。在传感器图像中的对象物体的位置姿态与识别出的位置姿态之间的误差为阈值以内的情况下，可以判断为识别成功，也可以是用户通过目视而判断识别是否成功。

另外，在将对象物体的状态的误差作为识别精度p_r的情况下，识别精度p_r通过下面的算式(6)表示。

【式6】

在这里，x_w表示对象物体的实际的位置姿态，x_r表示识别出的位置姿态。即，通过算式(6)表示的识别精度p_r是对象物体的实际的位置姿态x_w与识别出的位置姿态x_r之差的绝对值加1而得到的值的倒数。对象物体的实际的位置姿态及识别出的位置姿态可以是图像空间内的位置姿态，也可以是实际空间内的位置姿态。

另外，识别精度p_r并不限定于上述的例子。也可以将上述的例子组合。

另外，并不限定于通过上述的算式(4)表示的例子，评价值E_c也可以使用下面的算式(7)进行计算。

【式7】

在这里，T_r表示识别处理时间阈值。即，在使用算式(7)的情况下，在识别处理时间阈值T_r以内识别处理完成的情况下，评价值E_c是将识别精度p_r乘以权重系数w_pr而得到的值，在识别处理时间阈值T_r以内识别处理没有完成的情况下，评价值E_c为0。通过将在识别处理时间阈值T_r以内识别处理没有完成的图像变换参数的评价值E_c设为0，从而能够对在用户所要求的时间内能够完成识别处理的图像变换参数进行确认及选择。评价值E_c的计算方法并不限定于上述方法。

输入接受部109接受评价部108用于对图像变换参数进行评价所使用的参数即评价参数的输入。输入接受部109可以接受用户使用输入装置等而输入的评价参数，也可以从物体识别装置10内的功能部接受评价参数，也可以从物体识别装置10的外部装置接受评价参数。输入接受部109接受的评价参数，例如是算式(4)所包含的权重系数w_pr、w_tr等用于对影响评价值的大小的多个要素各自赋予给评价值的影响进行变更的权重系数。

图6是用于对图1所示的物体识别装置10在运转开始前进行的处理进行说明的流程图。物体识别装置10的第1学习部105进行图像变换参数学习处理(步骤S121)。步骤S121所示的图像变换参数学习处理是使用图4而说明的处理或者使用图5而说明的处理，因此在这里省略详细的说明。

接下来，输入接受部109取得评价参数，将所取得的评价参数输出至评价部108(步骤S122)。

图像取得部101取得传感器图像，将所取得的传感器图像输出至图像变换部102(步骤S123)。图像变换部102从在存储部106中存储的多个学习完成的图像变换参数中，将评价值的计算仍未完成的图像变换参数选择1个(步骤S124)。

图像变换部102进行使用选择出的图像变换参数而将图像取得部101所取得的传感器图像变换为变换后图像的图像变换处理(步骤S125)。图像变换部102将变换后图像输出至识别部103。

识别部103使用变换后图像而进行识别处理，将识别结果输出至评价部108(步骤S126)。此外，在将识别结果进行输出的情况下，识别部103可以将识别结果输出至输出部104。

评价部108基于识别结果对评价值E_c进行计算，将计算出的评价值E_c输出至图像变换参数决定部107(步骤S127)。

图像变换部102判断是否计算出全部的图像变换参数的评价值E_c(步骤S128)。在没有计算出全部的图像变换参数的评价值E_c的情况下(步骤S128：No)，即，在存在没有计算出评价值E_c的图像变换参数的情况下，图像变换部102从步骤S124起重复处理。在计算出全部的图像变换参数的评价值E_c的情况下(步骤S128：Yes)、图像变换参数决定部107从多个图像变换参数中，基于评价部108的评价结果即评价值而决定在运转中图像变换部102所使用的图像变换参数(步骤S129)。

图7是用于对图1所示的物体识别装置10的运转中的动作进行说明的流程图。在运转前进行了图6所示的动作，针对每个目标图像组而图像变换参数学习完成，从学习完成的图像变换参数中，将图像变换部102所使用的图像变换参数完成选择。

图像取得部101取得传感器图像，将所取得的传感器图像输出至图像变换部102(步骤S131)。图像变换部102取得所选择的图像变换参数(步骤S132)。图像变换部102进行使用所取得的图像变换参数而将传感器图像变换为变换后图像的图像变换处理，将变换后图像输出至识别部103(步骤S133)。

识别部103进行使用变换后图像而对变换后图像中所包含的对象物体的状态进行识别的识别处理，将识别结果输出至输出部104(步骤S134)。

输出部104基于识别结果，判断对象物体是否存在(步骤S135)。在对象物体存在的情况下(步骤S135：Yes)，输出部104对识别结果进行输出(步骤S136)。在输出识别结果后，图像取得部101从步骤S131起重复处理。在对象物体不存在的情况下(步骤S135：No)，物体识别装置10结束处理。

此外，在上述中，图像变换部102将传感器图像通过1个阶段的图像变换处理而变换为变换后图像，但本实施方式并不限定于该例。例如，图像变换部102也可以进行多个阶段的图像变换，将传感器图像变换为变换后图像。例如，在进行2个阶段的图像变换的情况下，图像变换部102将传感器图像变换为第1中间图像，将第1中间图像变换为变换图像。在进行3个阶段的图像变换的情况下，图像变换部102将传感器图像变换为第1中间图像，将第1中间图像变换为第2中间图像，将第2中间图像变换为变换后图像。

此外，在图像变换部102进行多个阶段的图像变换的情况下，第1学习部105对在图像变换的各个阶段使用的多个种类的图像变换参数分别进行学习。具体地说，第1学习部105对用于将传感器图像变换为中间图像的第1图像变换参数、和用于将中间图像变换为变换后图像的第2图像变换参数进行学习。另外，在进行大于或等于3个阶段的图像变换的情况下，第1学习部105对用于将中间图像变换为中间图像的第3图像变换参数进行学习。例如，在进行了2个阶段的图像变换的情况下，第1学习部105对用于将传感器图像变换为第1中间图像的第1图像变换参数、和用于将第1中间图像变换为变换后图像的第2图像变换参数进行学习。另外，在进行3个阶段的图像变换的情况下，第1学习部105对用于将传感器图像变换为第1中间图像的第1图像变换参数、用于将第1中间图像变换为第2中间图像的第3图像变换参数、和用于将第2中间图像变换为变换后图像的第2图像变换参数进行学习。

中间图像是与传感器图像和变换后图像都不同的图像。例如，在变换后图像是使用没有噪声、遗漏等的CG(Computer Graphic)而生成的距离图像的情况下，能够将中间图像设为对噪声、测量误差、成为传感器的死角的部分的遗漏等进行仿真而再现的再现图像。在该情况下，第1学习部105对用于将传感器图像变换为再现图像即中间图像的第1图像变换参数、和用于将中间图像变换为距离图像即变换后图像的第2图像变换参数进行学习。通过阶段性地进行图像变换，从而能够使学习的收敛性提高，能够使识别性能提高。

另外，通过将变换后图像分为多个种类的成分图像，将传感器图像在变换为多个成分图像后进行合成，从而可以得到变换后图像。在该情况下，第1学习部105对用于将传感器图像变换为各个成分图像的多个种类的图像变换参数进行学习。例如，考虑从1个传感器图像生成具有变换后图像的纹理成分的特征的成分图像即纹理图像和具有变换后图像的大范围的颜色成分的特征的成分图像即颜色图像，将纹理图像和颜色图像进行合成而得到变换后图像的情况。在该情况下，第1学习部105对用于将传感器图像变换为纹理图像的图像变换参数和用于将传感器图像变换为颜色图像的图像变换参数进行学习。此外，在上述中示出了使用2个成分图像的例子，但也能够使用大于或等于3个成分图像而得到变换后图像。通过针对每个成分图像对图像变换参数进行学习，从而应该解决的问题容易化，因此学习的收敛性提高，能够使识别性能提高。通过将多个成分图像进行合成而得到变换后图像，从而与使用1种图像变换参数从传感器图像得到变换后图像的情况相比，能够得到具有与目标图像组接近的特征的变换后图像。

在进行物体的识别的情况下，通常进行不同的多个种类的图像处理。根据要执行的图像处理的内容，存在容易得到期望的结果的图像和不容易得到期望的结果的图像。例如，在边缘检测处理中，在希望提取边缘的对象物的边界附近的亮度值阶跃地变化的情况下容易提取边缘，在边界附近的亮度值平滑地变化的情况下难以提取边缘。如上所述，根据要执行的图像处理而存在其图像应该具有的特征、性质等。因此，也能够不将识别所使用的图像仅进行1次变换，而是作为各图像处理的前处理而每次都执行使得识别过程的各图像处理变得容易的图像变换。在该情况下，第1学习部105只要以希望执行前处理的图像处理的数量对图像变换参数进行学习即可，能够将在执行了各图像处理的情况下得到的理想化的处理结果图像组设为目标图像组。

如以上说明所述，根据本实施方式所涉及的物体识别装置10，能够基于识别处理结果对图像变换参数进行评价，得到评价结果。因此能够对图像变换参数对识别处理造成的影响进行确认。因此，能够对与执行识别处理时的环境相匹配的图像变换参数进行选择，即使在执行识别处理时的环境发生变化的情况下，也能够使识别性能提高。

另外，图像变换参数是用于将传感器图像向具有预先确定的特征的图像进行图像变换的参数。物体识别装置10具有针对预先确定的每个特征对图像变换参数进行学习的第1学习部105，图像变换部102使用第1学习部105的学习结果即图像变换参数对传感器图像进行图像变换。通过具有如上所述的结构，从而输出部104能够得到针对预先确定的每个特征的学习结果即图像变换参数的评价结果。因此，能够掌握如果图像变换为具有何种特征的图像，则才能够使识别性能提高。

另外，在本实施方式中，图像变换部102进行多个阶段的图像变换而将传感器图像变换为变换后图像，第1学习部105对在图像变换的每个阶段使用的多个种类的图像变换参数分别进行学习。通过阶段性地进行图像变换，从而能够使学习的收敛性提高，能够使识别性能提高。

另外，在本实施方式中，图像变换部102在将传感器图像变换为多个成分图像后，能够将多个成分图像进行合成而取得变换后图像。在该情况下，第1学习部105对用于将传感器图像分别变换为多个成分图像的多个种类的图像变换参数进行学习。通过具有如上所述的结构，从而物体识别装置10与使用1种图像变换参数从传感器图像得到变换后图像的情况相比，能够得到具有与目标图像组接近的特征的变换后图像。

另外，物体识别装置10具有图像变换参数决定部107，该图像变换参数决定部107基于分别使用多个图像变换参数的情况下的评价部108的评价结果，决定图像变换部102所使用的图像变换参数。通过具有如上所述的结构，从而即使用户没有看到评价结果而手动地选择图像变换参数，也能够自动地对能够使识别性能提高的图像变换参数进行选择。

物体识别装置10具有输入接受部109，该输入接受部109接受评价部108用于对图像变换参数进行评价所使用的参数即评价参数的输入。评价部108使用由输入接受部109接受到的评价参数对图像变换参数进行评价。评价参数例如是用于对会影响评价值的大小的多个要素分别对评价值造成的影响进行变更的权重系数。通过具有如上所述的结构，从而用户与使用用途相匹配地输入评价参数，由此能够得到与用户的使用用途相适合的图像变换参数的评价值。

由物体识别装置10的识别部103输出的识别结果包含识别部103的识别处理时间及由识别部103识别出的对象物体的个数中的至少任一者。通过具有如上所述的结构，从而评价部108基于识别部103的识别处理时间及由识别部103识别出的对象物体的个数中的至少任一者，对图像变换参数的评价值进行计算。通过使用由识别部103识别出的对象物体的个数n_r和实际的对象物体的个数N_r，从而能够对识别精度p_r进行计算。因此，物体识别装置10能够考虑识别处理时间、识别精度p_r等而对图像变换参数进行评价。

实施方式2.

图8是表示实施方式2所涉及的物体识别装置20的功能结构的图。物体识别装置20具有图像取得部101、图像变换部120、识别部103、输出部104、第1学习部105、存储部106、图像变换参数决定部107、评价部108、输入接受部109和机器人110。物体识别装置20具有机器人110，具有将对象物体拣选的功能，因此也能够称为对象物取出装置。物体识别装置20具有机器人110，因此能够基于机器人110的动作结果而进行图像变换参数的评价。

物体识别装置20在实施方式1所涉及的物体识别装置10的功能结构的基础上还具有机器人110。下面，关于与实施方式1相同的功能结构，使用与实施方式1相同的标号而省略详细的说明，主要对与实施方式1不同的部分进行说明。

输出部104将识别部103的识别结果输出至机器人110。机器人110基于由输出部104输出的识别结果而抓持对象物体。机器人110将抓持对象物体的动作的动作结果输出至评价部108。评价部108在识别部103的识别结果的基础上，基于机器人110的动作结果对图像变换参数进行评价。在这里，在机器人110的动作结果中包含机器人110在对象物体的抓持时成功的概率、抓持动作时间和抓持失败原因之中的至少1个。

机器人110具有能够抓持对象物体、进行为了执行任务所需的物体操作的工具。例如，任务是多个输送机间的对象物体的输送，在对象物体的表面没有凹凸而是平滑的面的情况下，作为工具能够使用吸盘。另外，工具也可以是通过2个爪夹着对象物体而进行抓持的抓持手。

用于判定为机器人110对对象物体的抓持成功的条件，例如在工具为抓持手的情况下，能够设为将抓持手相对于对象物体插入而关闭抓持手时的打开宽度处于预先确定的范围内。或者，工具为抓持手，在机器人110将对象物体抓持后对抓持的对象物体进行输送的情况下，用于判定为机器人110对对象物体的抓持成功的条件可以是在输送目标处将抓持手从对象物体放开前能够保持对象物体。用于判定为机器人110对对象物体的抓持成功的条件并不限定于上述的例子，能够根据机器人110所具有的工具的种类、使机器人110进行的作业内容等而适当定义。

在上述中，说明了基于是否能够保持对象物体而确定用于判定为机器人110对对象物体的抓持成功的条件的例子。是否能够保持对象物体例如在所使用的工具搭载有检测对象物体的保持状态的功能的情况下，能够使用检测结果进行判定。或者，也可以利用照相机等的外部传感器信息，对是否能够保持对象物体进行判定。例如存在具有下述功能的产品，即，在机器人110所具有的工具为电动手的情况下，通过对使电动手动作时的电流值进行测定，从而对是否能够保持对象物体进行判定。存在下述方法，即，在使用照相机图像的情况下，将没有夹持对象物体时的工具的图像进行预先存储，取得与对抓持动作后的工具进行拍摄而得到到的图像的差分，基于差分对是否能够保持对象物体进行判定。

机器人110的动作结果包含抓持成功率，由此评价部108基于抓持成功率对图像变换参数进行评价，因此图像变换部102能够使用使得抓持成功率提高的图像变换参数。另外，机器人110的动作结果也能够包含抓持动作时间。抓持动作时间例如在机器人110所具有的工具为抓持手、机器人110对抓持的对象物体进行输送的情况下，能够设为从将抓持手闭合至在输送目标处放开为止的时间。机器人110的动作结果包含抓持动作时间，由此评价部108基于抓持动作时间对图像变换参数进行评价，因此图像变换部102能够使用使得抓持动作加快的图像变换参数。

机器人110的抓持失败原因例如存在夹持失败、输送中的落下、抓持多个等。机器人110的动作结果包含抓持失败原因，由此评价部108基于失败原因对图像变换参数进行评价，因此图像变换部102能够使用能够减少特定的失败原因的图像变换参数。例如，即使在对供给前的对象物体进行保管的供给箱中对象物体的抓持失败，对象物体向供给箱中落下的可能性高，只要可再次进行抓持动作即可，因此风险低。与此相对，如果在输送中将对象物体掉落，则对象物体落下而有可能散乱在周围，为了恢复为原来的状态，需要机器人110的复杂的控制或花费时间，因此风险高。因此，通过针对风险低的抓持失败原因而减小评价的权重，针对风险高的抓持失败原因而增大评价的权重，从而图像变换部102能够使用对象物体散乱于周围的风险小的图像变换参数。

图9是用于对图8所示的物体识别装置20在运转开始前进行的处理进行说明的流程图。此外，在图9中，关于与物体识别装置10的处理相同的部分，标注与图6相同的标号而省略详细的说明。下面，主要对与图6不同的部分进行说明。

步骤S121至步骤S126的动作与图6相同。如果进行了识别处理，则机器人110基于识别结果而进行拣选(步骤S201)。机器人110将拣选的动作结果输出至评价部108。

评价部108在识别结果的基础上，基于机器人110的动作结果对评价值进行计算(步骤S202)。具体地说，评价部108例如能够使用以下所示的算式(8)对评价值E_c进行计算。

【式8】

在算式(8)中，p_g表示抓持成功率，t_g表示抓持时间，p_r表示识别精度，t_r表示识别处理时间，n_f1、_f2…表示抓持失败原因的种类。另外，w_pg、w_tg、w_pr、w_tr、w_f1、f2…表示权重系数。输入接受部109接受的评价参数包含权重系数w_pg、w_tg、w_pr、w_tr、w_f1、f2…。但是，上述的评价值E_c的计算方法是一个例子，评价部108所使用的评价值E_c的计算方法并不限定于上述的方法。

下面，步骤S128、S129的动作与图6相同。即，图9所示的处理在识别处理和对评价值进行计算的处理之间追加拣选处理这点以及对评价值进行计算的处理的具体内容这点与图6所示的处理不同。

图10是用于对图8所示的物体识别装置20在运转中进行的处理进行说明的流程图。此外，在图10中，关于与物体识别装置10的处理相同的部分，标注与图7相同的标号而省略详细的说明。下面，主要对与图7不同的部分进行说明。

物体识别装置10在识别处理的结果是判断为存在对象物体的情况下，将识别结果进行输出，与此相对，物体识别装置20取代识别结果的输出，而是机器人110基于识别结果进行拣选(步骤S203)。在机器人110进行拣选后，物体识别装置20从步骤S131起重复处理。

此外，在上述中，识别部103基于变换后图像而识别对象物体的状态，但具有机器人110的物体识别装置20的识别部103也可以使用对能够利用机器人110的手模型而抓持对象物体的部位进行探索的基于搜索的方法而识别对象物体的状态。在识别结果为对象物体的位置姿态信息的情况下，优选能够将对象物体的位置姿态信息向由机器人110抓持该对象物体时的机器人110的位置姿态信息变换。

如以上说明所述，实施方式2所涉及的物体识别装置20还具有机器人110，该机器人110基于识别部103的识别结果而抓持对象物体。物体识别装置20的评价部108基于机器人110的动作结果对图像变换参数进行评价。通过具有如上所述的结构，从而物体识别装置20能够对可使抓持性能提高的图像变换参数进行选择，能够使机器人110的抓持成功率提高。

另外，机器人110的动作结果包含机器人110对对象物体的抓持成功的概率、抓持动作时间和抓持失败原因之中的至少1个。在机器人110对对象物体的抓持成功的概率包含于动作结果的情况下，基于抓持成功率对图像变换参数进行评价，因此能够对能够使得抓持成功率提高的图像变换参数进行选择，能够使机器人110的抓持成功率提高。另外，在抓持动作时间包含于动作结果的情况下，基于抓持动作时间对图像变换参数进行评价，因此能够缩短抓持动作时间。在抓持失败原因包含于动作结果的情况下，基于抓持失败原因对图像变换参数进行评价，因此能够减少特定的抓持失败原因。

实施方式3.

图11是表示实施方式3所涉及的物体识别装置30的功能结构的图。物体识别装置30具有图像取得部101、图像变换部102、识别部103、输出部104、第1学习部105、存储部106、图像变换参数决定部107、评价部108、输入接受部109、机器人110、仿真部111、图像变换数据集生成部114和图像变换数据集选择部115。仿真部111具有第1生成部112和第2生成部113。

物体识别装置30在实施方式2所涉及的物体识别装置20的结构的基础上，还具有仿真部111、图像变换数据集生成部114和图像变换数据集选择部115。下面，关于与实施方式2相同的功能结构，使用与实施方式2相同的标号而省略详细的说明，主要对与实施方式2不同的部分进行说明。

仿真部111使用仿真而创建目标图像。具体地说，仿真部111具有：第1生成部112，其基于仿真条件而生成表示对象物体的配置状态的配置信息；以及第2生成部113，其基于配置信息配置对象物体而生成目标图像。

第1生成部112所使用的仿真条件例如包含传感器信息、对象物体信息和环境信息。传感器信息优选包含取得传感器图像的传感器的焦距、视场角、光圈值等根据该值而生成的空间内的状态发生变化的信息。另外，在传感器进行立体测量的情况下，传感器信息可以包含会聚角、基线长度等。

对象物体信息是表示对象物体的CAD模型、对象物体的材料的信息等。在对象物体的CAD模型的情况下，对象物体信息可以包含对象物体所具有的各个面的纹理信息。对象物体信息在使用仿真在空间内配置了对象物体时，优选包含空间内的对象物体的状态被唯一地确定的程度的信息。

环境信息能够包含测量距离、测量深度、对象物体以外的物体的位置姿态、干扰光的种类及强度等。对象物体以外的物体例如是箱、测量台等。通过使用仿真条件，从而仿真部111能够通过详细的条件进行仿真，能够生成各种种类的目标图像。

由第1生成部112生成的配置信息表示至少1个对象物体的配置状态。在将多个对象物体配置于空间内的情况下，多个对象物体可以整列而配置，也可以为散装状态。在以散装状态配置对象物体的情况下，在进行使用了对象物体的简易模型的仿真后，在计算出的简易模型位置处再配置对象物体，由此能够缩短处理时间。

由第2生成部113生成的目标图像可以是RGB图像，也可以是距离图像。在使用RGB图像的情况下，优选设定对象物体及除了对象物体以外的物体的颜色或者纹理。

仿真部111使生成的目标图像存储于存储部106。另外，仿真部111也可以使在由第1生成部112生成配置信息时使用的仿真条件和由第1生成部112生成的配置信息存储于存储部106。此时，仿真部111优选将配置信息与构成图像变换数据集的目标图像相关联而存储。

图像变换数据集生成部114生成包含由图像取得部101取得的传感器图像和由仿真部111生成的目标图像在内的图像变换数据集。图像变换数据集生成部114使生成的图像变换数据集存储于存储部106。图像变换数据集包含1个或者多个传感器图像和1个或者多个目标图像。传感器图像及目标图像的图像数没有限制。在图像数过少的情况下，图像变换参数的学习有可能不收敛，在图像数过多的情况下，学习时间有可能变长。因此，优选与用户的使用用途、传感器的设置状况等相匹配地决定图像数。另外，目标图像的图像数和传感器图像的图像数优选为相同程度，但也可以存在不均匀。

图像变换数据集选择部115基于传感器图像，从在存储部106中存储的图像变换数据集中对第1学习部105学习所使用的图像变换数据集进行选择。具体地说，图像变换数据集选择部115基于传感器图像，对成为选择图像变换数据集时的基准的选择评价值E_p进行计算，基于计算出的选择评价值E_p对图像变换数据集进行选择。例如，图像变换数据集选择部115能够仅对选择评价值E_p小于或等于预先确定的阈值的图像变换数据集进行选择。图像变换数据集选择部115能够对1个或者多个图像变换数据集进行选择。

图像变换数据集选择部115将选择出的图像变换数据集输出至第1学习部105。第1学习部105使用由图像变换数据集选择部115选择出的图像变换数据集对图像变换参数进行学习。因此，第1学习部105使用由仿真部111生成的目标图像对图像变换参数进行学习。

选择评价值E_p例如使用以下所示的算式(9)进行计算。

【式9】

在这里，I_t表示传感器图像，II_s表示构成图像变换数据集的目标图像组，N_s表示目标图像组所包含的目标图像的图像数。另外，F_I(I)表示用于根据图像I对标量值进行计算的任意的函数。F_I(I)例如是图像的平均值计算函数、边缘数计算函数等。

另外，在存在与构成图像变换数据集的目标图像组所包含的各目标图像相关联的配置信息的情况下，图像变换数据集选择部115可以使用下面的算式(10)对选择评价值E_p进行计算。

【式10】

在这里，l_s表示取得传感器图像的传感器的测量距离，l_t表示构成目标图像组的目标图像的测量距离，w_I、w_l表示权重系数。在传感器的测量距离不明确可知的情况下可以使用大致的距离。此外，上述的选择评价值E_p的计算方法是一个例子，并不限定于上述的方法。

图12是用于对图11所示的仿真部111的动作进行说明的流程图。

仿真部111的第1生成部112取得仿真条件(步骤S301)。仿真条件例如从仿真部111内所具有的存储区域取得。第1生成部112基于仿真条件而生成表示对象物体的配置状态的配置信息(步骤S302)。第1生成部112将生成的配置信息输出至仿真部111的第2生成部113。

第2生成部113基于由第1生成部112生成的配置信息配置对象物体而生成目标图像(步骤S303)。第2生成部113将生成的目标图像输出而存储于存储部106(步骤S304)。

图13是用于对图11所示的物体识别装置30在运转开始前进行的处理进行说明的流程图。此外，在图13中，关于与物体识别装置10或者物体识别装置20的处理相同的部分，标注与图6或者图9相同的标号而省略详细的说明。下面，主要对与图6或者图9不同的部分进行说明。

物体识别装置30的仿真部111首先进行仿真处理(步骤S311)。步骤S311的仿真处理是图12的步骤S301～步骤S304所示的处理。

接下来，图像变换数据集生成部114使用由图像取得部101取得的传感器图像和由仿真部111生成的目标图像而生成图像变换数据集(步骤S312)。图像变换数据集生成部114使生成的图像变换数据集存储于存储部106。

图像变换数据集选择部115从在存储部106存储的图像变换数据集中，对第1学习部105所使用的图像变换数据集进行选择(步骤S313)。图像变换数据集选择部115将选择出的图像变换数据集输出至第1学习部105。

下面，步骤S121～S126、步骤S201、S202、步骤S128、S129的处理与使用图6或者图9而说明的处理相同。在步骤S121中，图像变换参数学习处理是使用在步骤S313中选择出的图像变换数据集而执行的。

如以上说明所述，实施方式3所涉及的物体识别装置30使用仿真而创建目标图像，使用创建的目标图像而进行图像变换参数的学习。另外，物体识别装置30生成包含使用仿真而创建的目标图像和由图像取得部101取得的传感器图像在内的图像变换数据集，使用生成的图像变换数据集而进行图像变换参数的学习。通过具有如上所述的结构，从而能够容易地生成为了对图像变换参数进行学习所需的目标图像及图像变换数据集。另外，目标图像基于仿真条件而被生成，是基于表示对象物体的配置状态的配置信息而生成的。因此，通过对仿真条件进行调整，从而能够生成各种目标图像。

物体识别装置30具有图像变换数据集选择部115，该图像变换数据集选择部115基于传感器图像，从由图像变换数据集生成部114生成的图像变换数据集中，对第1学习部105所使用的图像变换数据集进行选择。通过具有如上所述的结构，从而限定为适于周边环境的图像变换数据集，能够对图像变换参数进行学习，能够实现学习的高效化。

实施方式4.

图14是表示实施方式4所涉及的物体识别装置40的功能结构的图。物体识别装置40具有图像取得部101、图像变换部102、识别部103、输出部104、第1学习部105、存储部106、图像变换参数决定部107、评价部108、输入接受部109、机器人110、仿真部111、图像变换数据集生成部114、图像变换数据集选择部115、识别数据集生成部116、第2学习部117和识别参数决定部118。

物体识别装置40在实施方式3所涉及的物体识别装置30的结构的基础上，还具有识别数据集生成部116、第2学习部117和识别参数决定部118。下面，关于与实施方式3相同的功能结构，使用与实施方式3相同的标号而省略详细的说明，主要对与实施方式3不同的部分进行说明。

识别数据集生成部116基于识别部103所使用的识别方法，生成在由识别部103进行识别处理时所使用的注释数据，生成包含生成的注释数据和目标图像在内的识别数据集。识别数据集生成部116使生成的识别数据集存储于存储部106。注释数据根据识别部103所使用的识别方法而不同。例如，在识别方法是将对象物体的图像上的位置和大小进行输出的神经网络的情况下，注释数据是对象物体的图像上的位置及大小。

第2学习部117基于由识别数据集生成部116生成的识别数据集对识别部103所使用的参数即识别参数进行学习。第2学习部117例如能够通过与图3所示的第1学习部105相同的结构而实现。第2学习部117包含状态观测部11和机器学习部12。机器学习部12包含回报计算部121和函数更新部122。此外，图3所示的例子是利用强化学习而进行机器学习的例子，但第2学习部117也可以按照其他公知的方法例如神经网络、遗传编程、功能逻辑编程、支持向量机等而执行机器学习。第2学习部117使识别参数的学习结果存储于存储部106。识别参数例如在识别方法使用神经网络的情况下，识别参数包含构成神经网络的各单元间的权重系数。

识别参数决定部118基于使用多个识别参数的各个识别参数的情况下的评价部108的评价结果而决定识别部103所使用的识别参数。识别参数决定部118将决定出的识别参数输出至识别部103。

识别参数决定部118例如能够将评价值最大的识别参数设为识别部103所使用的识别参数。另外，输出部104针对每个识别参数而将评价部108的评价结果进行输出，在输入接受部109接受对识别参数进行选择的输入的情况下，识别参数决定部118也能够将由用户选择出的识别参数输出至识别部103。另外，考虑根据图像变换参数而识别参数的评价值发生变化，因此可以针对学习后的识别参数的1个，改变图像变换部102所使用的图像变换参数而对多个评价值进行计算。在该情况下，图像变换参数决定部107能够基于计算出的评价值和图像变换参数的组合而决定图像变换参数。

图15是用于对图14所示的物体识别装置40在运转开始前进行的处理进行说明的流程图。此外，在图15中，关于与物体识别装置30的处理相同的部分，标注与图13相同的标号而省略详细的说明。下面，主要对与图13不同的部分进行说明。

物体识别装置40在进行步骤S311的仿真处理后，与步骤S312、S313、S121的处理并行地生成识别数据集(步骤S401)，使用生成的识别数据集而进行对识别参数进行学习的识别参数学习处理(步骤S402)。

接下来，物体识别装置40在步骤S122、S123的处理后，对图像变换参数及识别参数进行选择(步骤S403)。下面，步骤S125、S126、S201、S202的处理与物体识别装置30相同。

在计算出评价值后，物体识别装置40的图像变换部102判断是否计算出全部的图像变换参数及识别参数的组合的评价值(步骤S404)。在计算出全部的图像变换参数及识别参数的组合的评价值的情况下(步骤S404：Yes)，物体识别装置40进行步骤S129的处理，决定识别参数(步骤S405)。在没有计算出全部的图像变换参数及识别参数的组合的评价值的情况下(步骤S404：No)，物体识别装置40返回步骤S403的处理。

如以上说明所述，实施方式4所涉及的物体识别装置40基于识别部103所使用的识别方法而生成识别部103所使用的注释数据，使用包含所生成的注释数据和目标图像在内的识别数据集对识别参数进行学习。通过具有如上所述的结构，从而物体识别装置40能够容易地生成各种情形的识别数据集。

另外，物体识别装置40基于使用了多个识别参数的各个识别参数的情况下的评价部108的评价结果，决定识别部103所使用的识别参数。通过具有如上所述的结构，从而物体识别装置40能够使用适于对象物体、周围环境等的识别参数进行识别处理，能够使识别成功率及抓持成功率提高。

接下来，对实施方式1～4所涉及的物体识别装置10、20、30、40的硬件结构进行说明。物体识别装置10、20、30、40的各结构要素由处理电路实现。这些处理电路可以由专用硬件实现，也可以是使用CPU(Central Processing Unit)的控制电路。

在上述的处理电路由专用硬件实现的情况下，它们由图16所示的处理电路90实现。图16是表示用于实现实施方式1～4所涉及的物体识别装置10、20、30、40的功能的专用硬件的图。处理电路90是单一电路、复合电路、被程序化的处理器、被并行程序化的处理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable GateArray)或者它们的组合。

在上述的处理电路由使用了CPU的控制电路实现的情况下，该控制电路例如是图17所示的结构的控制电路91。图17是表示用于实现实施方式1～4所涉及的物体识别装置10、20、30、40的功能的控制电路91的结构的图。如图17所示，控制电路91具有处理器92和存储器93。处理器92为CPU，也被称为处理装置、运算装置、微处理器、微型计算机、DSP(Digital Signal Processor)等。存储器93例如是RAM(Random Access Memory)、ROM(ReadOnly Memory)、闪存、EPROM(Erasable Programmable ROM)、EEPROM(注册商标)(Electrically EPROM)等非易失性或者易失性的半导体存储器、磁盘、软盘、光盘、压缩盘、迷你盘、DVD(Digital Versatile Disk)等。

在上述的处理电路由控制电路91实现的情况下，是处理器92将在存储器93中存储的与各结构要素的处理相对应的程序读出并执行而实现的。另外，存储器93还作为由处理器92执行的各处理中的暂时存储器使用。此外，由处理器92执行的计算机程序可以经由通信网络被提供，也可以以在存储介质中存储的状态被提供。

以上的实施方式所示的结构，表示一个例子，也能够与其他公知技术进行组合，也能够将实施方式彼此组合，在不脱离主旨的范围，也能够对结构的一部分进行省略、变更。

标号的说明

10、20、30、40物体识别装置，11状态观测部，12机器学习部，90处理电路，91控制电路，92处理器，93存储器，101图像取得部，102图像变换部，103识别部，104输出部，105第1学习部，106存储部，107图像变换参数决定部，108评价部，109输入接受部，110机器人，111仿真部，112第1生成部，113第2生成部，114图像变换数据集生成部，115图像变换数据集选择部，116识别数据集生成部，117第2学习部，118识别参数决定部，121回报计算部，122函数更新部。

Claims (18)

1.一种物体识别装置，其特征在于，具有：

图像取得部，其取得对象物体的图像；

图像变换部，其使用图像变换参数，对由所述图像取得部取得的所述图像即传感器图像进行图像变换而对变换后图像进行输出；

识别部，其基于所述变换后图像而识别所述对象物体的状态；

评价部，其基于所述识别部的识别结果，对为了生成所述变换后图像所使用的所述图像变换参数进行评价；以及

输出部，其对所述识别结果及所述评价部的评价结果进行输出。

2.根据权利要求1所述的物体识别装置，其特征在于，

所述图像变换参数是用于将所述传感器图像向具有预先确定的特征的图像进行图像变换的参数。

3.根据权利要求2所述的物体识别装置，其特征在于，

还具有第1学习部，该第1学习部针对每个所述特征而对所述图像变换参数进行学习，

所述图像变换部使用所述第1学习部的学习结果即所述图像变换参数，对所述传感器图像进行图像变换。

4.根据权利要求3所述的物体识别装置，其特征在于，

所述图像变换部进行多个阶段的图像变换而将所述传感器图像变换为所述变换后图像，

所述第1学习部对在图像变换的每个阶段所使用的多个种类的图像变换参数分别进行学习。

5.根据权利要求4所述的物体识别装置，其特征在于，

所述图像变换部将所述传感器图像变换为中间图像，将所述中间图像变换为所述变换后图像，由此将所述传感器图像变换为所述变换后图像，

所述第1学习部对用于将所述传感器图像变换为中间图像的第1图像变换参数、和用于将所述中间图像变换为所述变换后图像的第2图像变换参数进行学习。

6.根据权利要求3所述的物体识别装置，其特征在于，

所述图像变换部在将所述传感器图像变换为多个成分图像后，将所述多个成分图像进行合成而取得所述变换后图像，

所述第1学习部对用于将所述传感器图像分别变换为所述多个成分图像的多个种类的图像变换参数进行学习。

7.根据权利要求1至6中任一项所述的物体识别装置，其特征在于，

还具有变换参数决定部，该变换参数决定部基于分别使用了多个所述图像变换参数的情况下的所述评价部的评价结果，决定所述图像变换部所使用的图像变换参数。

8.根据权利要求1至7中任一项所述的物体识别装置，其特征在于，

还具有输入接受部，该输入接受部接受所述评价部为了对所述图像变换参数进行评价所使用的参数即评价参数的输入，

所述评价部使用由所述输入接受部接受的评价参数对所述图像变换参数进行评价。

9.根据权利要求1至8中任一项所述的物体识别装置，其特征在于，

所述识别结果包含所述识别部的识别处理时间及由所述识别部识别出的所述对象物体的个数中的至少任一者。

10.根据权利要求1至9中任一项所述的物体识别装置，其特征在于，

还具有机器人，该机器人基于所述识别部的识别结果对所述对象物体进行抓持，

所述评价部还基于所述机器人的动作结果，对所述图像变换参数进行评价。

11.根据权利要求10所述的物体识别装置，其特征在于，

所述动作结果包含所述机器人对对象物体的抓持成功的概率、抓持动作时间和抓持失败原因之中的至少1个。

12.根据权利要求3所述的物体识别装置，其特征在于，

还具有仿真部，该仿真部使用仿真而创建具有预先确定的所述特征的图像即目标图像，

所述第1学习部使用由所述仿真部创建的所述目标图像对所述图像变换参数进行学习。

13.根据权利要求12所述的物体识别装置，其特征在于，

所述仿真部具有：第1生成部，其基于仿真条件而生成表示所述对象物体的配置状态的配置信息；以及第2生成部，其基于所述配置信息对所述对象物体进行配置而生成所述目标图像，

还具有图像变换数据集生成部，该图像变换数据集生成部生成包含由所述仿真部生成的所述目标图像和所述传感器图像在内的图像变换数据集。

14.根据权利要求13所述的物体识别装置，其特征在于，

还具有图像变换数据集选择部，该图像变换数据集选择部基于所述传感器图像，从由所述图像变换数据集生成部创建的所述图像变换数据集中，对所述第1学习部所使用的图像变换数据集进行选择。

15.根据权利要求12至14中任一项所述的物体识别装置，其特征在于，

还具有识别数据集生成部，该识别数据集生成部基于所述识别部所使用的识别方法，生成在由所述识别部进行识别处理时所使用的注释数据，生成包含所述目标图像和所述注释数据在内的识别数据集。

16.根据权利要求15所述的物体识别装置，其特征在于，

还具有第2学习部，该第2学习部基于包含在由所述识别部进行识别处理时所使用的注释数据和所述目标图像在内的识别数据集，对所述识别部所使用的参数即识别参数进行学习。

17.根据权利要求16所述的物体识别装置，其特征在于，

还具有识别参数决定部，该识别参数决定部基于分别使用了多个所述识别参数的情况下的所述评价部的评价结果，决定所述识别部所使用的识别参数。

18.一种物体识别方法，其特征在于，包含下述步骤：

物体识别装置取得对象物体的图像；

所述物体识别装置使用图像变换参数，对所取得的所述图像进行图像变换而将变换后图像进行输出；

所述物体识别装置基于所述变换后图像而识别所述对象物体的状态；

所述物体识别装置基于识别结果，对为了生成所述变换后图像所使用的所述图像变换参数进行评价；以及

所述物体识别装置将所述识别结果及评价结果进行输出。

Images