CN114341930A - 图像处理装置、拍摄装置、机器人以及机器人系统 - Google Patents

Abstract

图像处理装置(100)包括：存储部(115)，其存储被拍摄体(A)的形状；提取部(111a)，其从相机(41)拍摄了上述被拍摄体而得的第一图像中，提取对象区域的第二图像；距离检测部(111b)，其通过处理上述第二图像，对从映现于上述对象区域内的至少3个部位至上述相机的距离进行检测；平面推断部(111c)，其使用上述至少3个部位处的距离来推断映现于上述对象区域内的平面；角度检测部(111d)，其检测上述平面相对于上述相机的光轴的角度；轮廓推断部(111e)，其使用上述被拍摄体的形状和上述平面的角度，来推断映现于上述第一图像的上述被拍摄体的轮廓；以及确定部(111g)，其使用上述轮廓，在上述第一图像上确定出上述被拍摄体。

Description

图像处理装置、拍摄装置、机器人以及机器人系统

技术领域

本公开涉及图像处理装置、拍摄装置、机器人以及机器人系统。

背景技术

以往，存在使用拍摄了工件的图像来控制动作的机器人。例如，专利文献1公开一种装置，使用由相机拍摄了工件的图像，计测工件的三维位置以及姿势，并使用计测出的信息，来控制机器人臂前端部以及机器人手。专利文献1的相机具备左右的透镜机构和拍摄元件。工件由左右的透镜机构同时拍摄，并记录于拍摄元件。并且，通过在左右的透镜机构的工件的两个图像之间进行使用了立体匹配法的图像处理，计算工件的三维位置以及姿势。

专利文献1：日本特开2009-241247号公报

然而，专利文献1没有公开用于在两个图像上确定出工件的方法。映现于图像的工件的形状、尺寸、色彩以及花纹等与相机和工件之间的位置关系以及工件相对于相机的姿势对应地产生各种变化。因此，存在为了在图像上确定出工件而需要许多处理的情况。

发明内容

因此，本公开的目的在于提供减少用于在图像上确定出工件等被拍摄体的处理量的图像处理装置、拍摄装置、机器人以及机器人系统。

为了实现上述目的，本公开的一方式所涉及的图像处理装置是对图像进行处理的图像处理装置，具备：存储部，其存储被拍摄体的形状；提取部，其从相机拍摄了上述被拍摄体而得的第一图像中，提取一部分区域亦即对象区域的第二图像；距离检测部，其通过对上述第二图像进行处理，对从映现于上述对象区域内的至少3个部位至上述相机的距离进行检测；平面推断部，其使用上述至少3个部位处的距离来推断映现于上述对象区域内的平面；角度检测部，其检测上述平面相对于上述相机的光轴的角度；轮廓推断部，其使用存储于上述存储部的上述被拍摄体的形状和上述平面的角度，来推断映现于上述第一图像的上述被拍摄体的轮廓亦即被拍摄体轮廓；以及确定部，其使用上述被拍摄体轮廓，在上述第一图像上确定出上述被拍摄体。

另外，本公开的一方式所涉及的图像处理装置是对图像进行处理的图像处理装置，具备：存储部，其存储被拍摄体的形状；提取部，其从相机拍摄了上述被拍摄体而得的第一图像中，提取一部分区域亦即对象区域的第二图像；距离检测部，其通过对上述第二图像进行处理，对从映现于上述对象区域内的至少3个部位至上述相机的距离进行检测；平面推断部，其使用上述至少3个部位处的距离来推断映现于上述对象区域内的平面；角度检测部，其检测上述平面相对于上述相机的光轴的角度；方向决定部，其以使上述相机的光轴的方向与垂直于上述平面的方向亦即第一方向一致的方式对上述相机进行定向；轮廓推断部，其使用存储于上述存储部的上述被拍摄体的形状来推断映现于第三图像的上述被拍摄体的轮廓亦即被拍摄体轮廓，其中，上述第三图像是上述光轴被定向于上述第一方向的上述相机拍摄了上述被拍摄体而得的图像；以及确定部，其使用上述被拍摄体轮廓，在上述第三图像上确定出上述被拍摄体。

另外，本公开的一方式所涉及的拍摄装置具备：相机；以及对上述相机拍摄到的图像进行处理的本公开的一方式所涉及的图像处理装置。

另外，本公开的一方式所涉及的机器人具备：本公开的一方式所涉及的拍摄装置；机器人臂，其具有相对于物品进行处理动作的末端操作器；以及控制装置，其基于作为由上述确定部确定出的上述被拍摄体的上述物品的图像，来控制上述末端操作器以及上述机器人臂的动作。

另外，本公开的一方式所涉及的机器人系统具备：本公开的一方式所涉及的机器人；以及操作装置，其用于操作上述机器人。

根据本公开的技术，能够减少用于在图像上确定出被拍摄体的处理量。

附图说明

图1是表示实施方式所涉及的机器人系统的结构的一个例子的图。

图2是将图1的机器人放大的侧视图。

图3是表示实施方式所涉及的相机的结构的一个例子的剖面侧视图。

图4是表示实施方式所涉及的机器人系统的硬件结构的一个例子的框图。

图5是表示实施方式所涉及的控制装置的功能结构的一个例子的框图。

图6是表示实施方式所涉及的图像处理部的功能结构的一个例子的框图。

图7是表示两个相机拍摄到的图像的一个例子的图。

图8是表示相机坐标系中的推断平面的一个例子的图。

图9是表示通过图像处理部推断的物品的轮廓的形状的一个例子的图。

图10是表示实施方式所涉及的机器人系统的动作的一个例子的流程图。

图11是表示变形例1所涉及的图像处理部的功能结构的一个例子的框图。

图12是表示变形例1所涉及的机器人系统的动作的一个例子的流程图。

图13是表示变形例2所涉及的图像处理部的功能结构的一个例子的框图。

图14是表示变形例2所涉及的机器人系统的动作的一个例子的流程图。

图15是表示变形例3所涉及的图像处理部的功能结构的一个例子的框图。

图16是表示变形例3所涉及的机器人系统的动作的一个例子的流程图。

图17是表示变形例4所涉及的图像处理部的功能结构的一个例子的框图。

图18是表示变形例4所涉及的机器人系统的动作的一个例子的流程图。

图19是表示变形例5所涉及的图像处理部的功能结构的一个例子的框图。

具体实施方式

以下，参照附图对本公开的实施方式进行说明。并且，以下说明的实施方式均表示包括性或者具体的例子。另外，对于以下的实施方式的构成要素中的表示最上位概念的独立权利要求所没有记载的构成要素，则作为任意的结构要素来进行说明。另外，附图的各图是示意性的图，不一定严格地进行图示。并且，在各图中，对实质相同的结构要素标注相同的附图标记，有时省略或者简化重复的说明。另外，在本说明书以及权利要求书中，“装置”不仅可以指一个装置，还可以指由多个装置构成的系统。

＜机器人系统的结构＞

对实施方式所涉及的机器人系统1的结构进行说明。图1是表示实施方式所涉及的机器人系统1的结构的一个例子的图。如图1所示，机器人系统1具备机器人10、输入装置20、输出装置30、相机41、控制装置100作为构成要素。需要说明的是，上述构成要素不是所有都是必需的。

在本实施方式中，将机器人系统1作为进行使用机器人10来移动物品A的作业的系统，进行以下的说明，但不限定于此。例如，机器人系统1是机器人10相对于物品进行某种处理动作的系统即可。并且，将机器人10所移动的物品A作为纸壳箱，进行以下的说明，但不限定于此。物品A优选在其外表面包含平面。这样的物品A也可以是具有规定的形状的其他物体，也可以是岩石等不具有规定的形状的物体。输入装置20是用于操作机器人10的装置，并将与操作人员的输入对应的信号输出至控制装置100。控制装置100控制机器人系统1的整体，例如将与来自输入装置20的信号对应的控制信号输出至机器人10来控制机器人10的动作。

＜机器人的结构＞

对机器人10的结构进行说明。图2是将图1的机器人10放大的侧视图。如图1以及图2所示，机器人10具备收容部11、机器人臂12、机器人手(也被称为“末端操作器”)13、以及搬运车14。收容部11、机器人臂12以及机器人手13配置于搬运车14。搬运车14能够使机器人10在地面等上移动，并具备作为行驶单元的车轮14a和驱动车轮14a的搬运驱动装置14b(未图示)，但不局限于此，也可以具备履带(也被称为“履带链轨(注册商标)”)等其他行驶单元。搬运驱动装置14b以电力作为动力源，具有伺服马达作为电动马达，但也可以使用任何动力源。这样的搬运车14也可以是例如AGV(无人搬运车：Automated Guided Vehicle)。另外，机器人10也可以不具备搬运车14而被固定于地面等来进行配置。

收容部11配置在搬运车14上，并收容控制装置100、电源装置16(未图示)以及负压产生装置17(未图示)等。电源装置16对消耗电力的机器人10的各构成要素供给电力。电源装置16也可以具备二次电池，并将二次电池的电力供给于各构成要素，也可以构成为与工业电源或者机器人10的外部的装置等外部电源连接，将外部电源的电力供给于各构成要素。电源装置16也可以构成为具备二次电池且与外部电源连接。二次电池是能够进行电力的充放电的蓄电池，可以是铅蓄电池、锂离子二次电池、镍氢蓄电池、镍镉蓄电池等。电源装置16也可以具备仅能够进行电力的放电的一次电池。

机器人臂12的基部安装固定于搬运车14，并在机器人臂12的前端部安装有机器人手13。机器人手13构成为能够保持作为纸壳箱的物品A。机器人臂12以及机器人手13根据控制装置100的控制而进行动作，例如使由机器人手13保持的物品A向其他场所移动。在本实施方式中，机器人手13通过利用负压进行吸附来保持物品A，例如也可以构成为通过把持、捧起、悬挂、卡合、粘接力以及磁力等来保持物品A。另外，机器人10如以下说明的那样构成为垂直多关节型的工业用机器人，但不限定于此。

机器人臂12具备：从其基部朝向前端依次配置的连杆12a～12f、将连杆12a～12f依次连接的关节JT1～JT6、分别对关节JT1～JT6进行驱动而使它们旋转的臂驱动装置M1～M6。臂驱动装置M1～M6的动作由控制装置100控制。臂驱动装置M1～M6分别以电力作为动力源，并具有伺服马达作为驱动它们的电动马达，但可以使用任何动力源。另外，机器人臂12的关节的数量不限定于6个，也可以是7个以上，也可以是一个以上且5个以下。

连杆12a经由关节JT1而安装于搬运车14，机器人手13安装于连杆12f的前端部。关节JT1将搬运车14与连杆12a的基端部以能够绕相对于支承搬运车14的地面垂直的铅垂方向的轴旋转的方式连结。关节JT2将连杆12a的前端部与连杆12b的基端部以能够绕相对于该地面水平方向的轴旋转的方式连结。关节JT3将连杆12b的前端部与连杆12c的基端部以能够绕水平方向的轴旋转的方式连结。关节JT4将连杆12c的前端部与连杆12d的基端部以能够绕连杆12c的长度方向的轴旋转的方式连结。关节JT5将连杆12d的前端部与连杆12e的基端部以能够绕与连杆12d的长度方向正交的方向的轴旋转的方式连结。关节JT6将连杆12e的前端部与连杆12f的基端部以能够相对于连杆12e扭转旋转的方式连结。

机器人手13具有主体部13a、一个以上的吸附部13b、支承部13c。主体部13a具有板状的形状，并在主体部13a的一侧的主面连接有连杆12f，在与上述主面相反一侧的主面配置有吸附部13b以及支承部13c。主体部13a与连杆12f一起以连杆12f的扭转旋转轴S为中心转动。支承部13c从具有板状的形状的主体部13a沿轴S方向突出。

吸附部13b在与轴S垂直的方向上以离开支承部13c的方式配置。吸附部13b例如具有锥筒状等中空的形状，并经由未图示的配管与负压产生装置17连接。吸附部13b在轴S方向上敞开。负压产生装置17的结构只要是能够使吸附部13b的中空部分产生负压，则没有特别限定，可以使用现有的任何结构。例如，负压产生装置17也可以具有通过送入压缩空气来产生负压或者真空的喷射器的结构，也可以具有通过吸引空气来产生负压或者真空的真空泵或者气压缸的结构。

机器人手13通过使吸附部13b接触物品A的侧面等表面并使吸附部13b产生负压，从而经由吸附部13b来吸附物品A。由此，机器人手13能够抬起物品A等保持物品A并使其移动。并且，机器人手13通过使支承部13c与物品A的底面等表面抵接，从而能够由支承部13c对物品A进行支承并且保持物品A。

＜输入装置的结构＞

对输入装置20的结构进行说明。如图1所示，输入装置20接受由操作人员等进行的指令以及信息等的输入，并将该指令以及信息等向控制装置100输出。输入装置20经由有线通信或者无线通信与控制装置100连接。有线通信以及无线通信的形式可以为任何形式。例如，输入装置20用于对机器人10进行远程操作，以从机器人10离开预定距离的方式配置。

输入装置20也可以接受由操作人员进行的构成机器人10的手动操作的各个操作的输入，并将该操作的指令值向控制装置100输出。输入装置20也可以接受机器人10的自动操作的操作内容的输入，并将该操作内容的指令值向控制装置100输出。输入装置20也可以接受机器人10的移动对象的物品A的形状以及/或者尺寸等信息的输入，并将该信息向控制装置100输出。

这样的输入装置20也可以具备手柄、杆、踏板、按钮、触摸面板、麦克风以及相机等装置。也可以是输入装置20接受手柄或者杆的位移、方向、速度以及操作力、按钮的按下、向触摸面板的画面的接触、接触轨迹以及接触压、由扬声器收集的声音信号、由相机拍摄到的操作人员的手势等图像的解析结果等，来作为输入的指令以及信息等。

＜输出装置的结构＞

对输出装置30的结构进行说明。如图1所示，输出装置30配置于输入装置20的附近。输出装置30将从相机41获取的图像的信号作为图像输出并向操作人员显示。输出装置30的例子是液晶显示器(Liquid Crystal Display)以及有机或者无机EL显示器(Electro-Luminescence Display)，但不限定于这些。输出装置30也可以具备产生声音的扬声器。也可以是，输出装置30将用于由控制装置100输出的操作等的图像以及/或者声音输出。

＜相机的结构＞

对相机41的结构进行说明。相机41是拍摄数字图像的相机，且是能够检测至拍摄到的图像内的被拍摄体的距离等三维位置的相机。如图2所示，相机41以将机器人手13的前方作为视场的方式配置以及定向。具体而言，相机41配置于连杆12d，并沿着连杆12d的长度方向而朝向连杆12d的前端定向。这样的相机41能够拍摄机器人手13的移动对象的物品A。

图3是表示实施方式所涉及的相机41的结构的一个例子的剖面侧视图。如图3所示，在本实施方式中，相机41是包括两个以上的相机的复眼相机。相机41包括配置于不同位置的两个相机41a以及41b。相机41a以及41b具有相同的结构以及性能，但也可以具有不同的结构以及性能。相机41a以及41b也可以如图3那样一体化，也可以分离配置。相机41a以及41b配置为相互的视场重叠。相机41a以及41b分别包括透镜42和拍摄元件43。在相机41a中，在透镜42的光轴中心LAa上配置有拍摄元件43。在相机41b中，在透镜42的光轴中心LAb上配置有拍摄元件43。光轴中心LAa以及LAb相互平行，但也可以不平行。光轴中心LAa以及LAb是相机41的光轴的一个例子。

拍摄元件43接受穿过透镜42而入射的光，并通过接受到的光来形成像。拍摄元件43的例子是CMOS(Complementary Metal-Oxide Semiconductor)图像传感器以及CCD(Charge Coupled Device)图像传感器等。拍摄元件43包括以格子状平面地排列的多个受光元件。各受光元件将表示接受到的光的强度的像素值向控制装置100输出。像素值的例子是亮度值。在图3中，配置有两个拍摄元件43，但也可以一体化。换句话说，也可以配置有遍及两个拍摄元件43的区域的一个拍摄元件。

相机坐标系设定于相机41。相机坐标系是以相机41a以及41b作为基准的局部坐标系，通过相机41a以及41b的透镜42的中心的中点亦即原点О、相互正交的X轴、Y轴以及Z轴来进行定义。Z轴与光轴中心LAa以及LAb平行。X轴与包含光轴中心LAa以及LAb的平面平行。Y轴与包含光轴中心LAa以及LAb的平面垂直。拍摄元件43的受光的表面亦即受光面与XY平面平行。由相机41a以及41b拍摄到的图像是向与XY平面平行的面投影了被拍摄体的图像。

＜机器人系统的硬件结构＞

对机器人系统1的硬件结构进行说明。图4是表示实施方式所涉及的机器人系统1的硬件结构的一个例子的框图。如图4所示，机器人系统1包括CPU(Central ProcessingUnit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、存储器104、输入I/F(接口：Interface)21、拍摄元件I/F44、显卡31、马达驱动电路52、负压驱动电路62、输入装置20、相机41a以及41b、输出装置30、伺服马达51、负压产生装置17作为构成要素。上述构成要素分别经由总线、有线通信或者无线通信连接。需要说明的是，上述构成要素不是全部都是必需的。

虽不限定于此，但在本实施方式中，CPU101、ROM102、RAM103、存储器104、输入I/F21、拍摄元件I/F44以及显卡31构成控制装置100。CPU101是处理器，且对机器人系统1的处理以及动作的整体进行控制。ROM102由非易失性半导体存储器等构成，储存用于使CPU101控制处理以及动作的程序以及数据等。RAM103由易失性半导体存储器等构成，暂时储存由CPU101执行的程序以及处理中途或者处理完毕的数据等。存储器104由易失性存储器以及非易失性存储器等半导体存储器、硬盘(HDD：Hard Disc Drive)以及SSD(Solid StateDrive)等存储装置构成。

用于使CPU101动作的程序预先保持于ROM102或者存储器104。CPU101从ROM102或者存储器104向RAM103读取并展开程序。CPU101执行展开于RAM103的程序中的编码化的各命令。

输入I/F21与输入装置20连接，并接受来自输入装置20的信息以及指令等的输入。输入I/F21也可以包括转换输入信号的电路等。

拍摄元件I/F44与程序的执行对应地控制相机41a以及41b的拍摄元件43的驱动，并将由相机41a以及41b拍摄到的图像获取至RAM103或者存储器104。拍摄元件I/F44也可以包括用于拍摄元件43的驱动的电路等。

显卡31与程序的执行对应地对由相机41a以及41b拍摄到的图像以及/或者从该图像生成的图像进行处理，并输出至输出装置30来进行显示。

马达驱动电路52根据CPU101的指令，将电源装置16的电力供给于各伺服马达51并控制该伺服马达51的驱动。伺服马达51是机器人臂12的臂驱动装置M1～M6以及搬运车14的搬运驱动装置14b的伺服马达。马达驱动电路52控制所有的伺服马达51的驱动。

另外，各伺服马达51具备：电动马达、对电动马达的转子的旋转角进行检测的编码器、对施加于电动马达的电流值进行检测的电流检测器。各伺服马达51根据从CPU101输出的指令等，使电动马达动作，并将编码器的检测值以及电动马达的电流值输出至CPU101。CPU101基于从各伺服马达51反馈的编码器的检测值以及电流值，对该伺服马达51的转子的旋转量、旋转速度、旋转加速度以及旋转扭矩等进行检测，并使用检测结果来控制该伺服马达51的旋转开始、旋转停止、旋转速度、旋转加速度以及旋转扭矩等。由此，CPU101能够使各伺服马达51在任意的旋转位置停止，能够以任意的旋转速度旋转，能够以任意的旋转扭矩动作。因此，CPU101能够使机器人臂12以及搬运车14多样且精密地进行动作。

负压驱动电路62根据CPU101的指令，将电源装置16的电力供给于负压产生装置17，并控制负压产生装置17的驱动。

上述那样的控制装置100的各功能也可以通过由CPU101、ROM102以及RAM103等构成的计算机系统实现，也可以通过电子电路或者集成电路等专用的硬件电路实现，也可以通过上述计算机系统以及硬件电路的组合实现。控制装置100也可以通过基于单一的控制装置的集中控制而执行各处理，也可以通过基于多个控制装置的配合的分散控制而执行各处理。也可以是，程序作为应用程序而通过经由因特网等通信网的通信、基于移动通信标准的通信、其他无线网络、有线网络或者广播等来提供。

例如，控制装置100的各功能也可以通过LSI(Large Scale Integration：大规模集成电路)、系统LSI等电路而实现。多个构成要素的功能也可以单独地单一芯片化，也可以以包含一部分或者全部的方式单一芯片化。另外，电路分别也可以是通用的电路，也可以是专用的电路。作为LSI，也可以利用能够在LSI制造后进行编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)、能够重新配置LSI内部的电路单元的连接以及/或者设定的可重构处理器、或者将适于特定用途的多个功能的电路集中为一个的ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)等。

＜控制装置的功能结构＞

对控制装置100的功能结构进行说明。图5是表示实施方式所涉及的控制装置100的功能结构的一个例子的框图。如图5所示，控制装置100包括输入处理部201、输出处理部301、拍摄控制部401、图像处理部111、臂控制部112、手控制部113、搬运控制部114、存储部115作为功能结构要素。需要说明的是，上述功能结构要素不是全部都是必需的。控制装置100是图像处理装置的一个例子。

除存储部115之外的功能结构要素的功能通过CPU101等来实现。存储部115的功能通过存储器104、ROM102以及RAM103等来实现。拍摄控制部401、图像处理部111和相机41a以及41b构成拍摄装置40。

存储部115能够储存各种信息，并进行对储存的信息的读取。存储部115储存相机41a以及41b的相机参数、和机器人10可移动的对象的物品的形状以及尺寸等。另外，存储部115对由相机41a以及41b拍摄到的图像中由图像处理部111处理的区域的信息进行储存。存储部115也可以储存程序。

相机参数包括外部参数和内部参数。外部参数的例子是表示相机41a以及41b的位置以及朝向等的参数。内部参数的例子是表示相机41a以及41b的透镜的形变、焦距、拍摄元件43的一个像素的尺寸以及光轴中心的像素坐标等的参数。像素坐标是以像素作为单位的坐标，是在图像上的二维坐标。

物品的形状是物品的三维形状以及/或者二维形状。物品的形状也可以作为表示物品的三维形状以及/或者二维形状的信息而储存于存储部115。物品的三维形状以及二维形状也可以分别作为物品的三维模型以及二维模型而储存于存储部115。例如，物品的二维形状也可以是从各种方向对物品进行了投影时在投影面上的物品的轮廓形状。

物品的尺寸表示实际的物品的尺寸、即实物的尺寸。物品的尺寸也可以表示物品的三维形状以及二维形状的各部分的尺寸，也可以表示三维形状以及二维形状的特征部分的尺寸。例如，特征部分的尺寸也可以是物品的外形的宽度、高度以及进深等外形的代表性的尺寸、以及物品的边缘的尺寸和剖面尺寸等物品的代表性的一部分的尺寸等。

输入处理部201将从输入装置20获取的指令以及信息等输出至控制装置100的各功能结构要素。

输出处理部301将由相机41a和41b拍摄到的图像以及由图像处理部111处理的图像、以及控制装置100的各功能结构要素的动作结果以及检测结果等输出信息输出至输出装置30。输出处理部301将机器人10的操作用的画面输出至输出装置30。

拍摄控制部401控制相机41a和41b的动作。拍摄控制部401也可以根据输入至输入装置20的拍摄执行的指令，使相机41a和41b进行拍摄。拍摄控制部401使相机41a以及41b相互同步地进行拍摄。拍摄控制部401使由相机41a以及41b在同时刻拍摄到的图像建立对应并向存储部115等输出。

图像处理部111使用由相机41a以及41b拍摄到的图像，确定映现于该图像的物品，并检测该物品的三维位置以及姿势。图像处理部111将物品的三维位置以及姿势的信息输出至臂控制部112、手控制部113以及搬运控制部114。图像处理部111也可以将该信息输出至存储部115并进行储存。图像处理部111的详情将后述。

臂控制部112根据从输入处理部201接受的指令等，使用从图像处理部111接受的信息，来控制臂驱动装置M1～M6的动作，从而进行与机器人臂12对应的动作。臂控制部112基于臂驱动装置M1～M6的伺服马达51的旋转量等动作量，对包括机器人臂12的各连杆12a～12f以及机器人手13的位置、姿势、移动方向以及移动速度等在内的位置姿势信息进行检测。臂控制部112基于位置姿势信息，来控制臂驱动装置M1～M6的动作。另外，臂控制部112将位置姿势信息输出至手控制部113以及搬运控制部114。

手控制部113根据从输入处理部201接受的指令等，控制负压产生装置17的动作。例如，也可以是，手控制部113基于从图像处理部111接受的信息和从臂控制部112接受的机器人手13的位置姿势信息，检测吸附部13b与物品的接触或者接近，在该检测后，使负压产生装置17起动，从而使吸附部13b吸附物品。

搬运控制部114根据从输入处理部201接受的指令等，控制搬运驱动装置14b的动作，从而进行与搬运车14对应的动作。例如，也可以是，搬运控制部114使用从图像处理部111接受的信息和从臂控制部112接受的机器人臂12以及机器人手13的位置姿势信息，来检测移动对象的物品是否在机器人臂12的可触及范围内。也可以是，在物品处于可触及范围外的情况下，搬运控制部114以使搬运车14接近该物品的方式动作。

另外，也可以是，搬运控制部114基于搬运驱动装置14b的伺服马达51的旋转量等动作量，来检测搬运车14的位置以及朝向，并基于该位置以及朝向等来控制搬运驱动装置14b。另外，也可以是，搬运车14具备GPS(Global Positioning System)接收器以及IMU(惯性计测装置：Inertial Measurement Unit)等位置计测装置，使用位置计测装置的计测结果来检测搬运车14的位置以及朝向。另外，也可以是，搬运控制部114例如从埋设于地面的电线检测微弱的感应电流，并基于该检测值来检测搬运车14的位置以及朝向。

＜图像处理部的功能结构＞

对图像处理部111的功能结构进行说明。图6是表示实施方式所涉及的图像处理部111的功能结构的一个例子的框图。如图6所示，图像处理部111包括提取部111a、距离检测部111b、平面推断部111c、角度检测部111d、轮廓推断部111e、边缘提取部111f、确定部111g、被拍摄体检测部111h作为功能结构要素。

图7是表示相机41a以及41b拍摄到的图像的一个例子的图。如图6以及图7所示，提取部111a从由相机41a以及41b分别拍摄到的图像(以下，也称为“第一图像”)IAa以及IAb分别提取一部分区域亦即对象区域TA的图像(以下，也称为“第二图像”)IBa以及IBb，并向距离检测部111b输出。第一图像IAa以及IAb是在同时刻拍摄到的图像。第一图像IAa以及IAb的对象区域TA的位置、形状以及尺寸相同，且是预先设定的。对象区域TA的位置、形状以及尺寸的信息储存于存储部115。对象区域TA的位置、形状以及尺寸例如也可以使用像素坐标来进行设定。

对象区域TA具有比第一图像IAa以及IAb小的尺寸的矩形形状，且配置于第一图像IAa以及IAb的中心。需要说明的是，对象区域TA的尺寸、形状以及位置没有特别限定，配置为对象区域TA小于第一图像IAa以及IAb，且纳入第一图像IAa以及IAb内即可。优选对象区域TA为如后述那样平面推断部111c能够在第二图像IBa以及IBb内推断物品的平面区域那样的形状以及尺寸。例如，对象区域TA也可以小于映现于第一图像的一个物品的外形。对象区域TA的尺寸越小，则越能够减少距离检测部111b以及平面推断部111c的处理量。

另外，对象区域TA的位置、形状以及尺寸也可以是能够变更的。例如，该变更也可以经由输入装置20进行。若在输入装置20输入有变更后的对象区域TA的位置、形状以及尺寸的信息，则提取部111a利用变更后的对象区域TA的位置、形状以及尺寸置换、即更新储存于存储部115的对象区域TA的位置、形状以及尺寸。这样，对象区域TA的位置、形状以及尺寸也可以是能够任意设定的。

距离检测部111b通过处理第二图像IBa以及IBb，来检测从映现于对象区域TA内的被拍摄体至相机41为止的实际的距离，并输出至平面推断部111c。相机41的距离的基准点的位置也可以是任意位置。例如，上述基准点也可以是设定于相机41a的基准点、设定于相机41b的基准点、或者是相机41a以及41b的中间点О(参照图3)等。在本实施方式中，距离检测部111b针对第二图像IBa以及IBb的所有像素对，对映现于该像素对的被拍摄体与相机41的实际距离亦即三维距离(以下，仅称为“距离”)进行计算。第二图像IBa以及IBb的像素对是映现相同的被拍摄体的对应的像素对。另外，也可以是，距离检测部111b在第二图像IBa以及IBb中，针对像素位置不同的至少3个像素对而计算上述距离。

例如，距离检测部111b通过使用了第二图像IBa以及IBb的立体观察，对从至少3个像素对分别映现的被拍摄体至相机41为止的距离进行检测。此时，距离检测部111b使用第二图像IBa以及IBb、和储存于存储部115的相机41a以及41b的相机参数。具体而言，距离检测部111b针对第二图像IBa上的各像素，对该像素的像素坐标和表示与映现于该像素的被拍摄体相同的被拍摄体的第二图像IBb上的对应点的像素坐标进行检测。检测方法可以是已知的任何方法。

距离检测部111b对在第二图像IBa以及IBb之间根据映现于像素的被拍摄体与相机41之间的距离而产生的视差进行计算。“视差”是指从处于不同位置的相机41a以及41b观察相同的对象点的情况下的该对象点的方向或者位置之差。视差与第二图像IBa以及IBb之间的映现相同的点的像素的位置的偏离对应。换句话说，像素对的像素坐标的像素位置的差异是视差。距离检测部111b通过使用了基于像素对的两个像素坐标的视差和相机参数的立体观察，对映现于该像素对的被拍摄体与相机41之间的距离进行计算。距离检测部111b针对第二图像IBa上的所有像素进行上述处理。由此，距离检测部111b对各像素的位置的距离值进行计算。也可以是，距离检测部111b生成以各像素的位置的距离值作为该像素的像素值的距离图像。

并且，也可以是，距离检测部111b使用第二图像IBa以及IBb的至少一方的各像素的距离值和从相机41a以及41b朝向该像素的视线的方向，来计算映现于该像素的被拍摄体的实际的三维位置，并向平面推断部111c输出。以下，存在将“映现于像素的被拍摄体的三维位置”表达为“与像素对应的三维位置”的情况。三维位置也可以通过表示地球上的位置的世界坐标系或者相机坐标系的三维坐标等来进行表示。

平面推断部111c使用第二图像IBa以及IBb的至少一方中的至少3个部位的距离来推断映现于对象区域TA内的平面。在本实施方式中，对一个部位为一个像素的情况进行说明，但不限定于此。例如，一个部位也可以是由一个点、一个像素以及多个像素构成的一个像素组等。平面推断部111c从距离检测部111b获取或者由自身计算与第二图像IBa或者IBb的至少3个像素对应的三维位置。平面推断部111c使用与至少3个像素对应的三维位置来推断上述平面。平面推断部111c也可以将通过至少3个像素对应的三维位置或者其附近的平面计算为推断对象的平面。平面推断部111c将表示计算出的平面亦即推断平面的信息输出至角度检测部111d。该信息是在三维空间内表示推断平面的信息。推断平面也可以通过世界坐标系或者相机坐标系等的坐标来进行表示。

或者，平面推断部111c也可以通过将第二图像IBa或者IBb的多个像素的距离值平均化而将噪声成分除去来平滑化。平均化的方法可以是已知的任何方法。平面推断部111c可以针对第二图像IBa或者IBb的所有像素而平均化，也可以针对一部分像素而平均化。在后者的情况下，也可以是，平面推断部111c从第二图像IBa或者IBb，提取相邻的像素之间的距离值的差异在第一阈值以内的像素，并针对提取出的像素的像素组进行平均化。也可以是，第一阈值根据推断的平面的平滑度以及粗糙度等而任意设定，并储存于存储部115。也可以是，在提取了多个像素组的情况下，平面推断部111c提取像素组间的距离为第二阈值以内的像素组，将提取出的像素组视为表示一个平面的像素组。也可以是，第二阈值根据物品的形状等而任意设定，并储存于存储部115。

平面推断部111c使用平均化后的各像素的距离值和从相机41a或者41b朝向该像素的视线的方向，来计算与该像素对应的三维位置。而且，平面推断部111c将通过与各像素对应的三维位置或者其附近的平面计算为推断对象的平面。

角度检测部111d对推断平面相对于相机41a以及41b的光轴中心LAa以及LAb的角度进行检测，并输出至轮廓推断部111e。例如，角度检测部111d使用表示推断平面的坐标或者函数等和表示光轴中心LAa以及LAb的坐标或者函数等来计算上述角度。例如，如图8所示，角度检测部111d也可以使用相机坐标系来计算上述角度。图8是表示相机坐标系的推断平面的一个例子的图。

推断平面的角度是推断平面PE与Z轴的角度。在本实施方式中，角度检测部111d对推断平面PE同YZ平面的交线La与Z轴交叉的角度θa进行计算。角度θa在表示Y轴正方向的角度的情况下取正值，在表示Y轴负方向的角度的情况下取负值。图8中，角度θa为正值。并且，角度检测部111d对推断平面PE同XZ平面的交线Lb与Z轴交叉的角度θb进行计算。角度θb在表示X轴正方向的角度的情况下取正值，在表示X轴负方向的角度的情况下取负值。图8中，角度θb为正值。角度检测部111d将角度θa以及θb计算为推断平面的角度。由此，能够确定出推断平面相对于Z轴的倾斜方向以及倾斜角度。

轮廓推断部111e使用存储于存储部115的物品A的形状和推断平面的角度，来推断映现于第一图像IAa以及IAb的物品A的轮廓。轮廓推断部111e将推断出的轮廓的信息输出至确定部111g。具体而言，轮廓推断部111e将推断平面与Z轴的角度视为表示物品A相对于光轴中心LAa以及LAb的姿势的角度。此时，轮廓推断部111e从物品A的形状提取物品A的外表面上的平面。并且，轮廓推断部111e对提取平面与光轴中心LAa以及LAb的角度、即提取平面与Z轴的角度同推断平面与Z轴的角度一致的情况下的物品A的姿势进行计算，并将该姿势视为物品A的姿势。

并且，轮廓推断部111e基于物品A的形状，对将处于该姿势的物品A投影于XY平面的像的轮廓的形状(以下，也称为“轮廓形状”)进行计算。该轮廓形状与映现于第一图像IAa以及IAb的物品A的轮廓形状对应。该轮廓形状有时相对于在与提取平面垂直的方向上观察的情况下的物品A的轮廓形状而变形，表示物品A的外观的轮廓形状。这样，轮廓推断部111e将使物品A的形状与推断平面的角度对应地变形而得的形状推断为映现于第一图像IAa以及IAb的物品A的轮廓形状。另外，轮廓推断部111e也可以使用物品A的三维模型来作为物品A的形状。由此，能够提高物品A的轮廓形状的计算精度。另外，在通过存在多个提取平面等来计算出物品A的多个姿势的情况下，轮廓推断部111e对各姿势的物品A的轮廓形状进行计算。

如图7所示，在本实施方式中，物品A为长方体形状的纸壳箱，同形状的多个物品A在上下左右堆积。因此，推断平面的角度θa以及θb中的角度θa大致为90°，角度θb为大于0°且90°以下。而且，如图9所示，由轮廓推断部111e推断的物品A的轮廓CA的形状为梯形状或者矩形状。图9是表示由图像处理部111的轮廓推断部111e推断的物品A的轮廓CA的形状的一个例子的图。

边缘提取部111f在第一图像IAa以及IAb的至少一方提取边缘。边缘提取部111f生成仅包括提取出的边缘的边缘图像，并输出至确定部111g。边缘图像是与仅映现边缘的第一图像IAa或者IAb对应的图像。

确定部111g使用由轮廓推断部111e推断出的物品A的轮廓形状，在第一图像IAa以及IAb的至少一方确定出该物品A。具体而言，确定部111g在第一图像IAa或者IAb的边缘图像上将该边缘图像所含的边缘的形状与物品A的轮廓形状进行比较并进行图案匹配，从而确定出表示该物品A的边缘。并且，也可以是，确定部111g基于确定出的边缘的边缘图像的位置，在第一图像IAa或者IAb上确定出物品A的位置。在推断出多个物品A的轮廓形状的情况下，确定部111g将多个物品A的轮廓形状与边缘的形状进行图案匹配。另外，也可以是，在第一图像IAa以及IAb没有映现出物品A的整体的情况下，确定部111g通过物品A的轮廓形状的一部分与边缘的形状的部分的图案匹配，来确定出表示该物品A的边缘。也可以是，上述那样的图案匹配是几何形状图案匹配，使用已知的任何方法。

在图9的例子中，特征在于，映现于图像的物品A的轮廓CA的边缘包括相对于该图像而朝向左上或者右上突出的角部。因此，确定部111g对表示朝向左上或者右上突出的角部的边缘进行搜索，并以角部作为基准来进行图案匹配。由此，能够减少确定部111g的处理量。

被拍摄体检测部111h使用由确定部111g确定出的第一图像IAa或者IAb上的物品A的图像与推断平面的角度，来检测物品A的三维位置以及姿势。具体而言，被拍摄体检测部111h获取与第一图像IAa或者IAb上表示物品A的像素对应的距离值或者三维位置。此时，被拍摄体检测部111h使用第二图像IBa或者IBb的像素的距离值或者三维位置。被拍摄体检测部111h使用获取到的距离值或者三维位置，来检测物品A的三维位置。并且，被拍摄体检测部111h使用推断平面的角度和物品A的形状，来检测物品A的三维的姿势。被拍摄体检测部111h将检测结果输出至臂控制部112、手控制部113以及搬运控制部114。

＜机器人系统的动作＞

对实施方式所涉及的机器人系统1的动作进行说明。图10是表示实施方式所涉及的机器人系统1的动作的一个例子的流程图。如图10所示，机器人系统1的控制装置100的拍摄控制部401使相机41a以及41b拍摄并获取机器人10的移动对象的物品A(以下，也称为“物品A1”)的图像亦即第一图像IAa以及IAb(步骤S101)。例如，在物品A1进入伴随着机器人10的动作而移动的相机41a以及41b的视场内的时刻，拍摄控制部401执行拍摄。在这种情况下，也可以是，视认显示于输出装置30的相机41a以及/或者41b的图像的操作人员等判定上述时刻，并向输入装置20输入拍摄执行的指令。或者，也可以是，在机器人手13设置有未图示的距离传感器，若该距离传感器检测出的距离值表示机器人手13向物品A1接近，则拍摄控制部401执行拍摄。

另外，也可以是，在步骤S101之前或者步骤S101中，操作人员等经由输入装置20而输入物品A1的信息。物品A1的信息至少包含表示物品A1的形状的信息。例如，操作人员等也可以输入附设于物品A1的形状的名称或者符号等而作为上述信息，也可以使输出装置30显示物品的形状的列表，并从该列表选择物品A1的形状。该列表也可以预先储存于控制装置100的存储部115。

接着，控制装置100的图像处理部111在第一图像IAa以及IAb各自中确定出对象区域TA，并提取对象区域TA所含的第二图像IBa以及IBb(步骤S102)。

接着，图像处理部111对从相机41至映现于第二图像IBa以及IBb的被拍摄体为止的实际的距离进行检测(步骤S103)。在本例中，图像处理部111针对第二图像IBa以及IBb之间相互对应的所有像素对而检测上述距离，但也可以针对至少3个像素对而检测上述距离。并且，图像处理部111也可以生成使用了第二图像IBa或者IBb的距离图像。

接着，图像处理部111推断映现于第二图像IBa以及IBb的平面(步骤S104)。在本例中，图像处理部111将第二图像IBa或者IBb的多个像素的距离值平均化，并基于平均化后的各像素的距离值，推断映现平面的像素组。

接着，图像处理部111对推断平面相对于相机41的光轴的角度进行检测(步骤S105)。具体而言，图像处理部111使用映现推断平面的各像素的距离值和从相机41a或者41b朝向该像素的视线的方向，来计算与该像素对应的三维位置、即推断平面的三维位置。并且，图像处理部111基于推断平面的三维位置，对推断平面相对于光轴中心LAa以及LAb的角度进行检测。

接着，图像处理部111使用推断平面的角度和存储于存储部115的物品A1的形状，推断映现于第一图像IAa以及IAb的物品A1的轮廓(步骤S106)。具体而言，图像处理部111对使物品A1上的平面的相对于光轴中心LAa以及LAb的角度与推断平面的角度一致的情况下的物品A1的姿势进行计算，并推断将该姿势的物品A1投影于第一图像IAa以及IAb的像的轮廓的形状。

接着，图像处理部111在第一图像IAa或者IAb上提取边缘，并生成仅包含提取出的边缘的边缘图像(步骤S107)。并且，图像处理部111使用边缘图像与物品A1的轮廓形状，在第一图像IAa或者IAb上确定出物品A1(步骤S108)。具体而言，图像处理部111在边缘图像上确定出表示物品A1的轮廓形状的边缘，并基于边缘图像上的该边缘的位置，在第一图像IAa或者IAb上确定出物品A1。

接着，图像处理部111使用第一图像IAa或者IAb上的物品A1的图像和推断平面的角度，来检测物品A1的三维位置以及姿势(步骤S109)。具体而言，图像处理部111使用与包含于第二图像IBa或者IBb且映现物品A1的像素对应的距离值或者三维位置，来检测物品A1的三维位置。图像处理部111使用推断平面的角度和物品A1的形状，来检测物品A1的三维的姿势。

接着，图像处理部111将步骤S109中的检测结果输出至臂控制部112、手控制部113以及搬运控制部114等。臂控制部112、手控制部113以及搬运控制部114等基于上述检测结果，控制机器人臂12、机器人手13以及搬运车14的动作，从而利用机器人手13吸附物品A1并使其移动(步骤S110)。

通过步骤S101～S110，控制装置100使用使相机41a以及41b拍摄到的物品A1的第一图像，推断映现于第一图像的平面的相对于光轴的角度、即姿势。控制装置100基于推断出的平面的姿势，推断映现于第一图像的物品A1的姿势，基于该姿势，推断映现于第一图像的物品A1的轮廓形状。并且，控制装置100使用推断出的物品A1的轮廓形状，在第一图像上确定出物品A1。

＜效果等＞

作为实施方式所涉及的图像处理装置的控制装置100具备：存储部115，其存储作为被拍摄体的物品A的形状；提取部111a，其从相机41拍摄了物品A而得的第一图像，提取作为一部分区域的对象区域的第二图像；距离检测部111b，其通过处理第二图像，对从映现于对象区域内的至少3个部位至相机41为止的距离进行检测；平面推断部111c，其使用至少3个部位的距离来推断映现于对象区域内的平面；角度检测部111d，其检测推断平面相对于相机41的光轴的角度；轮廓推断部111e，其使用存储于存储部115的物品A的形状和推断平面的角度，来推断映现于第一图像上的物品A的轮廓；以及确定部111g，其使用物品A的轮廓，在第一图像上确定出物品A。

根据上述结构，映现于对象区域内的推断平面的角度可表示物品A相对于相机41的光轴的姿势。通过使用这样的推断平面的角度和物品A的形状，能够推断在第一图像上的物品A的轮廓。并且，通过使用这样的轮廓，能够高精度地在第一图像上确定出物品A，也能够减少用于确定出物品A的处理量。另外，由于推断平面的推断使用第一图像的一部分区域的图像，所以能够减少处理量。因此，图像处理精度以及速度提高。

另外，也可以是，轮廓推断部111e将使存储于存储部115的物品A的形状与推断平面的角度对应地变形而得的形状推断为第一图像上的物品A的轮廓。根据上述结构，推断的物品A的轮廓表示第一图像上的物品A的外观的轮廓。例如，在推断平面相对于光轴的角度不是90°的情况下，该推断平面在第一图像上以形变的方式显示。第一图像上的物品A的外观的轮廓能够表示反映出这样的推断平面的形变的高精度的轮廓。

另外，也可以是，轮廓推断部111e将推断平面的角度用作表示物品A相对于相机41的光轴的姿势的角度，来推断第一图像上的物品A的轮廓。根据上述结构，能够减少用于推断第一图像上的物品A的轮廓的处理量。

另外，也可以是，控制装置100具备从图像提取边缘的边缘提取部111f，确定部111g通过将边缘的形状与物品A的轮廓进行比较来确定出物品A。根据上述结构，能够减少用于确定出物品A的处理量。

另外，也可以是，控制装置100具备被拍摄体检测部111h，上述被拍摄体检测部111h使用由确定部111g确定出的物品A的图像和推断平面的角度，来检测物品A的三维位置以及姿势。根据上述结构，能够检测三维空间内的物品A。

另外，实施方式所涉及的拍摄装置40具备：相机41；和控制装置100，其对相机41所拍摄到的图像进行处理。根据上述结构，得到与实施方式所涉及的控制装置100相同的效果。

并且，也可以是，相机41由至少两个相机41a以及41b构成，提取部111a从至少两个相机41a以及41b所拍摄到的第一图像，提取至少两个第二图像，距离检测部111b通过使用了至少两个第二图像的立体观察，对从映现于对象区域内的至少3个部位至相机41为止的距离进行检测。根据上述结构，至上述至少3个部位为止的距离的检测精度提高。

另外，实施方式所涉及的机器人10具备：拍摄装置40；机器人臂12，其具有作为相对于物品进行处理动作的末端操作器的机器人手13；以及控制装置100，其基于由确定部111g确定出的物品A的图像，来控制机器人手13以及机器人臂12的动作。根据上述结构，得到与实施方式所涉及的拍摄装置40相同的效果。

另外，也可以是，拍摄装置40使用由确定部111g确定出的物品A的图像和推断平面的角度，来检测物品A的三维位置以及姿势，控制装置100基于物品A的三维位置以及姿势，来控制机器人手13以及机器人臂12的动作。根据上述结构，机器人10能够基于使用物品A的图像而检测出的物品A的三维位置以及姿势，使用机器人手13以及机器人臂12，进行相对于物品A的动作。

另外，实施方式所涉及的机器人系统1具备：机器人10；和作为操作装置的输入装置20，其用于操作机器人10。根据上述结构，得到与实施方式所涉及的机器人10相同的效果。

(变形例1)

对实施方式的变形例1进行说明。变形例1所涉及的控制装置100的图像处理部111A在包括尺寸推断部111i这点上与实施方式不同。以下，针对变形例1，以与实施方式的不同点为中心进行说明，并适当地省略与实施方式的相同点的说明。

图11是表示变形例1所涉及的图像处理部111A的功能结构的一个例子的框图。如图11所示，图像处理部111A相对于实施方式所涉及的图像处理部111，还包括尺寸推断部111i作为功能结构要素。本变形例中，存储部115对机器人10可移动的对象的物品的形状以及尺寸的信息进行储存。物品的尺寸是物品的实物的尺寸。

尺寸推断部111i使用储存于存储部115的物品的尺寸亦即第一尺寸，来推断第一图像IAa以及IAb上的物品A1的尺寸亦即第二尺寸。具体而言，距离检测部111b对与第二图像IBa或者IBb上的至少两个像素对应的三维位置进行检测。尺寸推断部111i通过将该与至少两个像素对应的三维位置与第二图像IBa或者IBb上的该至少两个像素的二维位置进行比较，来计算实像与该图像上的像之间的尺寸的比率。尺寸推断部111i使用上述比率和物品A1的第一尺寸，来推断物品A1的第二尺寸。

另外，确定部111g使用由轮廓推断部111e推断出的物品A1的轮廓形状和物品A1的第二尺寸，在第一图像IAa或者IAb上确定出物品A1。具体而言，确定部111g以与第二尺寸对应的方式决定物品A1的轮廓形状的尺寸，并使用决定出的尺寸及其附近的尺寸的轮廓形状，在第一图像IAa或者IAb的边缘图像上确定出表示物品A1的边缘。确定部111g基于边缘图像上的该边缘的位置，在第一图像IAa或者IAb上确定出物品A1的位置。

对变形例1所涉及的机器人系统1的动作进行说明。图12是表示变形例1所涉及的机器人系统1的动作的一个例子的流程图。如图12所示，步骤S201～S206的处理分别与实施方式的步骤S101～S106相同。另外，也可以是，在步骤S201之前或者步骤S201中，操作人员等经由输入装置20输入至少包含表示物品A1的形状以及尺寸的信息的物品A1的信息。另外，在步骤S203中，控制装置100的图像处理部111A针对第二图像IBa以及IBb间的相互对应的所有像素对，检测与该像素对对应的三维位置。

在步骤S207中，图像处理部111A使用与第二图像IBa以及IBb的各像素对应的三维位置、该图像上的各像素的二维位置、物品A1的第一尺寸，来推断第一图像IAa以及IAb上的物品A1的第二尺寸。另外，步骤S208、S210以及S211的处理分别与实施方式的步骤S107、S109以及S110相同。

在步骤S209中，图像处理部111A使用物品A1的轮廓形状以及第二尺寸，在第一图像IAa或者IAb上确定出物品A1。

根据上述那样的变形例1，得到与实施方式相同的效果。并且，也可以是，变形例1所涉及的图像处理部111A具备尺寸推断部111i，上述尺寸推断部111i对相机41所拍摄到的图像上的物品A的尺寸亦即第二尺寸进行推断，存储部115存储物品A的实际的尺寸亦即第一尺寸，距离检测部111b使用映现于对象区域内的部位处的距离，来检测该部位的三维位置。并且，也可以是，尺寸推断部111i使用该部位的三维位置、相机41所拍摄到的图像上的该部位的二维位置、以及第一尺寸，来推断第二尺寸，确定部111g使用物品A的轮廓以及第二尺寸，来确定出物品A。根据上述结构，使用物品A的轮廓和图像上的物品A的尺寸而在图像上确定出物品A。因此，物品A的确定精度提高。并且，也能够减少用于确定出物品A的处理量。

(变形例2)

对实施方式的变形例2进行说明。变形例2所涉及的控制装置100的图像处理部111B在包括方向决定部111j这点上与实施方式不同。以下，针对变形例2，以与实施方式以及变形例1的不同点为中心进行说明，适当地省略与实施方式以及变形例1的相同点的说明。

图13是表示变形例2所涉及的图像处理部111B的功能结构的一个例子的框图。如图13所示，图像处理部111B相对于实施方式所涉及的图像处理部111，还包括方向决定部111j作为功能结构要素。

方向决定部111j以使相机41的光轴方向与垂直于由平面推断部111c推断出的推断平面的方向亦即第一方向一致的方式对相机41进行定向。具体而言，方向决定部111j将相机41a以及41b的光轴中心LAa以及LAb的方向决定为与推断平面垂直的第一方向。并且，方向决定部111j将以使光轴中心LAa以及LAb的方向与第一方向一致的方式将相机41a以及41b定向的指令和定向后使相机41a以及41b拍摄的指令输出至拍摄控制部401。在进行定向后，相机41a以及41b朝向物品A1，光轴中心LAa以及LAb与推断平面垂直。

也可以是，拍摄控制部401通过对臂控制部112输出指令并使机器人臂12动作，从而将相机41a以及41b定向为所希望的朝向。另外，也可以是，相机41经由能够任意变更相机41的朝向的未图示的钹状件而配置于机器人臂12，拍摄控制部401控制钹状件的动作，将相机41a以及41b定向为所希望的朝向。也可以是，拍摄控制部401在定向后，使相机41a以及41b拍摄物品A1的图像亦即第三图像，并将第三图像输出至轮廓推断部111e。也可以是，拍摄控制部401将第三图像储存于存储部115。

轮廓推断部111e使用存储于存储部115的物品A1的形状，来推断映现于第三图像的物品A1的轮廓。轮廓推断部111e对物品A1上的平面与光轴中心LAa以及LAb垂直的情况下的物品A1的姿势进行计算。并且，轮廓推断部111e基于物品A1的形状，对将处于计算出的姿势的物品A1投影于相机坐标系的XY平面的像的轮廓形状进行计算。物品A1上的平面与光轴中心LAa以及LAb垂直的情况下可计算出的轮廓形状的数量比不是垂直的情况少。因此，可减少确定部111g的处理量。

对变形例2所涉及的机器人系统1的动作进行说明。图14是表示变形例2所涉及的机器人系统1的动作的一个例子的流程图。如图14所示，步骤S301～S305的处理分别与实施方式的步骤S101～S105相同。

在步骤S306中，控制装置100的图像处理部111B将相机41以使其与步骤S305中推断出的推断平面的角度一致的方式进行定向。具体而言，图像处理部111B将使相机41a以及41b定向成相机41a以及41b的光轴中心LAa以及LAb的方向相对于推断平面垂直的方向的指令输出至拍摄控制部401。在本例中，拍摄控制部401通过对臂控制部112输出指令并使机器人臂12动作，从而将相机41a以及41b定向为上述方向。接着，拍摄控制部401使定向结束后的相机41a以及41b拍摄物品A1，并获取包括物品A1的第三图像(步骤S307)。

接着，图像处理部111B推断第三图像上的物品A1的轮廓(步骤S308)。具体而言，图像处理部111B对将物品A1上的平面与光轴中心LAa以及LAb垂直的情况下的物品A1投影于第三图像的像的轮廓形状进行推断。在本例中，物品A1的轮廓形状为矩形。接着，图像处理部111B通过在第三图像上提取边缘而生成边缘图像(步骤S309)。并且，图像处理部111B使用边缘图像和物品A1的轮廓形状，在第三图像上确定出物品A1(步骤S310)。

接着，图像处理部111B使用第三图像上的物品A1的图像，检测物品A1的三维位置以及姿势(步骤S311)。具体而言，图像处理部111B与第二图像的情况相同，通过使用了相机41a以及41b的两个第三图像的立体观察，检测物品A1的三维位置以及姿势。另外，步骤S312的处理与实施方式的步骤S110相同。

根据上述那样的变形例2，得到与实施方式相同的效果。并且，也可以是，变形例2所涉及的图像处理部111B具备方向决定部111j，上述方向决定部111j以使相机41的光轴的方向与垂直于由平面推断部111c推断出的推断平面的方向亦即第一方向一致的方式将相机41进行定向，轮廓推断部111e使用存储于存储部115的物品A的形状来推断映现于光轴被定向为第一方向的相机41拍摄了物品A而得的第三图像的物品A的轮廓。根据上述结构，相机41以使光轴的方向成为与推断平面以及物品A上的平面垂直的第一方向的方式被定向。这样的相机41拍摄到的第三图像上的物品A的轮廓表示从正面观察物品A上的该平面的情况下的轮廓。因此，能够实现物品A的轮廓的推断精度的提高及其处理量的减少。

(变形例3)

对实施方式的变形例3进行说明。变形例3所涉及的控制装置100的图像处理部111C在包括尺寸推断部111i这点上与变形例2不同。以下，针对变形例3，以与实施方式以及变形例1～2的不同点为中心进行说明，并适当地省略与实施方式以及变形例1～2的相同点的说明。

图15是表示变形例3所涉及的图像处理部111C的功能结构的一个例子的框图。如图15所示，图像处理部111C相对于变形例2所涉及的图像处理部111B还包括尺寸推断部111i作为功能结构要素。尺寸推断部111i的结构与变形例1相同。

对变形例3所涉及的机器人系统1的动作进行说明。图16是表示变形例3所涉及的机器人系统1的动作的一个例子的流程图。如图16所示，步骤S401～S405的处理分别与变形例2的步骤S301～S305相同。步骤S406的处理与变形例1的步骤S207相同。步骤S407～S410的处理分别与变形例2的步骤S306～S309相同。

在步骤S411中，控制装置100的图像处理部111C使用步骤S409中推断出的第三图像上的物品A1的轮廓形状和步骤S406中推断出的第一图像上的物品A1的第二尺寸，在第三图像确定出物品A1。具体而言，图像处理部111C以与第二尺寸对应的方式决定物品A1的轮廓形状的尺寸，使用决定出的尺寸及其附近的尺寸的物品A1的轮廓形状，在第三图像的边缘图像上确定出表示物品A1的边缘。图像处理部111C基于边缘图像上的该边缘的位置，在第三图像上确定出物品A1的位置。另外，步骤S412以及S413的处理分别与变形例2的步骤S311以及S312相同。而且，根据上述那样的变形例3，得到与变形例1以及2相同的效果。

(变形例4)

对实施方式的变形例4进行说明。变形例4所涉及的控制装置100的图像处理部111D在包括表面区域提取部111k这点上与实施方式不同。以下，针对变形例4，以与实施方式以及变形例1～3的不同点为中心进行说明，并适当地省略与实施方式以及变形例1～3的相同点的说明。

图17是表示变形例4所涉及的图像处理部111D的功能结构的一个例子的框图。如图17所示，图像处理部111D相对于实施方式所涉及的图像处理部111还包括表面区域提取部111k作为功能结构要素。本变形例中，存储部115储存机器人10可移动的对象物品的表面状态的信息。物品的表面状态的信息是表示物品的表面的颜色以及质地等表面状态的表面要素的信息。

表面区域提取部111k在图像上提取映现与作为对象物品的物品A1的表面状态对应的像的区域亦即表面区域。具体而言，表面区域提取部111k对映现与物品A1的表面状态相同的状态的像的表面区域进行提取。

例如，表面区域提取部111k对映现与物品A1的表面的颜色相同颜色的表面区域进行提取。在这种情况下，表面区域提取部111k依次扫描图像内的像素，将表示与物品A1的表面的颜色相同或者相似的颜色的亮度值的像素提取为提取像素。并且，表面区域提取部111k将相邻的提取像素的一组所形成的区域提取为表面区域。例如，表面区域提取部111k也可以将包括规定的数量以上的提取像素的区域作为表面区域。规定的数量也可以根据物品A1的结构以及从相机41至物品A1的距离等来决定。

例如，表面区域提取部111k对映现与物品A1的表面的质地相同质地的表面区域进行提取。在这种情况下，表面区域提取部111k对表示与物品A1的表面的质地的特征量相同或者相似的特征量的质地的区域进行提取。具体而言，表面区域提取部111k使扫描框移动而扫描图像整体，在扫描中的各检测位置，对扫描框内的像素所形成的质地的特征量进行检测。检测位置也可以配置为所有检测位置处的扫描框整体覆盖图像整体。例如，检测位置也可以配置为相邻的检测位置的扫描框彼此邻接或者局部重叠。

表面区域提取部111k将存储于存储部115的物品A1的表面的质地的特征量与各检测位置处的扫描框内的质地特征量进行比较，判定质地的相同、相似以及非相似。表面区域提取部111k将质地相同或者相似的检测位置处的扫描框内的区域作为表面区域。扫描框的大小也可以成为包括能够视为表面区域那样的预定数量以上的像素的大小。

表面区域提取部111k也可以将颜色以及质地等表面要素的至少一个与对象物品A1的表面状态相同或者相似的区域决定为表面区域。

另外，确定部111g使用由轮廓推断部111e推断出的物品A1的轮廓形状和由表面区域提取部111k提取出的表面区域，在第一图像IAa或者IAb上确定出物品A1。具体而言，确定部111g基于构成表面区域的像素的像素坐标，在第一图像IAa或者IAb的边缘图像上确定出表面区域。并且，确定部111g在该边缘图像上提取表面区域的附近的边缘。表面区域的附近的边缘也可以包括：与表面区域重叠的边缘、与表面区域相邻的边缘、距表面区域规定的距离以内的边缘、以及包围表面区域的至少一部分的边缘等。确定部111g通过将提取出的边缘的形状与物品A1的轮廓形状进行比较并进行图案匹配，从而确定出表示物品A1的边缘。确定部111g基于边缘图像上的该边缘的位置，在第一图像IAa或者IAb上确定出物品A1的位置。

对变形例4所涉及的机器人系统1的动作进行说明。图18是表示变形例4所涉及的机器人系统1的动作的一个例子的流程图。如图18所示，步骤S501～S506的处理分别与实施方式的步骤S101～S106相同。

在步骤S507中，控制装置100的图像处理部111D在第一图像IAa或者IAb上，对映现与物品A1的表面状态对应的像的表面区域进行提取。接着，在步骤S508中，图像处理部111D生成第一图像IAa或者IAb的边缘图像。接着，在步骤S509中，图像处理部111D使用边缘图像、物品A1的轮廓形状、与物品A1的表面状态对应的表面区域的信息，在第一图像IAa或者IAb上确定出物品A1。另外，步骤S510以及S511的处理分别与实施方式的步骤S109以及S110相同。

根据上述那样的变形例4，得到与实施方式相同的效果。并且，也可以是，变形例4所涉及的图像处理部111D具备表面区域提取部111k，上述表面区域提取部111k对在相机41拍摄的图像上与物品A的表面状态对应的表面区域进行提取，表面区域提取部111k使用存储于存储部115的表面状态的信息提取上述表面区域，确定部111g使用物品A的轮廓以及表面区域，确定出物品A。根据上述结构，使用物品A的轮廓和与物品A对应的表面区域而在图像上确定出物品A。因此，物品A的确定精度提高。另外，使用了图像处理部111D的表面区域提取部111k的处理也可以应用于变形例1～3。

(变形例5)

对实施方式的变形例5进行说明。变形例5所涉及的控制装置100的图像处理部111E在构成为在图像内搜索其他物品这点上与实施方式不同。以下，针对变形例5，以与实施方式以及变形例1～4的不同点为中心进行说明，适当地省略与实施方式以及变形例1～4的相同点的说明。

图19是表示变形例5所涉及的图像处理部111E的功能结构的一个例子的框图。如图19所示，图像处理部111E相对于实施方式所涉及的图像处理部111还包括周边搜索部111p来作为功能结构要素。

周边搜索部111p在第一图像IAa以及IAb的至少一方，对由确定部111g确定出的物品A1的像的周围进行搜索，从而检测与物品A1相同的其他物品A的像。具体而言，周边搜索部111p在第一图像IAa或者IAb的边缘图像上，将物品A1的像的周围的边缘的形状与由轮廓推断部111e推断出的物品A1的轮廓形状进行比较并进行图案匹配，从而确定出表示其他物品A的边缘。不限定于此，但在本实施方式中，周边搜索部111p通过视为物品A1上的平面的姿势与其他物品A上的平面的姿势相同，从而确定出其他物品A的边缘。

例如，如图7的第一图像IAa以及IAb所示，在映现于对象区域TA的物品A1的周围，可存在映现有整体的物品A和映现有一部分的物品A。因此，周边搜索部111p进行整体形状以及部分形状的图案匹配。

周边搜索部111p基于确定出的其他物品A的边缘的位置，在第一图像IAa以及IAb上确定出其他物品A的位置。并且，周边搜索部111p将第一图像IAa以及IAb上的其他物品A的位置信息输出至拍摄控制部401。也可以是，物品A的位置信息是表示该物品A的中心、角或者边等确定部位的位置的信息，例如由像素坐标表示。周边搜索部111p在检测出多个物品A的情况下，也可以输出一个物品A的位置信息，也可以输出两个以上的物品A的位置信息。例如，周边搜索部111p在输出一个物品A的位置信息的情况下，也可以将距物品A1最近的物品A决定为输出对象，也可以根据上下方向或者左右方向等预先设定的物品A的移动顺序来决定输出对象的物品A。

在通过机器人10对物品A1进行移动之后，拍摄控制部401以使从周边搜索部111p接受到的位置信息的对象的物品A成为图像的中心的方式使相机41a以及41b定向，并拍摄上述物品A。在通过这样的相机41a以及41b拍摄到的图像中，上述物品A映现于对象区域TA，可接受基于图像处理部111E的处理。

根据上述那样的变形例5，得到与实施方式相同的效果。并且，变形例5所涉及的图像处理部111E具备周边搜索部111p，上述周边搜索部111p在第一图像上对由确定部111g确定出的物品A1的周围进行搜索。并且，周边搜索部111p使用由轮廓推断部111e推断出的物品A1的轮廓，搜索与物品A1相似的其他物品A，对第一图像上的其他物品A的位置进行检测。根据上述结构，图像处理部111E能够在第一图像上检测与物品A1相似的物品A的像及其位置。拍摄控制部401能够基于物品A的位置，使相机41拍摄物品A，作为物品A1的接下来的移动对象。并且，图像处理部111E由于将由轮廓推断部111e推断出的物品A1的轮廓用于搜索，所以能够将其处理量抑制得较低。另外，使用图像处理部111E的周边搜索部111p的处理也可以用于变形例1～4。

＜其他实施方式＞

以上，对本公开的实施方式的例子进行了说明，但本公开不限定于上述实施方式以及变形例。即，能够在本公开的范围内进行各种变形以及改进。例如，将各种变形施加于实施方式以及变形例的方式以及将不同实施方式以及变形例的构成要素组合而构建的形式也包含于本公开的范围内。

例如，在实施方式以及变形例中，相机41是包括复眼相机的结构，具体而言是包括立体相机的结构，但不限定于此。例如，相机41也可以是包括单眼相机、TOF相机(飞行时间相机：Time-of-Flight-Camera)、条纹投影等图案光投影相机或者使用了光切断法的相机等的结构。例如，在相机41是包括单眼相机的结构的情况下，相机41还包括激光或者光雷达(Lidar)等测距装置。在这种情况下，也可以是，图像处理部基于相机图像内的测距装置的光线的位置和测距装置的计测结果，来检测光线的照射目的地的位置与相机41的距离、以及光线的照射目的地的三维位置。或者，也可以是，在相机41不包括测距装置的情况下，图像处理部基于与单眼相机的拍摄位置的变化相伴的映现于相机图像的被拍摄体的形状以及尺寸等的变化，来检测相机41与该被拍摄体的距离以及该被拍摄体的三维位置。

另外，在实施方式以及变形例所涉及的机器人系统1中，输入装置20以及机器人10的数量以及结构可以是任何数量以及结构。例如，机器人系统1也可以具备一个以上的输入装置20和一个以上的机器人10。另外，机器人10也可以具备一个以上的机器人臂12。另外，机器人10不限定于垂直多关节型的工业用机器人，例如也可以构成为水平多关节型、极坐标型、圆柱坐标型、直角坐标型、垂直多关节型或者其他形式的工业用机器人。并且，机器人10也可以是除工业用机器人以外的机器人，也可以是服务机器人、建筑机械、起重机、货物装卸车以及人型机器人等。服务机器人是在护理、医疗、清洁、安防、引导、救援、烹饪、商品提供等各种服务业中使用的机器人。

另外，上述中使用的序数、数量等的数字全部是为了对本公开的技术具体地进行说明而例示的，本公开不限定于例示的数字。另外，构成要素间的连接关系以及步骤顺序是为了对本公开的技术具体地进行说明而例示的。实现本公开的功能的构成要素间的连接关系以及步骤顺序不限定于实施方式以及变形例，能够进行变更或者替换。

另外，功能框图中的功能块的分割是一个例子，也可以将多个功能块作为一个功能块来实现，将功能一个块分割为多个，以及/或者将一部分功能转移至其他功能块。另外，具有相似的功能的多个功能块的功能也可以由单一的硬件或者软件并列处理或者以时分割的方式处理。

附图标记说明

1...机器人系统；10...机器人；12...机器人臂；13...机器人手(末端操作器)；20...输入装置(操作装置)；40...拍摄装置；41、41a、41b...相机；100...控制装置(图像处理装置)；111、111A、111B、111C、111D、111E...图像处理部；111a...提取部；111b...距离检测部；111c...平面推断部；111d...角度检测部；111e...轮廓推断部；111f...边缘提取部；111g...确定部；111h...被拍摄体检测部；111i...尺寸推断部；111j...方向决定部；111k...表面区域提取部；111p...周边搜索部。

Claims (13)

1.一种图像处理装置，对图像进行处理，其特征在于，具备：

存储部，其存储被拍摄体的形状；

提取部，其从相机拍摄了所述被拍摄体而得的第一图像中，提取一部分区域亦即对象区域的第二图像；

距离检测部，其通过对所述第二图像进行处理，对从映现于所述对象区域内的至少3个部位至所述相机的距离进行检测；

平面推断部，其使用所述至少3个部位处的距离来推断映现于所述对象区域内的平面；

角度检测部，其检测所述平面相对于所述相机的光轴的角度；

轮廓推断部，其使用存储于所述存储部的所述被拍摄体的形状和所述平面的角度，来推断映现于所述第一图像的所述被拍摄体的轮廓亦即被拍摄体轮廓；以及

确定部，其使用所述被拍摄体轮廓，在所述第一图像上确定出所述被拍摄体。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述轮廓推断部将使存储于所述存储部的所述被拍摄体的形状与所述平面的角度对应地变形而成的形状推断为所述被拍摄体轮廓。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述轮廓推断部将所述平面的角度用作表示所述被拍摄体相对于所述相机的光轴的姿势的角度，来推断所述被拍摄体轮廓。

4.一种图像处理装置，对图像进行处理，其特征在于，具备：

存储部，其存储被拍摄体的形状；

提取部，其从相机拍摄了所述被拍摄体而得的第一图像中，提取一部分区域亦即对象区域的第二图像；

距离检测部，其通过对所述第二图像进行处理，对从映现于所述对象区域内的至少3个部位至所述相机的距离进行检测；

平面推断部，其使用所述至少3个部位处的距离来推断映现于所述对象区域内的平面；

角度检测部，其检测所述平面相对于所述相机的光轴的角度；

方向决定部，其以使所述相机的光轴的方向与垂直于所述平面的方向亦即第一方向一致的方式对所述相机进行定向；

轮廓推断部，其使用存储于所述存储部的所述被拍摄体的形状来推断映现于第三图像的所述被拍摄体的轮廓亦即被拍摄体轮廓，其中，所述第三图像是所述光轴被定向于所述第一方向的所述相机拍摄了所述被拍摄体而得的图像；以及

确定部，其使用所述被拍摄体轮廓，在所述第三图像上确定出所述被拍摄体。

5.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，

还具备从图像提取边缘的边缘提取部，

所述确定部通过将所述边缘的形状与所述被拍摄体轮廓进行比较，来确定出所述被拍摄体。

6.根据权利要求1～5中任一项所述的图像处理装置，其特征在于，

还具备尺寸推断部，所述尺寸推断部对所述相机拍摄到的图像上的所述被拍摄体的尺寸亦即第二尺寸进行推断，

所述存储部存储所述被拍摄体的实际的尺寸亦即第一尺寸，

所述距离检测部使用所述部位处的距离，来检测所述部位处的三维位置，

所述尺寸推断部使用所述部位处的三维位置、所述相机拍摄到的图像上的所述部位的二维位置、以及所述第一尺寸，来推断所述第二尺寸，

所述确定部使用所述被拍摄体轮廓和所述第二尺寸，来确定出所述被拍摄体。

7.根据权利要求1～6中任一项所述的图像处理装置，其特征在于，

还具备被拍摄体检测部，所述被拍摄体检测部使用由所述确定部确定出的所述被拍摄体的图像和所述平面的角度，来检测所述被拍摄体的三维位置以及姿势。

8.根据权利要求1～7中任一项所述的图像处理装置，其特征在于，

还具备表面区域提取部，所述表面区域提取部在所述第一图像上提取与所述被拍摄体的表面状态对应的表面区域，

所述存储部存储所述被拍摄体的表面状态的信息，

所述表面区域提取部使用存储于所述存储部的所述表面状态的信息来提取所述表面区域，

所述确定部使用所述被拍摄体轮廓以及所述表面区域，在所述第一图像上确定出所述被拍摄体。

9.根据权利要求1～8中任一项所述的图像处理装置，其特征在于，

还具备周边搜索部，所述周边搜索部在所述第一图像上搜索由所述确定部确定出的所述被拍摄体的周围，

所述周边搜索部使用所述被拍摄体轮廓，对与所述被拍摄体相似的其他被拍摄体进行检测。

10.一种拍摄装置，其特征在于，具备：

相机；以及

对所述相机拍摄到的图像进行处理的权利要求1～9中任一项所述的图像处理装置。

11.一种机器人，其特征在于，具备：

权利要求10所述的拍摄装置；

机器人臂，其具有相对于物品进行处理动作的末端操作器；以及

控制装置，其基于作为由所述确定部确定出的所述被拍摄体的所述物品的图像，来控制所述末端操作器以及所述机器人臂的动作。

12.根据权利要求11所述的机器人，其特征在于，

所述拍摄装置使用由所述确定部确定出的所述物品的图像和所述平面的角度，来检测所述物品的三维位置以及姿势，

所述控制装置基于所述物品的三维位置以及姿势，来控制所述末端操作器以及所述机器人臂的动作。

13.一种机器人系统，其特征在于，具备：

权利要求11或者12所述的机器人；以及

操作装置，其用于操作所述机器人。

Images