CN112423942A

CN112423942A - 机器人系统

Info

Publication number: CN112423942A
Application number: CN201980045586.4A
Authority: CN
Inventors: 扫部雅幸; 杉山裕和
Original assignee: Kawasaki Heavy Industries Ltd
Current assignee: Kawasaki Heavy Industries Ltd
Priority date: 2018-09-03
Filing date: 2019-08-30
Publication date: 2021-02-26
Also published as: WO2020050179A1; EP3848164A4; US20210323165A1; US11833698B2; JP7169130B2; EP3848164A1; JP2020037145A

Abstract

一种机器人系统(100)，具备：机器人主体(1)，其具有作业部(11)；机器人操作器(2)，其用于供操作者(31)操作机器人主体(1)；左眼观察相机(3)以及右眼观察相机(4)，其分别拍摄机器人主体(1)的作业部(11)进行作业的作业区域的左眼观察拍摄图像以及右眼观察拍摄图像；立体显示器(5)，其显示用于供操作者(31)通过双眼立体观察的视差图像；区域操作器(6)，其供操作者(31)操作，以确定欲通过立体显示器(5)所显示的视差图像来立体观察的、左眼观察相机(3)以及右眼观察相机(4)的共同的视场中的绝对空间上的立体观察对象区域；机器人控制部，其根据机器人操作器(2)的操作来控制机器人主体(1)的动作；以及立体显示控制部，其分别从左眼观察相机(3)以及右眼观察相机(4)拍摄的左眼观察拍摄图像以及右眼观察拍摄图像抽出与通过区域操作器(6)的操作被确定的立体观察对象区域对应的图像，使该抽出的图像作为视差图像显示于立体显示器(5)。

Description

机器人系统

技术领域

本发明涉及机器人系统。

背景技术

公知有边观察立体显示装置所显示的作业对象的物体边远程操作机械手的技术(例如，参照专利文献1)。

专利文献1：日本特开平6-292240号公报(特别是，参照图1-3)

根据上述现有技术，操作者能够立体地掌握物体，由此机械手的操作性提高。但是，在远程操作机器人(机械手)进行作业的情况下，操作者有时希望详细地立体观察作业对象的物体、机器人的作业部以及它们的周围(以下，称为作业区域)的一部分。但是，在上述现有技术中，只显示被固定的立体相机的视场整体的图像，因此操作者不能够详细地立体观察作业区域的一部分。

发明内容

本发明是为解决上述那样的课题而完成的，其目的在于提供一种能够边详细地立体观察作业区域的一部分边操作机器人主体的机器人系统。

为了达成上述目的，本发明的某个方式(方面)所涉及的机器人系统具备：机器人主体，其具有进行作业的作业部；机器人操作器，其用于供操作者操作前述机器人主体；左眼观察相机及右眼观察相机，其分别拍摄前述机器人主体的作业部进行作业的作业区域的左眼观察拍摄图像以及右眼观察拍摄图像；立体显示器，其显示用于供前述操作者通过双眼立体观察的视差图像；区域操作器，其供前述操作者操作，以确定欲通过前述立体显示器所显示的视差图像来立体观察的、前述左眼观察相机以及右眼观察相机的共同的视场中的绝对空间上的立体观察对象区域；机器人控制部，其根据前述机器人操作器的操作来控制前述机器人主体的动作；以及立体显示控制部，其分别从前述左眼观察相机以及右眼观察相机拍摄的前述左眼观察拍摄图像以及右眼观察拍摄图像抽出与通过前述区域操作器的操作被确定的前述立体观察对象区域对应的图像，使该抽出的图像作为前述视差图像显示于前述立体显示器。这里，“绝对空间”是指左眼观察相机以及右眼观察相机存在的空间，“绝对空间上的位置”通过规定的坐标系，例如通过机器人主体的基准坐标系来确定。“左眼观察相机以及右眼观察相机”是指具备相互平行并且具有规定的间隔的一对光轴的一对相机。“左眼观察相机以及右眼观察相机的视场”是指左眼观察相机以及右眼观察相机的视场角内的空间。

根据该结构，如果操作者操作区域操作器，确定欲通过立体显示器所显示的视差图像来立体观察的立体观察对象区域，那么立体显示控制部分别从左眼观察相机以及右眼观察相机拍摄的左眼观察拍摄图像以及右眼观察拍摄图像抽出与通过区域操作器的操作被确定的立体观察对象区域对应的图像，使该抽出的图像作为视差图像显示于立体显示器，因此操作者能够详细地立体观察机器人主体的作业部进行作业的作业区域的所希望的一部分。

也可以构成为，前述立体显示控制部在前述区域操作器未被操作的情况下，分别从前述左眼观察相机以及右眼观察相机拍摄的前述左眼观察拍摄图像以及右眼观察拍摄图像抽出与前述机器人主体的前述作业部的位置对应的绝对空间上的立体观察对象区域的图像，使该抽出的图像作为初始设定的前述视差图像显示于前述立体显示器。

根据该结构，例如，在作业开始时，将与机器人主体的作业部的位置对应的绝对空间上的立体观察对象区域的图像作为初始设定的视差图像显示，由此追随机器人主体的动作，与机器人主体的作业部的位置对应的绝对空间上的立体观察对象区域的图像被显示，因此边通过机器人操作器来操作机器人主体边操作区域操作器，能够迅速且详细地立体观察机器人主体的作业部作业的作业区域的所希望的一部分。

另外，在立体显示器显示作业区域中的极狭小的立体观察对象区域的视差图像，因此在希望使从当前显示的立体观察对象区域远离的区域作为立体观察对象区域来显示的情况下，有时无法判断应该使立体观察对象区域移动的方向。根据该结构，如果因为这样的理由而使得区域操作器未被操作，那么与机器人主体的作业部的位置对应的绝对空间上的立体观察对象区域的图像作为初始设定的视差图像被显示于立体显示器，因此将其作为出发点，使立体观察对象区域移动，由此能够容易地使从当前显示的立体观察对象区域远离的区域作为立体观察对象区域来显示。

另外，也可以构成为，前述区域操作器能够进行操作，以调整前述立体观察对象区域的大小、前述立体观察对象区域的位置、前述视差图像的视差、以及前述视差图像的放大和缩小中的至少一个，前述立体显示控制部根据前述区域操作器的操作进行前述左眼观察拍摄图像以及右眼观察拍摄图像的图像处理，使被调整了前述立体观察对象区域的大小、前述立体观察对象区域的位置、前述视差图像的视差、以及前述视差图像的放大和缩小中的至少一个的前述视差图像显示于前述立体显示器。

根据该结构，能够以所希望的形式详细地立体观察机器人主体的作业部进行作业的作业区域的所希望的一部分。

也可以构成为，前述左眼观察相机以及右眼观察相机的视场角为150度以上且360度以下。

根据该结构，即使在机器人主体的作业部进行作业的作业区域较广的情况下，操作者也能过详细地立体观察该作业区域的所希望的一部分。

也可以构成为，前述立体显示控制部修正从前述左眼观察拍摄图像以及右眼观察拍摄图像抽出的图像，以消除因广角镜头引起的图像失真，使该修正后图像作为前述视差图像显示于前述立体显示器。

根据该结构，通过失真等级与用标准镜头拍摄的图像相同程度的视差图像，能够详细地立体观察较广的作业区域的一部分。

也可以构成为，以包围前述机器人主体1的作业部进行作业的作业区域的方式配置有多对前述左眼观察相机以及右眼观察相机，前述立体显示控制部在立体显示器显示与已选择的一对左眼观察相机3以及右眼观察相机4对应的视差图像。

根据该结构，操作者能够好像环绕作业区域的周围地详细地立体观察该作业区域的所希望的一部分。

本发明起到能够提供一种能够边详细地立体观察作业区域的一部分边操作机器人主体的机器人系统的效果。

附图说明

图1是表示本发明的实施方式1所涉及的机器人系统的硬件的结构以及该机器人系统的作业环境的一个例子的立体图。

图2是表示基于操作者的对机器人主体的操作以及欲详细地立体观察的立体观察对象区域的特定操作的样子的立体图。

图3是表示图1的机器人系统的控制系统的结构的一个例子的功能框图。

图4的(a)～(d)是示意地表示欲详细地立体观察的立体观察对象区域的调整形式的示意图。

图5是表示左眼观察相机以及右眼观察相机的视场与操作者欲详细地立体观察的立体观察对象区域的关系的示意图。

图6是示意地表示将与操作者欲详细地立体观察的立体观察对象区域对应的图像抽出的图像处理的示意图。

图7是表示本发明的实施方式3中的多对左眼观察相机以及右眼观察相机与操作者欲详细地立体观察的立体观察对象区域的关系的示意图。

具体实施方式

以下，参照附图，对本发明的优选实施方式进行说明。此外，以下，在所有附图中对相同或者相当的要素标注相同的附图标记，省略其重复的说明。另外，以下的附图是用于对本发明进行说明的，因此存在省略与本发明无关的要素、为了夸张以及简化而尺寸不正确、多个附图相互不一致的情况等。另外，本发明不限定于以下的实施方式。

(实施方式1)

[结构]

图1是表示本发明的实施方式1所涉及的机器人系统的硬件的结构以及该机器人系统的作业环境的立体图。图2是表示操作者对机器人主体的操作以及欲详细地立体观察的立体观察对象区域的特定操作的样子的立体图。图3是表示图1的机器人系统的控制系统的结构的功能框图。图4的(a)～(d)是示意地表示欲详细地立体观察的立体观察对象区域的调整形式的示意图。图5是表示左眼观察相机以及右眼观察相机的视场与操作者欲详细地立体观察的立体观察对象区域的关系的示意图。

参照图1至图3以及图5，本实施方式所涉及的机器人系统100具备：机器人主体1，其具有进行作业的作业部11；机器人操作器2，其用于操作者31操作机器人主体1；左眼观察相机3以及右眼观察相机4，其分别拍摄机器人主体1的作业部11进行作业的作业区域的左眼观察拍摄图像以及右眼观察拍摄图像；立体显示器5，其显示用于供操作者31通过双眼立体观察的视差图像43；区域操作器6，其供操作者31操作，以确定欲通过立体显示器5所显示的视差图像43立体来观察的、左眼观察相机3以及右眼观察相机4的共同的视场23中的绝对空间上的立体观察对象区域50；机器人控制部9，其根据机器人操作器2的操作来控制机器人主体1的动作；以及立体显示控制部10，其分别从左眼观察相机3以及右眼观察相机4拍摄的左眼观察拍摄图像以及右眼观察拍摄图像抽出与通过区域操作器6的操作而确定出的立体观察对象区域50对应的图像51、52，使该抽出的图像51、52作为视差图像43显示在立体显示器5。以下，对机器人系统100的结构具体地进行说明。

＜硬件的结构＞

参照图1以及图2，机器人系统100具备机器人主体1、机器人操作器2、左眼观察相机3、右眼观察相机4、立体显示器5、区域操作器6以及立体观察眼镜7。参照图3，机器人系统100还具备控制器8。控制器8包括机器人控制部9和立体显示控制部10。即、与1台机器人主体1对应地设置有一对左眼观察相机3以及右眼观察相机4。以下，对这些要素依次详细地进行说明。

{机器人主体1}

机器人主体1具备作业部11。作业部11只要构成为进行规定的作业即可。作为作业部11，可以例示末端执行器。作为末端执行器，可以例示手、涂装枪、焊枪、螺帽扳手等。这里，作业部11是涂装枪。机器人主体1和机器人控制部9构成机器人。例如，机器人被定义为“具有传感器、智能控制系统、驱动系统3个要素技术的智能化的机械系统”(参照《日本总务省平成27年版信息和通信白皮书要点》)。具体而言，例如，机器人主体1由垂直多关节型机器人、水平多关节型机器人、并联连杆型机器人、极坐标机器人、圆筒坐标型机器人、直角坐标型机器人等工业用机器人构成。以下，例示了机器人主体1由垂直多关节型机器人的机器人臂构成的情况。

{操作器2}

操作器2只要通过其操作而能够操作机器人主体1(包括作业部11)即可。例如，也可以构成为由与机器人主体1相似的主机机器人构成操作器2，将机器人主体1作为从属机器人来进行控制。另外，操作器2也可以是操纵杆。另外，操作器2也可以是为特定的用途而定制的专用的操作器。这里，操作器2如图2所示由定制的专用的操作器构成。

{左眼观察相机3以及右眼观察相机4}

参照图1以及图5，左眼观察相机3以及右眼观察相机4由数字相机或者模拟相机构成。左眼观察相机3以及右眼观察相机4配置为各自的光轴3b、4b相互平行并且具有规定的间隔。另外，左眼观察相机3以及右眼观察相机4配置为能够拍摄机器人主体1的作业部11对作业对象21进行作业的作业区域。左眼观察相机3以及右眼观察相机4具有规定的视场角3a、4a(视场)。例如，左眼观察相机3以及右眼观察相机4的视场角3a、4a为150度以上360度以下。视场角3a、4a越大，能够拍摄的绝对空间上的区域(视场)越广，另一方面，拍摄图像的失真(距拍摄图像的周边越近的部分，图像越弯曲)越大。

{立体显示器5}

参照图1以及图2，例如，立体显示器5由面板显示器构成。作为面板显示器，能够使用公知的显示器。立体显示器5以操作者容易观察的方式设置在机器人操作器2的附近。

{区域操作器6}

参照图2以及图5，区域操作器6只要构成为能够进行操作以确定左眼观察相机3以及右眼观察相机4的共同的视场23中的绝对空间上的立体观察对象区域50即可。此外，立体观察对象区域50的形状任意。具体而言，如果操作者31进行操作，那么区域操作器6根据其操作，将包含绝对空间上的立体观察对象区域50的位置(例如，代表位置)的区域确定信息作为区域操作信号来输出。例如，区域操作器6由操纵杆构成。该由操纵杆构成的区域操作器6能够向任意的方向倾斜。在操纵杆的顶端部设置有前进按钮(未图示)以及后退按钮(未图示)。并且，在操纵杆的顶端部设置有用于操作立体观察对象区域的形态的多个按钮(以下，称为区域形态操作按钮(未图示))。前进按钮、后退按钮以及区域形态操作按钮构成为在用手握住了区域操作器6的状态下用大拇指进行操作，构成为与按压力相应地被压入。此外，在图2中，区域操作器6以省略简化了前进按钮、后退按钮以及区域形态操作按钮的形式被示出。

机器人控制部9拥有机器人主体1的基准坐标系(以下，仅称为基准坐标系)。立体显示控制部10共享该基准坐标系，通过该基准坐标系确定绝对空间上的位置。以下，“绝对空间上的位置”是指通过基准坐标系规定的空间上的位置。在区域操作器6采取直立姿势时，区域操作器6在绝对空间上确定的立体观察对象区域50的位置不移动。而且，如果倾斜区域操作器6地进行操作，则该立体观察对象区域50与在假定左眼观察相机3以及右眼观察相机4各自的光轴的延伸方向是从区域操作器6的顶端朝向基端的方向的情况下的该区域操作器6的倾斜的方向上的倾斜量相应地，在绝对空间上移动。另外，如果压入区域操作器6的前进按钮或者后退按钮，那么立体观察对象区域50与在假定左眼观察相机3以及右眼观察相机4各自的光轴的延伸方向是前进按钮的压入方向的情况下的前进按钮的压入量或者后退按钮的压入量相应地，在绝对空间上前进或者后退。

对立体观察对象区域50设定了初始设定位置。该初始设定位置被设定为与机器人主体1的作业部11的位置对应的绝对空间上的立体观察对象区域50的基准位置。位于该初始设定位置的立体观察对象区域50的图像作为与机器人主体1的作业部11的位置对应的初始设定的视差图像43被显示在立体显示器5。该初始设定位置根据作业内容适当地设定。在这里，例如，设定为在涂装枪11的涂料喷射方向上离开规定距离的位置。例如，该“规定距离”被设定为适合涂装作业对象21的距离。

如果操作者31操作区域形态操作按钮，那么将立体观察对象区域50的位置以外的区域确定信息作为区域操作信号而输出。关于立体观察对象区域50的位置以外的区域确定信息，在后详细进行说明。

{立体观察眼镜7}

参照图2，立体观察眼镜7能够使用市售的产品。通过在框架上安装光学滤光器代替通常的眼镜的镜片而构成立体观察眼镜7。作为光学滤光器，可以使用偏振滤光器(偏振器)、液晶快门等。在使用偏振滤光器的情况下，在立体显示器5的显示画面张贴有以扫描线为单位给予旋转方向相反的圆偏振光的波长板，通过奇数和偶数的扫描线显示左眼观察图像41以及右眼观察图像42。在立体观察眼镜7安装有仅使分别与该左眼观察图像41以及右眼观察图像42对应的圆偏振光通过的左右的偏振滤光器。

在使用液晶快门的情况下，立体显示器5被高速驱动，左眼图像41以及右眼图像42被分时交替显示。左右的液晶快门分别与该分时显示同步地开闭。

{控制器8}

例如，控制器8具备处理器和存储器。控制器8通过处理器读出并执行存储器所储存的规定的动作程序，从而控制机器人主体1的动作，并且控制立体显示器5的立体显示。具体而言，例如，控制器8由微型控制器、MPU、FPGA(Field Programmable Gate Array)、PLC(Programmable Logic Controller)、逻辑电路等构成。

控制器8包括机器人控制部9以及立体显示控制部10。机器人控制部9以及立体显示控制部10是如上述那样通过处理器读出并执行存储器所储存的规定的动作程序从而被实现的功能模块。

控制器8由进行集中控制的单独控制器或者进行分散控制的多个控制器构成。在这里，控制器8由单独控制器构成，但，例如，也可以用2个控制器构成控制器8，通过这2个控制器分别实现机器人控制部9以及立体显示控制部10。

控制器8能够配置在任意的场所。例如，控制器8配置在支承机器人主体1的基台12的内部。

＜控制系统的结构＞

参照图3，如果操作者31进行操作，那么机器人操作器2向机器人控制部9输出机器人操作信号。机器人控制部9根据输入的机器人操作信号来控制机器人主体1的动作。由此，如果操作者31操作操作器2，那么根据其操作，机器人主体1进行动作。机器人控制部9如上述那样拥有基准坐标系，在基准坐标系上确定机器人主体1的位置，控制机器人主体1的动作。

立体显示控制部10控制左眼观察相机3以及右眼观察相机4的通断、对焦等动作。另一方面，左眼观察相机3以及右眼观察相机4分别拍摄机器人主体1的作业部11对作业对象21进行作业的作业区域，向立体显示控制部10输出拍摄到的左眼观察拍摄图像61以及右眼观察拍摄图像62(参照图6)。另外，如果操作者31进行操作，那么区域操作器6向立体显示控制部10输出区域操作信号。立体显示控制部10根据输入的区域操作信号对输入的左眼观察拍摄图像61以及右眼观察拍摄图像63进行图像处理，生成视差图像43。然后，向立体显示器5输出用于显示该生成的视差图像的图像显示信号。

立体显示器5根据输入的图像显示信号来显示视差图像43。在这里，构成视差图像43的左眼图像41以及右眼图像42在显示画面上排列显示。此外，左眼图像41以及右眼图像42也可以在显示画面上重叠显示。

并且，在区域操作器6未被操作的情况下，立体显示控制部10使与机器人主体1的作业部11的位置对应的初始设定的视差图像43显示在立体显示器5。由此，能够追随机器人主体1的动作地显示视差图像43。其中，仅在区域操作器6未被操作并且满足规定的条件的情况下，显示与机器人主体1的作业部(涂装枪)11的位置对应的初始设定的视差图像43，以便不妨碍操作者31的基于区域操作器6的操作进行的立体观察对象区域50的选择。

这里，作为第1规定条件，规定为作业开始时。根据该结构，在作业开始时，与机器人主体1的作业部11的位置对应的绝对空间上的立体观察对象区域50的图像作为初始设定的视差图像43而被显示，因此追随机器人主体1的动作，与机器人主体1的作业部(涂装枪)11的位置对应的绝对空间上的立体观察对象区域50的图像被显示，因此操作者31边通过机器人操作器2操作机器人主体1边操作区域操作器6，能够迅速且详细地立体观察机器人主体1的作业部11进行作业的作业区域的所希望的一部分。

另外，作为第2规定条件，规定为在规定时间内区域操作器6未被操作。“规定时间”通过计算、实验、模拟等来适当地决定。根据该结构，起到以下的作用效果。

在立体显示器5显示机器人主体1的作业区域中的极狭小的立体观察对象区域50的视差图像43，因此在希望使从当前显示的立体观察对象区域50远离的区域作为立体观察对象区域来显示的情况下，有时无法判断应该使立体观察对象区域移动的方向。根据该结构，如果因这样的理由而使得区域操作器6在规定时间内未被操作，那么与机器人主体1的作业部11(涂装枪)的位置对应的绝对空间上的立体观察对象区域50的图像作为初始设定的视差图像被显示在立体显示器5，因此将其作为出发点，使立体观察对象区域50移动，由此能够容易地使从当前显示的立体观察对象区域50远离的区域作为立体观察对象区域50来显示。

[作业环境]

参照图1，例如，机器人系统100配置在作业室14内。为了方便说明，图1以透视作业室14的方式被描绘。以通过该作业室14的上部的方式，设置有悬挂并搬运作业对象21的升降机22。作业对象21例如是构成多关节机器人的机器人臂的连杆部件。例如，沿着该升降机22配置有2个机器人系统100。各机器人系统100的机器人主体1由垂直多关节型机器人构成，在前端部安装有作为作业部11的涂装枪。即、在该作业室14中，作为通过升降机22被搬运的作业对象21的连杆部件通过机器人主体1被涂装。而且，包括在通过机器人主体1进行的涂装作业完成的时间内移动的作业对象21、其周围、以及机器人主体1的作业部11的区域是作业区域。机器人主体1设置在基台12之上。

在机器人主体1的旁边配置有一对左眼观察相机3以及右眼观察相机4。一对左眼观察相机3以及右眼观察相机4在置台之上配置为各自的光轴穿过悬挂于升降机22的作业对象21所通过的区域。换言之，一对左眼观察相机3以及右眼观察相机4配置为机器人主体1的作业部(涂装枪)11进行作业的作业区域收纳在视场(视场角)内。一对左眼观察相机3以及右眼观察相机4和置台被容纳在透明的箱13内以使涂料不附着。

在作业室14的相邻的房间配置有操作机16以及操作椅子15。这些操作机16以及操作椅子15以机器人系统100为单位配置，但在图1中示出有仅与1个机器人系统100对应的操作机16以及操作椅子15。

参照图1以及图2，例如，在操作椅子15的右侧部设置有机器人操作器2。另外，在操作椅子15的左侧部设置有区域操作器6。而且，在操作椅子15的前方配置有操作机16。在操作机16之上配置有由面板显示器构成的立体显示器5。操作者31坐在操作椅子15上，用右手把持机器人操作器2，用左手把持区域操作器6。操作者31戴上立体观察眼镜7，通过立体观察眼镜7立体观察立体显示器5所显示的视差图像43，并且分别用右手以及左手操作机器人操作器2以及区域操作器6。于是，根据机器人操作器2的操作，机器人主体1进行动作，根据区域操作器6的操作，视差图像43被显示在立体显示器5。

[动作]

接下来，参照图1至图6对如以上那样构成的机器人系统100的动作进行说明。图6是示意地表示将与操作者欲详细地立体观察的立体观察对象区域对应的图像抽出的图像处理的示意图。

如果开始作业，那么位于初始设定位置的立体观察对象区域50的视差图像43作为初始设定图像被显示在立体显示器5。

操作者31用右手操作机器人操作器2，并且用左手操作区域操作器6。

操作者31首先操作区域操作器6(以及前进按钮或者后退按钮)，以使立体观察对象区域50位于所希望的位置。于是，该位置信息作为区域操作信号被输出到立体显示控制部10。

参照图6，立体显示控制部10从分别从左眼观察相机3以及右眼观察相机输入的左眼观察拍摄图像61以及右眼观察拍摄图像62抽出分别与通过该位置信息确定的立体观察对象区域50的位置对应的图像51以及图像52。然后，例如，修正该抽出的图像51以及图像52以消除因广角镜头引起的图像的失真。由此，该抽出的图像51以及图像52的图像失真成为与用标准镜头拍摄到的图像相同程度的失真等级。其中，通过修正消除何种程度的图像失真是任意的。只要操作者31能够正确地视觉确认立体观察的对象的程度地修正图像失真即可。

立体显示控制部10将修正后的一对图像分别放大为规定的大小来生成左眼图像41以及右眼图像42，使其作为视差图像43显示在立体显示器5。操作者31通过立体观察眼镜7立体观察该视差图像43。

如图4的(a)所示，如果操作者31向所希望的方向倾斜区域操作器6，那么在一对左眼观察相机3以及右眼观察相机4的共同的视场内的机器人主体1的作业区域中，能够立体观察所希望的方向。由此，操作者31仅通过操作区域操作器6就能够环视作业区域，就好像操作者31使头部位于一对左眼观察相机3以及右眼观察相机4的位置将脸转向上下左右来环视作业区域一样。并且，能够详细地立体观察该作业区域中的所希望的一部分的区域。特别是，例如，在一对左眼观察相机3以及右眼观察相机4的视场角(视场)为360度的情况下，操作者31能够好像环视围绕自己的作业区域地详细地立体观察该作业区域中的所希望的一部分的区域。因此，与以往相比机器人主体1的操作性提高。

接下来，操作者31操作区域操作器6的多个区域形态操作按钮。

例如，如图4的(b)所示，如果操作者31操作改变立体观察对象区域用的区域形态操作按钮，那么立体显示控制部10根据改变该立体观察对象区域50的大小的区域确定信息，改变从一对左眼观察相机3以及右眼观察相机4的光轴方向观察到的立体观察对象区域50(具体而言，与立体观察对象区域50对应的图像51、52)的大小，使反应了该改变的视差图像43显示在立体显示器。

另外，例如，如图4的(c)所示，如果操作者31操作改变视差用的区域形态操作按钮，那么立体显示控制部10根据该改变视差的区域确定信息来改变图像51和图像52的视差，使反映了该改变后的视差的左眼图像41以及右眼图像42显示在立体显示器5。

另外，例如，如图4的(d)所示，如果操作者31操作变焦用的区域形态操作按钮，那么立体显示控制部10根据确定该变焦的区域确定信息来确定图像51以及图像52的变焦，使根据该确定出的变焦而放大或者缩小后的左眼图像41以及右眼图像42显示在立体显示器5。该变焦是虚拟变焦，通过调整图6所示的图像51以及图像52的放大率来进行。

由此，能够以所希望的形式详细地立体观察机器人主体1的作业部11进行作业的作业区域的所希望的一部分。

如以上说明的那样，根据本实施方式，操作者31能够详细地立体观察机器人主体1的作业部11进行作业的作业区域的所希望的一部分。

(实施方式2)

在实施方式1的机器人系统100的基础上，本发明的实施方式2构成为一对左眼观察相机3以及右眼观察相机4分别设置为能够改变光轴的方向。该光轴方向改变装置(未图示)能够由公知的姿势改变装置构成。作为姿势改变装置，可以例示小型的多关节机器人、抛物面天线的驱动装置等。

根据这样的本实施方式，操作者31能够详细地立体观察更广范围的机器人主体1的作业区域的所希望的一部分。

(实施方式3)

本发明的实施方式3在以下方面与实施方式1不同，其他方面与实施方式1相同。以下，对该不同点进行说明。

图7是表示实施方式3中的多对左眼观察相机以及右眼观察相机与操作者欲详细地立体观察的立体观察对象区域的关系的示意图。

参照图1以及图7，在本实施方式3的机器人系统100中，配置有多对(这里是4对)左眼观察相机3以及右眼观察相机4。该多对左眼观察相机3以及右眼观察相机4配置为包围机器人主体1的作业部(涂装枪)11进行作业的作业区域(在图7未图示)。这些多对左眼观察相机3以及右眼观察相机4配置为各对左眼观察相机3以及右眼观察相机4的共同的视场23在邻接的对之间相互重叠。

参照图2以及图3，在区域操作器6设置有选择多对左眼观察相机3以及右眼观察相机4中的一对的相机选择按钮。如果操作者31操作相机选择按钮来选择对，那么立体显示控制部10在立体显示器5显示已选择的对的左眼观察相机3以及右眼观察相机4拍摄到的视差图像43。

此外，立体显示控制部10也可以根据立体观察对象区域50的位置，自动地切换左眼观察相机3以及右眼观察相机4的对，在立体显示器5显示这些视差图像43。这种情况下，例如，立体显示控制部10选择距立体观察对象区域50距离最近并且光轴最近的对的左眼观察相机3以及右眼观察相机。

根据这样的本实施方式，操作者31能够好像环绕作业区域的周围地详细地立体观察该作业区域的所希望的一部分。由此，机器人主体1的操作性进一步提高。

(其他的实施方式)

在实施方式1至3中的任一个中，立体显示器5也可以是戴在操作者31的头部的HMD(Head Mounted Display)。

根据上述说明，对本领域技术人员而言，可清楚知道较多的改进、其他的实施方式。因此，上述说明仅作为例示进行解释。

工业上的利用可能性

本发明的机器人系统作为能够边详细地立体观察作业区域的一部分边操作机器人主体的机器人系统，在工业上适用。

附图标记说明

1…机器人主体；2…机器人操作器；3…左眼观察相机；3a…视场角；3b…光轴；4…右眼观察相机；4a…视场角；4b…光轴；5…立体显示器；6…区域操作器；7…立体观察眼镜；8…控制器；9…机器人控制部；10…立体显示控制部；11…作业部；12…基台；13…箱；14…作业室；15…操作椅子；16…操作机；21…作业对象；22…升降机；23…视场；31…操作者；41…左眼图像；42…右眼图像；43…视差图像；50…立体观察对象区域；51，52…图像；61…左眼观察拍摄图像；62…右眼观察拍摄图像；100…机器人系统。

Claims

1.一种机器人系统，其特征在于，具备：

机器人主体，其具有进行作业的作业部；

机器人操作器，其用于供操作者操作所述机器人主体；

左眼观察相机及右眼观察相机，其分别拍摄所述机器人主体的作业部进行作业的作业区域的左眼观察拍摄图像以及右眼观察拍摄图像；

立体显示器，其显示用于供所述操作者通过双眼立体观察的视差图像；

区域操作器，其供所述操作者操作，以确定欲通过所述立体显示器所显示的视差图像来立体观察的、所述左眼观察相机以及右眼观察相机的共同的视场中的绝对空间上的立体观察对象区域；

机器人控制部，其根据所述机器人操作器的操作来控制所述机器人主体的动作；以及

立体显示控制部，其分别从所述左眼观察相机以及右眼观察相机拍摄的所述左眼观察拍摄图像以及右眼观察拍摄图像抽出与通过所述区域操作器的操作被确定的所述立体观察对象区域对应的图像，使该抽出的图像作为所述视差图像显示于所述立体显示器。

2.根据权利要求1所述的机器人系统，其特征在于，

所述立体显示控制部在所述区域操作器未被操作的情况下，分别从所述左眼观察相机以及右眼观察相机拍摄的所述左眼观察拍摄图像以及右眼观察拍摄图像抽出与所述机器人主体的所述作业部的位置对应的绝对空间上的立体观察对象区域的图像，使该抽出的图像作为初始设定的所述视差图像显示于所述立体显示器。

3.根据权利要求2所述的机器人系统，其特征在于，

所述区域操作器能够进行操作，以调整所述立体观察对象区域的大小、所述立体观察对象区域的位置、所述视差图像的视差、以及所述视差图像的放大和缩小中的至少一个，

所述立体显示控制部根据所述区域操作器的操作进行所述左眼观察拍摄图像以及右眼观察拍摄图像的图像处理或者所述左眼观察相机以及右眼观察相机的动作控制，将被调整了所述立体观察对象区域的大小、所述立体观察对象区域的位置、所述视差图像的视差、以及所述视差图像的放大和缩小中的至少一个的所述视差图像显示于所述立体显示器。

4.根据权利要求1～3中任一项所述的机器人系统，其特征在于，

所述左眼观察相机以及右眼观察相机的视场角为150度以上且360度以下。

5.根据权利要求4所述的机器人系统，其特征在于，

所述立体显示控制部修正从所述左眼观察拍摄图像以及右眼观察拍摄图像抽出的图像，以消除因广角镜头引起的图像失真，使该修正后的图像作为所述视差图像显示于所述立体显示器。

6.根据权利要求1～5中任一项所述的机器人系统，其特征在于，

以包围所述机器人主体1的作业部进行作业的作业区域的方式配置有多对所述左眼观察相机以及右眼观察相机，所述立体显示控制部将与已选择的一对左眼观察相机3以及右眼观察相机4对应的视差图像显示于立体显示器。