CN104608153A - 机器人、机器人系统、以及机器人控制装置 - Google Patents

机器人、机器人系统、以及机器人控制装置 Download PDF

Info

Publication number
CN104608153A
CN104608153A CN201410599083.0A CN201410599083A CN104608153A CN 104608153 A CN104608153 A CN 104608153A CN 201410599083 A CN201410599083 A CN 201410599083A CN 104608153 A CN104608153 A CN 104608153A
Authority
CN
China
Prior art keywords
robot
screw
control part
arm
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410599083.0A
Other languages
English (en)
Other versions
CN104608153B (zh
Inventor
山口如洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104608153A publication Critical patent/CN104608153A/zh
Application granted granted Critical
Publication of CN104608153B publication Critical patent/CN104608153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39107—Pick up article, object, measure, test it during motion path, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39109—Dual arm, multiarm manipulation, object handled in cooperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40072—Exert a screwing motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40087—Align hand on workpiece to pick up workpiece, peg and hole
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40615—Integrate sensor placement, configuration with vision tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45203—Screwing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/41—Tool
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

本发明提供一种机器人，其包括保持物体的保持部、拍摄部、以及机器人的被预先决定的第1部分，拍摄部将第1部分作为背景来拍摄保持部以及物体。

Description

机器人、机器人系统、以及机器人控制装置
技术领域
本发明涉及机器人、机器人系统、以及机器人控制装置。
背景技术
近年来，在制造现场等，SCARA机器人、多轴机器人等被用于产品的组装、检查等。在进行产品的组装、检查时搬运物体的情况下，机器人吸附物体或用臂把持物体。
在这种工业用机器人中，在自动组装的其他作业工序中，要求以规定的姿势高效地抓住采取不确定且多样的姿势的对象物。对这种工业用机器人而言，在机器人的末端执行器安装有螺丝刀，从而工业用机器人代替人类地自动地进行螺丝紧固。此时，通过图像处理来识别螺丝的位置以及形状。
例如，公开有如下图像处理装置，即，在加工物体而产生切屑粉等的环境下，利用电视摄像机等来拍摄物体，并通过图像处理来识别物体的位置以及形状(例如，参照专利文献1)。
专利文献1：日本特开平6－288740号公报
然而，在专利文献1中，在图像处理中的成为物体的背景的部分设置容器部，在该容器部存积形成为在图像处理中相对于物体能够识别的颜色的不透明的液体，并将该不透明的液体的液面作为物体的背景。因此，存在作业环境下的污染、生锈、以及潮湿情况下的使用的问题，并且拍摄方向仅为重力方向这一个方向，从而欠缺通用性。
发明内容
本发明是为了解决上述课题的至少一部分而提出的，并能够作为以下的方式或者应用例来实现。
应用例1
本应用例的机器人的特征在于，包括：保持部，其保持物体；拍摄部；以及机器人的被预先决定的第1部分，上述拍摄部将上述第1部分作为背景来拍摄上述保持部以及上述物体。
根据本应用例，由于将被预先决定的第1部分作为保持部的拍摄背景，所以能够不使用复杂的算法地进行图像处理。由此，图像处理变得准确且快速。其结果是，在图像检查中，通过将机器人的壳体作为背景，能够实现通用且稳定的检查。
应用例2
在上述应用例所记载的机器人中，特征在于，上述第1部分是被预先决定的颜色。
根据本应用例，由于是被预先决定的颜色，所以能够不使用更加复杂的算法地进行图像处理。
应用例3
在上述应用例所记载的机器人中，特征在于，上述第1部分的对比度均匀。
根据本应用例，由于对比度均匀，所以能够不使用更加复杂的算法地进行图像处理。
应用例4
在上述应用例所记载的机器人中，特征在于，上述第1部分是上述机器人的机身部。
根据本应用例，能够容易地实现稳定的检查。
应用例5
在上述应用例所记载的机器人中，特征在于，上述拍摄部以针对上述保持部的拍摄方向与上述拍摄不同的方式，将上述机器人的第2部分作为背景来拍摄上述保持部以及上述物体。
根据本应用例，在用拍摄部对保持部所保持的物体进行拍摄时，通过将针对保持部的拍摄方向与以第1部分为背景的拍摄不同的第2部分作为背景进行拍摄，而使上述部件的几何关系两极化，从而能够明确地进行图像处理。
应用例6
在上述应用例所记载的机器人中，特征在于，在上述拍摄方向的相对于上述物体处于90度的关系的两个方向进行拍摄。
根据本应用例，由于也从正侧面进行拍摄，从而能够更加准确地识别物体的偏移方向。
应用例7
在上述应用例所记载的机器人中，特征在于，上述第2部分是被预先决定的颜色。
根据本应用例，由于是被预先决定的颜色，所以能够不使用更加复杂的算法地进行图像处理。
应用例8
在上述应用例所记载的机器人中，特征在于，上述第2部分的对比度均匀。
根据本应用例，由于对比度均匀，所以能够不使用更加复杂的算法地进行图像处理。
应用例9
在上述应用例所记载的机器人中，特征在于，上述第2部分是上述机器人的臂。
根据本应用例，能够容易地实现稳定的检查。
应用例10
在上述应用例所记载的机器人中，特征在于，上述物体是吸附有螺丝的螺丝刀。
根据本应用例，能够实现被吸附于螺丝刀的螺丝的稳定的检查。
应用例11
在上述应用例所记载的机器人中，特征在于，上述保持部转动。
根据本应用例，能够容易地将针对保持部的拍摄方向与以第1部分为背景的拍摄不同的第2部分作为背景进行拍摄。
应用例12
本应用例的机器人系统的特征在于，包括：上述应用例中任一项所记载的机器人；以及机器人控制装置，上述机器人控制装置包括控制部，该控制部通过上述拍摄部，将上述第1部分作为背景来拍摄上述保持部以及上述物体。
根据本应用例，由于将被预先决定的第1部分作为保持部的拍摄的背景，所以能够不使用复杂的算法地进行图像处理。由此，图像处理变得准确且快速。其结果是，在图像检查中，通过将机器人的壳体作为背景，能够实现通用且稳定的检查。
应用例13
本应用例的机器人控制装置是控制机器人的机器人控制装置，该机器人包括：保持部、拍摄部、以及机器人的被预先决定的第1部分，该机器人控制装置的特征在于，包括控制部，该控制部通过上述拍摄部，将上述第1部分作为背景来拍摄上述保持部以及上述物体。
根据本应用例，由于将被预先决定的第1部分作为保持部的拍摄的背景，所以能够不使用复杂的算法地进行图像处理。由此，图像处理变得准确且快速。其结果是，在图像检查中，通过将机器人的壳体作为背景，能够实现通用且稳定的检查。
附图说明
图1是表示本实施方式的机器人的一个例子的正面立体图。
图2是表示机器人的一个例子的背面立体图。
图3是详细表示臂以及手部的图。
图4是表示机器人的功能结构的一个例子的图。
图5是对机器人进行的第一作业例进行说明的图。
图6是将螺丝吸附于电动螺丝刀的前端而进行螺丝紧固为止的动作的流程图。
图7是对螺丝嵌合于电动螺丝刀的卡合部的一个例子进行说明的图，其中，图7(A)是螺丝正确地嵌合于卡合部的图，图7(B)是螺丝未正确地嵌合于卡合部的图。
图8是对机器人进行的两个视点的图像检查进行说明的图，其中，图8(A)是对一个视点的图像检查进行说明的图，图8(B)是对另一个视点的图像检查进行说明的图。
具体实施方式
参照附图，对本发明的实施方式进行说明。
图1是表示本发明的实施方式的机器人1的一个例子的正面立体图。图2是表示机器人1的一个例子的背面立体图。
机器人1具备：躯干部(机身部)10、臂11、触摸面板显示器12、脚部13、搬运用手柄14、照相机15、信号灯16、电源开关17、外部接口(I/F)部18、以及升降手柄19。机器人1是人型双臂机器人，其根据控制部20(参照图4)的控制而动作。该机器人1是能够在例如对打印机那样的精密机器等进行组装的制造工序中使用的机器人。此外，该制造作业通常在作业台(未图示)上进行。
躯干部10设置在脚部13的框架上。此外，脚部13是机器人1的基台，躯干部10是机器人1的机身。躯干部10也能够被称为机器人主体。此外，作为机器人主体，不仅包括躯干部10，也可以包括脚部13。
躯干部10具有上侧的肩区域10A、以及下侧的躯干部主体10B。在肩区域10A，在其两侧面，分别设置有向正面侧突出的臂11(也称为“机械手”。)。
在臂11的前端，设置有保持(包含抓住、把持的广义的概念)作业的对象物(也称为“工件”。)、道具的手部111(也称为“末端执行器”。)。另外，在臂11设置有对载置于作业台上的工件等进行拍摄的手眼相机(拍摄部)11G。在后面对臂11以及手部111进行详细叙述。
手眼相机11G例如是CCD(Charge Coupled Device：电荷耦合装置)照相机。手眼相机11G对吸附(保持)于电动螺丝刀(保持部)A30(参照图5)的螺丝(物体)A20进行拍摄，并向控制部20输出拍摄到的模拟值的图像数据。此外，手眼相机11G也可以以针对手部111的拍摄方向与以机器人1的躯干部10为背景的拍摄不同的方式将机器人1的臂11作为背景来拍摄电动螺丝刀A30以及螺丝A20。由此，在用手眼相机11G对保持于手部111的电动螺丝刀A30进行拍摄时，通过将针对手部111的拍摄方向与以躯干部10为背景的拍摄不同的臂11作为背景进行拍摄，而使上述部件的几何关系两极化，从而能够明确地进行图像处理。此外，背景只要是能够不使用复杂的算法地进行图像处理的状态的背景即可，例如也可以将机器人1的躯干部10或者臂11作为背景的一部分来拍摄电动螺丝刀A30以及螺丝A20。
在从躯干部10的肩区域10A在正面侧朝向斜上方突出的、相当于机器人1的头部的部分，设置有两台照相机15以及信号灯16。
照相机15例如具有CCD(Charge Coupled Device：电荷耦合装置)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等，并能够对作业台等进行拍摄。信号灯16具有例如分别产生红色的光、黄色的光、蓝色的光的LED，并根据机器人1的当前的状态而使适当选择的LED发光。
在脚部13的内部设置有控制机器人1自身的控制部20等。在脚部13以及躯干部主体10B的内部设置有相对于机器人1沿上下方向延伸的旋转轴，在该旋转轴设置有躯干部10的肩区域10A。肩区域10A能够绕旋转轴旋转移动。即，比躯干部主体10B更靠上侧的部件能够绕旋转轴一体地朝向任意的方向。
在脚部13的背面，设置有电源开关17、以及将控制部20与外部的PC等连接的外部连接端子亦即外部I/F部18。电源开关17具有接通机器人1的电源的电源接通开关17a、以及切断机器人1的电源的电源切断开关17b。
另外，在脚部13的最下部，在水平方向上隔着间隔而设置有多个未图示的脚轮。由此，作业者通过按住搬运用手柄14等而能够移动搬运机器人1。
在躯干部10的背面设置有升降手柄19。升降手柄19使处于躯干部10的上部的肩区域10A相对于躯干部主体10B沿上下方向移动。由此，能够与各种高度的作业台对应。
另外，在躯干部10的背面侧配置有能够从机器人1的背面侧视认的触摸面板显示器12。显示器例如是液晶显示器等，其能够显示机器人1的当前的状态等。另外，触摸面板例如是静电式、压电式的触摸面板，其作为对机器人1进行动作的设定等的用户接口部来使用。
图3是详细表示臂11以及手部111的图。
臂11是利用关节(未图示)，从躯干部10侧按顺序将臂部件(也称为“机械手部件”。)11A、11B、11C、11D、11E连结而构成的。在关节设置有用于使它们动作的促动器(未图示)。
臂11是具有7个转动轴的7轴臂。7个转动轴J1、J2、J3、J4、J5、J6、J7分别是设置于关节的促动器的旋转轴。臂部件11A、11B、11C、11D、11E以及手部111能够绕转动轴J1、J2、J3、J4、J5、J6、J7独立地转动。
促动器例如具备伺服马达、编码器11a(参照图4)等。编码器所输出的编码器值用于由控制部20进行的机器人1的反馈控制等。另外，在促动器设置有固定旋转轴的电磁制动器。
通过使各旋转轴连动，能够使设定于臂11的前端部等的关注位置(也称为“终点”。)在规定的可动范围内自由移动或朝向自由的方向。此外，终点的位置并不限定于臂的前端部，例如也可以设定于末端执行器的前端部等。
在臂部件11E的前端(相当于臂11的手臂部分)设置有力觉传感器(未图示)。力觉传感器是对作为与机器人1发出的力相对的反作用力而受到的力、力矩进行检测的传感器。作为力觉传感器，例如能够使用可同时对平移3轴向的力成分与绕旋转3轴的力矩成分的6成分进行检测的6轴力觉传感器。此外，力觉传感器并不限定于6轴，例如也可以是3轴。利用力觉传感器，能够检测施加于手部等的力、力矩。
此外，对施加于手部等的力、力矩进行检测的方法并不限定于使用力觉传感器的方法。例如，也能够根据臂11的各轴扭矩值来推断手部所受到的外力。因此，臂11具有直接或者间接获取施加于手部的力、力矩的单元即可。
另外，在臂部件11E的前端，经由用于能够拆装地设置手部111的拆装部件112而设置有手部111。
手部111具有主体部111A、以及配置于主体部111A的前端侧的多根(例如，2根～4根的任意数量)手指111B。主体部111A的外形形状呈大致长方体状，在其内部设置有驱动各手指111B的驱动机构(未图示)。通过驱动机构而使手指111B彼此相互接近，从而能够在它们之间夹持部件等对象物。另外，通过驱动机构而使手指111B彼此从其夹持状态相互分离，从而能够释放对象物。
此外，臂11能够为机械手的一种。机械手是使终点的位置移动的机构，其不限定于臂而能够采取各种方式。例如，只要是由一个以上的关节与连杆构成、并通过使关节活动而使整体移动的机械手，就可以是任何形态。另外，设置于机器人1的机械手的数量也不限定于2个，也可以是1个或者3个以上。
此外，手部111能够为末端执行器的一种。末端执行器是用于把持、按压、提起、吊起、吸附对象物、或加工工件的部件。末端执行器能够采取手部、钩部、吸盘等各种方式。另外，也可以针对一个臂设置多个末端执行器。
由于具有上述那样的结构，从而机器人1在控制部20的控制之下，例如能够用手部111把持工件，或使手部111与工件接触。另外，机器人1例如能够用手部111对工件施加各种方向的力来按压工件，或者对工件施加各种力矩。
对于上述机器人1的结构而言，在对本实施方式的特征进行说明时，对主要结构进行了说明，并且并不限定于图示的构成例。另外，不排除一般的机器人所具备的结构。例如，也可以增减关节的数量(也称为“轴数”。)、连杆的数量。另外，也可以适当地变更关节、连杆、手部等各种部件的形状、大小、配置、构造等。
另外，例如，也可以将控制部20作为实现该控制部20的功能的机器人控制装置而设置于机器人1的外部。在该情况下，该机器人控制装置经由通信I/F等而与机器人1连接。也能够将具备机器人控制装置与机器人的系统称为机器人系统。
图4是表示机器人1的功能结构的一个例子的图。
控制部20具备：输入输出控制部21、照相机控制部22、编码器控制部23、力觉传感器控制部24、轨道生成部25、臂控制部26、以及手部控制部27。臂11具备编码器11a、以及力觉传感器11b。
控制部20如后述那样对机器人1的臂11、手部111进行控制。另外，控制部20基于手眼相机11G所输出的图像数据，如后述那样辨别吸附于电动螺丝刀A30的螺丝A20是否正确地嵌合。控制部20基于辨别结果，在吸附于电动螺丝刀A30的螺丝A20正确地嵌合的情况下，控制电动螺丝刀A30，以使螺丝A20紧固于进行螺丝紧固的对象物的螺孔。
输入输出控制部21控制向触摸面板显示器12的输出、以及从触摸面板显示器12的输入。例如，输入输出控制部21使机器人1的状态、由照相机15拍摄的图像等显示于触摸面板显示器12。另外，例如，输入输出控制部21受理用户对触摸面板显示器12的操作。
照相机控制部22控制照相机15、手眼相机11G来进行拍摄，并获取拍摄到的图像。另外，照相机控制部22进行从获取的图像提取工件等图像处理。
编码器控制部23从编码器11a获取编码器的角度等信息，并将其向臂控制部26等输出。
力觉传感器控制部24获取由力觉传感器11b测量出的值，例如获取力的方向、力的大小、力矩的方向、力矩的大小等信息。
轨道生成部25生成终点的轨道。例如，轨道生成部25基于照相机控制部22所获取的拍摄图像，生成终点的轨道。具体而言，轨道生成部25根据照相机控制部22所获取的图像来识别工件的位置，并将工件的位置置换为机器人坐标。然后，轨道生成部25生成使当前的终点的机器人坐标移动至工件的机器人坐标的轨道。当然，也可以使用由用户设定的轨道。此外，由于生成轨道的处理能够采用一般的技术，所以省略详细的说明。
臂控制部26基于轨道生成部25所生成的轨道、以及编码器控制部23所获取的编码器11a的信息来控制臂11(位置控制)。例如，臂控制部26向促动器输出表示关节的旋转角度的移动指令，从而驱动促动器。
另外，臂控制部26基于力觉传感器控制部24所获取的力觉传感器11b的信息来控制臂11(阻抗控制等力控制)。例如，臂控制部26以使由力觉传感器11b检测出的特定方向的力的大小成为目标大小的方式调整终点的位置、姿势。另外，例如，臂控制部26以使由力觉传感器11b检测出的特定的力矩的大小成为目标大小的方式调整终点的位置、姿势。由此，能够实现将手部111按压于工件的机器人1的动作。此外，由于位置控制、力控制等处理能够采用一般的技术，所以省略详细的说明。臂控制部26也可以代替位置控制而使用视觉伺服等来使终点的位置移动。
在本实施方式中，例如，机器人1在对某个部件进行螺丝紧固作业的情况下，将该部件载置于设置有定位部的夹具(或者其他部件)之上，但是对此在后面使用具体例来进行详细说明。而且，机器人1相对于夹具(或者其他部件)，向与螺丝紧固作业时施加力的方向(插入螺丝的方向)垂直的平面方向按压该部件，并向螺丝紧固作业时施加力的方向按压该部件。由此，更加可靠地不使部件移动。
手部控制部27控制手部111。例如，手部控制部27在将终点到达能够把持工件的目标位置的情况下，生成使各手指相互接近的指令值，并将其向手部111的驱动机构输出。
上述控制部20例如能够通过计算机来实现，该计算机具备CPU(Central Processing Unit：中央处理单元)等运算装置、RAM(RandomAccess Memory：随机存取存储器)等主存储装置、HDD(Hard DiskDrive：硬盘驱动器)等辅助存储装置、用于通过有线或者无线而与通信网络连接的通信接口(I/F)、与触摸面板等输入装置连接的输入I/F、与显示装置连接的输出I/F、以及对可携带存储介质进行信息的读写的读写装置。也可以通过机器人专用的ASIC(Application SpecificIntegrated Circuit：专用集成电路)来实现。另外，控制部20例如也可以通过具备运算装置、存储装置、处理电路、驱动电路等的控制器基板等来实现。
例如，控制部20的各功能通过运算装置执行从辅助存储装置等向主存储装置加载的规定的程序来实现。上述规定的程序例如可以从由读写装置读取的存储介质安装，也可以经由通信I/F而从网络安装。
上述机器人1的功能结构是为了容易理解机器人1的结构，而根据主要的处理内容来分类的功能结构。不会因构成要素的分类的方法、名称而限制本发明。机器人1的结构也能够根据处理内容而分类为更多的结构要素。另外，也能够以使一个构成要素执行更多的处理的方式进行分类。另外，各构成要素的处理可以由一个硬件执行，也可以由多个硬件执行。
另外，控制部20与其他结构(臂、手部等)的功能以及处理的分担不限定于图示的例子。例如，控制部20的至少一部分的功能也可以通过其他结构来实现。另外，例如，其他结构的至少一部分的功能也可以通过控制部20来实现。
图5是对机器人1所进行的第一作业例进行说明的图。第一作业例是在形成于工件A10的螺孔插入螺丝A20而进行螺丝紧固的例子。工件A10呈长方体状。在螺丝A20的螺丝紧固中，例如使用人也能够使用的电动螺丝刀A30。螺丝A20构成为包含铁等金属，并且电动螺丝刀A30的螺丝刀头带有磁性。因此，能够在将螺丝A20放置于电动螺丝刀A30的螺丝刀头的状态下，使螺丝A20移动。
接下来，使用附图来说明将螺丝A20吸附于电动螺丝刀A30而进行螺丝紧固为止的动作。
图6是表示将螺丝A20吸附于电动螺丝刀A30的前端而进行螺丝紧固为止的动作的流程图。图7是对将螺丝A20嵌合于电动螺丝刀A30的卡合部A45的一个例子进行说明的图。
在进行螺丝紧固时，使用螺丝自动供给机(未图示)，使螺丝A20吸附于电动螺丝刀A30的卡合部A45。此时，根据图像来检查螺丝A20是否正确地吸附于卡合部A45。由于卡合部A45被磁化，所以在螺丝A20未正确地放置于卡合部A45的情况下，如图7(B)所示，产生螺丝A20悬荡于卡合部A45那样的NG。图7(A)表示螺丝A20与电动螺丝刀A30的卡合部A45正确地嵌合的状态。
在图像检查中，由于需要准确地识别检查对象物(螺丝A20)，所以在具有与检查对象物形状接近的形状那样的复杂的背景中难以识别对象物。其中，对于机器人1的周围而言，若人进行移动、或者配置有各种装置，则导致机器人1的周围成为复杂的背景。因此，在本实施方式中，通过将机器人1作为背景来实施图像检查，从而即使机器人周围为比较复杂的背景，也能够进行稳定的检查。
首先，在步骤S10中，控制部20控制臂11，从螺丝自动供给机的取出部的导轨拉出螺丝A20。通过该动作，螺丝A20与螺丝自动供给机的取出部的导轨脱离而成为自由的状态。在步骤S10结束后，移至步骤S20。
接下来，在步骤S20中，控制部20使电动螺丝刀A30在拍摄位置停止，并使用手眼相机11G对电动螺丝刀A30的刀头A46以及吸附于卡合部A45的螺丝A20进行拍摄。在步骤S20结束后，移至步骤S30。
图8是对机器人1进行的两个视点的图像检查进行说明的图。图8(A)是对一个视点的图像检查进行说明的图，图8(B)是对另一个视点的图像检查进行说明的图。
控制部20在以机器人1为背景而利用手眼相机11G进行拍摄的螺丝A20的图像检查中，在以下的两个视点(方向)进行图像检查。
例如，控制部20从偏移90度的两个视点对螺丝A20进行图像检查。具体而言，在一个视点中，如图8(A)所示，控制部20以机器人1的躯干部10为背景对螺丝A20的面A41进行图像检查。在另一个视点中，如图8(B)所示，控制部20从上述一个视点的状态使手部111旋转45度(向图8的纸面左旋)，并使手眼相机11G移动45度(向图8的纸面右旋)，从而以机器人1的臂11为背景对螺丝A20的面A42进行图像检查。
由此，如图8(C)所示，控制部20能够从偏移90度的两个视点(面A41、面A42)对螺丝A20进行图像检查。由此，通过从正侧面进行拍摄，从而能够更加准确地识别螺丝A20的偏移方向。
此外，在另一个视点中，也可以使刀头A46(参照图7)旋转45度(向图8的纸面左旋)，并使手眼相机11G移动45度(向图8的纸面右旋)，从而以机器人1的臂11为背景对螺丝A20的面A42进行图像检查。另外，也可以使刀头A46旋转90度(向图8的纸面左旋)，从而手眼相机11G在一个视点的状态下以机器人1的躯干部10为背景进行图像检查。
另外，躯干部10以及臂11也可以分别在面内是被预先决定的颜色。例如，能够适应被称为蓝背景的蓝系的色调等。由此，由于是被预先决定的颜色，所以能够不使用更加复杂的算法地实现图像处理。
另外，躯干部10以及臂11也可以分别在面内对比度均匀。由此，由于对比度均匀，所以能够不使用更加复杂的算法地实现图像处理。
接下来，在步骤S30中，控制部20的照相机控制部22获取手眼相机11G所输出的图像数据，并将获取的图像数据转换为数字数据。
控制部20根据手眼相机11G所输出的图像数据，通过公知的模板匹配等，来辨别螺丝A20是否以正确的姿势吸附于电动螺丝刀A30的卡合部A45。在螺丝A20以正确的姿势吸附的情况下(步骤S30；是)，移至步骤S40。在螺丝A20未以正确的姿势吸附的情况下(步骤S30；否)，移至步骤S60。
例如，将预先使螺丝A20正确地吸附于电动螺丝刀A30的卡合部A45而拍摄到的图像数据作为模板图像数据，机器人1的设计者或机器人1的控制信息的设计者预先将该模板图像数据存储于存储部。然后，控制部20通过模板匹配法，计算所存储的模板图像数据、与手眼相机11G输出的图像数据的相似度。控制部20根据计算出的相似度的值的大小，来辨别螺丝A20是否以正确的姿势嵌合于电动螺丝刀A30的卡合部A45。
控制部20预先实验性地求出电动螺丝刀A30的卡合部A45与螺丝A20的偏移量是在螺丝紧固中被允许的程度的偏移的情况下的相似度，并将该值预先设定为阈值。然后，控制部20在计算出的相似度在预先设定的阈值以上的情况下辨别为良，在小于阈值的情况下辨别为否。
这样，在用手眼相机11G对嵌合于电动螺丝刀A30的卡合部A45的螺丝A20进行拍摄的情况下，通过以机器人1为背景实施图像检查，从而即使机器人周围为比较复杂的背景，也能够进行稳定的检查。
接下来，在步骤S40中，使电动螺丝刀A30行进至进行螺丝紧固的位置而停止。在步骤S40结束后，移至步骤S50。
接下来，在步骤S50中，控制部20使臂11所把持的电动螺丝刀A30移动，将螺丝A20按压于进行螺丝紧固的对象物的螺孔A47(参照图5)。通过按压，产生使电动螺丝刀A30的卡合部A45旋转的扭矩。因此，控制部20通过将嵌合于电动螺丝刀A30的卡合部A45的螺丝A20按压于螺孔A47，从而进行螺丝紧固。
接下来，在步骤S60中，在步骤S30中螺丝A20与电动螺丝刀A30的卡合部A45未正确地嵌合的情况下，控制部20使吸附着的螺丝A20靠近产生比电动螺丝刀A30的卡合部A45大的磁力的物体，从而取下螺丝A20。在取下螺丝A20后，回到步骤S10。
另外，取下螺丝A20的方法并不限定于上述方法，例如也可以使臂11的前端急加速或者急减速，使作用于螺丝A20的惯性力比作用在螺丝A20与电动螺丝刀A30之间的摩擦力大，从而取下螺丝A20。或者，控制部20也可以在步骤S10～S50的期间，将电动螺丝刀A30的卡合部A45磁化，并在步骤S60时，对电动螺丝刀A30的卡合部A45进行消磁，从而取下螺丝A20。
在本实施方式中，由于将被预先决定的躯干部10作为手部111的拍摄的背景，所以能够不使用复杂的算法地进行图像处理。由此，图像处理变得准确且快速。其结果是，在图像检查中，通过将机器人壳体作为背景，能够实现通用且稳定的检查。
此外，在上述实施方式中，拍摄部并不限定于手眼相机11G，例如也可以设置于机器人1的外部。
以上，使用实施方式对本发明进行了说明，但是本发明的技术的范围并不限定于上述实施方式所记载的范围。对于本领域技术人员来而言，能够对上述实施方式施加各种变更或者改进这一点是显而易见的。另外，根据权利要求书的记载可知，施加了这样的变更或者改进的方式也能够包含在本发明的技术的范围内。本发明可以作为分开地具有机器人与机器人控制装置(控制部)的机器人系统而提供，也可以作为该机器人系统的机器人以及机器人控制装置而提供。另外，本发明也能够作为控制机器人等的方法、控制机器人等的程序、以及存储该程序的存储介质而提供。
附图标记的说明
1…机器人；10…躯干部；10A…肩区域；10B…躯干部主体；11…臂；11A、11B、11C、11D、11E…臂部件；11G…手眼相机(拍摄部)；11a…编码器；11b…力觉传感器；12…触摸面板显示器；13…脚部；14…搬运用手柄；15…照相机；16…信号灯；17…电源开关；17a…电源接通开关；17b…电源切断开关；18…外部I/F部；19…升降手柄；20…控制部；21…输入输出控制部；22…照相机控制部；23…编码器控制部；24…力觉传感器控制部；25…轨道生成部；26…臂控制部；27…手部控制部；111…手部；111A…主体部；111B…手指；112…拆装部件；A10…工件；A20…螺丝(物体)；A30…电动螺丝刀(保持部)；A41…面；A42…面；A45…卡合部；A46…刀头；A47…螺孔；J1、J2、J3、J4、J5、J6、J7…转动轴。

Claims (13)

1.一种机器人，其特征在于，包括：
保持部，其保持物体；
拍摄部；以及
机器人的被预先决定的第1部分，
所述拍摄部将所述第1部分作为背景来拍摄所述保持部以及所述物体。
2.根据权利要求1所述的机器人，其特征在于，
所述第1部分是被预先决定的颜色。
3.根据权利要求1或2所述的机器人，其特征在于，
所述第1部分的对比度均匀。
4.根据权利要求1～3中任一项所述的机器人，其特征在于，
所述第1部分是所述机器人的机身部。
5.根据权利要求1～4中任一项所述的机器人，其特征在于，
所述拍摄部以针对所述保持部的拍摄方向与所述拍摄不同的方式，将所述机器人的第2部分作为背景来拍摄所述保持部以及所述物体。
6.根据权利要求5所述的机器人，其特征在于，
在所述拍摄方向的相对于所述物体处于90度的关系的两个方向进行拍摄。
7.根据权利要求5或6所述的机器人，其特征在于，
所述第2部分是被预先决定的颜色。
8.根据权利要求5～7中任一项所述的机器人，其特征在于，
所述第2部分的对比度均匀。
9.根据权利要求5～8中任一项所述的机器人，其特征在于，
所述第2部分是所述机器人的臂。
10.根据权利要求1～9中任一项所述的机器人，其特征在于，
所述保持部转动。
11.根据权利要求9所述的机器人，其特征在于，
所述保持部是螺丝刀，
所述物体是被吸附于所述螺丝刀的螺丝。
12.一种机器人系统，其特征在于，包括：
权利要求1～11中任一项所述的机器人；以及
机器人控制装置，
所述机器人控制装置包括控制部，该控制部通过所述拍摄部，将所述第1部分作为背景来拍摄所述保持部以及所述物体。
13.一种机器人控制装置，其特征在于，
控制机器人，该机器人包括保持部、拍摄部、以及机器人的被预先决定的第1部分，
该机器人控制装置包括控制部，该控制部通过所述拍摄部，将所述第1部分作为背景来拍摄所述保持部以及所述物体。
CN201410599083.0A 2013-11-05 2014-10-30 机器人、机器人系统、以及机器人控制装置 Active CN104608153B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013229064A JP6322959B2 (ja) 2013-11-05 2013-11-05 ロボット、ロボットシステム、及びロボット制御装置
JP2013-229064 2013-11-05

Publications (2)

Publication Number Publication Date
CN104608153A true CN104608153A (zh) 2015-05-13
CN104608153B CN104608153B (zh) 2019-01-01

Family

ID=51868811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410599083.0A Active CN104608153B (zh) 2013-11-05 2014-10-30 机器人、机器人系统、以及机器人控制装置

Country Status (4)

Country Link
US (1) US9561594B2 (zh)
EP (1) EP2921266B1 (zh)
JP (1) JP6322959B2 (zh)
CN (1) CN104608153B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660157B2 (ja) 2015-11-16 2020-03-11 川崎重工業株式会社 ロボット及びロボットによる作業方法
JP2017196705A (ja) * 2016-04-28 2017-11-02 セイコーエプソン株式会社 ロボット、及びロボットシステム
SG10201608757PA (en) * 2016-10-19 2018-05-30 Component Aerospace Singapore Pte Ltd Method and apparatus for facilitating part verification
JP6850639B2 (ja) * 2017-03-09 2021-03-31 本田技研工業株式会社 ロボット
US10349986B2 (en) 2017-04-20 2019-07-16 Warsaw Orthopedic, Inc. Spinal implant system and method
DE102017118985B4 (de) * 2017-04-23 2019-10-02 Franka Emika Gmbh Schraubvorrichtung
JP6897396B2 (ja) * 2017-07-28 2021-06-30 セイコーエプソン株式会社 制御装置、ロボットシステムおよび制御方法
WO2019039006A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 ロボット
US20190249486A1 (en) * 2018-02-13 2019-08-15 Ged Integrated Solutions, Inc. Insulating glass unit plug and installation method
JP7163115B2 (ja) 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
JP7305950B2 (ja) * 2018-11-30 2023-07-11 ブラザー工業株式会社 更新方法、コンピュータプログラム、及び制御システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6008636A (en) * 1997-09-30 1999-12-28 Motorola, Inc. Test system with robot arm for delivering a device under test
US20110106311A1 (en) * 2009-10-30 2011-05-05 Honda Motor Co., Ltd. Information processing method, apparatus, and computer readable medium
CN102233579A (zh) * 2010-04-28 2011-11-09 株式会社安川电机 机器人作业成败判定系统以及方法
US20120152877A1 (en) * 2010-12-16 2012-06-21 Saied Tadayon Robot for Solar Farms
CN103085068A (zh) * 2011-09-21 2013-05-08 精工爱普生株式会社 机器人以及机器人的控制方法
US20130182903A1 (en) * 2012-01-18 2013-07-18 Seiko Epson Corporation Robot apparatus and position and orientation detecting method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3240739B2 (ja) 1993-03-30 2001-12-25 豊田工機株式会社 撮像装置
JP2000084876A (ja) 1998-09-17 2000-03-28 Nippon Telegr & Teleph Corp <Ntt> ロボットアーム視覚追跡方法及びシステム装置
JP2003229700A (ja) 2002-01-31 2003-08-15 Fuji Mach Mfg Co Ltd 吸着管部の吸着端面とそれに保持された電子回路部品との撮像方法
JP3876234B2 (ja) * 2003-06-17 2007-01-31 ファナック株式会社 コネクタ把持装置、同装置を備えたコネクタ検査システム及びコネクタ接続システム
JP2006007390A (ja) * 2004-06-29 2006-01-12 Sharp Corp 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
JP4844453B2 (ja) * 2007-04-09 2011-12-28 株式会社デンソーウェーブ ロボットの教示装置及び教示方法
JP2009148845A (ja) * 2007-12-19 2009-07-09 Olympus Corp 小型生産設備
JP4909933B2 (ja) * 2008-03-31 2012-04-04 本田技研工業株式会社 サスペンションアッセンブリ取り付け装置
JP5471355B2 (ja) * 2009-11-24 2014-04-16 オムロン株式会社 ３次元視覚センサ
JP2011115877A (ja) * 2009-12-02 2011-06-16 Canon Inc 双腕ロボット
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
JP5895346B2 (ja) * 2011-02-04 2016-03-30 セイコーエプソン株式会社 ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them
KR102056664B1 (ko) * 2012-10-04 2019-12-17 한국전자통신연구원 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6008636A (en) * 1997-09-30 1999-12-28 Motorola, Inc. Test system with robot arm for delivering a device under test
US20110106311A1 (en) * 2009-10-30 2011-05-05 Honda Motor Co., Ltd. Information processing method, apparatus, and computer readable medium
CN102233579A (zh) * 2010-04-28 2011-11-09 株式会社安川电机 机器人作业成败判定系统以及方法
US20120152877A1 (en) * 2010-12-16 2012-06-21 Saied Tadayon Robot for Solar Farms
CN103085068A (zh) * 2011-09-21 2013-05-08 精工爱普生株式会社 机器人以及机器人的控制方法
US20130182903A1 (en) * 2012-01-18 2013-07-18 Seiko Epson Corporation Robot apparatus and position and orientation detecting method

Also Published As

Publication number Publication date
JP6322959B2 (ja) 2018-05-16
US9561594B2 (en) 2017-02-07
CN104608153B (zh) 2019-01-01
JP2015089579A (ja) 2015-05-11
EP2921266A3 (en) 2015-11-04
US20150127160A1 (en) 2015-05-07
EP2921266A2 (en) 2015-09-23
EP2921266B1 (en) 2017-09-06

Similar Documents

Publication Publication Date Title
CN104608153A (zh) 机器人、机器人系统、以及机器人控制装置
US11148295B2 (en) Systems, devices, components, and methods for a compact robotic gripper with palm-mounted sensing, grasping, and computing devices and components
US20220003620A1 (en) Retroreflective Multi-Axis Force Torque Sensor
US10059001B2 (en) Robot control device, robot system, and robot
US11559900B2 (en) Systems, devices, components, and methods for a compact robotic gripper with palm-mounted sensing, grasping, and computing devices and components
US20170182665A1 (en) Robot, robot control device, and robot system
JP7130927B2 (ja) 制御装置およびロボットシステム
CN107791245A (zh) 机器人控制装置、机器人以及机器人系统
US10583555B2 (en) System and method for determining tool offsets
JP2011067941A (ja) 人間型ロボットのための視覚認知システムおよび方法
US20170277167A1 (en) Robot system, robot control device, and robot
CN104589306A (zh) 机器人、机器人系统以及机器人控制装置
CN106003020A (zh) 机器人、机器人控制装置以及机器人系统
JP2015085479A (ja) ロボット、制御装置、ロボットシステム、及びロボット制御方法
US20220331964A1 (en) Device and method for controlling a robot to insert an object into an insertion
CN115194752A (zh) 用于训练神经网络以控制插入任务的机器人的设备和方法
JP2019195885A (ja) 制御装置およびロボットシステム
CN113706628A (zh) 一种智能搬运机器人协作系统及其对特征图像的处理方法
JP2015085480A (ja) ロボット、制御装置、ロボットシステム、ロボット制御方法、及びプログラム
WO2020105295A1 (ja) 画像情報処理装置、把持システム、および画像情報処理方法
CN209256923U (zh) 一种通过视觉编程的示教器装置
CN109397266A (zh) 一种通过视觉编程的示教器装置
Fukui et al. Design of Distributed End-Effectors for Caging-Specialized Manipulator: (Design Concept and Development of Finger Component)
Vollmann et al. Manipulator control by calibration-free stereo vision
JP6291793B2 (ja) ロボット、及びロボットシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant