CN104057455A - 机器人系统 - Google Patents

Abstract

本发明提供一种能容易地登录工件的图像识别程序的机器人系统。该机器人系统具有机器人臂、摄像机（40）、触摸面板（22）和图像处理装置（U1）。图像处理装置（U1）具有：存储部（26），用于存储通过输入有关工件的多个参数而构成图像识别程序的基本程序；工件登录引导部（27），将催促参数输入的多个输入画面一个个地显示在触摸面板（22）上，每当一个输入画面中的参数输入结束时切换为下一个输入画面，由此从触摸面板（22）中依次获取所有参数；以及登录部（28），将工件登录引导部（27）所获取的参数代入存储部（26）的基本程序中从而构建并登录图像识别程序。

Description

机器人系统

技术领域

本发明涉及一种具有机器人臂和用于拍摄工件的摄像机的机器人系统。

背景技术

如下一种机器人系统已经实用化：其用摄像机对工件进行拍摄，根据拍摄到的图像获取工件的位置信息等，根据获取的位置信息等使机器人臂进行作业。例如在专利文献1中公开了如下一种机器人系统：其具有：机器人臂；摄像机，其用于拍摄工件，并安装在机器人臂上。

现有技术文献

专利文献

专利文献1：日本特开2010-243317号公报

在上述机器人系统中，为了获取工件的位置信息等，需要预先登录用于在拍摄到的图像内识别工件的图像识别程序。为了登录合适的图像识别程序，需要根据有关图像识别的高难专业知识进行复杂的作业。

发明内容

对此，本发明的目的是提供一种能容易地登录工件的图像识别程序的机器人系统。

为了实现上述目的，本发明所述的机器人系统具有：机器人臂；摄像机，其为拍摄工件而设置；触摸面板；以及图像处理装置，其按照图像识别程序从摄像机所拍摄的图像中识别工件，图像处理装置具有：存储部，用于存储通过输入有关工件的多个参数而构成图像识别程序的基本程序；工件登录引导部，将用于催促参数输入的多个输入画面一个个地显示在触摸面板上，每当一个输入画面中的参数输入结束时切换为下一个输入画面，由此从触摸面板中依次获取所有参数；以及登录部，将工件登录引导部所获取的参数代入存储部的基本程序中从而构建并登录图像识别程序。

发明效果

根据本发明，能容易地登录工件的图像识别程序。

附图说明

图1是表示实施方式所述的机器人系统的大致结构的示意图。

图2是表示图像处理装置的功能性结构的框图。

图3是表示图像识别程序的登录步骤的流程图。

图4是表示图像处理的菜单画面的图。

图5是表示程序编号的输入画面的图。

图6是表示正在输入程序编号的状态的图。

图7是表示工件的外形种类的输入画面的图。

图8是表示工件的外形和大小的输入画面的图。

图9是表示正在绘制工件包围图形的状态的图。

图10是表示紧接确定工件包围图形之前的状态的图。

图11是表示特征部的形状种类的输入画面的图。

图12是表示特征部的形状、大小和位置的输入画面的图。

图13是表示基准点的位置的输入画面的图。

图14是表示输入结束画面的图。

附图标记说明

1…机器人系统，10…机器人臂，21a…开关，22…触摸面板，26…存储部，27…工件登录引导部，28…登录部，40…摄像机，60A、60B、60C、60D、60E…输入画面，66、67…绘图工具，C1…特征部，P1…候选点，R1…工件包围图形，R2…特征部包围图形，U1…图像处理装置，W…工件。

具体实施方式

以下参照附图详细说明本发明的优选实施方式。在说明中，对同一要素或具有同一功能的要素使用同一附图标记而省略重复说明。

如图1所示，实施方式所述的机器人系统1具有机器人臂10、机器人控制器20、作业台30、以及摄像机40。

机器人臂10具有：基部11；两个臂部12、13；一个手腕部14；以及三个关节15、16和17，其将臂部12、13和手腕部14串联连接在基部11上。基部11具有设在地面上的基台11a和设在该基台11a之上的旋转台11b。基台11a中内置有使旋转台11b围绕铅垂的轴（S轴）A1转动的致动器。

关节（L轴关节）15连结臂部（下臂部）12和旋转台11b的上部。L轴关节15中内置有使下臂部12围绕水平的轴（L轴）A2摆动的致动器。关节（U轴关节）16连结臂部（前臂部）13和下臂部12。U轴关节16中内置有使前臂部13围绕平行于L轴A2的轴（U轴）A3摆动的致动器。关节（B轴关节）17连结手腕部14和前臂部13。B轴关节17中内置有使手腕部14围绕与前臂部13的中心轴A4正交的轴（B轴）A5摆动的致动器。

前臂部13具有串联连接的前臂连杆13a、13b。U轴关节16侧的第一前臂连杆13a中内置有使B轴关节17侧的第二前臂连杆13b围绕前臂部13的中心轴（R轴）A4转动的致动器。手腕部14具有连结在B轴关节17上的手腕连杆14a和连接在手腕连杆14a的前端侧的安装凸缘14b。手腕连杆14a中内置有使安装凸缘14b围绕手腕部14的中心轴（T轴）A6转动的致动器。安装凸缘14b上安装有用于使机器人臂10进行希望的作业的各种工具T。工具T例如为机器人手部。还有，上述仅为机器人臂10的结构和各致动器的设置的一个例子，本发明不局限于上述结构和设置。

作业台30支承作为机器人臂10的作业对象的工件W。摄像机40中内置有如CCD等拍摄元件。摄像机40设在作业台30的上方，拍摄下方的作业台30并作为电信号而输出。

机器人控制器20控制机器人臂10的上述各致动器，以使机器人臂10对工件W进行各种作业。另外，机器人控制器20从摄像机40获取图像，并进行对图像内的工件W进行识别的处理。即，机器人控制器20作为图像处理装置U1而发挥功能。通过对图像内的工件W进行识别的处理，获取图像内的工件W的位置和姿态信息。机器人控制器20根据图像内的工件W的位置和姿态信息，确定以机器人臂10为基准的工件W的位置和姿态信息，并控制机器人臂10。

编程器（PP）21和触摸面板22分别经由电缆与机器人控制器20连接。即，机器人系统1还具有PP21和触摸面板22。PP21是对机器人臂10的动作进行示教的输入装置。PP21具有开关21a。开关21a切换机器人臂10的容许动作状态和禁止动作状态。开关21a例如可以是切断向机器人臂10的各致动器进行的供电的所谓的紧急停止开关。即，在机器人臂10处于容许动作状态时，如果按下开关21a，则向各致动器的供电被切断，机器人臂10处于禁止动作状态。触摸面板22是用于对作为图像处理装置U1的机器人控制器20所进行的图像处理进行各种设定的输入装置。

如图2所示，作为图像处理装置U1的机器人控制器20具有第一存储部23以及工件识别部25。第一存储部23存储用于对工件W进行图像识别的程序（以下，称为“图像识别程序”）。图像获取部24从摄像机40获取图像。工件识别部25按照存储在第一存储部23中的图像识别程序进行图像处理，并识别图像获取部24获取的图像内的工件W。

另外，为使机器人臂10适应以新的工件W为对象的作业，需要在第一存储部23中登录新的工件W的图像识别程序。为进行此登录，作为图像处理装置U1的机器人控制器20还具有第二存储部26、工件登录引导部27和登录部28。

第二存储部26存储通过输入有关工件W的多个参数而构成图像识别程序的基本程序。有关工件W的多个参数例如包含工件W的外形和大小、工件W的特征部的形状和大小、工件W内的特征部的位置、以及工件W内的基准点的位置。特征部是能够用于确定工件W的朝向的外观方面的特征部分。基准点是机器人臂10对工件W进行作业时作为基准的点。基准点例如用于在机器人臂10把持工件W时确定要把持的部分。

工件登录引导部27将催促上述多个参数的输入的多个输入画面一个个地显示在触摸面板22上，每当一个输入画面中的上述参数输入结束时切换为下一个输入画面。通过在各输入画面上催促，由使用者将所有的参数输入触摸面板22。工件登录引导部27依次获取所输入的参数。

登录部28将工件登录引导部27所获取的上述参数代入第二存储部26的基本程序中，从而构建图像识别程序并将其登录到第一存储部23中。

接下来，说明通过作为图像处理装置U1的机器人控制器20执行的工件登录处理。在进行工件登录处理之前，将工件W设在作业台30上（参照图1）。如图3所示，图像处理装置U1首先获取PP21的开关21a的状态（S10），并判定机器人臂10是否处于禁止动作状态（S11）。

若机器人臂10不处于禁止动作状态，则使触摸面板22处于拒绝输入状态（S12），结束工件登录处理。若机器人臂10处于禁止动作状态，使触摸面板22处于允许输入状态（S13），获取执行内容（S14）。在获取执行内容时，工件登录引导部27将图4所示的菜单画面50A显示在触摸面板22上。菜单画面50A包含多个菜单选择按键51和工件登录按键52。

除了工件登录以外的各种执行内容被分配给各菜单选择按键51。分配给菜单选择按键51的执行内容例如是自动运行、手动运行和状态监视等。自动运行是配合机器人臂10的控制而自动识别工件W的运行模式。手动运行是根据使用者的指示输入来识别工件W的运行模式。状态监视是指将表示工件W的识别状况的信息显示在触摸面板22上。工件登录作为执行内容而被分配给工件登录按键52。使用者触摸工件登录按键52时，图像处理装置U1的执行内容变为工件登录。

接下来，如图3所示，图像处理装置U1判定所获取的执行内容是否是工件登录。若执行内容不是工件登录，则结束工件登录处理。若执行内容是工件登录，则从触摸面板22获取程序编号（S16）。在获取程序编号时，工件登录引导部27将图5所示的输入画面50B显示在触摸面板22上。

输入画面50B包含编号列表53和编号输入按键54。编号列表53表示已登录的程序的编号。如图6所示，使用者触摸编号输入按键54时，在编号输入按键54的旁边显示数字键盘55，从而能够从数字键盘55输入程序的编号。

当使用者被编号列表53、编号输入按键54和数字键盘55催促而输入程序编号时，该编号被工件登录引导部27获取。还有，工件登录引导部27为了催促向输入画面50B的输入，也可以突出显示编号输入按键54。

接下来，如图3所示，图像处理装置U1获取工件W的外形信息（S17）。在获取工件W的外形信息时，工件登录引导部27将图7所示的输入画面60A显示在触摸面板22上。

输入画面60A是用于输入工件W的外形种类的画面，包含工件显示部61、流程显示部62、缩放按键63、多个形状选择按键64以及确定按键65。工件显示部61显示图像获取部24所获取的图像。如上所述，由于作业台30上设有工件W，所以在工件显示部61上显示工件W。缩放按键63是用于指示工件显示部61的图像的放大或缩小的按键。

流程显示部62用于将表示参数输入内容的多个显示框62a～62d串联连接。与对工件W的外形种类进行输入的工序相对应的是显示框62a。工件登录引导部27在输入画面60A中对显示框62a进行突出显示。显示框62a的突出显示意味着例如通过使显示框62a内的颜色不同于其他显示框62b～62d内的颜色而使显示框62a醒目的显示。也可以使显示框62a内比其他显示框62b～62d内亮。

多个形状选择按键64是用于选择工件W的外形种类的按键。在输入画面60A中，多个形状选择按键64例如分别被分配矩形、圆形或椭圆形等。使用者触摸形状选择按键64的某一个，由此分配给该按键的形状被选择作为工件W的外形。确定按键65是用于确定输入内容的按键。

使用者被输入画面60A催促而触摸某个形状选择按键64并触摸确定按键65时，工件W的外形种类被工件登录引导部27获取。还有，工件登录引导部27为了催促向输入画面60A的输入，也可以分别突出显示形状选择按键64和确定按键65。

继输入画面60A之后，工件登录引导部27将图8所示的输入画面60B显示在触摸面板22上。输入画面60B是用于输入工件W的外形和大小的画面，除包含与输入画面60A一样的工件显示部61、流程显示部62、缩放按键63和确定按键65以外，还包含绘图工具66。在流程显示部62中，与对工件W的外形和大小进行输入的工序相对应的是显示框62b。工件登录引导部27在输入画面60B中对显示框62b进行突出显示。还有，图8中的工件W与图7中的工件W相比，通过缩放按键63被放大。

绘图工具66包含两个特定点指定按键66a、66b以及四个调整按键66c、66d、66e、66f。特定点指定按键66a、66b是用于输入对工件W的外形范围进行指定的点的按键。使用者触摸特定点指定按键66a、66b时，能在工件显示部61中指定特定点。工件W的外形为矩形时，特定点例如为处于对角位置的两个点。在触摸特定点指定按键66a之后，在工件显示部61中指定第一点，在触摸特定点指定按键66b之后，在工件显示部61中指定第二点，由此指定两个特定点。工件登录引导部27根据所指定的特定点，将与工件W的周缘相仿的工件包围图形R1重叠在工件W的图像上，并在工件显示部61上绘图（参照图9）。

调整按键66c、66d、66e、66f分别是使特定点上下左右偏移的按键。调整按键66c、66d、66e、66f在特定点指定按键66a被选择的状态下，调整上述第一点的位置，在特定点指定按键66b被选择的状态下，调整上述第二点的位置。通过调整按键66c、66d、66e、66f调整特定点的位置，能使工件包围图形R1更接近工件W的周缘。

在使用者被输入画面60B催促而绘制工件包围图形R1并触摸确定按键65时（参照图10），工件包围图形R1的形状和大小作为工件W的外形和大小被工件登录引导部27获取。还有，工件登录引导部27为了催促向输入画面60B的输入，也可以分别突出显示特定点指定按键66a、66b和调整按键66c、66d、66e、66f以及确定按键65。

接下来，如图3所示，图像处理装置U1获取工件W的特征部信息（S19）。在获取工件W的特征部信息时，工件登录引导部27将图11所示的输入画面60C显示在触摸面板22上。

输入画面60C是用于输入特征部C1（参照图12）形状的种类的画面，包含与输入画面60A一样的工件显示部61、流程显示部62、缩放按键63、形状选择按键64和确定按键65。在流程显示部62中，与输入特征部信息的工序相对应的是显示框62c。工件登录引导部27在输入画面60C中对显示框62c进行突出显示。

在输入画面60C中，多个形状选择按键64例如也分别被分配给矩形、圆形或椭圆形等。使用者触摸形状选择按键64的某一个，由此分配给该按键的形状作为特征部C1的形状而被选择。

在使用者被输入画面60C催促而触摸某个形状选择按键64并触摸确定按键65时，特征部C1的形状种类被工件登录引导部27获取。还有，工件登录引导部27为了催促向输入画面60C的输入，也可以将形状选择按键64和确定按键65分别突出显示。

继输入画面60C之后，工件登录引导部27将图12所示的输入画面60D显示在触摸面板22上。输入画面60D是用于输入特征部C1的形状和大小以及特征部C1在工件W内的位置的画面，并包含与输入画面60B一样的工件显示部61、流程显示部62、缩放按键63、确定按键65和绘图工具66。工件登录引导部27也在输入画面60D中对显示框62c突出显示。还有，图12中的工件W与图11中的工件W相比，通过缩放按键63被放大。

在输入画面60D中，也能通过特定点指定按键66a、66b指定特定点。工件登录引导部27根据所指定的特定点，将与特征部C1的周缘相仿的特征部包围图形R2重叠在工件W的图像上，并在工件显示部61上绘图。通过调整按键66c、66d、66e、66f调整特定点的位置，由此能使特征部包围图形R2更接近特征部C1的周缘。

在使用者被输入画面60D催促而绘制特征部包围图形R2并触摸确定按键65时，特征部包围图形R2的形状和大小作为特征部C1的形状和大小被工件登录引导部27获取。另外，特征部包围图形R2在工件包围图形R1中的位置作为特征部C1在工件W中的位置而被工件登录引导部27获取。还有，工件登录引导部27为了催促向输入画面60D的输入，也可以分别突出显示特定点指定按键66a、66b、调整按键66c、66d、66e、66f以及确定按键65。

接下来，如图3所示，图像处理装置U1获取基准点信息（S21）。在获取基准点信息时，工件登录引导部27将图13所示的输入画面60E显示在触摸面板22上。

输入画面60E是用于输入基准点在工件W内的位置的画面，并除了包含与输入画面60B一样的工件显示部61、流程显示部62、缩放按键63和确定按键65以外，还包含绘图工具67。在流程显示部62中，与基准点的输入相对应的是显示框62d。工件登录引导部27在输入画面60E中对显示框62d突出显示。

绘图工具67包含候选点指定按键67a和调整按键67c、67d、67e、67f。候选点指定按键67a是用于输入构成候选基准点的点的按键。当候选点指定按键67a被触摸时，能在工件显示部61中指定基准点的候选点。工件登录引导部27将所指定的候选点P1重叠在工件W的图像上并在工件显示部61上绘图。

调整按键67c、67d、67e、67f是使候选点上下左右偏移的按键。通过调整按键67c、67d、67e、67f，能使候选点接近目标位置。

在使用者被输入画面60E催促而绘制候选点P1并触摸确定按键65时，候选点P1在工件包围图形R1中的位置作为基准点在工件W中的位置而被工件登录引导部27获取。还有，工件登录引导部27为了催促向输入画面60E的输入，也可以分别突出显示候选点指定按键67a和调整按键67c、67d、67e、67f以及确定按键65。

接下来，如图3所示，图像处理装置U1登录工件W的图像识别程序（S22）。在登录图像识别程序时，工件登录引导部27将图14所示的输入画面60F显示在触摸面板22上。

输入画面60F除了包含与输入画面60A一样的工件显示部61、流程显示部62、缩放按键63和确定按键65以外，还包含结束按键68。结束按键68是结束参数输入的按键。结束按键68与流程显示部62的显示框62d相连。由于结束按键68与表示紧接其前的工序的显示框62d相连，所以使用者容易视觉辨认结束按键68。

在使用者被输入画面60F催促而触摸结束按键68时，登录部28将工件登录引导部27所获取的上述参数代入第二存储部26中的基本程序中，由此构建图像识别程序并将其登录到第一存储部23中。如此，工件W的图像识别程序的登录结束。还有，工件登录引导部27为了催促向输入画面60F的输入，也可以突出显示结束按键68。

根据以上说明的机器人系统1，将工件登录引导部27所获取的参数代入第二存储部26中的基本程序中而构建图像识别程序，并将其登录到第一存储部23中。因此，机器人系统1的使用者只输入参数就能登录图像识别程序。

在输入参数时，工件登录引导部27将催促参数输入的多个输入画面60A～60E一个个地显示在触摸面板22上，每当一个输入画面中的参数输入结束时切换为下一个输入画面。因此，使用者只按照输入画面60A～60E进行输入操作，就能毫无遗漏地输入参数。这样，能容易地登录工件W的图像识别程序。

使用者按照输入画面60A、60B描绘工件包围图形R1，由此能输入工件W的外形和大小。由于正在绘制的工件包围图形R1被重叠显示在工件W的图像上，所以能配合工件W的图像而调节形状和大小，从而能容易地绘制工件包围图形R1。这样，能容易地输入工件W的外形和大小，能更容易登录工件W的图像识别程序。

使用者按照输入画面60C、60D绘制特征部包围图形，由此能输入特征部C1的形状和大小以及特征部C1在工件内的位置。由于正在绘制的特征部包围图形R2被重叠显示在工件W的图像，所以能配合特征部C1的图像而调节形状，从而能容易地绘制特征部包围图形R2。因此，能容易地输入特征部C1的形状和大小以及特征部C1在工件W内的位置，能更容易登录工件W的图像识别程序。

使用者只按照输入画面60E指示基准点的候选点，就能输入基准点在工件W内的位置。由于候选点P1被重叠显示在工件W的图像，所以能配合工件W的图像而调节位置，从而能容易地指示候选点P1。因此，能容易地输入基准点在工件W内的位置，能更容易登录工件W的图像识别程序。

机器人系统1还具有切换机器人臂10的容许动作状态和禁止动作状态的开关21a，图像处理装置U1在开关21a使机器人臂10处于容许动作状态时，使触摸面板22处于拒绝输入状态，在开关21a使机器人臂10处于禁止动作状态时，使触摸面板22处于允许输入状态。因此，能更安全地登录工件W的图像识别程序。

上面说明了本发明的优选实施方式，但本发明不限于上述实施方式，在不脱离其主旨的范围内能对其进行各种改变。机器人控制器20不限于采用图示的一体结构，也可以分为例如机器人臂10的控制单元、图像处理单元、以及用于连接这些单元的可编程逻辑控制器（PLC）。此时，图像处理单元构成图像处理装置U1。

Claims (6)

1.一种机器人系统，具有：

机器人臂；

摄像机，其为拍摄工件而设置；

触摸面板；以及

图像处理装置，其按照图像识别程序从所述摄像机所拍摄到的图像中识别所述工件，其中：

所述图像处理装置存储通过输入有关所述工件的多个参数而构成所述图像识别程序的基本程序；将用于催促所述参数的输入的多个输入画面一个个地显示在所述触摸面板上，每当一个所述输入画面中的所述参数的输入结束时切换为下一个所述输入画面，由此从触摸面板中依次获取所有的所述参数；以及将获取的所述参数代入所述基本程序中，从而构建并登录所述图像识别程序。

2.根据权利要求1所述的机器人系统，其特征在于，所述图像处理装置具有：

存储部，用于存储通过输入有关所述工件的多个参数而构成所述图像识别程序的基本程序；

工件登录引导部，将用于催促所述参数的输入的多个输入画面一个个地显示在所述触摸面板上，每当一个所述输入画面中的所述参数的输入结束时切换为下一个所述输入画面，由此从触摸面板中依次获取所有的所述参数；以及

登录部，将所述工件登录引导部所获取的所述参数代入所述存储部中的所述基本程序中，从而构建并登录所述图像识别程序。

3.根据权利要求2所述的机器人系统，其特征在于，

所述参数包含所述工件的外形和大小，

所述工件登录引导部将包含所述摄像机所拍摄到的所述工件的图像、和与所述工件的周缘相仿的工件包围图形的绘图工具的画面，作为所述输入画面显示在所述触摸面板上，

将正在绘制的所述工件包围图形与所述工件的图像重叠地显示在所述触摸面板上，

获取所述工件包围图形的形状和大小作为所述工件的外形和大小。

4.根据权利要求3所述的机器人系统，其特征在于，

所述参数还包含用于确定该工件的朝向的特征部的形状和大小以及所述特征部在所述工件中的位置，

所述工件登录引导部将包含所述摄像机所拍摄到的所述工件的图像、和与所述特征部的周缘相仿的特征部包围图形的绘图工具的画面，作为所述输入画面显示在所述触摸面板上，

将正在绘制的所述特征部包围图形与所述工件的图像重叠地显示在所述触摸面板上，

获取所述特征部包围图形的形状和大小作为所述特征部的形状和大小，获取所述特征部包围图形在所述工件包围图形中的位置作为所述特征部在所述工件中的位置。

5.根据权利要求3或4所述的机器人系统，其特征在于，

所述参数还包含基准点在所述工件中的位置，所述基准点是所述机器人臂对所述工件进行作业时作为基准的点，

所述工件登录引导部将包含所述摄像机所拍摄到的所述工件的图像和所述基准点的候选点的绘图工具的画面，作为所述输入画面显示在所述触摸面板上，

将所述候选点与所述工件的图像重叠地显示在所述触摸面板上，

获取所述候选点在所述工件包围图形中的位置作为述基准点在所述工件中的位置。

6.根据权利要求1～4中任一项所述的机器人系统，其特征在于，

还具有切换所述机器人臂的容许动作状态和禁止动作状态的开关，

在所述开关使所述机器人臂处于所述容许动作状态时，所述图像处理装置使所述触摸面板处于拒绝输入状态，在所述开关使所述机器人臂处于所述禁止动作状态时，所述图像处理装置使所述触摸面板处于允许输入状态。