CN104827457B - 机器手臂的教导装置及方法 - Google Patents

Abstract

一种机器手臂的教导装置及方法，利用控制装置接收手势识别模块检测的控制手势信号，教导机器手臂移动，并在手臂移动模式与手部移动模式间转换。在手臂移动模式中，配合外置画面呈现的手臂环境图像及手臂控制手势，教导手臂单元高速移动至目标。在手部移动模式中，配合内置画面呈现的手部周围图像及手部控制手势，教导手部单元低速移动处理目标。

Description

机器手臂的教导装置及方法

技术领域

本发明有关一种机器手臂的教导装置及方法，尤其关于机器手臂利用视觉装置，由远程教导控制机器手臂移动的装置及方法。

背景技术

随着工业生产技术的快速发展，为了追求大量生产的速度、产品质量的稳定及降低人工成本，工厂的生产线纷纷以机器手臂(Robot Arm)取代劳动人力。同时利用一人监管多台机器手臂的生产配置，进一步增加生产效率，以提高产品的市场竞争力。

机器手臂通常利用高速移动增加生产效率，对近距离操作机器手臂的操作人员，造成安全上巨大的威胁。尤其是辐射、高温高压或异常冷热等对身体造成危害的工作环境，以及到达困难的恶劣环境，远程教导机器手臂作业，让操作人员远离危险的工作环境，显得相当重要。

远程教导机器手臂，一般通过摄影机或照相机等视觉装置(Vision Device)拍摄机器手臂作业的现场环境，传输到设在远程的屏幕，呈现机器手臂作业现场的图像。由操作人员观看屏幕上机器手臂与工件的相对位置关系，利用操作有线或无线的遥控器，教导远程的机器手臂移动，输送或组装工件以制造产品。

由于使用遥控方式教导机器手臂，不仅遥控器在操作的动作上有所限制，且不方便随时携带。先前技术美国专利案US20110118877，通过检测手势，确认手势的移动方向，教导机器手臂的移动方向，以取代遥控器的操作教导方式，让操作更方便。

然而，先前技术的视觉装置仅设在机器手臂外的作业环境，并不会随机器手臂移动，以致远程屏幕缩小显示的画面，仅能看到机器手臂整体的工作环境，却无法清楚看到工件的摆置方位及机器手臂接近工件的相对位置。而先前技术单段式手势控制机器手臂的移动方式，极易撞伤工件，并不适合机器手部接近工件的移动方式，也不适合机器手部(Robot Hand)微调方位以夹取工件的细部调整方式。因此，机器手臂在远程教导移动的装置及方法上，仍有问题亟待解决。

发明内容

本发明的目的在于提供一种机器手臂的教导装置，通过在机器手臂设置内置及外置的视觉装置，远程呈现的手臂环境图像及手部周围图像，并检测两段控制手势，分别呈现在手臂环境图像中，控制手臂单元高速移动，或呈现在手部周围图像中，控制手部单元低速移动，以提高作业效率。

本发明另一目的在于提供一种机器手臂的教导方法，利用两段控制手势分别在手臂移动模式控制手臂单元的移动，或在手部移动模式控制手部单元的移动，以精确教导机器手臂移动。

为了达到前述发明的目的，本发明机器手臂的教导装置具有机器手臂，在手臂单元上设内置视觉装置，撷取位于手臂单元移动端的手部单元的手部周围图像，并在工作现场设外置视觉装置，撷取机器手臂的手臂环境图像；利用位于远程的控制装置，教导机器手臂移动，且接收内置视觉装置与外置视觉装置的撷取图像，以屏幕包含并列的外置画面与内置画面分割画面，外置画面呈现接收外置视觉装置撷取的手臂环境图像，并具有一起呈现控制手势图像的手臂控制手势区，内置画面呈现接收内置视觉装置撷取的手部周围图像，并具有一起呈现控制手势图像的手部控制手势区；通过手势识别模块，检测控制手势，将检测到的控制手势信号传输至控制装置，并将控制手势图像呈现在手臂控制手势区或手部控制手势区。

本发明机器手臂的教导装置，利用控制装置接收手势识别模块检测到的控制手势信号，教导机器手臂移动，且将教导机器手臂的移动模式，分为手臂移动模式与手部移动模式，在手臂移动模式中，配合外置画面呈现的手臂环境图像及手臂控制手势，教导手臂单元高速移动至目标，在手部移动模式中，配合内置画面呈现的手部周围图像及手部控制手势，教导手部单元低速移动处理目标。

本发明机器手臂的教导装置的控制手势为预先设定，包含限定用于手臂移动模式的手臂控制手势、限定用于手部移动模式的手部控制手势及移动模式共享的基本控制手势。其中基本控制手势包含用以启动转换移动模式的转换手势，用以唤醒机器手臂的唤醒手势及用以结束移动模式的完成手势。而手部控制手势包含带动手部单元移动调整方位的移动手势、用以夹取处理目标的夹取手势及用以释放处理目标的释放手势。

本发明机器手臂的教导方法，利用控制手势唤醒机器手臂，撷取图像远程并列手臂环境图像及手部周围图像；进入设定的手臂移动模式；将控制手势呈现在手臂环境图像；检测手臂控制手势；根据检测到的手臂控制手势，教导手臂单元以设定的速度移动至目标；利用控制手势转换为手部移动模式；将控制手势呈现在手部周围图像;检测手部控制手势;根据检测到的手部控制手势，教导手部单元以设定的速度移动处理目标;最后结束移动模式。

附图说明

图1为本发明机器手臂教导装置的机器手臂的示意图。

图2为本发明机器手臂教导装置的控制装置的示意图。

图3为本发明教导机器手臂的控制手势图。

图4为本发明机器手臂的教导方法的流程图。

[标号说明]

10 机器手臂 11 手臂单元

12 手部单元 13 工作台

14 夹取装置 15 工件

16 内置视觉装置 17 外置视觉装置

20 控制装置 21 主机

22 屏幕 23 外置画面

24 内置画面 25 手势识别模块

26 控制手势 26a 手臂控制手势区

26b 手部控制手势区

具体实施方式

有关本发明为达成上述目的，所采用的技术手段及其功效，兹举较佳实施例，并配合图式加以说明如下。

请同时参阅图1、图2及图3，图1为本发明机器手臂教导装置的机器手臂，图2为本发明机器手臂教导装置的控制装置，图3为本发明教导机器手臂设定的控制手势。本发明机器手臂的教导装置包含位于工作现场的机器手臂10及位于远程的控制装置20。图1中，机器手臂10具有手臂单元11及手部单元12，机器手臂10控制手臂单元11移动，带动位于手臂单元11移动端的手部单元12接近或远离目标的工作台13。再驱动手部单元12的夹取装置14调整方位，夹取位于工作台13上的工件15，或将工件15释放在工作台13。

本发明的机器手臂10还设置摄影机或照相机等视觉装置拍摄机器手臂10作业的现场图像，通过有线或无线，将现场图像传输到设在远程的控制装置20。视觉装置包含内置视觉装置(Eye-In-Hand)16与外置视觉装置(Eye-To-Hand)17。内置视觉装置16直接设在手臂单元11上，一般设在接近手部单元12的位置，随手臂单元11移动，就近撷取手部单元12附近的手部周围图像。而外置视觉装置17则设在机器手臂10外的工作现场中，一般固定在工作现场，不会随机器手臂移动，以撷取机器手臂10整体工作现场的手臂环境图像。

图2中，本发明教导装置的控制装置20，利用主机21接收机器手臂10中内置视觉装置16与外置视觉装置17撷取的图像，并列呈现在屏幕22上。屏幕22具有外置画面23与内置画面24的分割画面，外置画面23呈现外置视觉装置17撷取的手臂单元11的手臂环境图像，内置画面24则呈现内置视觉装置16撷取的手部单元12附近的手部周围图像。让操作者可以同时观看外置画面23与内置画面24。本发明虽以同一屏幕22的分割画面举例说明，但本发明亦可为以多个屏幕并列呈现不同视觉装置撷取的图像，达到让操作者同时观看的目的。

本发明教导装置的控制装置20还设置手势识别模块25，用以检测操作者的控制手势26，并将控制手势26的信号传输至控制装置20的主机21，依照教导的对象，重迭呈现在外置画面23中的手臂控制手势区26a或内置画面24中的手部控制手势区26b，分别与手臂环境图像及手部周围图像一起呈现。

本发明控制装置20还将教导机器手臂10的移动模式，分为手臂移动模式与手部移动模式。手臂移动模式配合观看外置画面23呈现的手臂环境图像，利用手臂控制手势区26a呈现检测到的手臂控制手势，以教导手臂单元11高速移动，尽快让手部单元12接近目标的工作台13。在手部移动模式中，配合观看内置画面24呈现的手部周围图像，利用手部控制手势区26b呈现检测到的手部控制手势，以教导手部单元12低速移动，精确调整方位夹取或释放工件15。通过手臂移动模式与手部移动模式不同的控制手势，形成两段控制手势教导手臂单元11与手部单元12移动。

图3中，本发明操作机器手臂的控制手势26，控制手势26为预先设定，包含基本控制手势、手臂控制手势及手部控制手势。基本控制手势为各移动模式共享，包含唤醒手势、转换手势及完成手势。其中，唤醒手势为挥动伸展手掌，用以唤醒机器手臂10，并将唤醒手势呈现在外置画面23的手臂控制手势区26a中，让操作者知道本发明的控制装置20已进入设定的手臂移动模式中，以控制手臂单元11移动。转换手势为伸展拇指与食指，用以启动移动模式的转换，让本发明的控制装置20在手臂移动模式与手部移动模式间转换，转换手势将呈现在转换后的画面中，让操作者知道本发明的控制装置20已转换为另一移动模式。完成手势则为伸展中指与食指，用以结束本发明控制装置20的移动模式，外置或内置画面中的控制手势将消失，让操作者知道本发明的控制装置20已停止移动模式操作。

手臂控制手势限定用于手臂移动模式，为伸展手掌上下左右移动，可在手臂移动模式中带动手臂单元11移动，手臂控制手势仅呈现在外置画面23的手臂控制手势区26a中。而手部控制手势限定用于手部移动模式，包含移动手势、夹取手势及释放手势，可在手臂移动模式中带动手部单元12移动，手部控制手势仅呈现在内置画面24的手部控制手势区26b中。其中移动手势为握拳上下左右移动，在手部移动模式中带动手部单元12移动调整方位。夹取手势为四指并拢与拇指成夹取状，在手部移动模式中带动手部单元12的夹取装置14夹取工件。释放手势为伸展手掌，在手部移动模式中张开手部单元12的夹取装置14以释放工件。

本发明机器手臂的教导装置在使用时，首先需由操作者利用唤醒手势，经手势识别模块25检测确认后，将信号传输至主机21。由主机21唤醒机器手臂10，将内置视觉装置16与外置视觉装置17撷取的图像，分别传输至屏幕22的外置画面23与内置画面24的分割画面。并进入设定的手臂移动模式，再将唤醒手势呈现在外置画面23中的手臂控制手势区26a，与手臂环境图像一起呈现，以表示进入唤醒状态。

接着操作者观看外置画面23中的手臂单元11位置，通常手臂单元11停留的位置离目标工作台13较远距离。利用手臂控制手势由手势识别模块25检测，经确认后呈现在外置画面23中的手臂控制手势区26a，同时观看外置画面23中的手臂环境图像，控制手臂单元11以设定的高速快速移动，让位于手臂单元11移动端的手部单元12尽快接近目标的工作台13。直到并列的内置画面24呈现工作台13的目标图像。

为了避免高速移动的手臂单元11容易撞击工件15，且为了微调到合适的方位。操作者利用转换手势，经手势识别模块25检测确认后，将本发明控制装置20转换为手部移动模式，并将转换手势呈现在转换移动模式后的内置画面24中的手部控制手势区26b，以表示进入手部移动模式。再利用手部控制手势的移动手势，经手势识别模块25检测确认后，呈现在内置画面24中的手部控制手势区26b，藉观看内置画面24中的手部单元12，并控制手部单元12以设定低速移动，微调手部单元12到合适的方位。再利用手部控制手势的夹取手势，经手势识别模块25检测确认后，呈现在内置画面24中的手部控制手势区26b，夹取位于目标工作台13上的工件15，或利用手部控制手势的释放手势，经手势识别模块25检测确认后，呈现在内置画面24中的手部控制手势区26b，将工件15释放在目标的工作台13上。

前述手臂移动模式与手部移动模式在移动中，可视距离工件的远近及调整工件的方位，利用转换手势随意进行来回切换移动模式，让画面显示的两段控制手势，使手部单元12能因应不同位置，以两段速度尽快接近目标，直到完成移动机器手臂10的控制后，最后利用完成手势，经手势识别模块25检测确认后，消除在外置画面23或内置画面24中的手臂控制手势26，以完成本发明机器手臂的教导装置的移动模式。

因此，本发明的机器手臂的教导装置，可通过在机器手臂10设置内置视觉装置16及外置的视觉装置18，分别在远程的内置画面24呈现手部周围图像，及外置画面23呈现手臂环境图像，并利用检测两段控制手势各自在外置画面23中，控制手臂单元高速移动接近目标，或在内置画面24中，控制手部单元低速移动夹取或释放工件，以达到提高作业效率的目的。

如图4所示，为本发明机器手臂的教导方法的流程图。本发明机器手臂的远程教导方法的详细步骤说明如下:首先在步骤S1，利用控制手势唤醒机器手臂，撷取图像远程并列手臂环境图像及手部周围图像。进入步骤S2，进入设定的手臂移动模式。在步骤S3，将控制手势一起呈现在手臂环境图像。再至步骤S4，检测手臂控制手势。在步骤S5，根据检测到的手臂控制手势，教导手臂单元以设定的速度移动至目标，可以手部周围图像出现目标判断移动至目标，且手臂单元的移动设定在高速，比手部单元移动的速度快。接着在步骤S6，利用控制手势转换为手部移动模式。在步骤S7，将控制手势一起呈现在手部周围图像。然后在步骤S8，检测手部控制手势。在步骤S9，根据检测到的手部控制手势教导手部单元以设定的低速移动处理目标，例如对目标夹取或释放工件。最后进入步骤S10处理完成目标后，结束本发明的移动模式。

因此，本发明的机器手臂的教导方法，就可利用检测两段控制手势，依序在手臂移动模式控制手臂单元高速移动，以及在手部移动模式的移动控制手部单元低速移动处理目标，达到教导机器手臂精确移动。

以上所述者，仅为用以方便说明本发明的较佳实施例，本发明的范围不限于该等较佳实施例，凡依本发明所做的任何变更，于不脱离本发明的精神下，皆属本发明权利要求的范围。

Claims (10)

1.一种机器手臂的教导装置，包含：

一机器手臂，位于工作现场；

一控制装置，位于远程，教导机器手臂移动；

一手势识别模块，检测控制手势，将检测到的控制手势信号传输至控制装置，该控制装置接收手势识别模块检测到的控制手势信号，教导机器手臂移动；

其特征在于：

该机器手臂包含手臂单元与手部单元，手臂单元上设内置视觉装置，撷取位于手臂单元移动端的手部单元的手部周围图像，工作现场设外置视觉装置，撷取机器手臂的手臂环境图像；

该控制装置接收内置视觉装置与外置视觉装置的撷取图像，具有屏幕包含并列的外置画面与内置画面，外置画面呈现接收外置视觉装置撷取的手臂环境图像，并具有一起呈现控制手势图像的手臂控制手势区，内置画面呈现接收内置视觉装置撷取的手部周围图像，并具有一起呈现控制手势图像的手部控制手势区；

该手势识别模块将控制手势图像呈现在该手臂控制手势区或该手部控制手势区；

其中，该控制装置将教导机器手臂的移动模式，分为手臂移动模式与手部移动模式，在手臂移动模式中，配合外置画面呈现的手臂环境图像及手臂控制手势，教导手臂单元高速移动至目标，在手部移动模式中，配合内置画面呈现的手部周围图像及手部控制手势，教导手部单元低速移动处理目标。

2.根据权利要求1所述的机器手臂的教导装置，其中该控制手势为预先设定，包含限定用于手臂移动模式的手臂控制手势、限定用于手部移动模式的手部控制手势及移动模式共享的基本控制手势。

3.根据权利要求2所述的机器手臂的教导装置，其中该基本控制手势包含用以启动转换移动模式的转换手势，利用转换手势在手臂移动模式与手部移动模式间进行切换。

4.根据权利要求3所述的机器手臂的教导装置，其中该基本控制手势还包含用以唤醒机器手臂的唤醒手势及用以结束移动模式的完成手势。

5.根据权利要求2所述的机器手臂的教导装置，其中该手部控制手势包含带动手部单元移动调整方位的移动手势、用以夹取处理目标的夹取手势及用以释放处理目标的释放手势。

6.根据权利要求1所述的机器手臂的教导装置，其中该外置画面与内置画面为屏幕的分割画面。

7.一种机器手臂的教导方法，其步骤包含：

唤醒机器手臂，撷取图像远程并列手臂环境图像及手部周围图像；

进入设定的手臂移动模式；

将控制手势一起呈现在手臂环境图像；

检测手臂控制手势；

根据检测到的手臂控制手势，教导手臂单元以设定的速度移动至目标；

利用控制手势转换为手部移动模式；

将控制手势一起呈现在手部周围图像；

检测手部控制手势；

根据检测到的手部控制手势，教导手部单元以设定的速度移动处理目标；

结束移动模式。

8.根据权利要求7所述的机器手臂的教导方法，其中利用控制手势唤醒机器手臂。

9.根据权利要求7所述的机器手臂的教导方法，其中以手部周围图像出现目标判断手臂单元移动至目标。

10.根据权利要求7所述的机器手臂的教导方法，其中该手臂单元的移动设定在高速，而手部单元的移动设定在低速。