CN105538307A - 控制装置、系统及方法 - Google Patents

Abstract

本申请提供了一种控制装置，该控制装置包括检测模块、处理模块以及传输模块。该检测模块是用以撷取动态影像作为目标影像，以将该目标影像呈现于一网页中；该处理模块是用以接受该检测模块的目标影像，并转换该目标影像为数据指令；该传输模块是自该处理模块接受该数据指令，以经由网络传输该数据指令至一机器设备。借此，实现基于用户于远端的控制技术，更大幅提升远端控制的便利性、及时性及准确性。本申请还提供一种控制系统及控制方法。

Description

控制装置、系统及方法

技术领域

本发明有关一种控制系统，特别是指一种可用于控制机械设备运动的控制装置、系统及方法。

背景技术

“机械手”或“机器人”是可执行程式化指令模仿人手或肢体动作，用以抓取、搬运物件或操作工具之自动化及其设备。以机械手为例，机械手是依据坐标、速度等参数来执行固定或非固定程式的控制指令，以完成所需的各种动作。因此，在机械手执行控制指令前，需要先进行坐标、速度等参数的定位控制。

如图1所示，机械手的定位控制主要是操作者10在手动模式下通过控制机台1之操作界面反复调节X、Y轴向的进退来调整机械手的位置、设定与记录坐标参数、查看机械手的位置、对照坐标参数与机械手的位置等步骤，以获得合理的坐标参数。

然而，于此种手动模式，即使是熟练的操作者利用人性化(User-friendly)的操作界面，仍需要藉由操作实体装置(例如：按键11、键盘或触控式荧幕等)及繁琐的步骤(如不停按压该按键11进行微调)来进行定位操作的输入与调校，且由不同操作者轮流操作按键亦可能产生卫生方面的问题。

再者，操作者必须亲临机械手所在的现场才得以进行定位控制，若该位操作者因故不能亲临现场，则可能导致后续工作的延迟。

近期，陆续有采用用户端与伺服器端分离模式的体感控制技术发表。但，用户端与伺服器端分离模式的资料传输效率低下，且资料包容易丢失导致资料的不准确性。

此外，已知的体感控制技术除了操作界面之外，需要额外的感应装置(例如：穿戴式配件或贴片灯)，但额外的感应装置一方面增加成本，另一方面不合乎多数人的日常穿戴习惯。

因此，如何解决现行控制自动化机器设备之种种问题，提供精确而便利的控制技术，即是发展本发明之目的。

发明内容

鉴于现有技术的种种问题，本发明提供一种控制装置，包括检测模块、处理模块以及传输模块。检测模块是用以撷取动态影像作为目标影像，以将该目标影像呈现于一网页中；该处理模块是用以接受该检测模块之目标影像，并转换该目标影像为数据指令；以及传输模块是自该处理模块接受该数据指令，以经由网络传输该数据指令至一机器设备。

本发明还提供一种控制方法，包括：撷取动态影像作为目标影像，以将该目标影像呈现于一网页中；将该目标影像转换为数据指令；以及经由网络传输该数据指令至一机器设备。

实施例一，还包括初始化模块，是用以登入该网页而获得用于控制该机器设备的初始化资料。例如，在撷取该动态影像前，先获得用于控制该机器设备的初始化资料。

实施例二，该控制装置还包括用以显示该网页的显示单元。例如，经该网络传输该数据指令至该机器设备后，自该网络接受该机器设备对应该数据指令的运动信息，以显示该机器设备的运动影像于一显示单元。

实施例三，该检测模块撷取动态影像以作为该目标影像的模式是包含：肤色检测模式、凸包检测模式及/或凸型缺陷检测模式。

本发明还提供一种控制系统，包括：控制装置以及机器设备。该控制装置包含：检测模块，是用以撷取动态影像作为目标影像，以将该目标影像呈现于一网页中；处理模块，是用以接受该目标影像，并转换该目标影像为数据指令；及传输模块，是自该处理模块接受数据指令。该机器设备是接收经由网络传输的该传输模块之数据指令，使该机器设备执行该数据指令并产生对应该数据指令的运动信息。

实施例一，该传输模块还能经由网络接受该运动信息。

实施例二，该机器设备包含主控制器以及机械手，该主控制器是用以执行该数据指令来控制机械手，并将该运动信息经由网络传输至该控制装置。

本发明实现基于用户端的控制技术，在用户端实现体感检测与资料运算。应用本发明的控制装置及方法在控制机械手时，不需要操作按键也无需额外的感应装置即可运行体感检测，也不用上传资料包至伺服器运算处理，不仅解决现行机械手定位繁琐、资料包丢失及传输耗时等问题，分离式视窗还可同步显示体感检测、控制资料及即时影像供操作者直接比对效果，更大幅提升机械手控制的清洁性、便利性、即时性及准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为现有控制机台的立体图；

图2是本发明实施例提供的控制装置的立体示意图；

图3是本发明实施例提供的控制装置的功能方块图；

图4是本发明实施例提供的控制方法第一实施例的步骤流程图；

图5A是本发明实施例提供的以肤色检测模式撷取目标影像的示意图；

图5B是本发明实施例提供的以肤色检测模式结合凸包检测模式撷取目标影像的示意图；

图5C是本发明实施例提供的结合肤色检测模式、凸包检测模式及凸型缺陷检测模式撷取目标影像的示意图；

图6A是本发明实施例提供的控制系统第一实施例的方块图；

图6B是本发明实施例提供的控制系统第二实施例的方块图；

图7是本发明实施例提供的控制方法第二实施例的步骤流程图；

图8A至8C是机械手的运动影像对应叠合于操作者的目标影像的流程示意图。

具体实施方式

以下是由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书揭示之内容了解本发明的其他优点与功效。本发明也可由其他不同的具体实施例加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在悖离本发明的精神下进行各种修饰与变更。

除非文中另有说明，说明书及所附申请专利范围中使用的单数形式“一”及“该”包括附属个数；术语“或”包括“及/或”的含义。

本发明中，术语“node-webkit”是整合node.js与webkit两者文本的即时运行环境，webkit提供文档文件模型(documentobjectmodel，DOM)node.js提供当地语言服务，使用者可通过HEML5、CSS3、Javascript语言编写本地应用程式。术语“node.js”是基于ChromeJavascript运作时所建立的平台，藉由事件驱动I/O伺服器端Javascript环境，可供使用者撰写可扩充网络程式，适合资料密集型分散式设备的即时应用。术语“WebRTC”(网页即时通信WebReal-TimeCommunication)为支持网页浏览器进行即时语音或视频通话的应用程序接口(ApplicationProgrammingInterface，API)，通过Javascript即可提供基于网页的即时通讯，包括语音视频采集、解编码、网络传输、显示等功能，并且跨平台支持windows、linux、mac、Android。术语“canvas”是HTML5的部分，使用Javascript于网页上绘制图像，可控制画图区域内每一图元，具有多种绘制路径、形状、字元、添加图像的功能。术语“UDP”(使用者资料包UserDatagramProtocol)是一种不需要传输层协议的开放式系统互聊参考模型(OpenSystemInterconnectionReferenceModel，OSImodel)。

本发明提供一种基于用户远端操控的控制装置及方法，不需将资料传输至伺服器端进行运算，减少资料包丢失的几率及资料包传输时间，且可跨平台使用。于此处所指的“远端”是不在机器设备所在的现场，例如操作者与机器设备分别位于不同房间、不同区域或不同国家。

如图2、图3及图4所示，所述控制装置2包括显示单元25、初始化模块21、检测模块22、处理模块23以及传输模块24.

该控制装置2经事件触发开始进行远端控制包括下列步骤：步骤201，操作者10可利用该初始化模块21经由网络100登入本发明的网页(显示于该显示单元25)，以获得用于控制一机器设备20的初始化资料。步骤202，该检测模块22撷取操作者10的动态影像作为目标影像，并解析对应该目标影像的连续图元资料。步骤203，该处理模块23自该初始化模块21及该检测模块22接受该初始化资料及该连续图元资料，依据该初始化资料转换该连续图元资料为数据指令。步骤204，该传输模块24自该处理模块23接受该数据指令，经由网络100传输该数据指令至该机器设备20.其中步骤201与步骤202的先后顺序可依需求而定，也可同步进行。

于本实施例，该机器设备20是为注塑机的主控制机台620(设有图6A的主控制器621)及机械手622，且操作者10可藉由本发明的控制装置2撷取操作者10的手势动作，以进行远端控制机械手622的定位。

具体而言，本发明之控制方法是支持网页浏览器的运行架构，可跨平台使用，只要具有显示单元25及浏览网页功能的通讯电子装置，例如：个人电脑、平板电脑、智能手机等，故无需额外的感应装置，也不用上传资料包至伺服器运算处理，即可实现基于用户远端操控的控制装置2.

再者，当操作者10使用该控制装置2开始进行远端控制时，因该初始化模块21的设计，可经由网络登入本发明的网页以获得初始化资料，该初始化资料是基于node-webkit架构的跨平台应用程序。

另，该检测模块22经由外接或内建的摄影模块接受该操作者10的动态影像，自背景影像中撷取该操作者10的动态影像作为目标影像，该目标影像可包括但不限于操作者10的手势、肢体动作和脸部表情等。本发明中，可运用一种或结合多种辨识运算技术，例如：肤色检测模式、凸包检测模式、凸型缺陷检测模式等，自该操作者10的动态影像中分离背景而撷取操作者的手势影像。

图5A是以肤色检测模式撷取目标影像的示意图。如图5A所示，用以显示该网页的显示单元25会显示操作者10及其周围的动态影像30，该检测模块22检测动态影像30中的颜色近似于肤色的图元区域，经确认后，再撷取改颜色近似于肤色的图元区域作为目标影像301，并解析对应目标影像301的连续图元资料。其中，该显示单元25还可依据该连续图元资料与该操作者10的动态影像30中同步显示对应目标影像301的对比影像302。

详细而言，肤色检测模式包括图像灰度化演算法、肤色概率长条图、阀值滤波及RGB染色等程序。图像灰度化演算法是将动态影像中图元RGB三分量的最大值作为该图元的灰度值，而将彩色图元资料转变成灰度值图元资料。肤色概率长条图描述不同色彩在整幅图像中所占的比例，而不关心每种色彩所处的空间位置，颜色长条图特别适于描述那些难以进行自动分割的图像。阀值滤波主要是长条图进行图元分割而用的。RGB染色是针对每个图元不同的RGB值进行图元的色彩的变化。

于本实施例中，由于动态影像30中包含各种状况的周围影像303(图示虽呈现空白，但实际上为操作者10所处的空间环境)，故网页右下方设计对比影像302的区域，以单一呈现所撷取的目标影像301.

再者，还可运用对比影像302来确认肤色检测模式撷取目标影像301的准确度。因周围影像303中可能出现近似肤色的物件，故需藉由对比影像302确认是否正确撷取目标影像301。

图5B是以肤色检测模式结合凸包检测模式撷取目标影像的示意图。如图5B所示，该检测模块22可结合肤色检测模式及凸包检测模式检测动态影像40中的目标影像401.该检测模块22以图像灰度化、肤色概率长条图判断出动态影像40中颜色接近肤色的图元区域后，进一步由动态影像40中选取复数个特征点，将该等特征点的图元资料输入划线函数划出涵盖目标轮廓的凸包L1，运算该特征点标定特征点的中心点之图元坐标资料，并输入画方形函数产生3X3中心点P1，撷取该凸包L1图元区域为目标影像401，凸包L1及中心点P1可随目标影像401而移动。其中，该显示单元25同步显示对应目标影像401的对比影像402。

详细而言，凸包检测模式除包括图像灰度化、肤色概率长条图，还包括Codebook图像分割演算法、IPAN轮廓演算法、Camshift演算法、画矩形及画线演算法函数等程序。Codebook图像分割演算法的基本思想是获得每个图元的时间序列模型，此种模型能很好的处理时间起伏。Codebook图像分割演算法为当前图像的每一个图元建立一个CodeBook(CB)结构，每个CodeBook结构又由多个CodeWord(CW)组成。IPAN轮廓演算法的基本思想是将视频影像中所有帧画面作MeanShift运算，并将上一帧的结果(即检索视窗SearchWindow的中心和大小)作为下一帧MeanShift演算法的SearchWindow初始值，如此反复运算下去。

本实施例是藉由Codebook图像分割演算法分离动态影像40中的目标影像401及其周围影像403；再以IPAN轮廓演算法描述凸包多边形中的每个点；再以Camshift演算法追踪目标影像401移动的点；再以画矩形及画矩形演算法函数进行目标点的显示。

图5C是结合肤色检测模式、凸包检测模式及凸型缺陷检测模式撷取目标影像的示意图。如图5C所示，凸型缺陷检测模式似乎标定动态影像50中凸包L1的复数个凹陷点P2，以该等凹陷点P2的图元坐标资料输入画矩形函数产生凸型凹陷图元区域，再撷取该凸型的凹陷图元区域作为目标影像501。

详细而言，凸型缺陷检测模式除包括图像灰度化演算法、肤色概率长条图、CodeBook图像分割演算法、IPAN轮廓演算法、Camshift演算法，再以Delaunay三角剖分法标定出复数个凸型凹陷夹角的凹陷点P2，将该等凹陷点P2的图元坐标资料输入画矩形函数，产生6×6的正方形凹陷点P2，由前后帧图元资料中的凸包L1、凸型中心点P1及凹陷点P2的变化撷取出目标影像501。显示单元25可同步显示对应目标影像501的对比影像502。

值得一提的是，操作者可任选上述三种检测模式中的一种(如图5A)、两种(如图5B)或三种(如图5C)来写去目标影像301、401、501，各种检测模式不会互相影响效果。再者，本发明之控制装置2可运用分离视窗同步显示操作者10及其周围的动态影像30、40、50及对应操作者10动作的对比影像301、402、502，使操作者10容易确认检测效果。

于本实施例，自动态影像30、40、50中撷取目标影像301、401、501后，再依图4的步骤，该检测模块22解析对应目标影像301、401、501的连续图元资料。接着，处理模块23分别自初始化模块21及检测模块22接收该初始化资料及该连续图元资料，依据该初始化资料转换该连续图元资料为用于控制机器设备20的数据指令。之后传输模块24自处理模块23接收该数据指令，经由网络100传输该数据指令至机器设备20，用以进行远端控制该机器设备20。

依上述说明，本发明之实际情况例如，当操作者10于该显示单元25前面将手指移动10公分，藉由该检测模块22将此移动距离传至该处理模块23，经由该处理模块23的运算，该传输模块24会将数据指令经由网络100传输至该机器设备20，使该机器设备20之机械手622位移1公分(㎝)或1公厘(㎜)(换算结果可依需求设定)，借以调整该机器设备20之机械手的位置，而调节机械手的X、Y、Z轴向之定位。

本发明还提供一种控制系统6，如图6A所示，其包括：控制装置61以及机器设备62。

所述控制装置61包括：检测模块612、处理模块613、传输模块614及显示单元616。检测模块612撷取操作者的动态影像作为目标影像(例如：操作者的手势)，以解析对应该目标影像的连续图元资料。处理模块613接收该初始化资料及该连续图元资料，以依据该初始化资料转换该连续图元资料为数据指令。传输模块614经由网络100传输该数据指令至机器设备62。

所述机器设备62包括：主控制器621及机械手622。主控制器621经由网络100登入本发明的网页获得基于node-webkit架构之初始化资料包，并转换该初始化资料包为相对应指令。机械手622自主控制器621接收该相对应指令完成初始化后回传初始化完成讯号至主控制器621，主控制器621回传初始化完成讯号至本发明之网页，以通知控制装置61的操作者可开始操作机器设备62。

需说明，当机器设备62初始化完成后，本发明之网页每隔一时间主动发送确认指令至主控制器621，以确保控制装置61与机器设备62之间的连线。

于本实施例，控制装置61还包括：初始化模块611、摄影模块615以及储存单元617，其中，初始化模块611自网络100获得用于控制机器设备62之初始化资料。摄影模块615传输该操作者之动态影像至检测模块612，储存单元617用以储存该初始化资料。

如图6B所示，该机器设备62还包括：监测模块623，是耦接主控制器621，用以获得机械手622对应控制装置61所传输之该数据指令之运动信息。监测模块623可选用摄影机、光电或电磁感测元件，但不以此为限。

当控制装置61的传输模块614经由网络100传输数据指令至机器设备62后，机器设备62的主控制器621执行数据指令，以控制机械手622。监测模块623获得机械手622对应该数据指令的运动信息并将该运动信息传输至主控制器621，主控制器621经由网络100回传机械手622的该运动信息至控制装置61。控制装置61于接收机械手622之该运动信息后，转换该运动信息为机械手622对应该数据指令的运动影像，显示单元616会显示机械手622对应该数据指令的运动影像。

图7是本发明之控制系统6的控制方法的步骤流程图。操作者登入网页且开始进行远端控制一机器设备，远端控制方法包括：步骤701：获得用于控制机器设备的初始化资料；步骤702：撷取操作者的动态影像作为目标影像；步骤703：依据该初始化资料将该目标影像转换为数据指令；步骤704：经由该网络传输该数据指令至该机器设备及接收该机器设备对应该数据指令的运动信息(参考前述)；步骤705：显示该目标影像及该机器设备对应该数据指令的运动影像。其中，步骤701与步骤702的先后顺序可依需求而定，亦可同步进行。

于本实施例，步骤701包括：判断控制装置61及机器设备62是否已储存该初始化资料，若判断为否，则经由网络登入本发明之网页获得初始化资料，以使该控制装置61及该机器设备62完成初始化步骤。该初始化资料系基于node-webkit架构的跨平台应用程序。

步骤702包括：控制装置61以肤色检测模式、凸包检测模式及/或凸型缺陷检测模式撷取该动态影像中的目标影像。

步骤703包括：控制装置61解析对应该目标影像的连续图元资料，将该连续图元资料转换为UDP。详细而言，每一UDP包含：资料包具有：头尾标示、基本协议及数据指令内容。依据数据指令的功能来划分，UDP包括：实时数据、马达参数设定数据、警报、曲线数据及动作命令等类型。动作命令型UDP包含该主控制器操控该机械手沿X、Y轴运动的数据指令。

步骤704包括：控制装置61经由网络100传送资料包头标示“请求”之UDP至机器设备62，其中，该“请求”UDP包含可用以控制机械手622的数据指令。机器设备62之主控制器621执行控制机械手622的数据指令后，主控制器621传送资料包头标示“反馈”的UDP至控制装置61，该“反馈”之UDP包含机械手622对应该数据指令的运动信息。

步骤705包括：控制装置61转换该运动信息为机械手622对应该数据指令的运动影像，并且以机械手622之中心点对应操作者的目标影像之中心点，将该运动影像与该目标影像相叠合。

该显示单元616可选择显示操作者的该目标影像、该机械手的该运动影像或同时显示该运动影像与该目标影像的叠合影像，以提供操作者如临现场的控制感。具体地，如图8A至图8C所示，系操作者的目标影像呈现于网页之示意图。

如图8A所示，于进行远端控制时，藉由摄影机将机械手622的画面传输至显示单元616，使显示单元616呈现该机械手622的模拟影像81，且模拟影像81可设定有中心点811，故该操作者的目标影像82可利用该中心点811进行对位，如图8B所示，使该目标影像82与该模拟影像81相叠合而成为同步移动的运动影像83。因此，藉由目标影像82与模拟影像81的设计以进行定位作业，使操作者更能明确得知机械手622与人手的同步状况。其中，显示单元616所呈现之网页上可依需求表示出坐标或对位情况(图略)，以提供操作者对位信息。

此外，机器设备62还可将机械手622预定移动的位置信息(例如：待抓物体的相对坐标数据)传输至控制装置61，如图8C所示，该显示单元616可在网页中显示一预定移动位置821与操作者的目标影像82之相对距离，以提供操作者更直观且精确的控制感。例如，机械手622需移动5公分或移至某一位置，则该预定移动位置821与该中心点811间的距离即代表该机械手622所需移动的距离或位置，故操作者只要将手移动(此时网页上的运动影像83会移动)，令该中心点811移动至重叠该预定移动位置821时，机械手622即完成移动5公分或移动至预定位置的动作。

综上所述，本发明实现基于用户远端操控的控制技术，于用户端实现体感检测与资料运算。应用本发明之控制装置、系统及方法于远端控制机械手时，不须操作按键亦无需额外的感应装置即可进行体感检测，不用上传资料包至服务器运算处理，不仅解决现行机械手定位繁琐、资料包丢失及传输耗时等问题，分离式视窗还可同步显示体感检测、控制资料及实时影像供操作者直接比对效果，更大幅提升机械手控制的清洁性、便利性、实时性及准确性。

上述实施例仅例示性说明，而非用于限制本发明。任何熟习此项技术的人士均可在不违背本发明之精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应本案所附之申请专利范围所载。

Claims (11)

1.一种控制装置，其特征在于，包括：

检测模块，用于撷取动态影像作为目标影像，以将所述目标影像呈现于一网页中；

处理模块，用于接收所述目标影像，并转换所述目标影像为数据指令；

传输模块，用于从所述处理模块接收所述数据指令，以经由网络传输所述数据指令至一机器设备。

2.根据权利要求1所述的控制装置，其特征在于，还包括：

初始化模块，是用以登入该网页而获得用于控制该机器设备的初始化资料。

3.根据权利要求1所述的控制装置，其特征在于，还包括：

用以显示该网页的显示单元。

4.根据权利要求1所述的控制装置，其特征在于，该检测模块撷取动态影像以作为该目标影像的模式包含：肤色检测模式、凸包检测模式及/或凸型缺陷检测模式。

5.一种控制系统，其特征在于，包括：一控制装置及一机器设备；其中：

所述控制装置包含：

检测模块，用于撷取动态影像作为目标影像，以将该目标影像呈现于一网页中；

处理模块，用于接收所述目标影像，并转换所述目标影像为数据指令；

传输模块，用于从所述处理模块接收所述数据指令；

所述机器设备，用于接收经由网络传输的该传输模块的数据指令，使该机器设备执行该数据指令以产生对应该数据指令的运动信息。

6.根据权利要求5所述的控制系统，其特征在于，该传输模块还可以经由该网络接收该运动信息。

7.根据权利要求5所述的控制系统，其特征在于，该机器设备包含主控制器以及机械手，该主控制器用于执行该数据指令以控制该机械手，并将该运动信息经由该网络传输至该控制装置。

8.一种控制方法，其特征在于，包括：

撷取动态影像作为目标影像，以将该目标影像呈现于一网页中；

将该目标影像转换为数据指令；

经由网络传输该数据指令至一机器设备。

9.根据权利要求8所述的控制方法，其特征在于，还包括：

在撷取该动态影像前，先获得用于控制该机器设备的初始化资料。

10.根据权利要求8所述的控制方法，其特征在于，还包括：

在经该网络传输该数据指令至该机器设备后，自该网络接收该机器设备对应该数据指令的运动信息，以显示该机器设备的运动影像于一显示单元。

11.根据权利要求8所述的控制方法，其特征在于，撷取该动态影像以作为目标影像的模式包含：肤色检测模式、凸包检测模式及/或凸型缺陷检测模式。