CN106846302B - 一种工具正确取件的检测方法及基于此方法的考核台 - Google Patents

Abstract

本发明公开了一种工具正确取件的检测方法及基于此方法的考核台，该方法首先采集平台的图像，建立初始的数据；取件采集步骤为采集当前取件图像，建立取件的数据，将取件的数据与所述初始的数据进行比对，确定当前被取用的工具，将当前取用的工具与当前工序所需要的工具比对，检测工具取用是否正确；还件采集步骤为采集当前还件图像，建立还件的数据，将还件的数据与所述初始的数据进行比对，确定当前被放回的工具，将当前放回的工具与当前工序所要求放回的工具比对，检测工具放回是否正确。本发明能够解决现有工艺中对工具的正确取件情况进行分析与判断所需的硬件复杂、操作繁琐的问题。

Description

一种工具正确取件的检测方法及基于此方法的考核台

技术领域

本发明涉及一种工具正确取件的检测方法及基于此方法的考核台，属于工业控制监控技术领域。

背景技术

工业领域强调工艺流程，一般会指导工人按一定的工艺流程完成某些工作，这些工作对于工具的使用次序及流程有严格的操作规程定义。之前，对于工具的使用次序及流程都是通过人眼进行监督，记录其操作情况并统计正确取件。显然，这种方式会带来额外的人力资源投入；而且，人眼监督很有可能出现错判和漏判；且不能实时记录和回放，便无法考量人眼监督的准确率，会影响判断正确取件情况的考核公证。

在上述技术的基础上，现有很多工艺开始通过佩戴专门的设备，如头盔、手套等辅助电子设备，或者通过扫描的方式来获取工人的取件数据，再经过网络来上传数据，分析上传的数据，统计最终的正确取件与否的结果。使用这种方式来对工具正确取件进行分析与评判所需的硬件较复杂，相应带来硬件成本高、操作繁琐的特性，不利于工程实现。

发明内容

本发明的目的是提供一种工具正确取件的检测方法，用以解决现有工艺中对工具的正确取件情况进行分析与判断所需的硬件复杂、操作繁琐的问题；本发明还提供一种基于工具正确取件的检测方法的考核台，用以解决通过人工考核来判断工人正确取件的工作量大的问题。

为解决上述技术问题，本发明的技术方案为：

本发明提供一种工具正确取件的检测方法，包括四个方法方案：

方法方案一，包括如下步骤：

1)初始采集步骤：采集平台的图像，建立初始的数据；所述平台绘制有至少两个区域，每个区域用于放置对应的一个工具；通过比对区域的像素灰度来判断各区域图像与区域图像模板是否匹配，即比对根据图像的像素灰度占比情况生成的特征向量的欧式距离；所述数据用于表示所述各区域是否放置工具，以及对应区域放置何种工具的信息，通过将各区域图像与区域图像模板进行匹配得到所述数据，所述区域图像模板包括区域未放置工具的模板、以及区域放置不同形态下的不同工具的各种模板；

2)取件采集步骤或者还件采集步骤：

所述取件采集步骤：采集当前取件图像，建立取件的数据，将取件的数据与所述初始的数据进行比对，确定当前被取用的工具，将当前取用的工具与当前工序所需要的工具比对，检测当前工序工具取用是否正确，并记录本次取件事件；

所述还件采集步骤：采集当前还件图像，建立还件的数据，将还件的数据与所述初始的数据进行比对，确定当前被放回的工具，将当前放回的工具与当前工序所要求放回的工具比对，检测当前工序工具放回是否正确，并记录本次放回事件。

方法方案二，在方法方案一的基础上，所述数据的形式为一个数据帧；平台放置工具的多少和工具位置信息通过数据帧的长度和对应字节来表示。

方法方案三，在方法方案一的基础上，所述区域放置的不同形态包括正面、侧面、背面。

本发明还提供一种基于工具正确取件的检测方法的考核台，包括如下考核台方案：

考核台方案一，包括考核台体，考核台体包括考核台面，所述考核台面上分布有工具分区，还安装有考核PC和用于拍摄所述工具分区的摄像头，所述考核PC与摄像头连接，所述考核台通过上述的一种工具正确取件的检测方法判断在整个工艺流程中，工人的取件和/或放件是否正确。

考核台方案二，在考核台方案一的基础上，所述考核台面上固定有一个立柱，所述摄像头固定在所述立柱上。

考核台方案三，在考核台方案二的基础上，所述立柱上还固定有补光灯。

考核台方案四，在考核台方案一的基础上，所述考核台还包括安装在所述考核台面上的教师控制开关。

考核台方案五，在考核台方案一的基础上，所述考核台面下方还设有学员答题控制开关，所述学员答题控制开关为脚踏开关。

本发明的有益效果是：

本发明的工具正确取件的检测方法，通过采集平台的图像，建立将各区域图像与区域图像模板进行匹配得到初始的数据；在进行取件操作时，采集当前取件图像，建立取件的数据并与初始的数据进行比对，确定当前被取用的工具，将当前取用的工具与当前工序所需要的工具比对，检测工具取用是否正确；在进行还件操作时，采集当前还件图像，建立还件的数据并与初始的数据进行比对，确定当前被放回的工具，将当前放回的工具与当前工序所要求放回的工具比对，检测工具放回是否正确。

通过对区域图像进行识别比对，并自动记录取件或还件情况，极大地加快识别的工作效率，快速地对工具正确取件进行检测与评判，能够解决现有工艺中对工具的正确取件情况进行分析与判断所需的硬件复杂、操作繁琐的问题。

另外，本发明的基于工具正确取件的检测方法的考核台，该考核台能够评判在整个工艺流程中，工人的取、放件正确与否，自动化程度高，能够解决通过人工考核来判断工人正确取件的工作量大的问题。

附图说明

图1是考核台结构图。

具体实施方式

下面结合附图，对本发明进行进一步地详细说明。

本发明的工具正确取件的检测方法的实施例：

采用鱼眼镜头来采集平台的图像，并将拍摄的画面传回给计算机。鱼眼镜头能够增加视角范围，减少摄像头的数量与投入。但是由于鱼眼镜头拍摄的画像存在变形(桶形畸变)，会使画像除了画面中心的景物保持不变，周围本应水平或者垂直的景物都发生了变形。在画面传回给计算机后，需要先还原成真实的图像，计算机使用校正算法来校正图像。在拍摄时，镜头是固定的，画面的有效区域也是固定的，通过人工设置有效区域，校正程序便获得了校正参数，即镜头的圆心和有效区域的半径。根据校正参数，利用经纬映射算法将桶形畸变的图像映射到平面上，再通过双线插值算法补齐像素还原真实的图像。通过此校正算法来还原图像，实现起来简单方便，算法效率高，同时还具有画面不延迟的特点。

用户准备好工具桌(即平台)，将工具放置在工具桌上的，若一些工艺流程中使用的工具较多，将工具摆放到面积较大的桌面上或者放置在几张桌面上。桌面上绘制有用于放置相应工具的至少两个区域，每个区域按要求放置有对应的工具。

采集图像，并建立初始的关键帧。初始关键帧的长度表示区域的数量，初始关键帧的字节表示对应区域放置的是哪种工具。

工具的识别通过给定的区域的灰度来识别。由于区域是固定的，同一种工具的颜色和大小也是固定的，桌面的颜色是固定的且与工具的颜色不同，只是放置的方式存在一定的差异，但是也是有限的，比如正面放置、侧面放置、背面放置。由于颜色是固定的也就是说灰度是固定的，大小是固定就说明同一种放置方式下其在矩形区域中占据的面积比率是固定的。而放置方式是可枚举的，那么只用提供几个对比模板即可。

将工具的识别问题转换成模板T与区域S的匹配问题。其中T是由N×N的像素矩阵构成，矩形区域S由M×M的像素矩阵构成。模板T是根据区域预先设置的，所以N≈M，至少是N∽M。则工具和区域所构成的图像，可以根据像素灰度值从小到大排序成一个向量，然后统计图像中每个灰度值的数量再除以所有的像素数量，也就是这种灰度在区域围成的图像中的比率，从而形成由一组像素灰度值构成的一个向量，由这个向量表示这个图像的特征。那么对比模板T和区域S，就可以对比两个向量的欧式距离即可。采用这种方式可以在O(n)时间复杂度完成，其中n为灰度值的个数。由于放置方式可能有几个，所以模板T可能有几个，平均下来log₂n次可以比较完毕，其中n为模板的个数。

在进行取件操作时，将拍摄到的当前取件图像的信息与初始关键帧比对，当拍摄到的图像为工具被取走的情况，即矩形区域内的像素灰度与桌面底色灰度一致，则说明工具被取走。就记录这个图像生成取件关键帧，然后分析这个关键帧里的哪些矩形区域的像素灰度与桌面底色灰度一致，就说明哪些工具被取走了，然后对比该工序要求取走的工具是否与本次取走的工具是否相同，或有哪些不同，并记录本次取件事件。

在进行还件操作时，将拍摄到的当前还件图像的信息再和初始关键帧对比，直到发现有工具被放回的情况，即矩形区域内的像素灰度发生改变，不再与桌面底色灰度一致，而是其它灰度。此时，需要对比该灰度是否和工序要求放回的工具的像素灰度一致，如果一致说明放回正确，否则错误并提示工人要求其放置正确。程序会记录本次放回事件，并生成放回关键帧。

其中，若当前图像中有桌面区域被遮蔽，即无法正确地分割的区域的情况时，说明工人正在取件或者换件，则继续一直拍摄当前桌面，直至可以正确地分割区域。

在本实施例中，通过鱼眼镜头头实时拍摄桌面的图像，并利用计算机对通过像素灰度对图像进行识别，从而判断工具是否取走或放回。除了利用图像灰度，还也可通过其他图像属性来实现对拍摄的图像中的工具进行识别。

在本实施例中，采用鱼眼镜头，以实现大范围的拍摄，但是采用鱼眼镜头拍摄的画面存在变形，在对图像进行比对以前，需要通过校正算法对图像进行还原。作为其他实施方式，也可采用多个普通摄像头来替换一个鱼眼镜头。

在本实施例中，对鱼眼镜头拍摄的畸形变形图像，根据校正参数，利用经纬映射算法将桶形畸变的图像映射到平面上，再通过双线插值算法补齐像素还原真实的图像。作为其他实施方式，可通过其他算法来进行校正图像，只要实现图像的还原即可。

在本实施例中，对拍摄的图像信息进行判别是通过帧的长度和对应字节来表征区域内放置工具的多少和工具位置信息，以将所有区域的信息都写入一帧数据中以方便的实现初始帧、取件帧之间的比对。作为其他实施方式，可通过其他的数据表示形式来替代上述数据帧的表示形式。

本发明的基于工具正确取件的检测方法的考核台实施例：

该考核台能够评判在整个工艺流程中，工人的取、放件正确与否，而具体判断方法则是通过上述工具正确取件的检测方法实现的。

如图1所示为考核台结构图。该考核台包括考核台体和考核台面，考核台面上设置有红外补光灯1、红外摄像头2、考核PC3、教师控制开关4、学员答题控制开关5、工具分区6和24V电源7，整体构成考核台。这些部件均可安装在任意的普通工作台上。通过部件化可以方便拆分，调整位置和布局便于在任意的普通工作台上安装，增强了产品的适用性。具体的：

工具分区6是人工绘制在桌面的分区，每个分区放置不同的考核工具。该区域由红外摄像头2监视，并由考核PC中的程序识别。该分区由与桌面底色差异很大的线条构成分区，分区内放置工具。工具分区6绘制在红外摄像头2可监视的位置为宜，具体位置可根据实际情况调整。

红外补光灯1与红外摄像头2通过内部线路连接，红外补光灯1与红外摄像头2作为一个整体通过USB与考核PC连接，考核PC可以获取摄像头的监视影像数据，还可以控制红外补光灯1和红外摄像头2共同完成拍摄操作。从红外摄像头2到考核PC之间的数据延时小于200ms。

教师控制开关4通过USB与考核PC连接，负责控制考试的开始。学员答题控制开关5通过USB与考核PC连接，负责控制答题的结束。

考核PC控制红外补光灯1与红外摄像头2，并接收来自红外摄像头2的影像数据；而且接收来自教师控制开关4和学员答题控制开关5的信号，用来表示开始和结束考试程序。考核PC是一台普通的台式电脑，也可以是手提电脑，只要是能够提供USB接口的运算终端设备均可。

24V电源7负责给红外补光灯1与红外摄像头2提供外部供电。

具体操作流程如下：

考核人员通过教师控制开关4开始考核，然后，考核PC启动考试程序；考核PC控制打开红外摄像头2监视工具分区6；考核过程中，如果工具分区中的工具被取走或被放回，红外摄像头2对该关键场景进行拍照留底；而且，考核中考核PC通过USB信号控制红外补光灯对红外摄像头拍摄静态画面时进行补光；当所有考核流程结束后，由工人通过学员答题控制开关5表示考核结束；考核PC收到答题结束指令后会关闭红外摄像头2。

其中，具体的判断工人取件正确与否是则是通过上述工具正确取件的工具正确取件的检测方法来实现的，由于对工具正确取件的检测方法已做详细介绍，在此不再赘述。

Claims (8)

1.一种工具正确取件的检测方法，其特征在于，包括如下步骤：

1)初始采集步骤：采集平台的图像，建立初始的数据；所述平台绘制有至少两个区域，每个区域用于放置对应的一个工具；通过比对区域的像素灰度来判断各区域图像与区域图像模板是否匹配，即比对根据图像的像素灰度占比情况生成的特征向量的欧式距离；所述数据用于表示所述各区域是否放置工具，以及对应区域放置何种工具的信息，通过将各区域图像与区域图像模板进行匹配得到所述数据，所述区域图像模板包括区域未放置工具的模板、以及区域放置不同形态下的不同工具的各种模板；

2)取件采集步骤或者还件采集步骤：

所述取件采集步骤：采集当前取件图像，建立取件的数据，将取件的数据与所述初始的数据进行比对，确定当前被取用的工具，将当前取用的工具与当前工序所需要的工具比对，检测当前工序工具取用是否正确，并记录本次取件事件；

所述还件采集步骤：采集当前还件图像，建立还件的数据，将还件的数据与所述初始的数据进行比对，确定当前被放回的工具，将当前放回的工具与当前工序所要求放回的工具比对，检测当前工序工具放回是否正确，并记录本次放回事件。

2.根据权利要求1所述的工具正确取件的检测方法，其特征在于，所述数据的形式为一个数据帧；平台放置工具的多少和工具位置信息通过数据帧的长度和对应字节来表示。

3.根据权利要求1所述的工具正确取件的检测方法，其特征在于，所述区域放置的不同形态包括正面、侧面、背面。

4.一种基于工具正确取件的检测方法的考核台，包括考核台体，其特征在于，考核台体包括考核台面，所述考核台面上分布有工具分区，还安装有考核PC和用于拍摄所述工具分区的摄像头，所述考核PC与摄像头连接，所述考核台通过权利要求1-3任一项所述的工具正确取件的检测方法判断在整个工艺流程中，工人的取件和/或放件是否正确。

5.根据权利要求4所述的基于工具正确取件的检测方法的考核台，其特征在于，所述考核台面上固定有一个立柱，所述摄像头固定在所述立柱上。

6.根据权利要求5所述的基于工具正确取件的检测方法的考核台，其特征在于，所述立柱上还固定有补光灯。

7.根据权利要求4所述的基于工具正确取件的检测方法的考核台，其特征在于，所述考核台还包括安装在所述考核台面上的教师控制开关。

8.根据权利要求4所述的基于工具正确取件的检测方法的考核台，其特征在于，所述考核台面下方还设有学员答题控制开关，所述学员答题控制开关为脚踏开关。