CN106530293B - 手工装配视觉检测防错方法及系统 - Google Patents

Abstract

一种手工装配视觉检测防错方法及系统，通过将用于装配仿真的装配工艺引导信息和从样本视频中提取得到的装配状态识别信息按操作顺序相关联，生成防错预警信息模型，并在其中标定设备及工作空间；然后监控手工装配的装配进度及装配状态，进行装配行为识别、装配到位识别以及装配零件识别；最后进行装配正确性判断，并在装配不正确时从防错预警信息模型导出包括渲染合成图像和装配工艺引导信息的防错引导信息和装配状态识别信息，并在若干显示输出装置上进行多通道同步显示，本发明可预防手工装配进程中错误，以视觉反馈的方式为手工装配人员提供防错引导信息，节省自检及查阅工艺手册的时间，提高装配效率和一次完成率。

Description

手工装配视觉检测防错方法及系统

技术领域

本发明涉及的是一种智能制造领域的技术，具体是一种手工装配视觉检测防错方法及系统。

背景技术

装配防错是通过防差错技术及装置的应用，替代人工完成的重复劳动，杜绝由于难以保持高度注意力和记忆力而产生的缺陷。

视觉手势识别是指，通过提取手势图像特征来预测或判断人的交互意图。对无意识的自然操作手势，用统计模型识别的方法对手势图像特征进行表达和处理，获取有效的手势图像特征及其识别条件。

发明内容

本发明针对现有技术大多需要依靠装配到位识别来防错或通过视频录制进行防错的特点，导致其不能在装配过程中及时给装配人员反馈，需要返工时间，或要求实际操作视角尽量符合样本视频采集时的视角，对不同操作人员和精细操作动作区分度较低，不能覆盖双手配合的复杂装配操作情况等等缺陷，提出一种手工装配视觉检测防错方法及系统，能够显著提高装配整体效率和一次完成率。

本发明是通过以下技术方案实现的：

本发明涉及一种手工装配视觉检测防错方法，通过将用于装配仿真的装配工艺引导信息和从样本视频中提取得到的装配状态识别信息按操作顺序相关联，生成防错预警信息模型，并在其中标定设备及工作空间；然后监控手工装配的装配进度及装配状态，进行装配行为识别、装配到位识别以及装配零件识别；最后进行装配正确性判断，并在装配不正确时从防错预警信息模型导出装配状态识别信息以及包括渲染合成图像和装配工艺引导信息的防错引导信息，并在若干显示输出装置上进行多通道同步显示。

所述的手工装配视觉检测防错方法包括以下步骤：

1)创建用于防错引导的装配工艺引导信息；

2)从样本视频中提取装配状态识别信息；

3)将装配产品工序的装配工艺引导信息和装配状态识别信息按操作顺序相关联，以工序号为索引，生成输出含有防错引导信息的防错预警信息模型；

4)标定设备及工作空间；

5)载入防错预警信息模型，通过视频采集装置监控手工装配的装配进度及装配状态；

6)通过装配行为识别、装配到位识别以及零件识别进行装配正确性判断，当装配正确则进入下一工序，否则输出防错引导信息和装配状态识别信息。

所述的渲染合成图像为装配工艺仿真动画与实时采集视频图像虚实融合后输出至显示器的投影图像。

所述的装配工艺引导信息包括但不限于：序号、工序名称、工序操作内容、工序操作注意事项、零件名称和装配工艺仿真动画。

所述的步骤2)具体包括以下步骤：

2.1)采集第一视角下的手工装配的样本视频；

2.2)提取视频中各个工序对应的包含装配手势几何特征、零件特征和装配到位特征的视觉描述特征；

2.3)利用装配手势几何特征的概率分布拟合边界条件生成装配行为数据作为装配行为模板；

2.4)通过装对配到位图像与其时间轴上邻域图像的匹配SURF特征点数量进行正态分布拟合，取拟合后的[μ-2σ,μ+2σ]边界值作为装配到位模板；

2.5)对待装配的零件拍照并提取零件ORB图像特征，将ORB图像特征输入至线性SVM分类器获得分类器参数，作为零件识别模型；

2.6)将装配行为模板、装配到位模板及零件识别模型封装成装配状态识别信息。

所述的装配行为识别是指通过对装配图像进行肤色分割后检测装配手势几何特征，识别出装配手势与装配行为模板对比识别出装配行为。

所述的装配到位识别是指从装配图像中提取SURF特征点，与装配到位模板进行特征匹配的过程。

所述的零件识别是指将装配的零件的图像特征经过分类器计算，识别出零件类别。

本发明涉及一种手工装配视觉检测防错系统，包括：头戴视频采集装置、固定视频采集装置、头戴光学辅助显示装置、交互式显示装置和控制模块，其中：头戴视频采集装置采集手工装配的第一视角图像并传输到控制模块；固定视频采集装置采集装配人员取件后的零件图像，传输到控制模块；头戴光学辅助显示装置向装配人员输出显示装配工艺引导信息，分别与头戴视频采集装置和控制模块连接；交互式显示装置与控制模块连接并向装配人员以外的用户同步输出显示防错引导信息和装配状态识别信息。

所述的控制模块包括：装配过程视觉检测单元、装配状态识别单元、零件视觉检测单元和防错信息输出显示单元，其中：装配过程视觉检测单元接收头戴视频采集装置采集的图像，传输给装配状态识别单元，零件视觉检测单元接收装配人员取件后的零件图像，传输给装配状态识别单元，装配状态识别单元识别装配手势几何特征、零件特征和装配到位特征，根据时间约束和工序约束，从多通道视觉识别特征判断装配状态，防错信息输出显示单元根据装配状态输出显示防错引导信息和装配状态识别信息。

技术效果

与现有技术相比，本发明可预防手工装配进程中取件错误和动作错误，通过时间约束与工序约束在固定工位上实现多道工序防错，以视觉反馈的方式为手工装配人员提供防错引导信息，节省了装配人员自检及查阅工艺手册的时间，提高装配效率和一次完成率。

附图说明

图1为手工装配视觉检测防错系统组成示意图；

图2为所要组装的产品示意图；

图3为本发明流程示意图；

图4为装配工艺仿真动画示意图；

图5为装配手势几何特征时序图；

图6为装配行为识别过程示意图；

图7为装配到位识别过程示意图；

图8为零件识别过程示意图；

图中：1工装平台、2装配产品、3增强现实跟踪标记、4照明设备、5交互式显示装置、6固定视频采集装置、7背景板、8控制模块、9取料盒、10头戴视频采集装置、11头戴光学辅助显示装置、12料架、13前面板、14电源接口、15左手柄、16右手柄、17底盖、18筒体、19关键点。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例中的工装配视觉防错系统包括：头戴视频采集装置10、固定视频采集装置6、照明设备4、取料盒9、背景板7、料架12、头戴光学辅助显示装置11、交互式显示装置5和控制模块8，其中：头戴视频采集装置10采集手工装配的第一视角图像并传输到控制模块8；固定视频采集装置6采集装配人员取件后的零件图像，传输到控制模块8；头戴光学辅助显示装置11向装配操作者输出显示装配工艺引导信息，分别与头戴视频采集装置10与控制模块8连接；交互式显示装置5与控制模块8通过显卡连接并向装配操作者以外的用户同步输出显示防错引导信息；控制模块8的装配过程视觉检测单元接收头戴视频采集装置10采集的图像，传输给装配状态识别单元；控制模块8的零件视觉检测单元接收装配人员取件后经过背景板7时的零件图像，传输给装配状态识别单元；控制模块8的装配状态识别单元识别装配手势几何特征、零件特征和装配到位特征，根据时间约束和工序约束，从多通道视觉识别特征判断装配状态；控制模块8的防错信息输出显示单元根据装配状态输出显示防错引导信息。

所述的头戴视频采集装置10采用但不限于头戴式视频采集装置或设有视频采集装置的眼镜等。装配人员戴上该设备时，可以获取第一视角图像。防错引导信息包括渲染合成图像和装配工艺引导信息。所述的渲染合成图像为仿真软件中装配工艺仿真动画与实时采集视频图像虚实融合后输出至显示器的投影图像。

所述的头戴视频采集装置10通过两个可调节自由度的跟踪标记来使得工作空间与跟踪注册需要的相机视锥空间分离。跟踪注册为头戴视频采集装置10拍摄工装上增强现实跟踪标记3后，计算工装或产品相对于头戴视频采集装置10的三维空间位姿矩阵，从而以正确的投影关系将三维图形叠加到相机采集的真实场景视频图像上。跟踪注册所需要的相机视锥空间为以头戴视频采集装置10坐标系原点和跟踪标记四个角点为顶点形成的锥形空间区域。工作空间为装配产品2的各零件时双手及手臂经过的空间区域。

如图2所示，本实施例中所需要手工装配的装配产品2包括：筒体18、前面板13、电源接口14、左手柄15、右手柄16和底盖17。该产品手工装配需要六个工序分别为：在工装平台1上将前面板13安装到筒体18上、插入电源接口14、安装右手柄16、安装左手柄15、翻转筒体18、安装底盖17。

如图3所示，手工装配该电饭锅的视觉防错方法，包括以下步骤：

1)创建用于防错引导的装配工艺引导信息：创建六个装配工序，并分别设置装配工艺引导信息，包括：序号、工序名称、工序操作内容、工序操作注意事项、零件名称和装配工艺仿真动画。

所述的配工艺仿真动画包括：零件三维模型、装配路径、零件在三维坐标系下的位置信息。

如图4所示，在零件装配路径上设置若干关键点19，通过关键点19自动插值生成各三维零件模型的装配路径。所述的关键点19为三维模型相对三维虚拟场景世界坐标系的位置坐标，通常在装配路径上设置3‐5个关键点19可插值获得全部路径点。

2)从样本视频中提取装配状态识别信息。

2.1)采集第一视角下的手工装配的样本视频。将产品的组成零件放入料架12，由熟练装配人员佩戴头戴视频采集装置10，按照产品安装的六个工序依次进行实际装配操作，操作过程中通过头戴视频采集装置10采集第一视角下的手工装配样本视频。

2.2)提取视频中各个工序对应的视觉描述特征，其包括：装配手势几何特征、零件特征和装配到位特征。操作完成后，按操作顺序在视频中提取出每一个工序相关的图像样本集合，对所有样本，进行肤色分割，对分割后的区域计算单手基本几何特征。在单手基本几何特征的基础上计算六个装配手势几何特征。

所述的肤色分割为由图像中按照HSV颜色空间分割出手部肤色区域及轮廓线。

所述的单手基本几何特征为单手轮廓指尖点，掌心圆，区域轮廓外包矩形。

所述的装配手势几何特征为左手手指数目lf，右手手指数目rf，左右手轮廓相交标记in，左右手轮廓对称标记symm，左右手位置间距k_palm，左右手最近间距k_near。

2.3)如图5所示，利用装配手势几何特征的概率分布拟合边界条件生成装配行为数据作为装配行为模板。

2.4)通过装对配到位图像与其时间轴上邻域图像的匹配SURF特征点数量进行正态分布拟合，取拟合后的[μ-2σ,μ+2σ]边界值作为装配到位模板。

2.5)对待装配的五个零件，在背景板7上拍照并提取零件ORB图像特征，将五种零件的特征输入至线性SVM分类器获得分类器参数，作为零件识别模型。

2.6)将装配行为模板、装配到位模板及零件识别模型封装成装配状态识别信息。

3)将装配产品2的六个工序的装配工艺引导信息和装配状态识别信息按操作顺序相关联，以工序号为索引，生成防错预警信息模型，即对零件图像特征、装配体图像特征、装配手势几何特征增加时间约束与工序约束，得到防错预警信息模型，并在识别结果为装配有误时，输出显示防错引导信息。

4)标定设备及工作空间。操作者佩戴头戴视频采集装置10及头戴光学辅助显示装置11，手持辅助标记点，将标记点放置于操作者正前方约50cm～60cm的距离，此时控制模块8在显示器上显示辅助定位点。操作者保持视线向前，转动头部调整头戴视频采集装置10位置，透过头戴光学辅助显示装置11，如具有显示屏的眼镜看到的实际辅助标记点与显示屏上显示的辅助定位点位置重合。此时控制模块8捕捉头戴视频采集装置10获取的图像，计算辅助标记点在视频采集装置坐标系下的三维空间坐标值及显示屏上辅助定位点的二维坐标。控制模块8生成20次不同位置的虚拟辅助定位点，重复以上的过程20次进行标定。标定完成后，控制模块8通过这20组数据计算显示器中虚拟图形相对人眼的投影矩阵，用QR矩阵分解法分解这一矩阵，获取头戴光学辅助显示装置11投影内参数矩阵及人眼视点相对视频采集装置视点的外参数矩阵，完成设备标定。操作者将活动跟踪标记物固定在筒体18上，由控制模块8采集工装标记物与筒体18标记物的图像，计算二者位姿矩阵，之后设定该矩阵为注册虚拟场景时的三维虚拟场景相对虚拟坐标系原点的偏移矩阵，完成工作空间标定。

5)载入防错预警信息模型，通过视频采集装置监控手工装配的装配进度及装配状态。在增强现实环境下进行装配操作，此时头戴视频采集装置10和固定视频采集装置6实时采集图像。

6)通过装配行为识别、装配到位识别以及零件识别进行装配正确性判断，当装配正确则进入下一工序，否则输出防错引导信息。

如图6～8所示，所述的装配行为识别是指通过对装配图像进行肤色分割后检测装配手势几何特征，识别出装配手势与装配行为模板对比识别出装配行为。所述的装配到位识别是指从装配图像中提取SURF特征点，与装配到位模板进行特征匹配的过程。所述的零件识别是指将装配的零件的图像特征经过分类器计算，识别出零件类别。当装配正确，自动进入下一步工序。如错误，软件自动检索并在软件的虚拟环境中渲染防错引导信息。该信息经控制模块8的显卡在头戴光学辅助显示装置11输出显示给用户，同时与头戴视频采集装置10拍摄的装配图像叠加配准，合成增强现实图像输出显示在交互式显示装置5，如触摸屏上。

与现有技术相比，本发明可预防手工装配进程中取件错误和动作错误，通过时间约束与工序约束在固定工位上实现多道工序防错，以视觉反馈的方式为手工装配人员提供防错引导信息，节省了装配人员自检及查阅工艺手册的时间，提高装配效率和一次完成率。

Claims (9)

1.一种手工装配视觉检测防错方法，其特征在于，通过将用于装配仿真的装配工艺引导信息和从样本视频中提取得到的装配状态识别信息按操作顺序相关联，生成防错预警信息模型，并在其中标定设备及工作空间；然后监控手工装配的装配进度及装配状态，进行装配行为识别、装配到位识别以及装配零件识别；最后进行装配正确性判断，并在装配不正确时从防错预警信息模型导出包括渲染合成图像和装配工艺引导信息的防错引导信息和装配状态识别信息，并在若干显示输出装置上进行多通道同步显示；

所述的手工装配视觉检测防错方法具体包括以下步骤：

1)创建用于防错引导的装配工艺引导信息；

2)从样本视频中提取装配状态识别信息；

3)将装配产品工序的装配工艺引导信息和装配状态识别信息按操作顺序相关联，以工序号为索引，生成输出含有防错引导信息的防错预警信息模型；

4)标定设备及工作空间；

5)载入防错预警信息模型，通过视频采集装置监控手工装配的装配进度及装配状态；

6)通过装配行为识别、装配到位识别以及零件识别进行装配正确性判断，当装配正确则进入下一工序，否则输出防错引导信息和装配状态识别信息。

2.根据权利要求1所述的手工装配视觉检测防错方法及系统，其特征是，所述的渲染合成图像为仿真软件中装配工艺仿真动画与实时采集视频图像虚实融合后输出至显示器的投影图像。

3.根据权利要求2所述的手工装配视觉检测防错方法，其特征是，所述的装配工艺引导信息包括：序号、工序名称、工序操作内容、工序操作注意事项、零件名称和装配工艺仿真动画。

4.根据权利要求3所述的手工装配视觉检测防错方法，其特征是，所述的步骤2)具体包括以下步骤：

2.1)采集第一视角下的手工装配的样本视频；

2.2)提取视频中各个工序对应的包含装配手势几何特征、零件特征和装配到位特征的视觉描述特征；

2.3)利用装配手势几何特征的概率分布拟合边界条件生成装配行为数据作为装配行为模板；

2.4)通过装对配到位图像与其时间轴上邻域图像的匹配SURF特征点数量进行正态分布拟合，取拟合后的[μ-2σ,μ+2σ]边界值作为装配到位模板；

2.5)对待装配的零件拍照并提取零件ORB图像特征，将ORB图像特征输入至线性SVM分类器获得分类器参数，作为零件识别模型；

2.6)将装配行为模板、装配到位模板及零件识别模型封装成装配状态识别信息。

5.根据权利要求4所述的手工装配视觉检测防错方法，其特征是，所述的装配行为识别是指通过对装配图像进行肤色分割后检测装配手势几何特征，识别出装配手势与装配行为模板对比识别出装配行为。

6.根据权利要求5所述的手工装配视觉检测防错方法，其特征是，所述的装配到位识别是指从装配图像中提取SURF特征点，与装配到位模板进行特征匹配的过程。

7.根据权利要求6所述的手工装配视觉检测防错方法，其特征是，所述的零件识别是指将装配的零件的图像特征经过分类器计算，识别出零件类别。

8.一种实现上述任一权利要求所述的方法的手工装配视觉检测防错系统，其特征在于，包括：头戴视频采集装置、固定视频采集装置、头戴光学辅助显示装置、交互式显示装置和控制模块，其中：头戴视频采集装置采集手工装配的第一视角图像并传输到控制模块；固定视频采集装置采集装配人员取件后的零件图像，传输到控制模块；头戴光学辅助显示装置向装配人员输出显示装配工艺引导信息，分别与头戴视频采集装置和控制模块连接；交互式显示装置与控制模块连接并向装配人员以外的用户同步输出显示防错引导信息和装配状态识别信息。

9.根据权利要求8所述的手工装配视觉检测防错系统，其特征是，所述的控制模块包括：装配过程视觉检测单元、装配状态识别单元、零件视觉检测单元和防错信息输出显示单元，其中：装配过程视觉检测单元接收头戴视频采集装置采集的图像，传输给装配状态识别单元，零件视觉检测单元接收装配人员取件后的零件图像，传输给装配状态识别单元，装配状态识别单元识别装配手势几何特征、零件特征和装配到位特征，根据时间约束和工序约束，从多通道视觉识别特征判断装配状态，防错信息输出显示单元根据装配状态输出显示防错引导信息和装配状态识别信息。