CN114548304A - 一种基于机器视觉和增强现实技术的套楦自动检测装置 - Google Patents

一种基于机器视觉和增强现实技术的套楦自动检测装置 Download PDF

Info

Publication number
CN114548304A
CN114548304A CN202210184543.8A CN202210184543A CN114548304A CN 114548304 A CN114548304 A CN 114548304A CN 202210184543 A CN202210184543 A CN 202210184543A CN 114548304 A CN114548304 A CN 114548304A
Authority
CN
China
Prior art keywords
template
measured
machine vision
image
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210184543.8A
Other languages
English (en)
Inventor
刘伟华
韦卫
申平伟
陈凯涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smarteye Tech Ltd
Original Assignee
Smarteye Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smarteye Tech Ltd filed Critical Smarteye Tech Ltd
Priority to CN202210184543.8A priority Critical patent/CN114548304A/zh
Publication of CN114548304A publication Critical patent/CN114548304A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明专利公开了一种基于机器视觉和增强现实技术的套楦自动检测装置，针对制鞋生产的重要环节套楦正确性自动快速检测的难题，设计多个机器视觉系统对套楦鞋帮面实时成像，通过机器学习生成的模板对套楦帮面位置的实时检测，并将实时结果输出到增强现实的显示设备和自动套楦设备上，通过人机协同通过正确性自动检测完成正确的套楦操作。

Description

一种基于机器视觉和增强现实技术的套楦自动检测装置
技术领域
本发明属于机器视觉、人工智能和智能制造装备技术领域。
背景技术
目前，鞋类制造行业的套楦工作都是由人工完成，套楦的准确性将直接影响鞋最后成型的质量。为保证套楦的准确性，套楦生产环节通常会配置3个人完成套楦、检查套楦的正确性以及鞋中线标记画点等工作，由于一条制鞋产线生产鞋的尺码和种类经常变化，这给套楦的自动化造成了很大的技术障碍，同时浪费了许多的人工投入。
目前，在成型鞋智能生产线方面，已经出现了对不同鞋型3D 成像生成喷胶机器人轨迹等技术，如：深慧视的发明专利一种对复杂形状物体的3D坐标自动生成装置(专利号：2021107810315)，但由于套楦工作需要高度的手眼配合才能把鞋帮面准确地套在鞋楦上，套楦的正确性自动检测和自动套楦技术依然是业界难题。
由此可以看出，要解决上述问题，就必须使用机器视觉和机器学习的技术对不同鞋型和尺码的鞋特征进行判别，为机器自动套楦或人机协同套楦提供技术支撑。
发明内容
本发明专利公开了一种基于机器视觉和增强现实技术的套楦自动检测装置，针对制鞋生产的重要环节套楦正确性自动快速检测的难题，设计多个机器视觉系统对套楦鞋帮面实时成像，通过机器学习生成的模板对套楦帮面位置的实时检测，并将实时结果输出到增强现实的显示设备和自动套楦设备上，通过人机协同通过正确性自动检测完成正确的套楦操作。本发明的成果，可以节省2个人工成本，同时将人工套楦准确率85％提高到99.9％以上。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于机器视觉和增强现实技术的套楦自动检测装置，由智能算法计算系统、机器视觉系统、模板数据库、被测物体标识装置、增强现实设备以及被测物体自动套楦设备组成，其特征在于，机器视觉系统实时采集被测物体的图像信息并传送给智能算法计算机系，智能算法计算系统根据被测物体的标识从数据库中读取被测物体对应的数据模板信息与当前实时采集的被测物体图像信息进行对比，并将比对检测的结果信息传送给人机交互增强现实设备，辅助人工套楦，实施检测套楦的正确性。
较佳地，将比对检测的结果信息传送给被测物体自动套楦设备，引导自动套楦设备工作。
较佳地，该装置的工作还包括以下步骤：
a)智能算法计算系统事先进行学习训练，按被测物体的标识作为索引建立训练后被测物体的模板数据库；
b)待加工被测物体放入套楦自动检测装置，被测物体标识装置读取标识传送给智能算法计算系统，；
c)机器视觉系统对被测物体实时成像并传送给智能算法计算系统；
d)智能算法计算系统按照步骤b)被测物体标识索引读取模板数据库被测物体的模板信息；
e)智能算法计算系统将实时采集的被测物体信息与模板匹配检测，产生匹配检测结果，如果匹配检测结果正确，则，结束，否则输出匹配结果；
f)如果匹配结果输出给增强现实设备，则，套楦工人根据增强现实设备的显示结果，对被测物体进行套楦调整工作，重复步骤c)；
g)如果匹配结果输出给被测物体自动套楦设备，则，自动套楦设备根据匹配的结果数据进行套楦，重复步骤c)；
更进一步，所述机器视觉系统，是一组部署在被测物体关键测量位置的图像采集装置，图像采集装置包含不仅限于，a)2D相机；b) 3D相机；c)线扫描相机。
较佳地，针对正在被检测的套楦的鞋帮面，可以部署多个机器视觉系统在被测物体关键测量位置，进行图像采集，将多个图像采集装置部署在鞋帮面的鞋头位置和鞋帮面的后根位置。
智能算法计算系统是本装置计算的核心设备，由图像采集模块、图像检测匹配模块、模板生成模块、被测物体标识采集模块，其工作至少包含以下步骤：
a)人工将套楦完成的被测物体放置在套楦自动检测装置中，被测物体标识采集模块读取被测物体的标记号；
b)机器视觉系统实时成像传送给图像采集模块；
c)按照被测物体的标记号从模板数据库中读取对应的模板；
d)图像检测匹配模块将步骤b)实时采集的图像与步骤c)的模板进行比对，通报比对结果正确或错误，完成对被测物体的检测工作；
更进一步，模板生成模块事先对已经套楦正确的鞋帮面形成的被测物体用机器视觉系统采集图像，用人工智能机器学习算法进行训练，人工标记训练正确的结果，生成模板。模板的特征信息包含但不仅限于：a)被测物体中轴线；b)后根高度边缘线；c)后根绷带线；d) 鞋头中线；e)后根最低点边缘线；f)鞋底与鞋面拼接线；g)鞋面轮廓线。
本专利检测结果通过增强现实设备实时显示被检测物体的图像同时，叠加显示模板的特征信息，同时，可以现实将实时采集图像的特征信息与事先生成的模板特征信息的差距输出或现实出来，以便支持人工检测套楦结果；增强现实设备包含但不仅限于：a)计算机显示设备；b)穿戴式显示设备。
较佳地，增强现实设备是一部可以同时看到外部世界和系统显示信息的智能眼镜，工人在套楦的过程中，可以手眼配合。
较佳地，比对的检测结果信息是基于模板的特征信息的实时采集图像坐标数据与模板坐标数据的差值数据，当差值小于预先定义的阈值时，则智能算法计算系统输出正确的检测结果；当差值大于预先设定的阈值时，则智能算法计算系统输出错误信息。
更进一步，被测物体标识装置读取被测物体的标识，在生成模板时作为模板存储的位置索引；在实时检测被测物体时，读取被测物体的标识，以这个标识到模板数据库取出对应的模板数据；
较佳地，被测物体的标识方法包含但不仅限于：a)RFID标识； b)二维码标识；c)数字标识。
更进一步，为保证被测物体的检测和模板生成模块的匹配条件的一致性，需要对本发明装置进行如下特定的机械设计：a)固定被测物体和机器视觉系统的机械机构；b)被测物体和机器视觉系统按可准确进行图像采集的要求设定各自位置；c)设置主动光源为机器视觉系统提供采集被测物体图像的支持。
附图说明
图1所示为应用本发明的原理示意图
图2所示为应用本发明工作过程实施例
图3所示为应用本发明第一实施例
图4所示为应用本发明第二实施例
具体实施方式
本发明的思路是：
针对制鞋套楦柔性制造的特点，面对制鞋生产的重要环节套楦正确性自动快速检测的难题，发明一种基于机器视觉和增强现实技术的套楦自动检测装置，针对制鞋生产的重要环节套楦正确性自动快速检测的难题，设计多个机器视觉系统对套楦鞋帮面实时成像，通过机器学习生成的模板对套楦帮面位置的实时检测，并将实时结果输出到增强现实的显示设备和自动套楦设备上，通过人机协同通过正确性自动检测完成正确的套楦操作。
图1所示为应用本发明的原理图
本发明包括：由智能算法计算系统、机器视觉系统、模板数据库、被测物体标识装置、增强现实设备以及被测物体自动套楦设备组成，
其实现过程如下：
101智能算法计算系统事先进行学习训练，按被测物体的标识作为索引建立训练后被测物体的模板数据库；
102待加工被测物体放入套楦自动检测装置，被测物体标识装置读取标识传送给智能算法计算系统，；
103机器视觉系统对被测物体实时成像并传送给智能算法计算系统；
104智能算法计算系统按照步骤102被测物体标识索引读取模板数据库被测物体的模板信息；
105智能算法计算系统将实时采集的被测物体信息与模板匹配检测，产生匹配检测结果，如果匹配检测结果正确，则，结束，否则输出匹配结果；
106如果匹配结果输出给增强现实设备，则，套楦工人根据增强现实设备的显示结果，对被测物体进行套楦调整工作，重复步骤103；
107如果匹配结果输出给被测物体自动套楦设备，则，自动套楦设备根据匹配的结果数据进行套楦，重复步骤103；
图2所示为应用本发明工作过程实施例
预先在本发明装置上利用机器学习方案完成被测物体的模板数据库生成，每一个被测物体的模板按其标识进行存取的索引。在实际工作时，按以下步骤工作
201读取被测物体的标识；
202将被测物体放在夹具上固定；
203机器视觉系统采集被测物体图像，智能算法计算系统依据 201读取的标识取模板数据库的模板特征数据；
204增强现实现实，将实时被测物体的图像和模板特征信息叠加在一幅图中，指导人工套楦调整套楦位置；
205智能算法计算系统对比实时采集的被检测物体与模板特征数据的差值，如果yes小于阈值，则提示完成套楦检测工作；
如果No大于阈值，则转步骤203；
图3所示为应用本发明第一实施例
301智能算法计算主机，完成机器视觉采集的图像与模板对比检测，以及模板机器学习生成模板特征的工作；
302机器视觉系统，图像传感器采集被测物体图像，传送给智能算法计算系统；
303机器视觉系统，图像传感器采集被测物体图像，传送给智能算法计算系统；
304被测物体夹具，固定被测物体；
305增强现实设备，本实施例是一台显示设备，实时现实被测物体与模板特征叠加信息；
306主动光源，增强机器视觉系统图像采集质量；
307主动光源，增强机器视觉系统图像采集质量；
图4所示为应用本发明第二实施例
本实施例为对运动鞋帮面套楦的模板特征建立方案，以及实时检测的参数。
401鞋头面衬中轴线
402鞋底最高点凸起与鞋面拼接线
403鞋头面衬轮廓线
404鞋跟绷带左侧边线
405鞋跟绷带右侧边线
406鞋跟最低点边缘线
407鞋跟绷带最低点边缘线
408底与鞋面后跟拼接线。

Claims (9)

1.一种基于机器视觉和增强现实技术的套楦自动检测装置，由智能算法计算系统、机器视觉系统、模板数据库、被测物体标识装置、增强现实设备以及被测物体自动套楦设备组成，其特征在于，机器视觉系统实时采集被测物体的图像信息并传送给智能算法计算机系，智能算法计算系统根据被测物体的标识从数据库中读取被测物体对应的数据模板信息宇当前实时采集的被测物体图像信息进行对比，并将比对的检测结果信息传送给人机交互增强现实设备或被测物体自动套楦设备。
该装置的工作还包括以下步骤：
a)智能算法计算系统事先进行学习训练，按被测物体的标识作为索引建立训练后被测物体的模板数据库；
b)待加工被测物体放入套楦自动检测装置，被测物体标识装置读取标识传送给智能算法计算系统，；
c)机器视觉系统对被测物体实时成像并传送给智能算法计算系统；
d)智能算法计算系统按照步骤b)被测物体标识索引读取模板数据库被测物体的模板信息；
e)智能算法计算系统将实时采集的被测物体信息与模板匹配检测，产生匹配检测结果，如果匹配检测结果正确，则，结束，否则输出匹配结果；
f)如果匹配结果输出给增强现实设备，则，套楦工人根据增强现实设备的显示结果，对被测物体进行套楦调整工作，重复步骤c)；
g)如果匹配结果输出给被测物体自动套楦设备，则，自动套楦设备根据匹配的结果数据进行套楦，重复步骤c)。
2.根据权利要求1所述的装置，其特征在于，所述机器视觉系统，是一组部署在被测物体关键测量位置的图像采集装置，图像采集装置包含不仅限于，a)2D相机；b)3D相机；c)线扫描相机。
3.根据权利要求2所述的装置，其特征在于，一组部署在被测物体关键测量位置的图像采集装置，进一步包括但不限于：将多个图像采集装置部署在鞋帮面的鞋头位置和鞋帮面的后根位置。
4.根据权利要求1所述的装置，其特征在于，智能算法计算系统由图像采集模块、图像检测匹配模块、模板生成模块、被测物体标识采集模块，其工作至少包含以下步骤：
a)人工将套楦完成的被测物体放置在套楦自动检测装置中，被测物体标识采集模块读取被测物体的标记号；
b)机器视觉系统实时成像传送给图像采集模块；
c)按照被测物体的标记号从模板数据库中读取对应的模板；
d)图像检测匹配模块将步骤b)实时采集的图像与步骤c)的模板进行比对，通报比对结果正确或错误，完成对被测物体的检测工作。
5.根据权利要求1和权利要求4所述的方法，其特征在于，模板生成模块对被测物体进行训练，人工标记训练正确的结果，生成模板。模板的特征信息包含但不仅限于：a)被测物体中轴线；b)后根高度边缘线；c)后根绷带线；d)鞋头中线；e)后根最低点边缘线；f)鞋底与鞋面拼接线；g)鞋面轮廓线。
6.根据权利要求1和权利要求5所述的装置，其特征在于，增强现实设备实时显示被检测物体的图像，同时叠加显示模板的特征信息；增强现实设备包含但不仅限于：a)计算机显示设备；b)穿戴式显示设备。
7.根据权利要求1和权利要求4所述的装置，其特征在于，被测物体标识装置读取被测物体的标识，被测物体的标识方法包含但不仅限于：a)RFID标识；b)二维码标识；c)数字标识。
8.根据权利要求1和权利要求4所述的方法，其特征在于被测物体的检测和模板生成模块进一步包括但不仅限于：a)固定被测物体和机器视觉系统的机械机构；b)被测物体和机器视觉系统按可准确进行图像采集的要求设定各自位置；c)设置主动光源为机器视觉系统提供采集被测物体图像的支持。
9.根据权利要求1和权利要求5所述装置，其特征在于比对的检测结果信息是基于模板的特征信息的实时采集图像坐标数据与模板坐标数据的差值数据，当差值小于预先定义的阈值时，则智能算法计算系统输出正确的检测结果；当差值大于预先设定的阈值时，则智能算法计算系统输出错误信息。
CN202210184543.8A 2022-03-01 2022-03-01 一种基于机器视觉和增强现实技术的套楦自动检测装置 Pending CN114548304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210184543.8A CN114548304A (zh) 2022-03-01 2022-03-01 一种基于机器视觉和增强现实技术的套楦自动检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210184543.8A CN114548304A (zh) 2022-03-01 2022-03-01 一种基于机器视觉和增强现实技术的套楦自动检测装置

Publications (1)

Publication Number Publication Date
CN114548304A true CN114548304A (zh) 2022-05-27

Family

ID=81679375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210184543.8A Pending CN114548304A (zh) 2022-03-01 2022-03-01 一种基于机器视觉和增强现实技术的套楦自动检测装置

Country Status (1)

Country Link
CN (1) CN114548304A (zh)

Similar Documents

Publication Publication Date Title
JP6542824B2 (ja) 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
KR102173039B1 (ko) 신발 부품의 자동 식별
CN106530293A (zh) 手工装配视觉检测防错方法及系统
CN111835984B (zh) 智能补光方法、装置、电子设备及存储介质
CN106981091B (zh) 人体三维建模数据处理方法及装置
CN101894377B (zh) 三维标记点序列的跟踪方法及其系统
US20170105490A1 (en) Three-dimensional measurement system for marked line for adhering sole to upper and three-dimensional measurement method therefor
US20100232684A1 (en) Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
CN113115008B (zh) 一种管廊主从操作巡检系统及方法
CN108153240A (zh) 增强现实模拟装置以及计算机可读介质
CN101746198B (zh) 获取镭雕图案位置坐标参数的装置、镭雕方法及镭雕系统
CN111702772A (zh) 一种帮面自动引导涂胶方法及系统
CN109916300A (zh) 基于在线图像处理的面向三维扫描的标志点粘贴指示方法
CN105212436B (zh) 非接触式三维激光脚型的测量系统及测量方法
KR100502560B1 (ko) 광학식 마커를 이용한 3차원 측정 데이터 자동 정렬장치및 그 방법
CN108346161B (zh) 基于图像的飞织鞋面匹配定位方法及其系统和存储介质
JPS61288997A (ja) 皮革などの切断方法及び装置
TW201536204A (zh) 鞋底與鞋面黏合標線之三維測量系統及其三維測量方法
CN114548304A (zh) 一种基于机器视觉和增强现实技术的套楦自动检测装置
CN109840592B (zh) 一种机器学习中快速标记训练数据的方法
CN116563391B (zh) 一种基于机器视觉的激光结构自动标定方法
CN112085223A (zh) 一种用于机械维修的诱导系统及方法
CN111612907A (zh) 一种受损古建筑柱体的多方位修复系统及方法
CN109784331A (zh) 基于标志点的棒材端面标记方案及字符图像矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination