CN109916308A - 一种鞋底的信息采集方法及其系统 - Google Patents

Abstract

一种鞋底的信息采集方法及其系统，该方法为上位机系统传送鞋底；流水线平台的鞋底传送到数据拍摄区域；二维相机对第一只鞋底进行图像拍摄，识别其二维码或字符；第一只鞋底到达三维传感器的扫描区域，三维相机对第一只鞋底对其鞋中底进行尺寸的测量，获得其尺寸信息；此时二维相机对第二只鞋底进行图像拍摄，获取其二维码或字符；第二只鞋底再进入三维传感器的扫描区域，三维相机对其鞋中底进行尺寸测量，获得其尺寸信息；该系统包括：PLC控制系统、流水线平台和上位机系统；本设计能通过流水线向上位机系统间歇传送鞋底，能自动化检测鞋底的信息和尺寸，且通过二维相机处理二维码和字符和三维相机处建模识别尺寸，大幅度提高了检测的精确性。

Description

一种鞋底的信息采集方法及其系统

技术领域

本发明涉及鞋底识别技术领域，尤其涉及一种鞋底的信息采集方法及其系统。

背景技术

现有在工业生产中，许多产品上都记录着大量与产品相关的信息，如产品的质量精度、批次号、生产地、生产商等，这些信息有的用压铸或印刷喷码直接刻印到产品表面上去，不同的产品、不同的工艺流程及制造会造成刻印的二维码信息不同，因此采取的识别方式也不同，如二维码扫描、字符识别等。

目前，绝大部分二维码都是平面印刷二维码，都是在二维平面上的二维码，都是用黑白相间的点记录着二维码的信息，它的二维码信息是用凸凹点来表示的。而对于压铸在产品上的立体二维码的识别装置和方法较少，存在的也是成本较高或是识别率较低。目前，对立体字符的识别都是采用二维图像处理的方法，即利用二维相机和特定打光的方式来成像。但对于带特定的颜色的成像和识别效果不是太好。

对于鞋中底的尺寸测量，尤其是鞋长的测量。大部分都是采用人工测量的方式，这样，既费时费力，成本又高。其他，利用视觉的方法测量鞋长都是利用二维图像处理的方法即利用二维相机成像。这样测出来的长度不准确，没有考虑到脚掌部分翘度对长度的影响，只是测量鞋长的投影长度。而且，这样的测量方式耗时长。

发明内容

本发明的目的在于提出一种鞋底的信息采集方法，该方法为检测鞋中底的信息和尺寸，具有自动、精准和高效的检测作用。

本发明还提出一种鞋底的信息采集系统，该系统用于自动检测鞋中底的信息和尺寸。

为达此目的，本发明采用以下技术方案：

一种鞋底的信息采集方法，包括以下步骤：

(1)启动PLC控制系统，使流水线平台工作，向上位机系统间歇传送鞋底；初始化上位机系统，上位机系统启动二维相机、三维传感器和三维相机，并为图像采集设置好参数；

(2)上位机系统不断检测PLC控制系统中对流水线平台的控制参数，直至流水线平台停止运行，流水线平台上的鞋底传送到了数据拍摄区域；

(3)第一只鞋底进入二维相机的数据拍摄区域，二维相机对第一只鞋底进行图像拍摄，识别第一只鞋底的二维码或字符；

(4)上位机系统向PLC控制系统发送信号，使流水线平台继续将第一只鞋底传至三维传感器的扫描区域后停止；第一只鞋底到达三维传感器的扫描区域，三维相机对第一只鞋底进行扫描并且对其鞋中底进行尺寸的测量，获得第一只鞋底的尺寸信息；此时，第二只鞋底已传送到了二维相机的数据拍摄区域，二维相机对第二只鞋底进行图像拍摄，获取第二只鞋底的二维码或字符；第二只鞋底再进入三维传感器的扫描区域，三维相机对其鞋中底进行尺寸测量，获得第二只鞋底的尺寸信息；并不断重复上述循环步骤(2)～(4)。

更进一步说明，所述步骤(4)中，三维相机对鞋底扫描完成后，获得点云数据和三维模型；上位机系统里的尺寸测量模块开始对点云数据进行平滑去除噪点并求取点云的法线方向，并根据三维模型创建扫描模版；扫描模板用于后续扫描后定位匹配，以获取当前三维模型的位姿。

更进一步说明，当流水线平台的鞋底到达数据拍摄区域时，二维相机开始拍摄鞋底至少3张图像，然后对拍摄图像进行图像处理；二维相机利用光度立体法提取数据拍摄区域的梯度向量场并分割出深度方向上的梯度向量场，并进行形态学处理去除干扰或修补二维码的区域或字符的区域，二值化并识别出二维码或字符。

更进一步说明，当二维相机对二维码或字符扫描后有结果输出，且识别结果没有乱码，则将输出结果上传到匹配数据库中；如果有部分乱码，二维相机则修正部分乱码后，再将输出结果上传到匹配数据库中；

如果二维相机对二维码或字符扫描后没有结果输出，则二维相机进行识别程序，通过二值化之后的二维码或字符利用神经网络算法进行训练和识别；

识别之后将数据导出到匹配数据库以供后续鞋底匹配识别。

更进一步说明，所述步骤(4)中，上位机系统的尺寸测量模块创建扫描模版后，创建基元平面，并调节基元平面位置使其与鞋中底三维模型的中部相交，提取鞋底侧边的中部交线，经图像处理后，提取脚掌翘起部分的交线，将脚跟部分与脚掌部分用直线连接，计算鞋底的长度；

尺寸测量模块创建扫描模版后，提取鞋中底深度图，然后对深度图进行处理，剔除连皮干扰和二值化；

通过深度图最小外接矩形的宽测量得到脚掌的宽度；

通过扫描模版匹配定位到脚跟区域，然后通过测量脚跟区域的边缘得到脚跟的宽度。

更进一步说明，获得三维模型后，将三维模型上传至三维模型数据库；

获得扫描模版后，将扫描模版上传至扫描模版数据库；

测量出鞋底各尺寸后，将鞋底各尺寸上传至尺寸数据库。

更进一步说明，所述步骤(4)中，二维相机能将二维码或字符扫描得模号，首先根据鞋中底尺寸和鞋底模号建立起以模号和码数所对应的鞋底各尺寸标准值数据表，并进行在线尺寸比较；

如果在线所测得的鞋底各尺寸超出了误差所允许的范围则为不合格，否则为合格。

更进一步说明，所述步骤(1)中，启动PLC控制系统前，需要进行用户登录，只有登录成功才能运行本系统。

一种鞋底的信息采集系统，包括：PLC控制系统、流水线平台和上位机系统；

所述PLC控制系统，用于控制所述流水线平台间歇性传送鞋底，使所述鞋底依次经过所述上位机系统，进行信息识别和尺寸检测；

所述流水线平台，用于向所述上位机系统传送所述鞋底；

所述上位机系统包括：二维相机、三维传感器、三维相机和尺寸测量模块；

所述二维相机，用于对所述鞋底进行图像拍摄，并识别鞋底的二维码或字符；

所述三维传感器，用于检测鞋底是否进入拍摄区域，并启动对应的所述二维相机和所述三维相机；

所述三维相机，用于对鞋底扫描完成后，获得点云数据；

所述尺寸测量模块，用于测量鞋底的长度、鞋底脚掌的宽度、鞋底脚跟的宽度。

更进一步说明，还包括：在线数据库；

所述在线数据库包括：三维模型数据库、扫描模版数据库、匹配数据库和尺寸数据库；

所述三维模型数据库，用于储存三维模型数据；

所述扫描模版数据库，用于储存扫描模版数据，使各个所述鞋底的三维模型定位匹配，来获取当前模型的位姿；

所述匹配数据库，用于储存二维码或字符；

所述尺寸数据库，用于储存鞋底的尺寸数据。

本发明的有益效果：

本设计能通过流水线向上位机系统间歇传送鞋底，能自动化检测鞋底的信息和尺寸，且通过二维相机处理二维码和字符和三维相机处建模识别尺寸，大幅度提高了检测的精确性，又达到自动测量的效果。

附图说明

图1是鞋底带二维码的图；

图2是鞋底上的二维码；

图3是经去干扰后的二维码；

图4是是鞋底上的字符图；

图5是经去干扰后的字符；

图6是3D平面与3D中底模型匹配图；

图7是提取鞋底侧边的中部交线图；

图8是中部交线图的拟合图；

图9是测量脚掌的宽度测量图；

图10是脚跟的宽度测量图；

图11是鞋底的信息采集系统；

图12是上位机系统；

图13在线数据库；

其中：A为脚掌部分、B为脚跟部分、C为鞋中底长度；D为脚跟的宽度；E为脚掌的宽度；

具体实施方式

下面结合附图通过具体实施方式来进一步说明本发明的技术方案。

一种鞋底的信息采集方法，包括以下步骤：

(1)启动PLC控制系统，使流水线平台工作，向上位机系统间歇传送鞋底；初始化上位机系统，上位机系统启动二维相机、三维传感器和三维相机，并为图像采集设置好参数；

(2)上位机系统不断检测PLC控制系统中对流水线平台的控制参数，直至流水线平台停止运行，流水线平台上的鞋底传送到了数据拍摄区域；

(3)第一只鞋底进入二维相机的数据拍摄区域，二维相机对第一只鞋底进行图像拍摄，识别第一只鞋底的二维码或字符；

(4)上位机系统向PLC控制系统发送信号，使流水线平台继续将第一只鞋底传至三维传感器的扫描区域后停止；第一只鞋底到达三维传感器的扫描区域，三维相机对第一只鞋底进行扫描并且对其鞋中底进行尺寸的测量，获得第一只鞋底的尺寸信息；此时，第二只鞋底已传送到了二维相机的数据拍摄区域，二维相机对第二只鞋底进行图像拍摄，获取第二只鞋底的二维码或字符；第二只鞋底再进入三维传感器的扫描区域，三维相机对其鞋中底进行尺寸测量，获得第二只鞋底的尺寸信息；并不断重复上述循环步骤(2)～(4)。

更进一步说明，本设计用于对鞋底进行流水线上的识别，

上位机系统会不断的查询PLC控制系统中指定的寄存器里的控制参数是否有变化并且变为了指定的数值，如果变为了指定值说明平台运动到了数据拍摄区域并且流水线平台停止运行，系统进入立体二维码或立体字符识别部分进行图像拍摄，并且光源控制器以一定的指令开始闪频打光。拍摄完成之后上位机向PLC控制系统的寄存器发送指定的信号让流水线平台运行起来。当流水线平台的鞋到达三维传感器的扫描区域，流水线平台上触发传感器检测到鞋底时就会触发三维传感器对鞋底进行扫描，每只鞋底依次进入上位机系统，依次由二维相机和三维相机，在二维相机的扫描下，测得鞋底的二维码或字符，其中本设计中的二维码可通过扫描获得关于鞋底的信息，如包括但不限于产地、材质和生产日期等，而字符是直接记录鞋底的信息。在三维相机的扫描下会对每个鞋底进行建模，并通过模型的处理，获得鞋底的尺寸，并不断重复传送和检测的步骤。

更进一步说明，所述步骤(4)中，三维相机对鞋底扫描完成后，获得点云数据和三维模型；上位机系统里的尺寸测量模块开始对点云数据进行平滑去除噪点并求取点云的法线方向，并根据三维模型创建扫描模版；扫描模板用于后续扫描后定位匹配，以获取当前三维模型的位姿。

更进一步说明，本设计的扫描模板用于为后续的鞋底提供模版，具有将后续检测新接收鞋底而新建的三维模型进行定位，以快速匹配获取三维模型的位姿，即三维模型在本设计所需测量的位置及角度都能在定位下快速获取，以提高本设计尺寸测量的效率及精确性。如三维模型经扫描后，其各部分位置与三维模型，其脚跟和脚掌位置都得以确定，当需要测量脚掌位置时，脚跟的尺寸测量时，能快速进入脚跟的位置，进行测量。

更进一步说明，当流水线平台的鞋底到达数据拍摄区域时，二维相机开始拍摄鞋底至少3张图像，然后对拍摄图像进行图像处理；二维相机利用光度立体法提取数据拍摄区域的梯度向量场并分割出深度方向上的梯度向量场，并进行形态学处理去除干扰或修补二维码的区域或字符的区域，二值化并识别出二维码或字符。

更进一步说明，其能兼顾从黑到亮等几乎所有的颜色并且识别率非常高，特别是对于立体二维码和立体字符的识别。在二值化之后的字符利用神经网络算法进行训练和识别，如识别结果中有“2”，但由于模糊印成“Z”的情况，二维相机会将其纠正为“2”；“v”和“M”同理。如图1，二维码的分辨度较低，正常扫描不容易检测出其信息或会出现乱码等；而通过本设计处理后得出图3的效果。而图4中，由于带有立体字，正常检测容易出识别错误，导致信息错填的问题，而图5为立体字的样式。

更进一步说明，当二维相机对二维码或字符扫描后有结果输出，且识别结果没有乱码，则将输出结果上传到匹配数据库中；如果有部分乱码，二维相机则修正部分乱码后，再将输出结果上传到匹配数据库中；

如果二维相机对二维码或字符扫描后没有结果输出，则二维相机进行识别程序，通过二值化之后的二维码或字符利用神经网络算法进行训练和识别；

识别之后将数据导出到匹配数据库以供后续鞋底匹配识别。

更进一步说明，本设计的二维码或字符会上传至匹配数据库，用于在接下来的二维相机对鞋底提供匹配信息，如每个二维码或字符都会按算法计算出二维码或字符的设置规律，当存在乱码或扫描后没有结果输出的情况时，二维相机会进行识别，并在匹配数据库寻找与之最匹配的数据，再进行判断并记录，达到提供识别效率及提高本设计鞋底的识别速率，解决了检测繁琐和时间长的问题，同时亦提高了检测的精密度。

更进一步说明，所述步骤(4)中，上位机系统的尺寸测量模块创建扫描模版后，创建基元平面，并调节基元平面位置使其与鞋中底三维模型的中部相交，提取鞋底侧边的中部交线，经图像处理后，提取脚掌翘起部分的交线，将脚跟部分与脚掌部分用直线连接，计算鞋底的长度；

尺寸测量模块创建扫描模版后，提取鞋中底深度图，然后对深度图进行处理，剔除连皮干扰和二值化；

通过深度图最小外接矩形的宽测量得到脚掌的宽度；

通过扫描模版匹配定位到脚跟区域，然后通过测量脚跟区域的边缘得到脚跟的宽度。

更进一步说明，尺寸测量前，本设计会进行左右脚的识别，鞋底左右脚的判断是根据当前三维模型与匹配后的扫描模板角度来判断；其中图像摆正后扫描模板的角度为0～15°为右脚，角度为165～185°内为左脚，并将该信息记录在尺寸服务器上。

鞋中底的上下部分之间带有厚度，本设计利用鞋中底处，脚掌位置和脚跟位置厚度不一的地方，对厚度位置作中部交线，该中部交线到上底面和下底面的距离相等，当提取鞋底侧边的中部交线，经图像处理后，提取脚掌翘起部分的交线，如图7，该线能反映脚掌A和脚跟B厚度不一的位置；然后再将脚跟部分与脚掌部分用直线拟合连接，计算鞋底的长度C；

本设计在尺寸测量方面尤其是长度测量方面准确度高，因为算法将脚掌翘起部分的尺寸给准确的计算出来了，而不是计算的脚掌的投影的直线长度。这样准确度会大大提高。这样的一个方案成本较低，因为方案里不需要精度较高的3D传感器即可达到用户要求。

更进一步说明，获得三维模型后，将三维模型上传至三维模型数据库；

获得扫描模版后，将扫描模版上传至扫描模版数据库；

测量出鞋底各尺寸后，将鞋底各尺寸上传至尺寸数据库。

更进一步说明，将三维模型、扫描模版和鞋底各尺寸导入各自的数据库，方便管理和信息处理，以方便使用者查询各个鞋底的信息。

更进一步说明，所述步骤(4)中，二维相机能将二维码或字符扫描得模号，首先根据鞋中底尺寸和鞋底模号建立起以模号和码数所对应的鞋底各尺寸标准值数据表，并进行在线尺寸比较；

如果在线所测得的鞋底各尺寸超出了误差所允许的范围则为不合格，否则为合格。

更进一步说明，本设计能将当前测试的数据与标准值数据进行对比，进一步严格通过数据对比以提高产品的合格率，若不合格，本设计会将该鞋底通过流水线转至回收站作回收处理，并进行相应的数据记录；因此，通过单一的模号进行编号，每个鞋底对应一个模号，方便了鞋底的处理、分类、销售和查询，实现了一体化管理。

更进一步说明，所述步骤(1)中，启动PLC控制系统前，需要进行用户登录，只有登录成功才能运行本系统。

用户登录需要较高等级权限，以防止工人勿触，进一步加密设备，提高企业的安全性。

一种鞋底的信息采集系统，包括：PLC控制系统、流水线平台和上位机系统；

所述PLC控制系统，用于控制所述流水线平台间歇性传送鞋底，使所述鞋底依次经过所述上位机系统，进行信息识别和尺寸检测；

所述流水线平台，用于向所述上位机系统传送所述鞋底；

所述上位机系统包括：二维相机、三维传感器、三维相机和尺寸测量模块；

所述二维相机，用于对所述鞋底进行图像拍摄，并识别鞋底的二维码或字符；

所述三维传感器，用于检测鞋底是否进入拍摄区域，并启动对应的所述二维相机和所述三维相机；

所述三维相机，用于对鞋底扫描完成后，获得点云数据；

所述尺寸测量模块，用于测量鞋底的长度、鞋底脚掌的宽度、鞋底脚跟的宽度。

更进一步说明，还包括：在线数据库；

所述在线数据库包括：三维模型数据库、扫描模版数据库、匹配数据库和尺寸数据库；

所述三维模型数据库，用于储存三维模型数据；

所述扫描模版数据库，用于储存扫描模版数据，使各个所述鞋底的三维模型定位匹配，来获取当前模型的位姿；

所述匹配数据库，用于储存二维码或字符；

所述尺寸数据库，用于储存鞋底的尺寸数据。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (10)

1.一种鞋底的信息采集方法，其特征在于，包括以下步骤：

(1)启动PLC控制系统，使流水线平台工作，向上位机系统间歇传送鞋底；初始化上位机系统，上位机系统启动二维相机、三维传感器和三维相机，并为图像采集设置好参数；

(2)上位机系统不断检测PLC控制系统中对流水线平台的控制参数，直至流水线平台停止运行，流水线平台上的鞋底传送到了数据拍摄区域；

(3)第一只鞋底进入二维相机的数据拍摄区域，二维相机对第一只鞋底进行图像拍摄，识别第一只鞋底的二维码或字符；

(4)上位机系统向PLC控制系统发送信号，使流水线平台继续将第一只鞋底传至三维传感器的扫描区域后停止；第一只鞋底到达三维传感器的扫描区域，三维相机对第一只鞋底进行扫描并且对其鞋中底进行尺寸的测量，获得第一只鞋底的尺寸信息；此时，第二只鞋底已传送到了二维相机的数据拍摄区域，二维相机对第二只鞋底进行图像拍摄，获取第二只鞋底的二维码或字符；第二只鞋底再进入三维传感器的扫描区域，三维相机对其鞋中底进行尺寸测量，获得第二只鞋底的尺寸信息；并不断重复上述循环步骤(2)～(4)。

2.根据权利要求1所述的一种鞋底的信息采集方法，其特征在于，所述步骤(4)中，三维相机对鞋底扫描完成后，获得点云数据和三维模型；上位机系统里的尺寸测量模块开始对点云数据进行平滑去除噪点并求取点云的法线方向，并根据三维模型创建扫描模版；扫描模板用于后续扫描后定位匹配，以获取当前三维模型的位姿。

3.根据权利要求2所述的一种鞋底的信息采集方法，其特征在于，当流水线平台的鞋底到达数据拍摄区域时，二维相机开始拍摄鞋底至少3张图像，然后对拍摄图像进行图像处理；二维相机利用光度立体法提取数据拍摄区域的梯度向量场并分割出深度方向上的梯度向量场，并进行形态学处理去除干扰或修补二维码的区域或字符的区域，二值化并识别出二维码或字符。

4.根据权利要求2所述的一种鞋底的信息采集方法，其特征在于，当二维相机对二维码或字符扫描后有结果输出，且识别结果没有乱码，则将输出结果上传到匹配数据库中；如果有部分乱码，二维相机则修正部分乱码后，再将输出结果上传到匹配数据库中；

如果二维相机对二维码或字符扫描后没有结果输出，则二维相机进行识别程序，通过二值化之后的二维码或字符利用神经网络算法进行训练和识别；

识别之后将数据导出到匹配数据库以供后续鞋底匹配识别。

5.根据权利要求2所述的一种鞋底的信息采集方法，其特征在于，所述步骤(4)中，上位机系统的尺寸测量模块创建扫描模版后，创建基元平面，并调节基元平面位置使其与鞋中底三维模型的中部相交，提取鞋底侧边的中部交线，经图像处理后，提取脚掌翘起部分的交线，将脚跟部分与脚掌部分用直线连接，计算鞋底的长度；

尺寸测量模块创建扫描模版后，提取鞋中底深度图，然后对深度图进行处理，剔除连皮干扰和二值化；

通过深度图最小外接矩形的宽测量得到脚掌的宽度；

通过扫描模版匹配定位到脚跟区域，然后通过测量脚跟区域的边缘得到脚跟的宽度。

6.根据权利要求3所述的一种鞋底的信息采集方法，其特征在于，获得三维模型后，将三维模型上传至三维模型数据库；

获得扫描模版后，将扫描模版上传至扫描模版数据库；

测量出鞋底各尺寸后，将鞋底各尺寸上传至尺寸数据库。

7.根据权利要求6所述的一种鞋底的信息采集方法，其特征在于，所述步骤(4)中，二维相机能将二维码或字符扫描得模号，首先根据鞋中底尺寸和鞋底模号建立起以模号和码数所对应的鞋底各尺寸标准值数据表，并进行在线尺寸比较；

如果在线所测得的鞋底各尺寸超出了误差所允许的范围则为不合格，否则为合格。

8.根据权利要求1～7任意一项所述的一种鞋底的信息采集方法，其特征在于，所述步骤(1)中，启动PLC控制系统前，需要进行用户登录，只有登录成功才能运行本系统。

9.一种鞋底的信息采集系统，其特征在于，包括：PLC控制系统、流水线平台和上位机系统；

所述PLC控制系统，用于控制所述流水线平台间歇性传送鞋底，使所述鞋底依次经过所述上位机系统，进行信息识别和尺寸检测；

所述流水线平台，用于向所述上位机系统传送所述鞋底；

所述上位机系统包括：二维相机、三维传感器、三维相机和尺寸测量模块；

所述二维相机，用于对所述鞋底进行图像拍摄，并识别所述鞋底的二维码或字符；

所述三维传感器，用于检测所述鞋底是否进入拍摄区域，并启动对应的所述二维相机和所述三维相机；

所述三维相机，用于对所述鞋底扫描完成后，获得点云数据；

所述尺寸测量模块，用于测量鞋底的长度、鞋底脚掌的宽度、鞋底脚跟的宽度。

10.根据权利要求9所述的一种鞋底的信息采集系统，其特征在于，还包括：在线数据库；

所述在线数据库包括：三维模型数据库、扫描模版数据库、匹配数据库和尺寸数据库；

所述三维模型数据库，用于储存三维模型数据；

所述扫描模版数据库，用于储存扫描模版数据，使各个所述鞋底的三维模型定位匹配，来获取当前模型的位姿；

所述匹配数据库，用于储存二维码或字符；

所述尺寸数据库，用于储存鞋底的尺寸数据。