CN117974699A - 一种基于三维视觉的鞋底边缘提取方法 - Google Patents
一种基于三维视觉的鞋底边缘提取方法 Download PDFInfo
- Publication number
- CN117974699A CN117974699A CN202311845783.9A CN202311845783A CN117974699A CN 117974699 A CN117974699 A CN 117974699A CN 202311845783 A CN202311845783 A CN 202311845783A CN 117974699 A CN117974699 A CN 117974699A
- Authority
- CN
- China
- Prior art keywords
- sole
- point cloud
- edge point
- edge
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 5
- 210000000078 claw Anatomy 0.000 description 4
- 238000003825 pressing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001746 injection moulding Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于三维视觉的鞋底边缘提取方法，包括步骤S1、拍摄一帧鞋底图像，并获取对应的一段鞋底边缘点云；步骤S2、检测该段鞋底边缘点云的完整性是否符合预设要求，若是，则进入步骤S4，否则，进入步骤S3；步骤S3、定位点云缺失位置，并拍摄补拍图像，根据该补拍图像得到补拍点云，对点云缺失位置进行补点，并进入步骤S2；步骤S4、判断所获得鞋底边缘点云段数是否达到预设数量，若是，进入步骤S5，否则，控制鞋底转动设定角度，并进入步骤S1；步骤S5、融合多段鞋底边缘点云获得融合边缘点云，并生成鞋底边缘曲线。本发明兼顾速度与精度的平衡，同时在控制成本的前提下满足鞋底多样化的自适应性。
Description
技术领域
本发明涉及一种基于三维视觉的鞋底边缘提取方法。
背景技术
目前成熟的鞋业制造中，橡胶类鞋底通常是采用注塑成型技术，这也就导致刚成型的鞋底带着注塑余料或毛刺。传统的方法是由人工目检并切除鞋底边缘的这部分余料或者毛刺，但随着人工成本的提高以及此道工序对于效率的更高要求，全人工的操作已无法满足要求。但由于橡胶类鞋底的具有弹性较大的特点，传统自动化设备中的视觉成像系统无法自适应检测获取有效的鞋底边缘。
为克服上述鞋底边缘检测技术的缺陷，工业中开始使用3D相机来替代2D相机，通过三维重建来获取识别鞋底边缘。现有技术中或者通过单帧三维成像或者连续多帧三维成像的方案识别鞋底边缘，但鞋底的多样性及弹性形变使得3D相机无法在单帧即准确获得鞋底边缘钱，而多帧方案虽可适应多样化的鞋型，但算法复杂且需配备大成本的高速3D相机，速度慢且成本高。
发明内容
本发明的目的是提出一种基于三维视觉的鞋底边缘提取方法，兼顾速度与精度的平衡，同时在控制成本的前提下满足鞋底多样化的自适应性。
本发明通过以下技术方案实现：
一种基于三维视觉的鞋底边缘提取方法，包括如下步骤：
步骤S1、采用3D相机拍摄一帧鞋底图像，根据该帧鞋底图像进行三维重建以获取该帧鞋底图像对应的一段鞋底边缘点云；
步骤S2、检测该段鞋底边缘点云的完整性是否符合预设要求，若是，则进入步骤S4，否则，进入步骤S3；
步骤S3、定位点云缺失位置，根据点云缺失位置控制鞋底转动，使点云缺失位置所对应鞋底位置位于3D相机拍摄范围，并采用3D相机拍摄补拍图像，根据该补拍图像进行三维重建得到补拍点云，根据该补拍点云对点云缺失位置进行补点，并进入步骤S2；
步骤S4、判断所获得鞋底边缘点云段数是否达到预设数量，若是，进入步骤S5，否则，控制鞋底转动设定角度，并进入步骤S1；
步骤S5、融合多段鞋底边缘点云获得融合边缘点云，将融合边缘点云与数据库中的模板曲线进行匹配，选择匹配度最高的模板曲线，根据模板曲线对融合边缘点云进行优化，并根据优化后的点云生成鞋底边缘曲线。
进一步的，所述步骤S2中，所述检测该段鞋底边缘点云的完整性是否符合预设要求具体为：统计该帧鞋底图像对应的深度图中的有效结构光编码像素数P1，并统计该段鞋底边缘点云数P2，P2/P1即为该段鞋底边缘点云的点云密度，若该点云密度小于设定的第一阈值，则判断该段鞋底边缘点云的完整性不符合要求。
进一步的，所述步骤S2中，定位点云缺失位置具体为：将该帧鞋底图像对应的深度图划分为若干区域，分别统计各个区域内的有效结构光编码像素数P3，并统计各区域内的点云数P4，若P4/P3小于设定的第二阈值，则判断该段区域点云不完整；以鞋底转动中心作为原点建立坐标系，对于该段区域，确定其几何中心所对应的坐标值，根据该坐标值确定鞋底旋转角度。
进一步的，所述步骤S3中，进行补点具体为：根据补拍点云对应的位姿和缺失点云的鞋底边缘点云对应的位姿的关系，将补拍点云拼接融合进该段鞋底边缘点云。
进一步的，所述步骤S5中，通过各段鞋底边缘点云对应的位姿的关系，将各段鞋底边缘点云进行拼接融合。
进一步的，获取所述融合边缘点云后，通过高斯滤波算法对其进行滤波，并通过多重差值算法对滤波后的融合边缘点云进行插值。
进一步的，所述步骤S5中，根据模板曲线对融合边缘点云进行优化具体为：通过模板曲线对融合边缘点云进行弹性补偿和平滑优化。
进一步的，所述步骤S5中，所述数据库通过鞋底设计图、手动绘制和/或深度学习训练方式获取。
进一步的，所述3D相机包括单目结构光3D相机或者双目结构光3D相机。
进一步的，所述鞋底置于旋转台上，旋转台位于支架内，3D相机转动布置在支架上且位于鞋底斜上方，以向内倾斜地对鞋底进行拍摄，旋转台和3D相机分别与控制机构连接。
本发明具有如下有益效果：
1、本发明通过多次拍摄获得多段鞋底边缘点云，然后将多段鞋底边缘点云进行融合得到最终的鞋底边缘曲线，结合了单帧三维成像的高效和多帧连续三维成像的高适应性，算法简洁且无需高速3D相机，既提高了精度也提高了速度，还控制了成本，适应于多种鞋底，对于每段鞋底边缘点云，若发现点云不完整则进行补拍，进一步提高了精度，采用模板匹配来优化融合边缘点云，能够避免弹性鞋底形变所带来的误差，提高边缘取点的精度。
附图说明
下面结合附图对本发明做进一步详细说明。
图1为本发明的流程图。
图2为本发明的拍摄结构示意图。
图3为本发明的效果示意图。
其中，1、3D相机；2、旋转台；3、支架；4、鞋底；5、气动压爪。
具体实施方式
如图1和图2所示，基于三维视觉的鞋底边缘提取方法包括如下步骤：
步骤S1、采用3D相机1拍摄一帧鞋底图像，根据该帧鞋底图像进行三维重建以获取该帧鞋底图像对应的一段鞋底边缘点云；
其中，3D相机1置于支架3上，支架3具体为空心矩形架，3D相机1转动布置于空心矩形架上段的一横梁上，空心矩形架内设置有旋转台2，鞋底4置于旋转台2上端，由气动压爪5固定，该旋转台2为高精度可控自动旋转台2，该旋转台2和3D相机1分别与控制机构连接，拍摄时，3D相机向内倾斜地对鞋底进行拍摄，向内倾斜的角度根据鞋型的不同而有不同，可在实际拍摄时调整，更具体的，控制机构包括PLC和视觉处理器(GPU)，3D相机1与视觉处理器双向连接，视觉处理器控制3D相机1拍摄，3D相机1拍摄的图像反馈至视觉处理器，视觉处理器与PLC双向连接，视觉处理器向PLC发送转动角度，PLC输出端与旋转台2连接以根据该转动角度控制旋转台2转动，PLC向视觉处理器反馈拍摄位姿。其中，3D相机1的固定机构、旋转台2的结构、气动压爪5的结构以及气动压爪5固定鞋底4的结构均为现有技术。
本实施例中采用通过视差原理的单目结构光3D相机1拍摄进行三维重建。结构光法依靠投影仪将编码的结构光投射到被拍摄物体上,然后由摄像头进行拍摄。由于被拍摄物体上的不同部分相对于相机的距离精度和方向不同,结构光编码的图案的大小和形状也会发生改变。这种变化可以被摄像头捕获,然后通过运算单元将其换算成深度信息,进而获取鞋底4的三维轮廓信息，即深度图。通过深度图的像素级切片来获取鞋底边缘特征，并通过边缘特征定位边缘点，进而获取鞋底边缘点云。对深度图的切片可以是笛卡尔坐标系下的XY轴切片或者是极坐标系下的角度切片。在本实施例中，对于笛卡尔坐标系，即是将每行或者每列像素的深度信息提取出来作为一组数据集进行分析。边缘特征视不同鞋型而定，比如鞋底边缘角度、鞋底边缘弧度、鞋底边缘落差、鞋底边缘粗糙度等，边缘特征可通过人工定义也可通过深度学习训练。该过程为现有技术。
步骤S2、检测该段鞋底边缘点云的完整性是否符合预设要求，若是，则进入步骤S4，否则，进入步骤S3；
因拍摄视角或者遮挡问题，会出现视察盲区，如此三维重建得到的点云将会有区域性的缺失，造成点云不完整；检测该段鞋底边缘点云的完整性是否符合预设要求具体为：统计该帧鞋底图像中的有效结构光编码像素数P1，并统计该段鞋底边缘点云数P2，P2/P1即为该段鞋底边缘点云的点云密度，若该点云密度小于设定的第一阈值，则判断该段鞋底边缘点云的完整性不符合要求。
步骤S3、定位点云缺失位置，根据点云缺失位置控制鞋底4转动，使点云缺失位置所对应鞋底4位置位于3D相机1拍摄范围，并采用3D相机1拍摄补拍图像，根据该补拍图像进行三维重建得到补拍点云，根据该补拍点云对点云缺失位置进行补点，并进入步骤S2；
定位点云缺失位置具体为：通过对该帧鞋底图像的X、Y轴坐标进行区域划分，将该深度图划分为若干区域，可视不同鞋型进行等分或者不等分，分别统计各个区域内的有效结构光编码像素数P3，并统计各区域内的点云数P4，若P4/P3小于设定的第二阈值，则判断该段区域点云不完整；
其中，第一阈值和第二阈值是根据实际调试后人为设置的值，第一阈值为全局性的判定，第二阈值为局部性的判定，第一阈值>第二阈值；
第一阈值和第二阈值的初始值为调试算法时采样测试后设定，在实际生产过程中，结合不同款式的鞋底4在实际切割过程中的良品率进行浮动调整；
通过事先对旋转台2位置的标定，获取旋转台2的旋转中心(即鞋底4转动中心)，以鞋底4转动中心作为原点建立笛卡尔坐标系或者极坐标系，对于该段区域，确定其几何中心所对应的坐标值，根据该坐标值确定鞋底4旋转角度，PLC控制旋转台2转动该旋转角度后，3D相机1再次进行拍摄。
进行补点具体为：根据补拍点云对应的位姿和缺失点云的鞋底边缘点云对应的位姿的关系，将补拍点云拼接融合进该段鞋底边缘点云。
步骤S4、判断所获得鞋底边缘点云段数是否达到预设数量，若是，进入步骤S5，否则，控制鞋底4转动设定角度，并进入步骤S1；该预设数量可以是2段、3段或者4段；
步骤S5、通过各段鞋底边缘点云对应的位姿的关系，将各段鞋底边缘点云进行拼接融合以获得融合边缘点云，通过高斯滤波算法对该融合边缘点云进行滤波，并通过多重差值算法对滤波后的融合边缘点云进行插值，然后将经过滤波和插值优化后的融合边缘点云与数据库中的模板曲线进行匹配，选择匹配度最高的模板曲线，通过模板曲线对融合边缘点云进行弹性补偿和平滑优化，并根据优化后的点云生成鞋底边缘曲线，如图3所示。其中，数据库通过鞋底设计图、手动绘制和/或深度学习训练方式获取。
以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。
Claims (10)
1.一种基于三维视觉的鞋底边缘提取方法，其特征在于：包括如下步骤：
步骤S1、采用3D相机拍摄一帧鞋底图像，根据该帧鞋底图像进行三维重建以获取该帧鞋底图像对应的一段鞋底边缘点云；
步骤S2、检测该段鞋底边缘点云的完整性是否符合预设要求，若是，则进入步骤S4，否则，进入步骤S3；
步骤S3、定位点云缺失位置，根据点云缺失位置控制鞋底转动，使点云缺失位置所对应鞋底位置位于3D相机拍摄范围，并采用3D相机拍摄补拍图像，根据该补拍图像进行三维重建得到补拍点云，根据该补拍点云对点云缺失位置进行补点，并进入步骤S2；
步骤S4、判断所获得鞋底边缘点云段数是否达到预设数量，若是，进入步骤S5，否则，控制鞋底转动设定角度，并进入步骤S1；
步骤S5、融合多段鞋底边缘点云获得融合边缘点云，将融合边缘点云与数据库中的模板曲线进行匹配，选择匹配度最高的模板曲线，根据模板曲线对融合边缘点云进行优化，并根据优化后的点云生成鞋底边缘曲线。
2.根据权利要求1所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述步骤S2中，所述检测该段鞋底边缘点云的完整性是否符合预设要求具体为：统计该帧鞋底图像对应的深度图中的有效结构光编码像素数P1，并统计该段鞋底边缘点云数P2，P2/P1即为该段鞋底边缘点云的点云密度，若该点云密度小于设定的第一阈值，则判断该段鞋底边缘点云的完整性不符合要求。
3.根据权利要求1所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述步骤S2中，所述定位点云缺失位置，根据点云缺失位置控制鞋底转动具体为：将该帧鞋底图像对应的深度图划分为若干区域，分别统计各个区域内的有效结构光编码像素数P3，并统计各区域内的点云数P4，若P4/P3小于设定的第二阈值，则判断该段区域点云不完整；以鞋底转动中心作为原点建立坐标系，对于该段区域，确定其几何中心所对应的坐标值，根据该坐标值确定鞋底旋转角度。
4.根据权利要求3所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述步骤S3中，进行补点具体为：根据补拍点云对应的位姿和缺失点云的鞋底边缘点云对应的位姿的关系，将补拍点云拼接融合进该段鞋底边缘点云。
5.根据权利要求1或2或3所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述步骤S5中，通过各段鞋底边缘点云对应的位姿的关系，将各段鞋底边缘点云进行拼接融合。
6.根据权利要求1或2或3所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：获取所述融合边缘点云后，通过高斯滤波算法对其进行滤波，并通过多重差值算法对滤波后的融合边缘点云进行插值。
7.根据权利要求1或2或3所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述步骤S5中，根据模板曲线对融合边缘点云进行优化具体为：通过模板曲线对融合边缘点云进行弹性补偿和平滑优化。
8.根据权利要求1或2或3所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述步骤S5中，所述数据库通过鞋底设计图、手动绘制和/或深度学习训练方式获取。
9.根据权利要求1或2或3所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述3D相机包括单目结构光3D相机或者双目结构光3D相机。
10.根据权利要求1或2或3所述的一种基于三维视觉的鞋底边缘提取方法，其特征在于：所述鞋底置于旋转台上，旋转台位于支架内，3D相机转动布置在支架上且位于鞋底斜上方，以向内倾斜地对鞋底进行拍摄，旋转台和3D相机分别与控制机构连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311845783.9A CN117974699A (zh) | 2023-12-29 | 2023-12-29 | 一种基于三维视觉的鞋底边缘提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311845783.9A CN117974699A (zh) | 2023-12-29 | 2023-12-29 | 一种基于三维视觉的鞋底边缘提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117974699A true CN117974699A (zh) | 2024-05-03 |
Family
ID=90855472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311845783.9A Pending CN117974699A (zh) | 2023-12-29 | 2023-12-29 | 一种基于三维视觉的鞋底边缘提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117974699A (zh) |
-
2023
- 2023-12-29 CN CN202311845783.9A patent/CN117974699A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
| EP2236980B1 (en) | A method for determining the relative position of a first and a second imaging device and devices therefore | |
| GB2593960A (en) | 3-D imaging apparatus and method for dynamically and finely detecting small underwater objects | |
| CN105825494A (zh) | 一种图像处理方法及移动终端 | |
| CN112505056A (zh) | 缺陷检测方法和装置 | |
| CN107945152A (zh) | 工业相机的缺陷检测控制系统及方法 | |
| CN111460955A (zh) | 一种自动跟踪点胶设备上的图像识别及处理系统 | |
| CN107136649B (zh) | 一种基于自动寻轨模式的三维脚型测量装置及实现方法 | |
| CN105835507A (zh) | 一种手机盖板玻璃和液晶屏的贴合方法 | |
| CN112589401B (zh) | 一种基于机器视觉的组装方法及系统 | |
| CN110648301A (zh) | 一种消除成像反光的装置及方法 | |
| CN115456999B (zh) | 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法 | |
| US20210082096A1 (en) | Light field based reflection removal | |
| CN110751690B (zh) | 铣床刀头视觉定位方法 | |
| CN116851929A (zh) | 一种运动状态下的物体视觉定位激光打标方法及系统 | |
| CN117974699A (zh) | 一种基于三维视觉的鞋底边缘提取方法 | |
| CN108109130A (zh) | 基于激光光斑的自适应窗口立体视觉匹配方法 | |
| CN112837364A (zh) | 一种基于双目相机与单目相机结合的割刀辅助定位算法 | |
| KR101841750B1 (ko) | 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법 | |
| CN107802058B (zh) | 一种硫化鞋围条自动贴附方法 | |
| CN117974836A (zh) | 一种鞋底边缘曲线提取方法 | |
| CN110288531B (zh) | 一种辅助操作人员制作标准身份证相片的方法及工具 | |
| CN116645476A (zh) | 一种基于多目视觉的棒材三维数据模型重建方法及系统 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
| CN114812429B (zh) | 基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |