CN117021435A - 修边机的修边控制系统及其方法 - Google Patents
修边机的修边控制系统及其方法 Download PDFInfo
- Publication number
- CN117021435A CN117021435A CN202310534977.0A CN202310534977A CN117021435A CN 117021435 A CN117021435 A CN 117021435A CN 202310534977 A CN202310534977 A CN 202310534977A CN 117021435 A CN117021435 A CN 117021435A
- Authority
- CN
- China
- Prior art keywords
- rubber product
- image
- feature map
- feature
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009966 trimming Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 33
- 238000007688 edging Methods 0.000 claims abstract description 32
- 238000009826 distribution Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims description 49
- 238000010586 diagram Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 abstract description 11
- 230000007547 defect Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000005065 mining Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 238000004513 sizing Methods 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007723 die pressing method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004073 vulcanization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B26—HAND CUTTING TOOLS; CUTTING; SEVERING
- B26D—CUTTING; DETAILS COMMON TO MACHINES FOR PERFORATING, PUNCHING, CUTTING-OUT, STAMPING-OUT OR SEVERING
- B26D5/00—Arrangements for operating and controlling machines or devices for cutting, cutting-out, stamping-out, punching, perforating, or severing by means other than cutting
- B26D5/007—Control means comprising cameras, vision or image processing systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C37/00—Component parts, details, accessories or auxiliary operations, not covered by group B29C33/00 or B29C35/00
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C37/00—Component parts, details, accessories or auxiliary operations, not covered by group B29C33/00 or B29C35/00
- B29C37/02—Deburring or deflashing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C37/00—Component parts, details, accessories or auxiliary operations, not covered by group B29C33/00 or B29C35/00
- B29C2037/90—Measuring, controlling or regulating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Thermal Sciences (AREA)
- Forests & Forestry (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
公开了一种修边机的修边控制系统及其方法。其首先将待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，接着，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图，然后，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图，接着，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，然后，对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像，最后，基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。这样，可以保证橡胶产品的制备质量。
Description
技术领域
本申请涉及智能化控制领域，且更为具体地，涉及一种修边机的修边控制系统及其方法。
背景技术
在橡胶制品的生产过程中，为了保证橡胶制品的质量和外观，需要控制胶料在模腔中的充填量。如果胶料过多，会在模压硫化时从模具或金属件的缝隙中溢出，形成不规则的毛边。这些毛边不仅影响产品的美观，还需要通过修边工序才能去除。
目前常用的修边方法是手工修边，即使用刀具沿着产品的内外边缘切割去除毛边。这种方法不仅耗时耗力，效率低下，而且容易损伤产品本体，导致齿痕、缺口等缺陷，影响产品的质量和一致性。尤其是对于软质橡胶件，由于难以用机械结构固定住，更难以实现快速准确的修边。
因此，期望一种优化的修边机的修边控制系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种修边机的修边控制系统及其方法。其首先将待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，接着，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图，然后，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图，接着，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，然后，对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像，最后，基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。这样，可以保证橡胶产品的制备质量。
根据本申请的一个方面，提供了一种修边机的修边控制系统，其包括：
图像采集模块，用于获取由摄像头采集的待修边橡胶产品的拍摄图像；
图像预处理模块，用于将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化；
图像特征提取模块，用于将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图；
特征优化模块，用于对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图；
解码模块，用于将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构；
图像语义分割模块，用于对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像；以及
修边控制模块，用于基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
在上述的修边机的修边控制系统中，所述图像特征提取模块，用于：
使用所述基于金字塔网络的编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述基于金字塔网络的编码器的各层输出第一至第五橡胶产品表面特征图；以及
融合所述第一至第五橡胶产品表面特征图以得到所述橡胶产品表面特征图。
在上述的修边机的修边控制系统中，所述特征优化模块，包括：
优化因数计算单元，用于计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及
加权优化单元，用于以所述多个位置信息图式注意力响应因数作为加权系数对所述橡胶产品表面特征图的各个位置特征值进行加权优化以得到所述优化橡胶产品表面特征图。
在上述的修边机的修边控制系统中，所述优化因数计算单元，用于：
以如下优化公式计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；
其中，所述优化公式为：
其中，fi是所述橡胶产品表面特征图中各个位置特征值，(xi,yi,zi)为所述橡胶产品表面特征图的各个位置特征值的位置坐标，且是所述橡胶产品表面特征图的所有特征值的全局均值，/>和/>分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述橡胶产品表面特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。
在上述的修边机的修边控制系统中，所述解码模块，包括：
第一反卷积单元，用于将所述优化橡胶产品表面特征图输入所述解码器的第一反卷积模块以得到第一解码特征图；以及
第一解码特征融合单元，用于融合所述第五橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图作为所述解码器的第二反卷积模块的输入。
根据本申请的另一个方面，提供了一种修边机的修边控制方法，其包括：
获取由摄像头采集的待修边橡胶产品的拍摄图像；
将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化；
将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图；
对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图；
将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构；
对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像；以及
基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
在上述的修边机的修边控制方法中，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图，包括：
使用所述基于金字塔网络的编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述基于金字塔网络的编码器的各层输出第一至第五橡胶产品表面特征图；以及
融合所述第一至第五橡胶产品表面特征图以得到所述橡胶产品表面特征图。
在上述的修边机的修边控制方法中，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图，包括：
计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及
以所述多个位置信息图式注意力响应因数作为加权系数对所述橡胶产品表面特征图的各个位置特征值进行加权优化以得到所述优化橡胶产品表面特征图。
在上述的修边机的修边控制方法中，计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数，包括：
以如下优化公式计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；
其中，所述优化公式为：
其中，fi是所述橡胶产品表面特征图中各个位置特征值，(xi,yi,zi)为所述橡胶产品表面特征图的各个位置特征值的位置坐标，且是所述橡胶产品表面特征图的所有特征值的全局均值，/>和/>分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述橡胶产品表面特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。
在上述的修边机的修边控制方法中，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，包括：
将所述优化橡胶产品表面特征图输入所述解码器的第一反卷积模块以得到第一解码特征图；以及
融合所述第五橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图作为所述解码器的第二反卷积模块的输入。
与现有技术相比，本申请提供的修边机的修边控制系统及其方法，其首先将待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，接着，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图，然后，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图，接着，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，然后，对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像，最后，基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。这样，可以保证橡胶产品的制备质量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的修边机的修边控制系统的应用场景图。
图2为根据本申请实施例的修边机的修边控制系统的框图示意图。
图3为根据本申请实施例的修边机的修边控制系统中的所述特征优化模块的框图示意图。
图4为根据本申请实施例的修边机的修边控制系统中的所述解码模块的框图示意图。
图5为根据本申请实施例的修边机的修边控制方法的流程图。
图6为根据本申请实施例的修边机的修边控制方法的系统架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如上所述，目前常用的修边方法是手工修边，即使用刀具沿着产品的内外边缘切割去除毛边。这种方法不仅耗时耗力，效率低下，而且容易损伤产品本体，导致齿痕、缺口等缺陷，影响产品的质量和一致性。尤其是对于软质橡胶件，由于难以用机械结构固定住，更难以实现快速准确的修边。因此，期望一种优化的修边机的修边控制系统。
相应地，考虑到在实际进行橡胶产品的修边过程中，为了保证修边效果和效率以及产品的质量一致性，关键在于对于产品表面的缺陷和毛边情况进行分析，从而准确地确定需要修边的位置和范围。基于此，在本申请的技术方案中，期望在机器人上安装视觉系统，实时检测橡胶产品表面缺陷和毛边情况，确定需要修边的位置和范围。但是，考虑到由于橡胶产品的修边过程所在的环境较为复杂，会导致所采集的图像中存在大量的噪声等造成图像中关于橡胶产品的特征信息变得模糊，影响后续的修边精度；并且，橡胶产品的视觉拍摄图像中存在有着大量的信息量，而关于所述橡胶产品的表面缺陷和毛边情况特征为小尺度的隐性特征，难以充分地进行捕捉提取。因此，在此过程中，难点在于如何进行所述拍摄图像中关于橡胶产品的质量隐含特征的充分表达，以此来准确地检测橡胶产品表面缺陷和毛边情况，以确定需要修边的位置和范围，进而保证橡胶产品的制备质量。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述拍摄图像中关于橡胶产品的质量隐含特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取由摄像头采集的待修边橡胶产品的拍摄图像。应可以理解，由于所述待修边橡胶产品的制备环境较为复杂，导致所述拍摄图像中存在有大量的噪声干扰，因此，在本申请的技术方案中，进一步将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，以提高后续处理步骤的精确性和准确度。具体来说，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化，其中，所述图像滤波可以去除所述拍摄图像中的噪声干扰，减少图像中的噪声点，从而使得产品表面缺陷和毛边区域更加清晰，便于后续处理。其次，将所述拍摄图像进行灰度化处理，可以降低图像的复杂度，减少后续处理的计算量，同时还可以更明显地突出产品表面特征，利于后续处理。最后，使用所述直方图均衡化技术，可以增加所述拍摄图像的对比度，使得所述待修边橡胶产品表面的细节信息更加明显，有利于下一步对缺陷和毛边的检测。因此，对待修边橡胶产品进行图像预处理可以提高后续步骤的处理效率和准确性，有助于生成更加精准的修边控制指令，提高整个修边机系统的稳定性和可靠性。
然后，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述预处理后拍摄图像进行特征挖掘，特别地，考虑到在进行所述预处理后拍摄图像的特征提取时，不仅需要关注于所述预处理后拍摄图像中关于所述橡胶产品的深层隐含特征信息，还应更加关注于所述橡胶产品表面缺陷和毛边情况的浅层特征信息，以确定需要修边的位置和范围。而金字塔网络主要是解决目标检测中的多尺度问题，其可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的效果。因此，在本申请的技术方案中，将所述预处理后拍摄图像通过基于金字塔网络的编码器中进行编码以得到橡胶产品表面特征图。特别地，这里，所述基于金字塔网络的编码器采用具有不同深度的第一至第五卷积模块来分别进行所述预处理后拍摄图像的特征挖掘，以在提取出所述预处理后拍摄图像中关于橡胶产品的深层隐含特征的同时，保留其在浅层的外观、边缘、细节、位置和表面纹理等丰富特征信息，进而在后续进行橡胶产品的修边控制时提高控制的精准度。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行检测，大幅提升了小目标检测的性能。
然后，在解码阶段，基于编码阶段中第一至第五橡胶产品表面特征图的传递，将所述橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，特别地，这里，所述解码器与所述编码器具有对称的网络结构。也就是说，具体地，所述解码器与所述编码器采用对称式设计，并配合跳层相加连接的形式，逐步恢复检测图的分辨率，以使得橡胶产品中需要修边的表面缺陷和位置信息在深层特征得以获取，边缘信息在浅层特征得以保留。
更具体地，在本申请的技术方案中，将所述橡胶产品表面特征图输入所述解码器的第一反卷积模块，以通过与所述编码器相对称的所述解码器的第一反卷积层来解码得到第一解码特征图。然后，利用跳层相加连接的形式逐步恢复图像的分辨率。具体来说，融合所述橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图，以融合所述橡胶产品的全局感受野特征信息和第一层解码特征信息，以此来作为所述解码器的第二反卷积模块的输入，循环解码得到橡胶产品解码特征矩阵。
进一步地，为了能够对于所述橡胶产品的表面缺陷和毛边情况进行位置确定以进行修边，需要对所述橡胶产品解码特征矩阵进行图像语义分割，以在识别出所述橡胶产品的表面缺陷和毛边的位置区域后进行相应地掩码操作，以得到包含修边感兴趣区域掩码的生成图像。然后，再基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。也就是说，基于所述橡胶产品的表面缺陷和毛边的位置区域掩码信息来确定需要修边的位置和范围，从而进行相应地修边，以保证橡胶产品的制备质量。
特别地，在本申请的技术方案中，当将所述预处理后拍摄图像通过基于金字塔网络的编码器得到所述橡胶产品表面特征图时，基于所述编码器的金字塔网络结构，提取到的所述橡胶产品表面特征图内的各个位置的特征值均具有相应的位置属性，而在将所述橡胶产品表面特征图通过解码器得到所述橡胶产品解码特征矩阵时，涉及到所述橡胶产品表面特征图的特征值的基于位置属性的重新排列变换，因此为了提升所述橡胶产品解码特征矩阵对于所述橡胶产品表面特征图的各个特征值在排列变换时的图像特征语义的位置信息表达效果，计算所述橡胶产品表面特征图的每个位置的特征值的位置信息图式注意力响应因数，具体表示为：
和/>分别代表将三维实数和二维实数映射为一维实数的函数，例如可以是非线性激活函数激活加权和加偏置的表示，W、H和C分别是所述橡胶产品表面特征图的宽度、高度和通道数，(xi,yi,zi)为所述橡胶产品表面特征图的各个特征值fi的位置坐标，且/>是所述橡胶产品表面特征图的所有特征值的全局均值。
这里，所述位置信息图式注意力响应因数通过建模所述橡胶产品表面特征图的各个特征值相对于整体特征分布的高维空间位置的相对几何方向和相对几何距离的图式信息表示，在实现特征值相对于整体特征分布的按位置聚合的同时捕获高维特征分布的特征流形的整体形状权重，从而使得特征图的流形形状高度响应于各个子流形的形状信息，以获得特征图的高维特征流形的排列不变性(permutation invariance)性质。这样，再通过以此所述位置信息图式注意力响应因数对所述橡胶产品表面特征图的各个特征值进行加权，就可以提升所述橡胶产品解码特征矩阵对于所述橡胶产品表面特征图的各个特征值在排列变换时的图像特征语义的位置信息表达效果，从而提升所述橡胶产品解码特征矩阵进行图像语义分割的准确性。这样，能够准确地检测橡胶产品表面缺陷和毛边情况，以确定需要修边的位置和范围，进而保证橡胶产品的制备质量。
图1为根据本申请实施例的修边机的修边控制系统的应用场景图。如图1所示，在该应用场景中，首先，获取由摄像头(例如，图1中所示意的C)采集的待修边橡胶产品(例如，图1中所示意的N)的拍摄图像(例如，图1中所示意的D)，然后，将所述待修边橡胶产品的拍摄图像输入至部署有修边机的修边控制算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述修边机的修边控制算法对所述待修边橡胶产品的拍摄图像进行处理以得到包含修边感兴趣区域掩码的生成图像，最后，基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的修边机的修边控制系统的框图示意图。如图2所示，根据本申请实施例的修边机的修边控制系统100，包括：图像采集模块110，用于获取由摄像头采集的待修边橡胶产品的拍摄图像；图像预处理模块120，用于将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化；图像特征提取模块130，用于将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图；特征优化模块140，用于对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图；解码模块150，用于将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构；图像语义分割模块160，用于对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像；以及，修边控制模块170，用于基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
更具体地，在本申请实施例中，所述图像采集模块110，用于获取由摄像头采集的待修边橡胶产品的拍摄图像。在实际进行橡胶产品的修边过程中，为了保证修边效果和效率以及产品的质量一致性，关键在于对于产品表面的缺陷和毛边情况进行分析，从而准确地确定需要修边的位置和范围。基于此，在本申请的技术方案中，期望在机器人上安装视觉系统，实时检测橡胶产品表面缺陷和毛边情况，确定需要修边的位置和范围。
更具体地，在本申请实施例中，所述图像预处理模块120，用于将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化。由于所述待修边橡胶产品的制备环境较为复杂，导致所述拍摄图像中存在有大量的噪声干扰，因此，在本申请的技术方案中，进一步将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，以提高后续处理步骤的精确性和准确度。
具体来说，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化，其中，所述图像滤波可以去除所述拍摄图像中的噪声干扰，减少图像中的噪声点，从而使得产品表面缺陷和毛边区域更加清晰，便于后续处理。其次，将所述拍摄图像进行灰度化处理，可以降低图像的复杂度，减少后续处理的计算量，同时还可以更明显地突出产品表面特征，利于后续处理。最后，使用所述直方图均衡化技术，可以增加所述拍摄图像的对比度，使得所述待修边橡胶产品表面的细节信息更加明显，有利于下一步对缺陷和毛边的检测。因此，对待修边橡胶产品进行图像预处理可以提高后续步骤的处理效率和准确性，有助于生成更加精准的修边控制指令，提高整个修边机系统的稳定性和可靠性。
更具体地，在本申请实施例中，所述图像特征提取模块130，用于将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图。使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述预处理后拍摄图像进行特征挖掘，特别地，考虑到在进行所述预处理后拍摄图像的特征提取时，不仅需要关注于所述预处理后拍摄图像中关于所述橡胶产品的深层隐含特征信息，还应更加关注于所述橡胶产品表面缺陷和毛边情况的浅层特征信息，以确定需要修边的位置和范围。而金字塔网络主要是解决目标检测中的多尺度问题，其可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的效果。因此，在本申请的技术方案中，将所述预处理后拍摄图像通过基于金字塔网络的编码器中进行编码以得到橡胶产品表面特征图。特别地，这里，所述基于金字塔网络的编码器采用具有不同深度的第一至第五卷积模块来分别进行所述预处理后拍摄图像的特征挖掘，以在提取出所述预处理后拍摄图像中关于橡胶产品的深层隐含特征的同时，保留其在浅层的外观、边缘、细节、位置和表面纹理等丰富特征信息，进而在后续进行橡胶产品的修边控制时提高控制的精准度。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行检测，大幅提升了小目标检测的性能。
应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地，在一个具体示例中，所述图像特征提取模块130，用于：使用所述基于金字塔网络的编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述基于金字塔网络的编码器的各层输出第一至第五橡胶产品表面特征图；以及，融合所述第一至第五橡胶产品表面特征图以得到所述橡胶产品表面特征图。
更具体地，在本申请实施例中，所述特征优化模块140，用于对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图。
相应地，在一个具体示例中，如图3所示，所述特征优化模块140，包括：优化因数计算单元141，用于计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及，加权优化单元142，用于以所述多个位置信息图式注意力响应因数作为加权系数对所述橡胶产品表面特征图的各个位置特征值进行加权优化以得到所述优化橡胶产品表面特征图。
特别地，在本申请的技术方案中，当将所述预处理后拍摄图像通过基于金字塔网络的编码器得到所述橡胶产品表面特征图时，基于所述编码器的金字塔网络结构，提取到的所述橡胶产品表面特征图内的各个位置的特征值均具有相应的位置属性，而在将所述橡胶产品表面特征图通过解码器得到所述橡胶产品解码特征矩阵时，涉及到所述橡胶产品表面特征图的特征值的基于位置属性的重新排列变换，因此为了提升所述橡胶产品解码特征矩阵对于所述橡胶产品表面特征图的各个特征值在排列变换时的图像特征语义的位置信息表达效果，计算所述橡胶产品表面特征图的每个位置的特征值的位置信息图式注意力响应因数。
相应地，在一个具体示例中，所述优化因数计算单元141，用于：以如下优化公式计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；其中，所述优化公式为：
其中，fi是所述橡胶产品表面特征图中各个位置特征值，(xi,yi,zi)为所述橡胶产品表面特征图的各个位置特征值的位置坐标，且是所述橡胶产品表面特征图的所有特征值的全局均值，/>和/>分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述橡胶产品表面特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。
这里，所述位置信息图式注意力响应因数通过建模所述橡胶产品表面特征图的各个特征值相对于整体特征分布的高维空间位置的相对几何方向和相对几何距离的图式信息表示，在实现特征值相对于整体特征分布的按位置聚合的同时捕获高维特征分布的特征流形的整体形状权重，从而使得特征图的流形形状高度响应于各个子流形的形状信息，以获得特征图的高维特征流形的排列不变性(permutation invariance)性质。这样，再通过以此所述位置信息图式注意力响应因数对所述橡胶产品表面特征图的各个特征值进行加权，就可以提升所述橡胶产品解码特征矩阵对于所述橡胶产品表面特征图的各个特征值在排列变换时的图像特征语义的位置信息表达效果，从而提升所述橡胶产品解码特征矩阵进行图像语义分割的准确性。这样，能够准确地检测橡胶产品表面缺陷和毛边情况，以确定需要修边的位置和范围，进而保证橡胶产品的制备质量。
更具体地，在本申请实施例中，所述解码模块150，用于将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构。在解码阶段，基于编码阶段中第一至第五橡胶产品表面特征图的传递，将所述橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，特别地，这里，所述解码器与所述编码器具有对称的网络结构。也就是说，具体地，所述解码器与所述编码器采用对称式设计，并配合跳层相加连接的形式，逐步恢复检测图的分辨率，以使得橡胶产品中需要修边的表面缺陷和位置信息在深层特征得以获取，边缘信息在浅层特征得以保留。
相应地，在一个具体示例中，如图4所示，所述解码模块150，包括：第一反卷积单元151，用于将所述优化橡胶产品表面特征图输入所述解码器的第一反卷积模块以得到第一解码特征图；以及，第一解码特征融合单元152，用于融合所述第五橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图作为所述解码器的第二反卷积模块的输入。
通过与所述编码器相对称的所述解码器的第一反卷积层来解码得到第一解码特征图。然后，利用跳层相加连接的形式逐步恢复图像的分辨率。具体来说，融合所述橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图，以融合所述橡胶产品的全局感受野特征信息和第一层解码特征信息，以此来作为所述解码器的第二反卷积模块的输入，循环解码得到橡胶产品解码特征矩阵。
更具体地，在本申请实施例中，所述图像语义分割模块160，用于对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像。为了能够对于所述橡胶产品的表面缺陷和毛边情况进行位置确定以进行修边，需要对所述橡胶产品解码特征矩阵进行图像语义分割，以在识别出所述橡胶产品的表面缺陷和毛边的位置区域后进行相应地掩码操作，以得到包含修边感兴趣区域掩码的生成图像。
更具体地，在本申请实施例中，所述修边控制模块170，用于基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。也就是说，基于所述橡胶产品的表面缺陷和毛边的位置区域掩码信息来确定需要修边的位置和范围，从而进行相应地修边，以保证橡胶产品的制备质量。
综上，基于本申请实施例的修边机的修边控制系统100被阐明，其首先将待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，接着，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图，然后，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图，接着，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，然后，对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像，最后，基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。这样，可以保证橡胶产品的制备质量。
如上所述，根据本申请实施例的基于本申请实施例的修边机的修边控制系统100可以实现在各种终端设备中，例如具有基于本申请实施例的修边机的修边控制算法的服务器等。在一个示例中，基于本申请实施例的修边机的修边控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的修边机的修边控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的修边机的修边控制系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的修边机的修边控制系统100与该终端设备也可以是分立的设备，并且该修边机的修边控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的修边机的修边控制方法的流程图。如图5所示，根据本申请实施例的修边机的修边控制方法，其包括：S110，获取由摄像头采集的待修边橡胶产品的拍摄图像；S120，将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化；S130，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图；
S140，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图；S150，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构；S160，对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像；以及，S170，基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
图6为根据本申请实施例的修边机的修边控制方法的系统架构的示意图。如图6所示，在所述修边机的修边控制方法的系统架构中，首先，获取由摄像头采集的待修边橡胶产品的拍摄图像；接着，将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化；然后，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图；接着，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图；然后，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构；接着，对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像；最后，基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
在一个具体示例中，在上述修边机的修边控制方法中，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图，包括：使用所述基于金字塔网络的编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述基于金字塔网络的编码器的各层输出第一至第五橡胶产品表面特征图；以及，融合所述第一至第五橡胶产品表面特征图以得到所述橡胶产品表面特征图。
在一个具体示例中，在上述修边机的修边控制方法中，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图，包括：计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及，以所述多个位置信息图式注意力响应因数作为加权系数对所述橡胶产品表面特征图的各个位置特征值进行加权优化以得到所述优化橡胶产品表面特征图。
在一个具体示例中，在上述修边机的修边控制方法中，计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数，包括：以如下优化公式计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；其中，所述优化公式为：
其中，fi是所述橡胶产品表面特征图中各个位置特征值，(xi,yi,zi)为所述橡胶产品表面特征图的各个位置特征值的位置坐标，且是所述橡胶产品表面特征图的所有特征值的全局均值，/>和/>分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述橡胶产品表面特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。
在一个具体示例中，在上述修边机的修边控制方法中，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，包括：将所述优化橡胶产品表面特征图输入所述解码器的第一反卷积模块以得到第一解码特征图；以及，融合所述第五橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图作为所述解码器的第二反卷积模块的输入。
这里，本领域技术人员可以理解，上述修边机的修边控制方法中的各个步骤的具体操作已经在上面参考图1到图4的修边机的修边控制系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。
Claims (10)
1.一种修边机的修边控制系统，其特征在于，包括：
图像采集模块，用于获取由摄像头采集的待修边橡胶产品的拍摄图像；
图像预处理模块，用于将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化；
图像特征提取模块，用于将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图；
特征优化模块，用于对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图；
解码模块，用于将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构；
图像语义分割模块，用于对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像；以及
修边控制模块，用于基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
2.根据权利要求1所述的修边机的修边控制系统，其特征在于，所述图像特征提取模块，用于：
使用所述基于金字塔网络的编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述基于金字塔网络的编码器的各层输出第一至第五橡胶产品表面特征图；以及
融合所述第一至第五橡胶产品表面特征图以得到所述橡胶产品表面特征图。
3.根据权利要求2所述的修边机的修边控制系统，其特征在于，所述特征优化模块，包括：
优化因数计算单元，用于计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及
加权优化单元，用于以所述多个位置信息图式注意力响应因数作为加权系数对所述橡胶产品表面特征图的各个位置特征值进行加权优化以得到所述优化橡胶产品表面特征图。
4.根据权利要求3所述的修边机的修边控制系统，其特征在于，所述优化因数计算单元，用于：
以如下优化公式计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；
其中，所述优化公式为：
其中，fi是所述橡胶产品表面特征图中各个位置特征值，(xi,yi,zi)为所述橡胶产品表面特征图的各个位置特征值的位置坐标，且是所述橡胶产品表面特征图的所有特征值的全局均值，/>和/>分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述橡胶产品表面特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。
5.根据权利要求4所述的修边机的修边控制系统，其特征在于，所述解码模块，包括：
第一反卷积单元，用于将所述优化橡胶产品表面特征图输入所述解码器的第一反卷积模块以得到第一解码特征图；以及
第一解码特征融合单元，用于融合所述第五橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图作为所述解码器的第二反卷积模块的输入。
6.一种修边机的修边控制方法，其特征在于，包括：
获取由摄像头采集的待修边橡胶产品的拍摄图像；
将所述待修边橡胶产品的拍摄图像进行图像预处理以得到预处理后拍摄图像，其中，所述图像预处理包括图像滤波、图像灰度化和直方图均衡化；
将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图；
对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图；
将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，其中，所述编码器与所述解码器具有对称的网络结构；
对所述橡胶产品解码特征矩阵进行图像语义分割以得到包含修边感兴趣区域掩码的生成图像；以及
基于所述包含修边感兴趣区域掩码的生成图像，生成修边控制指令。
7.根据权利要求6所述的修边机的修边控制方法，其特征在于，将所述预处理后拍摄图像通过基于金字塔网络的编码器以得到橡胶产品表面特征图，包括：
使用所述基于金字塔网络的编码器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述基于金字塔网络的编码器的各层输出第一至第五橡胶产品表面特征图；以及
融合所述第一至第五橡胶产品表面特征图以得到所述橡胶产品表面特征图。
8.根据权利要求6所述的修边机的修边控制方法，其特征在于，对所述橡胶产品表面特征图进行特征分布优化以得到优化橡胶产品表面特征图，包括：
计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及
以所述多个位置信息图式注意力响应因数作为加权系数对所述橡胶产品表面特征图的各个位置特征值进行加权优化以得到所述优化橡胶产品表面特征图。
9.根据权利要求8所述的修边机的修边控制方法，其特征在于，计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数，包括：
以如下优化公式计算所述橡胶产品表面特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；
其中，所述优化公式为：
其中，fi是所述橡胶产品表面特征图中各个位置特征值，(xi,yi,zi)为所述橡胶产品表面特征图的各个位置特征值的位置坐标，且是所述橡胶产品表面特征图的所有特征值的全局均值，/>和/>分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述橡胶产品表面特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。
10.根据权利要求9所述的修边机的修边控制方法，其特征在于，将所述优化橡胶产品表面特征图通过解码器以得到橡胶产品解码特征矩阵，包括：
将所述优化橡胶产品表面特征图输入所述解码器的第一反卷积模块以得到第一解码特征图；以及
融合所述第五橡胶产品表面特征图和所述第一解码特征图以得到第一融合解码特征图作为所述解码器的第二反卷积模块的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310534977.0A CN117021435B (zh) | 2023-05-12 | 2023-05-12 | 修边机的修边控制系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310534977.0A CN117021435B (zh) | 2023-05-12 | 2023-05-12 | 修边机的修边控制系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117021435A true CN117021435A (zh) | 2023-11-10 |
| CN117021435B CN117021435B (zh) | 2024-03-26 |
Family
ID=88626858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310534977.0A Active CN117021435B (zh) | 2023-05-12 | 2023-05-12 | 修边机的修边控制系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117021435B (zh) |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01269180A (ja) * | 1988-04-20 | 1989-10-26 | Seiko Instr Inc | 穴内のバリ検出方法 |
| EP0449527A2 (en) * | 1990-03-24 | 1991-10-02 | Canon Kabushiki Kaisha | Cleaning blade and producing method thereof |
| GB9514604D0 (en) * | 1995-02-24 | 1995-09-13 | Hinode Engineering Co Ltd | Apparatus for modifying attitude of golf ball having burrs formed thereon and deburring machine employing the same |
| DE19707857A1 (de) * | 1996-04-20 | 1998-06-25 | Lkh Kunststoffwerk Gmbh & Co | Rahmen für ein Kochfeld |
| CN105050759A (zh) * | 2013-04-09 | 2015-11-11 | 梅耶博格公司 | 用于线网监测的监测装置和方法及和线锯 |
| US20160344945A1 (en) * | 2015-05-19 | 2016-11-24 | Ricoh Imaging Company, Ltd. | Photographing apparatus, photographing method, image processor, image-processing method, and program |
| CN107150889A (zh) * | 2016-03-05 | 2017-09-12 | 鼎汉科技(厦门)有限公司 | 一种双工位成品胎修边和外观检查一体机及实现方法 |
| CN108009629A (zh) * | 2017-11-20 | 2018-05-08 | 天津大学 | 一种基于全卷积台标分割网络的台标分割方法 |
| US20190043203A1 (en) * | 2018-01-12 | 2019-02-07 | Intel Corporation | Method and system of recurrent semantic segmentation for image processing |
| CN110142765A (zh) * | 2019-05-17 | 2019-08-20 | 深圳市皕像科技有限公司 | 一种加工橡胶塞的方法、装置及系统 |
| CN110154289A (zh) * | 2018-04-16 | 2019-08-23 | 苏州菱慧电子科技有限公司 | 一种基于3d成像的橡胶件冷冻修边装置及其工作方法 |
| CN210113048U (zh) * | 2018-12-09 | 2020-02-25 | 浙江闽立电动工具有限公司 | 一种可测量加工深度的电刨 |
| DE102018010197A1 (de) * | 2018-12-18 | 2020-06-18 | GRID INVENT gGmbH | Elektronisches Element und elektrisch angesteuertes Anzeigeelement |
| AU2020103715A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Method of monocular depth estimation based on joint self-attention mechanism |
| WO2021103187A1 (zh) * | 2019-11-27 | 2021-06-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备、存储介质 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN113496237A (zh) * | 2020-03-20 | 2021-10-12 | 商汤集团有限公司 | 域适应神经网络训练和交通环境图像处理方法及装置 |
| CN113516135A (zh) * | 2021-06-23 | 2021-10-19 | 江苏师范大学 | 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法 |
| WO2022006784A1 (zh) * | 2020-07-08 | 2022-01-13 | 香港中文大学（深圳） | 人体骨架检测方法、装置、系统、设备及存储介质 |
| WO2022127227A1 (zh) * | 2020-12-15 | 2022-06-23 | 西安交通大学 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
| WO2022165739A1 (zh) * | 2021-02-05 | 2022-08-11 | 广东工业大学 | 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置 |
| CN115035045A (zh) * | 2022-05-19 | 2022-09-09 | 西安速视光电科技有限公司 | 一种基于高分辨率X-Ray图像的异物智能检测方法及系统 |
| CN115205302A (zh) * | 2022-07-14 | 2022-10-18 | 重庆邮电大学 | 一种基于深度学习的遥感图像分割的修补方法 |
| CN116030048A (zh) * | 2023-03-27 | 2023-04-28 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
| CN116278378A (zh) * | 2023-05-06 | 2023-06-23 | 厚普(天津)文化用品有限公司 | 纸张的智能覆膜系统及其方法 |
| CN116649191A (zh) * | 2023-06-14 | 2023-08-29 | 江西省科技基础条件平台中心(江西省计算中心) | 基于plc的远程施肥灌溉控制系统及其方法 |
| CN116899423A (zh) * | 2023-07-14 | 2023-10-20 | 江西碧枫环保建材科技有限公司 | 水性涂料的智能化制备方法及其系统 |
-
2023
- 2023-05-12 CN CN202310534977.0A patent/CN117021435B/zh active Active
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01269180A (ja) * | 1988-04-20 | 1989-10-26 | Seiko Instr Inc | 穴内のバリ検出方法 |
| EP0449527A2 (en) * | 1990-03-24 | 1991-10-02 | Canon Kabushiki Kaisha | Cleaning blade and producing method thereof |
| GB9514604D0 (en) * | 1995-02-24 | 1995-09-13 | Hinode Engineering Co Ltd | Apparatus for modifying attitude of golf ball having burrs formed thereon and deburring machine employing the same |
| DE19707857A1 (de) * | 1996-04-20 | 1998-06-25 | Lkh Kunststoffwerk Gmbh & Co | Rahmen für ein Kochfeld |
| CN105050759A (zh) * | 2013-04-09 | 2015-11-11 | 梅耶博格公司 | 用于线网监测的监测装置和方法及和线锯 |
| US20160344945A1 (en) * | 2015-05-19 | 2016-11-24 | Ricoh Imaging Company, Ltd. | Photographing apparatus, photographing method, image processor, image-processing method, and program |
| CN107150889A (zh) * | 2016-03-05 | 2017-09-12 | 鼎汉科技(厦门)有限公司 | 一种双工位成品胎修边和外观检查一体机及实现方法 |
| CN108009629A (zh) * | 2017-11-20 | 2018-05-08 | 天津大学 | 一种基于全卷积台标分割网络的台标分割方法 |
| US20190043203A1 (en) * | 2018-01-12 | 2019-02-07 | Intel Corporation | Method and system of recurrent semantic segmentation for image processing |
| CN110154289A (zh) * | 2018-04-16 | 2019-08-23 | 苏州菱慧电子科技有限公司 | 一种基于3d成像的橡胶件冷冻修边装置及其工作方法 |
| CN210113048U (zh) * | 2018-12-09 | 2020-02-25 | 浙江闽立电动工具有限公司 | 一种可测量加工深度的电刨 |
| DE102018010197A1 (de) * | 2018-12-18 | 2020-06-18 | GRID INVENT gGmbH | Elektronisches Element und elektrisch angesteuertes Anzeigeelement |
| CN110142765A (zh) * | 2019-05-17 | 2019-08-20 | 深圳市皕像科技有限公司 | 一种加工橡胶塞的方法、装置及系统 |
| WO2021103187A1 (zh) * | 2019-11-27 | 2021-06-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备、存储介质 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN113496237A (zh) * | 2020-03-20 | 2021-10-12 | 商汤集团有限公司 | 域适应神经网络训练和交通环境图像处理方法及装置 |
| WO2022006784A1 (zh) * | 2020-07-08 | 2022-01-13 | 香港中文大学（深圳） | 人体骨架检测方法、装置、系统、设备及存储介质 |
| AU2020103715A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Method of monocular depth estimation based on joint self-attention mechanism |
| WO2022127227A1 (zh) * | 2020-12-15 | 2022-06-23 | 西安交通大学 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
| WO2022165739A1 (zh) * | 2021-02-05 | 2022-08-11 | 广东工业大学 | 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置 |
| CN113516135A (zh) * | 2021-06-23 | 2021-10-19 | 江苏师范大学 | 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法 |
| CN115035045A (zh) * | 2022-05-19 | 2022-09-09 | 西安速视光电科技有限公司 | 一种基于高分辨率X-Ray图像的异物智能检测方法及系统 |
| CN115205302A (zh) * | 2022-07-14 | 2022-10-18 | 重庆邮电大学 | 一种基于深度学习的遥感图像分割的修补方法 |
| CN116030048A (zh) * | 2023-03-27 | 2023-04-28 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
| CN116278378A (zh) * | 2023-05-06 | 2023-06-23 | 厚普(天津)文化用品有限公司 | 纸张的智能覆膜系统及其方法 |
| CN116649191A (zh) * | 2023-06-14 | 2023-08-29 | 江西省科技基础条件平台中心(江西省计算中心) | 基于plc的远程施肥灌溉控制系统及其方法 |
| CN116899423A (zh) * | 2023-07-14 | 2023-10-20 | 江西碧枫环保建材科技有限公司 | 水性涂料的智能化制备方法及其系统 |
Non-Patent Citations (8)
| Title |
|---|
| 叶绿;段婷;朱家懿;NWOBODO SAMUEL CHUWKUEBUKA;NNOR ARNOLD ANTWI;: "基于多层特征融合的单目深度估计模型", 浙江科技学院学报, no. 04, 31 July 2020 (2020-07-31) * |
| 张松龙;谢林柏;: "基于级联全卷积神经网络的显著性检测", 激光与光电子学进展, no. 07, 29 October 2018 (2018-10-29) * |
| 杨森林;孙静;闫?;李喜龙;: "基于深度卷积神经网络的图像帧间补偿研究", 计算机仿真, no. 01 * |
| 杨森林;孙静;闫?;李喜龙;: "基于深度卷积神经网络的图像帧间补偿研究", 计算机仿真, no. 01, 15 January 2020 (2020-01-15) * |
| 王达;周雪峰;徐智浩;蔡奕松;陈洲;: "受损图片分类的双并行交叉降噪卷积神经网络", 计算机工程与应用, no. 18 * |
| 王达;周雪峰;徐智浩;蔡奕松;陈洲;: "受损图片分类的双并行交叉降噪卷积神经网络", 计算机工程与应用, no. 18, 15 September 2018 (2018-09-15) * |
| 邢志祥;顾凰琳;钱辉;张莹;汪李金;: "基于卷积神经网络的行人检测方法研究新进展", 安全与环境工程, no. 06, 30 November 2018 (2018-11-30) * |
| 高丹;陈建英;谢盈;: "A-PSPNet:一种融合注意力机制的PSPNet图像语义分割模型", 中国电子科学研究院学报, no. 06, 20 June 2020 (2020-06-20) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117021435B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017189B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
| CN110660062B (zh) | 一种基于PointNet的点云实例分割方法及系统 | |
| CN108734290B (zh) | 一种基于注意力机制的卷积神经网络构建方法及应用 | |
| CN114782691A (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
| CN109934121A (zh) | 一种基于YOLOv3算法的果园行人检测方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN111368825B (zh) | 一种基于语义分割的指针定位方法 | |
| CN108629288A (zh) | 一种手势识别模型训练方法、手势识别方法及系统 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN107992807A (zh) | 一种基于cnn模型的人脸识别方法及装置 | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及系统 | |
| CN116958958A (zh) | 基于图卷积双流形状先验自适应类别级物体姿态估计方法 | |
| CN117541652A (zh) | 一种基于深度lk光流法与d-prosac采样策略的动态slam方法 | |
| CN117635628B (zh) | 一种基于上下文注意力和边界感知引导的海陆分割方法 | |
| CN110992310A (zh) | 一种确定纵隔淋巴结所在分区的方法及装置 | |
| CN117854155A (zh) | 一种人体骨骼动作识别方法及系统 | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| CN117021435B (zh) | 修边机的修边控制系统及其方法 | |
| CN110929773A (zh) | 一种基于深度学习的芯片表面缺陷分类装置和方法 | |
| CN116403062A (zh) | 一种点云目标检测方法、系统、设备及介质 | |
| CN111652308B (zh) | 基于超轻量级全卷积神经网络的花卉识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |