CN117078670B - 一种云相框的生产控制系统 - Google Patents
一种云相框的生产控制系统 Download PDFInfo
- Publication number
- CN117078670B CN117078670B CN202311324032.2A CN202311324032A CN117078670B CN 117078670 B CN117078670 B CN 117078670B CN 202311324032 A CN202311324032 A CN 202311324032A CN 117078670 B CN117078670 B CN 117078670B
- Authority
- CN
- China
- Prior art keywords
- photo frame
- cloud photo
- cloud
- surface texture
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 74
- 238000007689 inspection Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000007405 data analysis Methods 0.000 claims abstract description 5
- 238000013079 data visualisation Methods 0.000 claims abstract description 5
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 49
- 238000012800 visualization Methods 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000000105 evaporative light scattering detection Methods 0.000 claims description 4
- 238000001303 quality assessment method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100001671 Emericella variicolor andF gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000195 production control method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Resources & Organizations (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Molecular Biology (AREA)
- Manufacturing & Machinery (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种云相框的生产控制系统。该系统包括：生产线，所述生产线由多个工作站组成，每个所述工作站用于完成云相框的某个生产环节；设置于所述各个工作站的传感器组和摄像头，用于采集云相框的生产数据；云平台，用于接收和存储所述云相框的生产数据，并提供数据分析和可视化服务；以及，控制器，用于监控和管理生产线的运行情况，并进行云相框产品的质检和管控。这样，可以实现对组装完成的云相框的表观质量的自动化质检，以避免人工检测带来的低效率和检测结果不一致性问题，从而提高生产效率和质量一致性。
Description
技术领域
本申请涉及云相框领域，且更为具体地，涉及一种云相框的生产控制系统。
背景技术
云相框是一种数字相框，可以通过云端连接显示图片和视频，提供了一种便捷的方式来展示和共享照片。云相框主要实现了照片数据的即时处理，作为家庭的一个终端来使用，与手机、PAD、相机互联，交互图片数据。云相框作为一款网络相框，可以在用户界面和功能设置上进行定制，更符合相框的使用需求，让使用者无论在何时何地，都能轻松地与家人、朋友分享精彩的照片内容。
在云相框的生产过程中，由于原始配件问题或者组装不当等因素，可能会导致云相框表面出现划痕或其他质量问题。为了确保产品的表观质量符合预定标准，需要进行云相框的质检。
然而，传统的质检方法通常需要依靠人工进行目视检查，这种方式效率低下且容易出错。具体来说，人工质检的方式需要大量的人力资源和时间，在长时间的操作中容易疲劳和失误，导致质检结果的不一致性。并且，人工质检容易受到个体主观意识和主观判断的影响，不同的质检员可能对云相框的表观质量有不同的评判标准，导致结果的不一致性和主观性。此外，随着云相框市场的发展，生产需求会呈现大规模化的趋势。传统的人工质检方法很难满足高效率、高质量的大规模生产需求，需要投入更多的人力和时间成本。
因此，期望一种优化的云相框的生产控制系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种云相框的生产控制系统。其可以实现对组装完成的云相框的表观质量的自动化质检，以避免人工检测带来的低效率和检测结果不一致性问题，从而提高生产效率和质量一致性。
根据本申请的一个方面，提供了一种云相框的生产控制系统，其包括：
生产线，所述生产线由多个工作站组成，每个所述工作站用于完成云相框的某个生产环节；
设置于所述各个工作站的传感器组和摄像头，用于采集云相框的生产数据；
云平台，用于接收和存储所述云相框的生产数据，并提供数据分析和可视化服务；以及
控制器，用于监控和管理生产线的运行情况，并进行云相框产品的质检和管控。
与现有技术相比，本申请提供的云相框的生产控制系统，该系统包括：生产线，所述生产线由多个工作站组成，每个所述工作站用于完成云相框的某个生产环节；设置于所述各个工作站的传感器组和摄像头，用于采集云相框的生产数据；云平台，用于接收和存储所述云相框的生产数据，并提供数据分析和可视化服务；以及，控制器，用于监控和管理生产线的运行情况，并进行云相框产品的质检和管控。这样，可以实现对组装完成的云相框的表观质量的自动化质检，以避免人工检测带来的低效率和检测结果不一致性问题，从而提高生产效率和质量一致性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的云相框的生产控制系统中的所述控制器的框图示意图。
图2为根据本申请实施例的云相框的生产控制系统中的所述图像特征分析模块的框图示意图。
图3为根据本申请实施例的云相框的生产控制系统中的所述云相框表面纹理特征提取单元的框图示意图。
图4为根据本申请实施例的云相框的生产控制系统中的所述空间特征显化子单元的框图示意图。
图5为根据本申请实施例的云相框的生产控制系统中的所述云相框的表观质量检测模块的框图示意图。
图6为根据本申请实施例的云相框的生产控制系统中的所述表观质量评估单元的框图示意图。
图7为根据本申请实施例的云相框的生产控制方法的流程图。
图8为根据本申请实施例的云相框的生产控制方法的系统架构的示意图。
图9为根据本申请实施例的云相框的生产控制系统的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思为通过摄像头采集组装完成的云相框的表面状态图像，并在后端引入图像处理和分析算法来进行云相框的表面状态图像分析，以进行云相框的表观质量的自动检测评估，通过这样的方式，能够实现对组装完成的云相框的表观质量的自动化质检，以避免人工检测带来的低效率和检测结果不一致性问题，从而提高生产效率和质量一致性。
本申请提供了一种云相框的生产控制系统，其包括：生产线，所述生产线由多个工作站组成，每个所述工作站用于完成云相框的某个生产环节；设置于所述各个工作站的传感器组和摄像头，用于采集云相框的生产数据；云平台，用于接收和存储所述云相框的生产数据，并提供数据分析和可视化服务；以及，控制器，用于监控和管理生产线的运行情况，并进行云相框产品的质检和管控。
图1为根据本申请实施例的云相框的生产控制系统中的所述控制器100的框图示意图。如图1所示，根据本申请实施例的云相框的生产控制系统，所述控制器100，包括：图像采集模块110，用于获取由所述摄像头采集的组装完成的云相框的表面状态图像；图像特征分析模块120，用于对所述表面状态图像进行图像特征分析以得到云相框表面特征；以及，云相框的表观质量检测模块130，用于基于所述云相框表面特征，确定云相框的表观质量是否符合预定标准。
具体地，在本申请的技术方案中，首先，获取组装完成的云相框的表面状态图像。应可以理解，在云相框的生产过程中，会因原始配件问题或者组装不当等问题而导致云相框的表面出现划痕或产生云相框的形状缺陷，而云相框的表面轮廓特征对于质检和分类非常重要。例如，如果云相框的表面出现划痕和其他不规则形状的缺陷，这些缺陷往往会导致轮廓的变化。轮廓点分布直方图是以目标形状的最小外接圆为特征提取区域，以若干轮廓采样点分布为统计对象，以目标形状质心为圆心建立极坐标下的轮廓点分布直方图。因此，在本申请的技术方案中，进一步计算所述表面状态图像的轮廓点分布直方图以得到云相框表面轮廓点分布直方图，可以帮助识别云相框的轮廓特征，以获得关于云相框形状的信息，例如曲线的曲率、凹凸性等，这些信息有利于进行云相框的表观质检过程。
然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述云相框表面轮廓点分布直方图的特征挖掘。具体地，在本申请的技术方案中，将所述云相框表面轮廓点分布直方图通过基于卷积神经网络模型的表面纹理特征提取器中进行特征提取，以提取出所述云相框表面的轮廓和纹理特征分布信息，这些纹理特征可以捕捉到所述云相框表面的细节、纹理和形态等特征信息，有助于更准确地描述云相框的表观质量，从而得到云相框表面纹理特征图。
进一步地，为了增强和突出空间位置上关于云相框表面的重要纹理特征信息而忽略与云相框的表观质量检测无关的干扰特征，在本申请的技术方案中，进一步将所述云相框表面纹理特征图输入空间注意力模块以得到空间显化云相框表面纹理特征图。通过将所述云相框表面纹理特征图输入所述空间注意力模块，可以对纹理特征图进行空间上的加权处理，以突出有关于云相框表面的重要纹理区域。这样能够使关键的纹理特征更加显著，从而提高后续质检和分类的准确性。应可以理解，所述空间注意力模块可以根据输入的特征图计算每个位置的注意力权重，然后将这些权重应用于特征图上，以调整不同位置上的特征表示。这样，能够使得重要的纹理区域得到更高的权重，而无关或次要的区域将得到较低的权重。通过这种方式，可以实现对云相框表面纹理特征的空间显化，使得关键的纹理信息更加突出和明显，有利于对于云相框的表观质量检测。
相应地，如图2所示，所述图像特征分析模块120，包括：轮廓点分布直方图计算单元121，用于计算更具体地，如图4所示，所述空间特征显化子单元1222，包括：深度卷积编码二级子单元12221，用于使用所述空间注意力模块的卷积编码部分对所述云相框表面纹理特征图进行深度卷积编码以得到表面纹理卷积特征图；空间注意力二级子单元12222，用于将所述表面纹理卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；激活二级子单元12223，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算二级子单元12224，用于计算所述空间注意力特征图和所述表面纹理卷积特征图的按位置点乘以得到所述空间显化云相框表面纹理特征图。所述表面状态图像的轮廓点分布直方图以得到云相框表面轮廓点分布直方图；以及，云相框表面纹理特征提取单元122，用于通过基于深度神经网络模型的表面纹理特征提取器对所述云相框表面轮廓点分布直方图进行特征提取以得到所述云相框表面特征。应可以理解，图像特征分析模块120包括轮廓点分布直方图计算单元121和云相框表面纹理特征提取单元122两个单元。轮廓点分布直方图计算单元121用于计算表面状态图像的轮廓点分布直方图，通过对表面状态图像进行处理，提取出轮廓上的点，并统计这些点在不同位置的分布情况，生成轮廓点分布直方图。云相框表面纹理特征提取单元122用于通过基于深度神经网络模型的表面纹理特征提取器对云相框表面轮廓点分布直方图进行特征提取，通过深度神经网络模型，对云相框表面轮廓点分布直方图进行处理和分析，提取出表面的纹理特征。这两个单元共同完成了对云相框表面状态图像的特征分析，其中轮廓点分布直方图计算单元用于提取表面的轮廓信息，云相框表面纹理特征提取单元则进一步对轮廓点分布直方图进行深度特征提取，从而得到云相框表面的纹理特征。
更具体地，如图3所示，所述云相框表面纹理特征提取单元122，包括：表面纹理特征提取子单元1221，用于将所述云相框表面轮廓点分布直方图通过基于卷积神经网络模型的表面纹理特征提取器以得到云相框表面纹理特征图；以及，空间特征显化子单元1222，用于将所述云相框表面纹理特征图输入空间注意力模块以得到空间显化云相框表面纹理特征图作为所述云相框表面特征。值得一提的是，卷积神经网络（Convolutional NeuralNetwork，CNN）是一种深度学习模型，特别适用于处理具有网格结构的数据。在云相框表面纹理特征提取单元122中，使用基于卷积神经网络模型的表面纹理特征提取器（表面纹理特征提取子单元1221）来处理云相框表面的轮廓点分布直方图，以得到云相框表面的纹理特征图。卷积神经网络通过多层卷积和池化操作，可以学习到图像中的局部特征和全局特征，并通过网络的层层连接，逐渐提取更高级别的特征表示。接下来，空间特征显化子单元1222将云相框表面纹理特征图输入空间注意力模块，以得到空间显化的云相框表面纹理特征图。空间注意力模块可以对特征图进行加权处理，强调重要的空间区域，抑制不重要的区域，从而提升特征的表达能力和鲁更具体地，如图4所示，所述空间特征显化子单元1222，包括：深度卷积编码二级子单元12221，用于使用所述空间注意力模块的卷积编码部分对所述云相框表面纹理特征图进行深度卷积编码以得到表面纹理卷积特征图；空间注意力二级子单元12222，用于将所述表面纹理卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；激活二级子单元12223，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算二级子单元12224，用于计算所述空间注意力特征图和所述表面纹理卷积特征图的按位置点乘以得到所述空间显化云相框表面纹理特征图。棒性。换言之，基于卷积神经网络模型的表面纹理特征提取器在云相框表面纹理特征提取中扮演着重要的角色，它能够从输入的轮廓点分布直方图中提取出表面的纹理特征，为后续的特征分析和处理提供有用的信息。
进一步地，空间注意力模块是一种用于加权处理特征图的技术，其目的是通过对特征图不同位置的加权操作，将注意力集中在重要的空间区域上，从而增强特征的表达能力和鲁棒性。空间注意力模块的作用如下：1.强调重要的空间区域：通过对特征图进行加权处理，空间注意力模块可以将注意力集中在图像中的重要区域上，这些区域可能包含关键的目标或特征，从而提高模型对这些区域的感知能力。2.抑制不重要的空间区域：空间注意力模块可以通过降低不重要区域的权重，抑制这些区域对特征表示的影响，减少噪声或冗余信息的干扰，提高模型的鲁棒性和泛化能力。3.提升特征的表达能力：通过对特征图进行加权处理，空间注意力模块可以增强特征的表达能力，使得模型能够更好地捕捉图像中的重要结构和细节信息。空间注意力模块通常由一个或多个子模块组成，例如自注意力机制（self-attention）或空间卷积等。这些子模块通过学习权重参数，根据输入的特征图来计算每个空间位置的权重，并将权重应用于特征图上，实现对特征图的加权处理。即，空间注意力模块可以帮助模型更好地关注和利用图像中的重要空间信息，提高特征的表达能力和鲁棒性，从而在各种计算机视觉任务中取得更好的性能。
更具体地，如图4所示，所述空间特征显化子单元1222，包括：深度卷积编码二级子单元12221，用于使用所述空间注意力模块的卷积编码部分对所述云相框表面纹理特征图进行深度卷积编码以得到表面纹理卷积特征图；空间注意力二级子单元12222，用于将所述表面纹理卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；激活二级子单元12223，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算二级子单元12224，用于计算所述空间注意力特征图和所述表面纹理卷积特征图的按位置点乘以得到所述空间显化云相框表面纹理特征图。
继而，再将所述空间显化云相框表面纹理特征图通过分类器以得到分类结果，所述分类结果用于表示云相框的表观质量是否符合预定标准。也就是说，将所述云相框的表面重要区域的纹理特征进行空间显化后再通过分类器中进行分类处理，以此来进行云相框的表观质量的检测评估，通过这样的方式，能够实现对组装完成的云相框的表观质量的自动化质检，以避免人工检测带来的低效率和检测结果不一致性问题，从而提高生产效率和质量一致性。
相应地，如图5所示，所述云相框的表观质量检测模块130，包括：特征分布优化单元131，用于对所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图进行平滑响应参数化解耦融合以得到优化空间显化云相框表面纹理特征图；以及，表观质量评估单元132，用于将所述优化空间显化云相框表面纹理特征图通过分类器以得到分类结果，所述分类结果用于表示云相框的表观质量是否符合预定标准。应可以理解，云相框的表观质量检测模块130包括特征分布优化单元131和表观质量评估单元132两个主要的单元。特征分布优化单元131的主要功能是对云相框表面纹理特征图和空间显化云相框表面纹理特征图进行平滑响应参数化解耦融合，这意味着该单元会对输入的表面纹理特征图进行处理，以获得一个更平滑、更优化的空间显化云相框表面纹理特征图，通过解耦和融合的处理，该单元可以提取出更具代表性和有用的特征，以便后续的表观质量评估。表观质量评估单元132的主要功能是将优化空间显化云相框表面纹理特征图通过分类器进行评估，并得到分类结果，该单元使用分类器来判断云相框的表观质量是否符合预定标准。分类器可能是一个训练有素的模型，通过学习大量的样本数据，能够根据输入的特征图判断云相框的表观质量属于哪个类别（符合标准或不符合标准），分类结果可以用于指示云相框的表观质量好坏，供后续的处理或决策使用。综合来说，特征分布优化单元131负责对表面纹理特征图进行处理，以获得更优化的特征图，而表观质量评估单元132则利用优化后的特征图进行表观质量的评估和分类。这两个单元在云相框的表观质量检测中起着关键作用，通过处理和评估表面纹理特征，可以判断云相框的表观质量是否符合预定标准。
特别地，在本申请的技术方案中，将所述云相框表面轮廓点分布直方图通过基于卷积神经网络模型的表面纹理特征提取器时，所述云相框表面纹理特征图可以表达所述云相框表面轮廓点分布直方图的图像纹理语义特征，而在将所述云相框表面纹理特征图通过空间注意力模块时，期望在通过空间注意力模块对所述云相框表面纹理特征图的某些空间位置下的特征值进行显著性强化，以提高其分类加权权重的同时，仍然保持所述云相框表面纹理特征图的整体图像语义特征分布，也就是，保持在分类场景下所述空间显化云相框表面纹理特征图与所述云相框表面纹理特征图的基于空间特征分布的分类规则的对应性。
因此，本申请的申请人对所述云相框表面纹理特征图，例如记为F1，和所述空间显化云相框表面纹理特征图，例如记为F2进行平滑响应参数化解耦融合，来获得优化后的空间显化云相框表面纹理特征图，例如记为。
相应地，在一个具体示例中，所述特征分布优化单元131，用于：以如下优化公式对所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图进行平滑响应参数化解耦融合以得到所述优化空间显化云相框表面纹理特征图；其中，所述优化公式为：
其中，F 1和F 2分别是所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图，/>表示所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图之间的余弦距离，且/>为以2为底的对数函数，/>表示特征图的指数运算，所述特征图的指数运算表示以特征图中各个位置特征值为幂的自然指数函数值，/>表示按位置减法，/>表示按位置加法，/>表示按位置点乘，是所述优化空间显化云相框表面纹理特征图。
这里，所述平滑响应参数化解耦融合通过使用平滑参数化函数的解耦原则，基于所述云相框表面纹理特征图F1和所述空间显化云相框表面纹理特征图F2之间的余弦距离的非负对称性来编译所述云相框表面纹理特征图F1和所述空间显化云相框表面纹理特征图F2的特征之间的逐点嵌入，从而以特征之间的空间变换（transformation）来推断所述云相框表面纹理特征图F1和所述空间显化云相框表面纹理特征图F2之间的信息分布转移（information distribution shift），从而表达特征之间的平滑响应在特征空间分布维度的图像纹理语义特征分布规则下的信息结构化融合，从而提升优化后的空间显化云相框表面纹理特征图在分类场景下与所述云相框表面纹理特征图F1的基于空间特征分布的分类规则的对应性，以提升其通过分类器得到的分类结果的准确性。这样，能够对组装完成的云相框的表观质量进行自动化质检，以提高生产效率和质量一致性，降低了人力成本和风险，为生产决策提供了科学依据。
进一步地，如图6所示，所述表观质量评估单元132，包括：特征图展开子单元1321，用于将所述优化空间显化云相框表面纹理特征图按照行向量或者列向量展开为分类特征向量；全连接编码子单元1322，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类子单元1323，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
也就是，在本公开的技术方案中，所述分类器的标签包括云相框的表观质量符合预定标准(第一标签)，以及，云相框的表观质量不符合预定标准(第二标签)，其中，所述分类器通过软最大值函数来确定所述优化空间显化云相框表面纹理特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“云相框的表观质量是否符合预定标准”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，云相框的表观质量是否符合预定标准的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“云相框的表观质量是否符合预定标准”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
值得一提的是，全连接编码是指将输入的分类特征向量通过全连接层进行编码的过程。全连接层是神经网络中的一种常见层类型，其中每个神经元与前一层的所有神经元相连接。在表观质量评估单元132中，全连接编码子单元1322使用全连接层对分类特征向量进行编码，以得到编码分类特征向量。全连接编码的作用是将输入特征向量进行非线性映射和组合，以提取更高层次的特征表示。通过全连接层，输入特征向量中的每个维度都与编码层中的每个神经元相连接，神经网络可以学习到输入特征之间的复杂关系和抽象特征。全连接编码可以帮助提取更具代表性和有用的特征，以增强分类器的性能和准确度。在表观质量评估单元132中，全连接编码子单元1322将分类特征向量输入到全连接层中进行编码，通过学习和优化，编码分类特征向量可以捕捉到更丰富的特征信息。编码后的特征向量可以更好地表示云相框的表观质量特征，从而提供更准确的分类结果。这样，分类子单元1323可以将编码分类特征向量输入分类器的Softmax分类函数，得到最终的分类结果，判断云相框的表观质量是否符合预定标准。全连接编码在提高分类准确性和特征表达能力方面具有重要作用。
综上，基于本申请实施例的云相框的生产控制系统中的所述控制器100被阐明，其可以实现对组装完成的云相框的表观质量的自动化质检，以避免人工检测带来的低效率和检测结果不一致性问题，从而提高生产效率和质量一致性。
如上所述，根据本申请实施例的基于本申请实施例的云相框的生产控制系统中的所述控制器100可以实现在各种终端设备中，例如具有基于本申请实施例的云相框的生产控制算法的服务器等。在一个示例中，基于本申请实施例的云相框的生产控制系统中的所述控制器100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的云相框的生产控制系统中的所述控制器100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的云相框的生产控制系统中的所述控制器100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的云相框的生产控制系统中的所述控制器100与该终端设备也可以是分立的设备，并且该云相框的生产控制系统中的所述控制器100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图7为根据本申请实施例的云相框的生产控制方法的流程图。图8为根据本申请实施例的云相框的生产控制方法的系统架构的示意图。如图7和图8所示，根据本申请实施例的云相框的生产控制方法，其包括：S110，获取由所述摄像头采集的组装完成的云相框的表面状态图像；S120，对所述表面状态图像进行图像特征分析以得到云相框表面特征；以及，S130，基于所述云相框表面特征，确定云相框的表观质量是否符合预定标准。
在一个具体示例中，在上述云相框的生产控制方法中，对所述表面状态图像进行图像特征分析以得到云相框表面特征，包括：计算所述表面状态图像的轮廓点分布直方图以得到云相框表面轮廓点分布直方图；以及，通过基于深度神经网络模型的表面纹理特征提取器对所述云相框表面轮廓点分布直方图进行特征提取以得到所述云相框表面特征。
这里，本领域技术人员可以理解，上述云相框的生产控制方法中的各个步骤的具体操作已经在上面参考图1到图6的云相框的生产控制系统中的所述控制器100的描述中得到了详细介绍，并因此，将省略其重复描述。
图9为根据本申请实施例的云相框的生产控制系统的应用场景图。如图9所示，在该应用场景中，首先，获取由所述摄像头采集的组装完成的云相框的表面状态图像（例如，图9中所示意的D），然后，将所述表面状态图像输入至部署有云相框的生产控制算法的服务器中（例如，图9中所示意的S），其中，所述服务器能够使用所述云相框的生产控制算法对所述表面状态图像进行处理以得到用于表示云相框的表观质量是否符合预定标准的分类结果。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。
Claims (3)
1.一种云相框的生产控制系统，其特征在于，包括：
生产线，所述生产线由多个工作站组成，每个所述工作站用于完成云相框的某个生产环节；
设置于所述各个工作站的传感器组和摄像头，用于采集云相框的生产数据；
云平台，用于接收和存储所述云相框的生产数据，并提供数据分析和可视化服务；以及
控制器，用于监控和管理生产线的运行情况，并进行云相框产品的质检和管控；
其中，所述控制器，包括：
图像采集模块，用于获取由所述摄像头采集的组装完成的云相框的表面状态图像；
图像特征分析模块，用于对所述表面状态图像进行图像特征分析以得到云相框表面特征；以及
云相框的表观质量检测模块，用于基于所述云相框表面特征，确定云相框的表观质量是否符合预定标准；
其中，所述图像特征分析模块，包括：
轮廓点分布直方图计算单元，用于计算所述表面状态图像的轮廓点分布直方图以得到云相框表面轮廓点分布直方图；以及
云相框表面纹理特征提取单元，用于通过基于深度神经网络模型的表面纹理特征提取器对所述云相框表面轮廓点分布直方图进行特征提取以得到所述云相框表面特征；
其中，所述云相框表面纹理特征提取单元，包括：
表面纹理特征提取子单元，用于将所述云相框表面轮廓点分布直方图通过基于卷积神经网络模型的表面纹理特征提取器以得到云相框表面纹理特征图；以及
空间特征显化子单元，用于将所述云相框表面纹理特征图输入空间注意力模块以得到空间显化云相框表面纹理特征图作为所述云相框表面特征；
其中，所述云相框的表观质量检测模块，包括：
特征分布优化单元，用于对所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图进行平滑响应参数化解耦融合以得到优化空间显化云相框表面纹理特征图；以及
表观质量评估单元，用于将所述优化空间显化云相框表面纹理特征图通过分类器以得到分类结果，所述分类结果用于表示云相框的表观质量是否符合预定标准；
其中，所述特征分布优化单元，用于：
以如下优化公式对所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图进行平滑响应参数化解耦融合以得到所述优化空间显化云相框表面纹理特征图；
其中，所述优化公式为：
其中，F1和F2分别是所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图，cov(F1,F2)表示所述云相框表面纹理特征图和所述空间显化云相框表面纹理特征图之间的余弦距离，且log为以2为底的对数函数，exp(·)表示特征图的指数运算，所述特征图的指数运算表示以特征图中各个位置特征值为幂的自然指数函数值，表示按位置减法，表示按位置加法，⊙表示按位置点乘，F2'是所述优化空间显化云相框表面纹理特征图。
2.根据权利要求1所述的云相框的生产控制系统，其特征在于，所述空间特征显化子单元，包括：
深度卷积编码二级子单元，用于使用所述空间注意力模块的卷积编码部分对所述云相框表面纹理特征图进行深度卷积编码以得到表面纹理卷积特征图；
空间注意力二级子单元，用于将所述表面纹理卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；
激活二级子单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及
计算二级子单元，用于计算所述空间注意力特征图和所述表面纹理卷积特征图的按位置点乘以得到所述空间显化云相框表面纹理特征图。
3.根据权利要求2所述的云相框的生产控制系统，其特征在于，所述表观质量评估单元，包括：
特征图展开子单元，用于将所述优化空间显化云相框表面纹理特征图按照行向量或者列向量展开为分类特征向量；
全连接编码子单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类子单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311324032.2A CN117078670B (zh) | 2023-10-13 | 2023-10-13 | 一种云相框的生产控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311324032.2A CN117078670B (zh) | 2023-10-13 | 2023-10-13 | 一种云相框的生产控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117078670A CN117078670A (zh) | 2023-11-17 |
| CN117078670B true CN117078670B (zh) | 2024-01-26 |
Family
ID=88717388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311324032.2A Active CN117078670B (zh) | 2023-10-13 | 2023-10-13 | 一种云相框的生产控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078670B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522861B (zh) * | 2023-12-26 | 2024-04-19 | 吉林大学 | 用于动物肩袖损伤的智能监测系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103561072A (zh) * | 2013-10-25 | 2014-02-05 | 李俊松 | 一种基于互联网的云数据处理方法及云数码相框 |
| WO2016024651A1 (ko) * | 2014-08-13 | 2016-02-18 | 주식회사 탱그램디자인연구소 | 전자 액자 시스템 및 방법 |
| CN110840182A (zh) * | 2019-09-27 | 2020-02-28 | 天津中德应用技术大学 | 相框智能生产线自动控制方法 |
| CN113989216A (zh) * | 2021-10-25 | 2022-01-28 | 贵州大学 | 基于自注意力的对抗自编码器纹理表面缺陷检测方法 |
| CN116167989A (zh) * | 2023-02-10 | 2023-05-26 | 昇兴博德新材料温州有限公司 | 铝杯的智能化生产方法及其系统 |
-
2023
- 2023-10-13 CN CN202311324032.2A patent/CN117078670B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103561072A (zh) * | 2013-10-25 | 2014-02-05 | 李俊松 | 一种基于互联网的云数据处理方法及云数码相框 |
| WO2016024651A1 (ko) * | 2014-08-13 | 2016-02-18 | 주식회사 탱그램디자인연구소 | 전자 액자 시스템 및 방법 |
| CN110840182A (zh) * | 2019-09-27 | 2020-02-28 | 天津中德应用技术大学 | 相框智能生产线自动控制方法 |
| CN113989216A (zh) * | 2021-10-25 | 2022-01-28 | 贵州大学 | 基于自注意力的对抗自编码器纹理表面缺陷检测方法 |
| CN116167989A (zh) * | 2023-02-10 | 2023-05-26 | 昇兴博德新材料温州有限公司 | 铝杯的智能化生产方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117078670A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090902B (zh) | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 | |
| CN111340144B (zh) | 风险样本检测方法、装置、电子设备及存储介质 | |
| CN117078670B (zh) | 一种云相框的生产控制系统 | |
| CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
| CN116448019B (zh) | 建筑节能工程质量平面度智能检测装置及方法 | |
| Fu et al. | Blind image quality assessment for multiply distorted images via convolutional neural networks | |
| WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN116385430A (zh) | 一种机器视觉瑕疵检测方法、装置、介质及设备 | |
| CN114548253A (zh) | 一种基于图像识别及动态匹配的数字孪生模型构建系统 | |
| CN108257117B (zh) | 图像曝光度的评测方法及装置 | |
| CN112348809B (zh) | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 | |
| CN112766419A (zh) | 一种基于多任务学习的图像质量评估方法及装置 | |
| CN110136098B (zh) | 一种基于深度学习的线缆顺序检测方法 | |
| CN116796248A (zh) | 森林康养环境评估系统及其方法 | |
| CN117252459A (zh) | 一种基于深度学习的水果质量评估系统 | |
| CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 | |
| CN116977271A (zh) | 缺陷检测方法、模型训练方法、装置及电子设备 | |
| CN110555384A (zh) | 基于图像数据的牛肉大理石纹自动分级系统及方法 | |
| CN115601747A (zh) | 一种贴壁细胞汇合度的计算方法和系统 | |
| CN114964628A (zh) | 一种氨气泄漏混洗自注意力轻量化红外检测方法及系统 | |
| CN115063672A (zh) | 基于改进yolox模型的小目标检测方法 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| CN113627302A (zh) | 一种登高施工合规性检测方法及系统 | |
| CN113112515B (zh) | 一种纹样图像分割算法评价方法 | |
| CN117078604B (zh) | 无人实验室智能管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |