CN117726990A - 纺丝车间的检测方法、装置、电子设备及存储介质 - Google Patents
纺丝车间的检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117726990A CN117726990A CN202311823451.0A CN202311823451A CN117726990A CN 117726990 A CN117726990 A CN 117726990A CN 202311823451 A CN202311823451 A CN 202311823451A CN 117726990 A CN117726990 A CN 117726990A
- Authority
- CN
- China
- Prior art keywords
- decoder
- image
- sub
- fault
- decoder module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009987 spinning Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000004886 process control Methods 0.000 claims abstract description 32
- 230000003044 adaptive effect Effects 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 24
- 238000012423 maintenance Methods 0.000 claims description 17
- 239000000463 material Substances 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 5
- 239000000155 melt Substances 0.000 description 19
- 238000009826 distribution Methods 0.000 description 15
- 229920000728 polyester Polymers 0.000 description 10
- 238000009413 insulation Methods 0.000 description 9
- 238000010438 heat treatment Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000004321 preservation Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010259 detection of temperature stimulus Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006068 polycondensation reaction Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了纺丝车间的检测方法、装置、电子设备及存储介质。涉及数据处理领域。该方法包括：对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，得到待处理图像；从待处理图像中提取出第一图像特征；基于解码器网络处理第一图像特征，得到故障检测结果；其中，解码器网络中包括依序串联的多个解码器模块；针对每个解码器模块：解码器模块中包括解码器层和自适应分类头；且，自适应分类头用于对解码器层的输出特征进行分类预测，得到第一故障分类结果；解码器网络输出的故障检测结果包括解码器网络的最后一层解码器模块输出的第二故障分类结果，以及最后一层解码器模块输出的故障位置。本公开实施例对纺丝车间进行可自动化监控。
Description
技术领域
本公开涉及数据处理领域，尤其涉及人工智能、计算机视觉等技术领域。
背景技术
在纺丝工艺的工业场景中，纺丝车间的纺丝箱体在生产化纤产品的流程中起着至关重要的作用。但是基于人工对纺丝箱体的检查效率低，因此，如何高效的对纺丝车间进行巡检，是现在面临的一个问题。
发明内容
本公开提供了一种纺丝车间的检测方法、装置、电子设备及存储介质，以解决或缓解相关技术中的一项或更多项技术问题。
第一方面，本公开提供了一种纺丝车间的检测方法，包括：
对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，得到待处理图像；
从待处理图像中提取出第一图像特征；
基于解码器网络处理第一图像特征，得到针对工艺控制装置的故障检测结果；
其中，解码器网络中包括依序串联的多个解码器模块；
针对每个解码器模块：解码器模块中包括解码器层和自适应分类头；且，自适应分类头用于对解码器层的输出特征进行分类预测，得到第一故障分类结果；并基于预设的分类校准矩阵更新第一故障分类结果，得到解码器模块输出的第二故障分类结果；
解码器网络输出的故障检测结果包括解码器网络的最后一层解码器模块输出的第二故障分类结果，以及最后一层解码器模块输出的故障位置。
第二方面，本公开提供了一种纺丝车间的检测装置，包括：
采集单元，用于对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，得到待处理图像；
提取单元，用于从待处理图像中提取出第一图像特征；
处理单元，用于基于解码器网络处理第一图像特征，得到针对工艺控制装置的故障检测结果；
其中，解码器网络中包括依序串联的多个解码器模块；
针对每个解码器模块：解码器模块中包括解码器层和自适应分类头；且，自适应分类头用于对解码器层的输出特征进行分类预测，得到第一故障分类结果；并基于预设的分类校准矩阵更新第一故障分类结果，得到解码器模块输出的第二故障分类结果；
解码器网络输出的故障检测结果包括解码器网络的最后一层解码器模块输出的第二故障分类结果，以及最后一层解码器模块输出的故障位置。
第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
本公开实施例中，可自动化的实现对纺丝车间内纺丝箱体的监控，以便于能够及时发现故障区域以及故障类型。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开提供的一些实施方式，而不应将其视为是对本公开范围的限制。
图1是根据本公开一实施例中纺丝车间的检测方法的流程示意图；
图2是根据本公开一实施例中解码器网络的示意图；
图3是根据本公开一实施例中获取掩码图的示意图；
图4是根据本公开一实施例中解码器网络的另一示意图；
图5是根据本公开一实施例中纺丝车间的检测方法的整体框架示意图；
图6是根据本公开一实施例中纺丝车间的检测装置的结构示意图；
图7是用来实现本公开实施例的纺丝车间的检测方法的电子设备的框图。
具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在纺丝工艺的工业场景中，纺丝车间的纺丝箱体在生产化纤产品的流程中起着至关重要的作用。纺丝箱体的重要组件包括纺丝组件以及纺丝组件背面的工艺控制装置。本公开实施例中工艺控制装置的关键部件包括加热装置、熔体分配管、辅料输送管、计量泵等。其中，熔体分配管具有保温层，加热装置需要保证熔体分配管内熔体的温度，以便于将熔体分配到计量泵中。计量泵将熔体均匀分流至纺丝箱体的每个组件中，经纺丝组件内喷丝板的细孔形成熔体细流，熔体细流出喷丝板后经自然冷却形成丝线。
其中，熔体需要在纺丝箱体的配管中保温处理，以尽可能的保证温度均匀。
本公开实施例中主要涉及针对纺丝组件背面的工艺控制装置的故障检测。尤其是针对加热装置、熔体分配管、辅料输送管的检测。为便于描述和理解，本公开实施例中将加热装置和熔体分配管统称为温控系统。
此外，本公开实施例还能够实现对纺丝组件背面的空旷区域的检测等，以提高纺丝车间的检测效率。
需要说明的是，本公开实施例的方案中涉及的纺丝产品的主要类型可以包括预取向丝（Partially Oriented Yarns，POY）、全牵伸丝（Fully Drawn Yarns，FDY）、涤纶短纤维（Polyester staple fiber）等的一种或多种。例如，丝的类型具体可以包括涤纶预取向丝（Polyester Partially Oriented Yarns）、涤纶全牵伸丝（Polyester Fully DrawnYarns）、涤纶牵伸丝（Polyester Drawn Yarns）、涤纶短纤维（Polyester staple fiber）等。
为了自动且准确的对纺丝车间进行检测，本公开实施例中借助DETR（DEtectionTransformer，目标检测架构），提出了一种纺丝车间的检测方法，如图1所示，包括：
S101，对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，得到待处理图像。
其中，可以使用无人机对对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，工艺控制装置可以包括温控系统和辅料输送管。温控系统中包括熔体分配管，其外层包裹有保温层。熔体分配管用于将经过终缩聚反应釜产生的熔体从该管道输送至计量泵后均匀分配至纺丝箱体的纺丝组件内进行处理。由于该熔体分配管需要保温处理，检测时需要采集该熔体分配管的图像以确定保温层有无破损，进而进一步保证熔体分配管的温度。其中，辅料输送管，用于传输工业辅料。
温控系统中还包括加热装置。该加热装置在工作过程中需要保持安全门处于关闭状态。
S102，从待处理图像中提取出第一图像特征。
S103，基于解码器网络处理该第一图像特征，得到针对工艺控制装置的故障检测结果。
其中，该解码器网络中包括依序串联的多个解码器模块；针对每个解码器模块：该解码器模块中包括解码器层和自适应分类头；且，自适应分类头用于对解码器层的输出特征进行分类预测，得到第一故障分类结果；并基于预设的分类校准矩阵更新第一故障分类结果，得到解码器模块输出的第二故障分类结果。解码器网络输出的故障检测结果包括解码器网络的最后一层解码器模块输出的第二故障分类结果，以及最后一层解码器模块输出的故障位置。
其中，解码器网络可以如图2所示，示出了n个解码器模块，n为正整数。在图2中，解码器模块1、解码器模块2、…、解码器模块n依序串联。解码器模块1包括解码器层1和自适应分类头1，每个解码器层可包括自注意力模块和连接在该自注意力模块之后的交叉注意力模块（图中未示出）。针对解码器网络中第一个解码器模块之后的每个解码器模块：会基于该解码器模块的上一解码器模块输出的输出特征，构建该解码器模块中的所需的查询向量（Q）、键向量（K）和值向量（V）。解码器层1下面串联自适应分类头1，自适应分类头1用于对解码器层1的输出特征进行分类预测，得到第一故障分类结果，并基于预设的分类校准矩阵更新第一故障分类结果，得到解码器模块输出的第二故障分类结果。也即，每个解码器模块的结构基本一致，都会得到各自的第一故障分类结果和第二故障分类结果。
在n个解码器模块全部处理完成的情况下，得到解码器网络的最后一层解码器模块输出的第二故障分类结果。
该第一故障分类结果可表示为，/>表示第L层的解码器层L的属于第i个分类的分类预测，L为大于等于1小于等于n的正整数。假设解码器层L的预设的分类校准矩阵为/>，更新第一故障分类结果的更新方式如表达式（1）所示：
其中，预设的分类校准矩阵中为一组可学习的偏差向量/>；m表示共有m个故障分类。/>表示解码器层L输出的输出特征。
本公开实施例中，解码器网络是基于Transformer（变换）网络结构来构建的。
本公开实施例中，解码器网络中包括依序串联的多个解码器模块；每个解码器模块中包括解码器层和自适应分类头；且，所述自适应分类头用于对所述解码器层的输出特征进行分类预测，得到第一故障分类结果。使用自适应分类头的方式旨在基于自适应分类头对每层的预测结果进行校准，以提高检测性能。本公开实施例中，提出对纺丝车间内纺丝箱体背面进行图像采集，得到待处理图像，进而从待处理图像中提取出第一图像特征，基于解码器网络处理第一图像特征，得到针对工艺控制装置的故障检测结果，该方式可自动化的实现对纺丝车间内纺丝箱体的监控，以便于能够及时发现故障区域以及故障类型。
本公开实施例的整体流程分为以下三个部分，获取第一图像特征、解码器网络优化、获取故障检测结果，下面对这三部分进行详细说明：
1）获取第一图像特征
在一些实施例中，从所述待处理图像中提取出第一图像特征，可实施为：
步骤A1，将待处理图像输入骨干网络，得到初始图像特征。
可采用的骨干网络例如包括vggnet（Visual Geometry Group Net，计算机视觉网络）、resnet（残差网络）和inception（开端）网络等。当然，本公开实施例对于具体的骨干网络不作过多限定。
步骤A2，将初始图像特征输入编码器网络，得到所述第一图像特征。
其中，编码器网络可以为Transformer编码器。
其中，得到第一图像特征后，可进一步结合默认的初始查询特征进行解码处理。该初始查询特征Q 0 会随着后续的解码器网络进行迭代更新。
本公开实施例中，使用骨干网络以及编码器网络对待处理图像进行特征提取，可以精确的获取到用于故障检测的第一图像特征。
在一些实施例中，如前文所阐述的，保温层的温度控制对纺丝流程是比较重要的，因此，本公开实施例中在基于红外摄像头采集到纺丝车间的热力图的情况下，从待处理图像中提取出第一图像特征，还可实施为：
步骤B1，将待处理图像输入分割一切模型，得到目标位置的掩码图。
其中，将待处理图像输入分割一切模型的示意图，可如图3所示，将待处理图像输入图像特征提取网络，得到编码特征。使用至少一层卷积层对该预设掩码进行卷积处理得到掩码特征。其中，该预设掩码可以是基于点或框的掩码。也可以是基于其他的分割网络进行对象分割得到的掩码。掩码特征和该编码特征融合后，输入掩码解码器。同时，提示信息（包括点、框和文字中的至少一种）也输入掩码解码器。掩码解码器处理后，可得到目标位置的掩码图。本公开实施例中的，目标位置可以为保温层中的破损位置。
实施时，可预先采集保温层破损位置的图像样本。基于该图像样本构建破损位置特征。例如可对破损位置的像素值进行统计分析，得到像素值分布情况作为破损位置特征。像素值分布情况可采用不同像素值区间的像素量来表示。再例如，可以对破损位置进行特征提取，得到破损位置特征。
本公开实施例中通过控制无人机在指定巡检路径上定点采集图像。也即，针对纺丝箱体的工艺控制装置中同一检测区域，先后采集的图像内容基本相似。由此，本公开实施例中针对同一检测区域采集的待处理图像，可预先标记出多个候选检测框。针对每个待处理图像，从各候选检测框中基于破损位置特征筛选出像素点或像素框，以此来构建分割一切模型的提示信息。
具体的，在破损位置特征为像素值分布情况时，可从该候选检测框中任一点开始按m邻域获取到多个像素点，然后统计得到待比对像素分布，将待比对像素分别和破损位置特征进行匹配，计算匹配度，在匹配度高于阈值时，得到分割一切模型的提示信息中的点和/或框。m为正整数。
在破损位置特征通过特征提取得到时，可对候选检测框进行特征提取，得到待比对特征，将待比对特征和破损位置特征匹配，在匹配度高于阈值时，得到分割一切模型的提示信息中的点和/或框。
步骤B2，基于目标位置的掩码图，生成最小矩形包围盒以容纳目标位置的掩码图。
可以理解为，预先构建的提示信息中的点和框是粗略的确定破损位置。而通过分割一切模型，在提示信息的帮助下，完善和优化破损位置，由此得到更为准确的掩码图。
为了能够提高故障检测的准确性，本公开实施例中，将从多个层面来描述目标位置的特征。具体的，可如步骤B3-步骤B7所示。
步骤B3，基于最小矩形包围盒从所述待处理图像中裁剪出可视子图，以及从与所述待处理图像的取景范围相同的热力图中裁剪出所述最小矩形包围盒内的热力子图。
步骤B4，将可视子图输入骨干网络，得到第一子图特征。
步骤B5，将第一子图特征输入编码器网络，得到待融合子图特征。
步骤B6，从热力子图中提取出热力特征。
需要说明的是步骤B6的执行时机合理即可，不限制在步骤B5后执行。
其中，可以使用长短期记忆网络（long short-term memory，LSTM）对热力子图进行处理，得到热力特征。例如，可控制无人机按照同一巡检路线，并定点采集图像。采集图像时的取景范围是近乎相同的。因此多次巡检过程中，同一位置点的多张图像包含的对象几乎是一致的。可获取预设时长内的多张热力图中该最小矩形包围盒中的图像内容，得到热力子图序列，然后基于LSTM提取到温度的变化趋势特征，作为热力特征。
步骤B7，将待融合子图特征、热力特征以及分割一切模型从待处理图像的最小矩形包围盒内提取的第二子图特征进行融合处理，得到第一图像特征。
其中，融合方式可以为加权融合、拼接融合等。
本公开实施例中，可以使用分割一切模型对待处理图像进行处理，以得到目标位置的掩码图，进而得到可视子图。将可视子图输入骨干网络以及编码器网络，得到待融合子图特征，并基于可视子图得到可视子图的热力子图，进而提取到该热力子图的热力特征；将待融合子图特征、热力特征以及分割一切模型从待处理图像的最小矩形包围盒内提取的第二子图特征进行融合处理，得到第一图像特征，基于该方式可从多个维度来提取到第一图像特征，尤其其中的热力特征能够描述该目标位置的温度变化趋势，为后续得到故障检测结果奠定有力的基础。
2）解码器网络优化
为了能够进一步的提高检测的准确性，在图2的基础上，还可以增加查询排序层来优化解码器网络。如图4所示，解码器模块1、解码器模块2、…、解码器模块n依序串联。除最后一层解码器模块，其他至少一个解码器模块中包括解码器层，自适应分类头以及查询排序层。解码器模块中的解码器层1下面串联自适应分类头1，自适应分类头1下面串联查询排序层1，下面在依序串联解码器模块2中的结构，以此类推。每个解码器层可包括自注意力模块和连接在该自注意力模块之后的交叉注意力模块（图中未示出）。解码器网络包括n个解码器模块的情况下，查询向量经过n次迭代调整。
本公开实施例中为了充分发挥排序的优势，定义每个解码器模块的查询向量均是由第一子特征和第二子特征/>两部分组成。所述第一子特征用于捕获语义类别信息；所述第二子特征用于编码故障的位置信息，如边界框中心和大小的分布。
下面对查询向量中的这两个子特征进行更新的方式进行说明，具体包括如下内容：
1）第一子特征的更新
如前文所述阐述的，每个解码器模块的查询向量中包括第一子特征；所述解码器网络中除第一个解码器模块之外的至少一个解码器模块还包括查询排序层；针对包括所述查询排序层的解码器模块，所述解码器模块基于以下方法更新所述解码器模块的第一子特征：
步骤C1，基于所述解码器模块输出的第二故障分类结果对所述解码器模块的第一子特征中的第一元素进行降序处理，得到第一中间特征。
其中，第L-1层的解码器模块的第一中间特征如表达式（2）所示：
其中，为第L-1层的解码器模块的第一中间特征；/>为第L-1层解码器模块输出的第二故障分类结果；/>为第一子特征，第一子特征中的各元素均可分别称之为第一元素。
每个解码器模块不仅输出第二故障分类结果，且输出w个检测框，w为正整数。相应的，第一子特征中则包括w个元素，第一子特征中每个元素对应一个检测框。同样包括w个元素，每个元素对应一个检测框的故障分类结果，预设的故障类型为m个，该任一检测框的故障分类结果为对每个预设的故障类型的概率分布{m1，m2，…，mm}，m1表示该检测框属于故障类型1的概率；m2表示该检测框属于故障类型2的概率。使用该检测框的故障分类结果中的最大概率，对第一子特征中元素进行降序排序。
步骤C2，将所述第一中间特征和预设的内容校准矩阵进行拼接，得到第一拼接特征。
步骤C3，基于全连接层处理所述第一拼接特征，得到所述解码器模块的下一解码器模块所需的第一子特征。
在得到第L-1层的解码器模块的第一中间特征的基础上，下一解码器模块的第一子特征如表达式（3）所示：
其中，为预设的内容校准矩阵，将/> 使用/>进行拼接处理，得到第一拼接特征；其中L也为解码器模块的编号。由于得到的第一拼接特征可能与/>的原维度不一致，因此使用全连接层(mlfuse)将其融合回原始维度，以便于下一层解码器模块对其进行处理。
本公开实施例中，借助上一层的第二故障分类结果对上一层的第一中间特征进行排序，进而基于第一中间特征以及预设的内容校准矩阵对该层的第一子特征进行调整，以通过优化排序获取到描述更为精准的该层解码器模块所需的第一子特征。
如前文所述阐述的，查询向量中还包括第二子特征；所述第二子特征用于编码故障的位置信息；且所述第一子特征和所述第二子特征的元素个数相同。
针对包括所述查询排序层的解码器模块，为了使第二子特征的顺序与排名的第一子特征保持一致，根据不同的基于DETR的检测器对第二子特征进行排序或重新创建第二子特征。
在一种可能的实施方式中，对于H-DETR（hybrid matching approach，混合匹配方法）检测器，对所有层的解码器模块使用相同的第二子特征，只需对前一层的第二子特征进行排序，所述解码器模块基于以下方法更新所述解码器模块的第二子特征：
对解码器模块的第二子特征的更新方式如表达式（4）所示：
其中，为第L-1层解码器模块输出的第二故障分类结果，/>为第L-1层的解码器模块的第二子特征；/>为第L层的解码器模块所需的第二子特征。
实施时，还是以w个检测框为例，则第L-1层解码器模块的第二子特征中则包括w个元素，第L-1层解码器模块的第二子特征中每个元素对应一个检测框。同样包括w个元素，每个元素对应一个检测框的故障分类结果，预设的故障类型为m个，该任一检测框的故障分类结果为对每个预设的故障类型的概率分布{m1，m2，…，mm}，m1表示该检测框属于故障类型1的概率；m2表示该检测框属于故障类型2的概率。使用该检测框的故障分类结果中最大概率，对第L-1层解码器模块的第二子特征中每个检测框对应的元素进行降序排序，以得到第L层解码器模块的第二子特征。
在另一种可能的实施方式中，对于DINO-DETR检测器（DETR withImproveddeNoising anchOr boxes，提高降噪锚框的DETR），解码器模块基于以下方法更新所述解码器模块的第二子特征：
步骤D1，基于解码器模块输出的第二故障分类结果对所述解码器模块的第二子特征进行降序处理，得到第二中间特征。
其中，第L层的解码器模块的第二中间特征如表达式（5）所示：
其中，为第L-1层解码器模块输出的第二故障分类结果；/>为第L-1层的解码器模块的第二子特征；/>为第二中间特征。
实施时，具体的排序方式与前述第一子特征的排序方式相似，本公开实施例对此不进行一一赘述。
步骤D2，基于正弦位置编码函数和多层感知机重建所述第二中间特征，得到所述解码器模块的下一解码器模块所需的第二子特征。
第L层的解码器模块的第二子特征如表达式（6）所示：
其中，PE(·)即为正弦位置编码函数和一个小型多层感知机，用于对重新进行位置编码，以得到第L层的解码器模块的第二子特征/>。
实施时，中包括每个检测框中每个点的坐标信息，将检测框中每个点的坐标信息采用使用sine正弦编码方式进行位置编码可表达为如下式（7）所示：
（7）
在式（7）中，表示检测框中每个点在待处理图像中的坐标位置；D表示第二子特征所需的编码维度，通常D是一个给定值；T是调制温度，一般可取10000。
经过式（7）的位置编码之后，可通过多层感知机处理，得到更新后的第二子特征。
本公开实施例中，基于正弦位置编码函数和多层感知机重建所述第二中间特征，得到的下一解码器模块所需的第二子特征，可以更为精准的描述故障对象的检测框，以便于后期对其进行处理。
在一些实施例中，前文阐述了训练好的解码器网络在本公开实施例中的使用。为了能够获得合适的解码器网络，本公开实施例中，在解码器网络的训练过程中，解码器网络中每个解码器模块的分类校准矩阵是可学习的，且通过训练所述解码器网络得到，可实施为：
在训练所述解码器网络的过程中，纺丝车间中对熔体温度的控制是比较重要的，故障的识别更侧重于保温层的保温效果的评价，随便初始化分类校准矩阵可能距离理想的状态较远，为了能够加速模型收敛，本公开实施例中可基于以下方法初始化所述分类校准矩阵：
步骤H1，从对所述工艺控制装置采集的热力图样本中，分割出故障区域的子样本。
步骤H2，基于所述子样本和所述故障区域在正常工作状态下的样本数据之间的差异，初始化所述分类校准向量。
本公开实施例中，基于子样本和所述故障区域在正常工作状态下的样本数据之间的差异，初始化所述分类校准向量，以使得分类校准向量的初始状态能够基于保温层的温度信息来表达，以便于加速模型训练收敛的速度，尽快帮助学习到可用的分类校准向量。
3）获取故障检测结果
在一些实施例中，如前文所述阐述的工艺控制装置中包括温控系统，温控系统包括加热装置和溶体分配管。针对温度的检测，可实施为：
步骤E1，基于红外摄像头，获取所述温控系统的热力图。
步骤E2，针对所述温控系统的目标部件，从所述热力图中提取所述目标部件的图像块。
其中，目标部件即为熔体分配管，也可以为加热装置。
步骤E3，基于所述目标部件的图像块与所述目标部件的标准图像块进行比对，得到所述目标部件的图像块与所述目标部件的标准图像块之间的差异信息。
该目标部件的标准图像块即为该目标部件的标准温度范围。将采集的目标部件的图像块与目标图像的标准温度范围进行比对，以得到二者的差异信息。具体的，可基于相同像素位置的像素值差距的统计信息来表达差异信息。统计信息例如为均值、方差等。此外，还可以采用预先训练的模型分别提取二者的特征矩阵，然后计算特征矩阵之间的差距，得到该差异信息。
步骤E4，基于所述差异信息检测所述目标部件的温度是否在正常温度范围内。
在目标部件的图像块属于目标图像的标准温度范围的情况下，确定该目标部件无异常；在目标部件的图像块不属于目标图像的标准温度范围的情况下，确定该目标部件存在异常。结合故障检测结果中的解码器网络的最后一层解码器模块输出的第二故障分类结果，以及最后一层解码器模块输出的故障位置，确定异常情况。
本公开实施例中，采集目标部件的热力图与该目标部件的标准图像块进行比对，以确定该时刻的目标部件的温度是否正常。
在一些实施例中，所述故障检测结果中的第二故障分类结果中包括故障类别和故障等级，所述方法还可实施为：
步骤F1，在所述故障检测结果表示所述工艺控制装置的温控系统出现故障，且故障等级高于预设等级的情况下，生成维修任务；所述维修任务中包括维修任务的紧急程度以及所述故障检测结果。
步骤F2，将所述维修任务推送给目标客户端。
其中，举例来说，在检测到温控系统中的溶体分配管上面的保温层破损过大（例如破损深度大于预设深度，破损半径大于预设半径），且已经影响保温管道的温度（例如基于热力图发现异常）的情况下，则该故障检测结果即为最高风险，需要及时处理。在检测到温控系统中的保温管道上面的保温层破损过小，且已经不影响保温管道的温度的情况下，则该故障检测结果即为较低风险，可以先将该维修任务进行记录，使得工作人员进行定期处理。
本公开实施例中，基于故障的紧急程度执行不同的处理策略，可以适应性的基于实际情况进行调整。
在一些实施例中，由于纺丝车间的空旷地区可能存在工程辅料堆积的情况，因此需要对空旷区域也进行图像采集，可实施为：
步骤G1，对所述纺丝车间内纺丝箱体的空旷区域进行图像采集，得到目标图像。
步骤G2，基于所述目标图像，对所述空旷区域内的工程辅料堆积情况进行检测，得到检测结果。
步骤G3，基于所述检测结果和所述空旷区域的历史检测结果，生成检测记录。
在检测结果为位置坐标1中存在工程辅料堆积的情况，历史检测结果中已经存在两条“位置坐标1中存在工程辅料堆积”的记录，因此将该检测结果继续记录，记录为第三条“位置坐标1中存在工程辅料堆积”。
步骤G4，将检测记录与上报策略集合进行匹配操作。
其中，上报策略集合为在同一条检测记录为1条的情况下，上报给一级工作人员；在同一条检测记录为2条的情况下，上报给二级工作人员；在同一条检测记录为q条的情况下，上报给q级工作人员，以此类推。q级管理人员为q-1级管理人员的上级管理，以此类推，二级管理人员为一级管理人员的上级。
步骤G5，基于从所述上报策略集合中匹配到的上报策略，生成报警信息。
本公开实施例中，基于工程辅料堆积的情况对应不同的上报策略，以避免工作人员遗忘的情况，以补全管理上的漏洞。
综上，一种可能的实施方式中，本公开实施例中提出的纺丝车间的检测方法适用的网络框架如图5所示，将待处理图像输入骨干网络，得到初始图像特征；将所述初始图像特征输入编码器网络，得到所述第一图像特征。将第一图像特征输入解码器网络，该解码器网络包括n个解码器模块。
本公开实施例中查询向量经初始化得到，对待处理图像划分为多个格子，对各个格子进行位置编码，得到目标位置编码PE。将初始化查询向量/>和目标位置编码PE融合处理后，作为第一个解码器模块1中自注意力模块1的查询向量Q；目标位置编码PE作为第一个解码器模块1中自注意模块1的K和V。自注意模块1的输出为自注意特征TE1。
自注意特征TE1和目标位置编码PE融合，作为第一个解码器模块1中交叉注意力模块1的Q、第一图像特征作为交叉注意力模块1的V、第一图像特征和编码器网络的输入中的预设位置编码CE（该位置编码是可以相机的位置编码，例如相机在巡检路线中的位置编码）的融合特征作为交叉注意力模块1的K。
针对之后的每个解码器模块L，其自注意力模块L的Q、K和V，基于目标位置编码PE和上一解码器模块更新后的Q来构建。例如，K和V均为目标位置编码PE，其Q为基于上一解码器模块更新后的Q。
针对之后的每个解码器模块L，其交叉注意力模块L的Q、K和V，基于自注意特征TEL、第一图像特征和预设位置编码来构建。例如其Q为自注意力模块L输出的自注意特征TEL；其V为第一图像特征；其K为第一图像特征和预设位置编码的融合特征。
在处理过程中，经过各层解码器层、自适应分类头和查询排序层的处理，得到最终的故障检测结果和故障位置。
基于相同的技术构思，本公开实施例还提供了一种纺丝车间的检测装置600，如图6所示，包括：
采集单元601，用于对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，得到待处理图像；
提取单元602，用于从待处理图像中提取出第一图像特征；
处理单元603，用于基于解码器网络处理第一图像特征，得到针对工艺控制装置的故障检测结果；
其中，解码器网络中包括依序串联的多个解码器模块；
针对每个解码器模块：解码器模块中包括解码器层和自适应分类头；且，自适应分类头用于对解码器层的输出特征进行分类预测，得到第一故障分类结果；并基于预设的分类校准矩阵更新第一故障分类结果，得到解码器模块输出的第二故障分类结果；
解码器网络输出的故障检测结果包括解码器网络的最后一层解码器模块输出的第二故障分类结果，以及最后一层解码器模块输出的故障位置。
在一些实施例中，每个解码器模块的查询向量中包括第一子特征，所述第一子特征用于捕获语义类别信息；
所述解码器网络中除最后一个解码器模块之外的至少一个解码器模块还包括查询排序层；所述装置还包括：
第一更新单元，用于针对包括所述查询排序层的解码器模块，通过解码器模块基于以下方法更新所述解码器模块的第一子特征：
基于所述解码器模块输出的第二故障分类结果对所述解码器模块的第一子特征中的第一元素进行降序处理，得到第一中间特征；
将所述第一中间特征和预设的内容校准矩阵进行拼接，得到第一拼接特征；
基于全连接层处理所述第一拼接特征，得到所述解码器模块的下一解码器模块所需的第一子特征。
在一些实施例中，每个解码器模块的查询向量中还包括第二子特征；所述第二子特征用于编码故障的位置信息；且所述第一子特征和所述第二子特征的元素个数相同；
所述装置还包括：
第二更新单元，用于针对包括所述查询排序层的解码器模块，通过所述解码器模块基于以下方法更新所述解码器模块的第二子特征：
所述解码器模块输出的第二故障分类结果对所述解码器模块的第二子特征进行降序处理，得到第二中间特征；
基于正弦位置编码函数和多层感知机重建所述第二中间特征，得到所述解码器模块的下一解码器模块所需的第二子特征。
在一些实施例中，所述故障检测结果中的第二故障分类结果中包括故障类别和故障等级，还包括推送单元，用于：
在所述故障检测结果表示所述工艺控制装置的温控系统出现故障，且故障等级高于预设等级的情况下，生成维修任务；所述维修任务中包括维修任务的紧急程度以及所述故障检测结果；
将所述维修任务推送给目标客户端。
在一些实施例中，所述提取单元602，用于：
将所述待处理图像输入骨干网络，得到初始图像特征；
将所述初始图像特征输入编码器网络，得到所述第一图像特征。
在一些实施例中，所述提取单元602，用于：
将所述待处理图像输入分割一切模型，得到目标位置的掩码图；
基于所述目标位置的掩码图，生成最小矩形包围盒以容纳所述目标位置的掩码图；
基于所述最小矩形包围盒从所述待处理图像中裁剪出可视子图，以及从与所述待处理图像的取景范围相同的热力图中裁剪出所述最小矩形包围盒内的热力子图；
将所述可视子图输入骨干网络，得到第一子图特征；
将所述第一子图特征输入编码器网络，得到待融合子图特征；以及，
从所述热力子图中提取出热力特征；
将所述待融合子图特征、所述热力特征以及所述分割一切模型从所述待处理图像的所述最小矩形包围盒内提取的第二子图特征进行融合处理，得到所述第一图像特征。
在一些实施例中，所述工艺控制装置中包括温控系统，还包括温度检测单元，用于：
基于红外摄像头，获取所述温控系统的热力图；
针对所述温控系统的目标部件，从所述热力图中提取所述目标部件的图像块；
基于所述目标部件的图像块与所述目标部件的标准图像块进行比对，得到所述目标部件的图像块与所述目标部件的标准图像块之间的差异信息；
基于所述差异信息检测所述目标部件的温度是否在正常温度范围内。
在一些实施例中，还包括告警单元，用于：
对所述纺丝车间内纺丝箱体的空旷区域进行图像采集，得到目标图像；
基于所述目标图像，对所述空旷区域内的工程辅料堆积情况进行检测，得到检测结果；
基于所述检测结果和所述空旷区域的历史检测结果，生成检测记录；
将所述检测记录与上报策略集合进行匹配操作；
基于从所述上报策略集合中匹配到的上报策略，生成报警信息。
在一些实施例中，所述解码器网络中每个解码器模块的分类校准矩阵是可学习的，且通过训练所述解码器网络得到，还包括初始化单元，用于：
在训练所述解码器网络的过程中，基于以下装置初始化所述分类校准矩阵：
从对所述工艺控制装置采集的热力图样本中，分割出故障区域的子样本；
基于所述子样本和所述故障区域在正常工作状态下的样本数据之间的差异，初始化所述分类校准向量。
本公开实施例的装置的各模块、子模块\单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
图7为根据本公开一实施例的电子设备的结构框图。如图7所示，该电子设备包括：存储器710和处理器720，存储器710内存储有可在处理器720上运行的计算机程序。存储器710和处理器720的数量可以为一个或多个。存储器710可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括：通信接口730，用于与外界设备进行通信，进行数据交互传输。
如果存储器710、处理器720和通信接口730独立实现，则存储器710、处理器720和通信接口730可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器710、处理器720及通信接口730集成在一块芯片上，则存储器710、处理器720及通信接口730可以通过内部接口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory ，DRAM) 、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (20)
1.一种纺丝车间的检测方法，其特征在于，包括：
对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，得到待处理图像；
从所述待处理图像中提取出第一图像特征；
基于解码器网络处理所述第一图像特征，得到针对所述工艺控制装置的故障检测结果；
其中，所述解码器网络中包括依序串联的多个解码器模块；
针对每个解码器模块：所述解码器模块中包括解码器层和自适应分类头；且，所述自适应分类头用于对所述解码器层的输出特征进行分类预测，得到第一故障分类结果；并基于预设的分类校准矩阵更新所述第一故障分类结果，得到所述解码器模块输出的第二故障分类结果；
所述解码器网络输出的所述故障检测结果包括所述解码器网络的最后一层解码器模块输出的第二故障分类结果，以及所述最后一层解码器模块输出的故障位置。
2.根据权利要求1所述的方法，其特征在于，每个解码器模块的查询向量中包括第一子特征，所述第一子特征用于捕获语义类别信息；
所述解码器网络中除最后一个解码器模块之外的至少一个解码器模块还包括查询排序层；
针对包括所述查询排序层的解码器模块，所述解码器模块基于以下方法更新所述解码器模块的第一子特征：
基于所述解码器模块输出的第二故障分类结果对所述解码器模块的第一子特征中的第一元素进行降序处理，得到第一中间特征；
将所述第一中间特征和预设的内容校准矩阵进行拼接，得到第一拼接特征；
基于全连接层处理所述第一拼接特征，得到所述解码器模块的下一解码器模块所需的第一子特征。
3.根据权利要求2所述的方法，其特征在于，每个解码器模块的查询向量中还包括第二子特征；所述第二子特征用于编码故障的位置信息；且所述第一子特征和所述第二子特征的元素个数相同；所述方法还包括：
针对包括所述查询排序层的解码器模块，所述解码器模块基于以下方法更新所述解码器模块的第二子特征：
基于所述解码器模块输出的第二故障分类结果对所述解码器模块的第二子特征进行降序处理，得到第二中间特征；
基于正弦位置编码函数和多层感知机重建所述第二中间特征，得到所述解码器模块的下一解码器模块所需的第二子特征。
4.根据权利要求1所述的方法，其特征在于，所述故障检测结果中的第二故障分类结果中包括故障类别和故障等级，所述方法还包括：
在所述故障检测结果表示所述工艺控制装置的温控系统出现故障，且故障等级高于预设等级的情况下，生成维修任务；所述维修任务中包括维修任务的紧急程度以及所述故障检测结果；
将所述维修任务推送给目标客户端。
5.根据权利要求1所述的方法，其特征在于，所述从所述待处理图像中提取出第一图像特征，包括：
将所述待处理图像输入骨干网络，得到初始图像特征；
将所述初始图像特征输入编码器网络，得到所述第一图像特征。
6.根据权利要求1所述的方法，其特征在于，所述从所述待处理图像中提取出第一图像特征，包括：
将所述待处理图像输入分割一切模型，得到目标位置的掩码图；
基于所述目标位置的掩码图，生成最小矩形包围盒以容纳所述目标位置的掩码图；
基于所述最小矩形包围盒从所述待处理图像中裁剪出可视子图，以及从与所述待处理图像的取景范围相同的热力图中裁剪出所述最小矩形包围盒内的热力子图；
将所述可视子图输入骨干网络，得到第一子图特征；
将所述第一子图特征输入编码器网络，得到待融合子图特征；以及，
从所述热力子图中提取出热力特征；
将所述待融合子图特征、所述热力特征以及所述分割一切模型从所述待处理图像的所述最小矩形包围盒内提取的第二子图特征进行融合处理，得到所述第一图像特征。
7.根据权利要求1所述的方法，其特征在于，所述工艺控制装置中包括温控系统，所述方法还包括：
基于红外摄像头，获取所述温控系统的热力图；
针对所述温控系统的目标部件，从所述热力图中提取所述目标部件的图像块；
基于所述目标部件的图像块与所述目标部件的标准图像块进行比对，得到所述目标部件的图像块与所述目标部件的标准图像块之间的差异信息；
基于所述差异信息检测所述目标部件的温度是否在正常温度范围内。
8.根据权利要求1所述的方法，其特征在于，还包括：
对所述纺丝车间内纺丝箱体的空旷区域进行图像采集，得到目标图像；
基于所述目标图像，对所述空旷区域内的工程辅料堆积情况进行检测，得到检测结果；
基于所述检测结果和所述空旷区域的历史检测结果，生成检测记录；
将所述检测记录与上报策略集合进行匹配操作；
基于从所述上报策略集合中匹配到的上报策略，生成报警信息。
9.根据权利要求1所述的方法，其特征在于，所述解码器网络中每个解码器模块的分类校准矩阵是可学习的，且通过训练所述解码器网络得到，所述方法还包括：
在训练所述解码器网络的过程中，基于以下方法初始化所述分类校准矩阵：
从对所述工艺控制装置采集的热力图样本中，分割出故障区域的子样本；
基于所述子样本和所述故障区域在正常工作状态下的样本数据之间的差异，初始化所述分类校准向量。
10.一种纺丝车间的检测装置，其特征在于，包括：
采集单元，用于对纺丝车间内纺丝箱体的工艺控制装置进行图像采集，得到待处理图像；
提取单元，用于从所述待处理图像中提取出第一图像特征；
处理单元，用于基于解码器网络处理所述第一图像特征，得到针对所述工艺控制装置的故障检测结果；
其中，所述解码器网络中包括依序串联的多个解码器模块；
针对每个解码器模块：所述解码器模块中包括解码器层和自适应分类头；且，所述自适应分类头用于对所述解码器层的输出特征进行分类预测，得到第一故障分类结果；并基于预设的分类校准矩阵更新所述第一故障分类结果，得到所述解码器模块输出的第二故障分类结果；
所述解码器网络输出的所述故障检测结果包括所述解码器网络的最后一层解码器模块输出的第二故障分类结果，以及所述最后一层解码器模块输出的故障位置。
11.根据权利要求10所述的装置，其特征在于，每个解码器模块的查询向量中包括第一子特征，所述第一子特征用于捕获语义类别信息；
所述解码器网络中除最后一个解码器模块之外的至少一个解码器模块还包括查询排序层；所述装置还包括：
第一更新单元，用于针对包括所述查询排序层的解码器模块，通过解码器模块基于以下方法更新所述解码器模块的第一子特征：
基于所述解码器模块输出的第二故障分类结果对所述解码器模块的第一子特征中的第一元素进行降序处理，得到第一中间特征；
将所述第一中间特征和预设的内容校准矩阵进行拼接，得到第一拼接特征；
基于全连接层处理所述第一拼接特征，得到所述解码器模块的下一解码器模块所需的第一子特征。
12.根据权利要求11所述的装置，其特征在于，每个解码器模块的查询向量中还包括第二子特征；所述第二子特征用于编码故障的位置信息；且所述第一子特征和所述第二子特征的元素个数相同；
所述装置还包括：
第二更新单元，用于针对包括所述查询排序层的解码器模块，通过所述解码器模块基于以下方法更新所述解码器模块的第二子特征：
所述解码器模块输出的第二故障分类结果对所述解码器模块的第二子特征进行降序处理，得到第二中间特征；
基于正弦位置编码函数和多层感知机重建所述第二中间特征，得到所述解码器模块的下一解码器模块所需的第二子特征。
13.根据权利要求10所述的装置，其特征在于，所述故障检测结果中的第二故障分类结果中包括故障类别和故障等级，还包括推送单元，用于：
在所述故障检测结果表示所述工艺控制装置的温控系统出现故障，且故障等级高于预设等级的情况下，生成维修任务；所述维修任务中包括维修任务的紧急程度以及所述故障检测结果；
将所述维修任务推送给目标客户端。
14.根据权利要求10所述的装置，其特征在于，所述提取单元，用于：
将所述待处理图像输入骨干网络，得到初始图像特征；
将所述初始图像特征输入编码器网络，得到所述第一图像特征。
15.根据权利要求10所述的装置，其特征在于，所述提取单元，用于：
将所述待处理图像输入分割一切模型，得到目标位置的掩码图；
基于所述目标位置的掩码图，生成最小矩形包围盒以容纳所述目标位置的掩码图；
基于所述最小矩形包围盒从所述待处理图像中裁剪出可视子图，以及从与所述待处理图像的取景范围相同的热力图中裁剪出所述最小矩形包围盒内的热力子图；
将所述可视子图输入骨干网络，得到第一子图特征；
将所述第一子图特征输入编码器网络，得到待融合子图特征；以及，
从所述热力子图中提取出热力特征；
将所述待融合子图特征、所述热力特征以及所述分割一切模型从所述待处理图像的所述最小矩形包围盒内提取的第二子图特征进行融合处理，得到所述第一图像特征。
16.根据权利要求10所述的装置，其特征在于，所述工艺控制装置中包括温控系统，还包括温度检测单元，用于：
基于红外摄像头，获取所述温控系统的热力图；
针对所述温控系统的目标部件，从所述热力图中提取所述目标部件的图像块；
基于所述目标部件的图像块与所述目标部件的标准图像块进行比对，得到所述目标部件的图像块与所述目标部件的标准图像块之间的差异信息；
基于所述差异信息检测所述目标部件的温度是否在正常温度范围内。
17.根据权利要求10所述的装置，其特征在于，还包括告警单元，用于：
对所述纺丝车间内纺丝箱体的空旷区域进行图像采集，得到目标图像；
基于所述目标图像，对所述空旷区域内的工程辅料堆积情况进行检测，得到检测结果；
基于所述检测结果和所述空旷区域的历史检测结果，生成检测记录；
将所述检测记录与上报策略集合进行匹配操作；
基于从所述上报策略集合中匹配到的上报策略，生成报警信息。
18.根据权利要求10所述的装置，其特征在于，所述解码器网络中每个解码器模块的分类校准矩阵是可学习的，且通过训练所述解码器网络得到，还包括初始化单元，用于：
在训练所述解码器网络的过程中，基于以下装置初始化所述分类校准矩阵：
从对所述工艺控制装置采集的热力图样本中，分割出故障区域的子样本；
基于所述子样本和所述故障区域在正常工作状态下的样本数据之间的差异，初始化所述分类校准向量。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311823451.0A CN117726990B (zh) | 2023-12-27 | 2023-12-27 | 纺丝车间的检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311823451.0A CN117726990B (zh) | 2023-12-27 | 2023-12-27 | 纺丝车间的检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726990A true CN117726990A (zh) | 2024-03-19 |
| CN117726990B CN117726990B (zh) | 2024-05-03 |
Family
ID=90203433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311823451.0A Active CN117726990B (zh) | 2023-12-27 | 2023-12-27 | 纺丝车间的检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726990B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02131662A (ja) * | 1988-11-11 | 1990-05-21 | Fuji Xerox Co Ltd | 画像処理装置 |
| CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种故障检测方法、装置、设备及系统 |
| KR20200087297A (ko) * | 2018-12-28 | 2020-07-21 | 이화여자대학교 산학협력단 | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 |
| CN113570500A (zh) * | 2021-08-04 | 2021-10-29 | 光华临港工程应用技术研发(上海)有限公司 | 一种基于全局信息引导网络实现真实图像风格迁移的方法 |
| US20220027563A1 (en) * | 2020-07-24 | 2022-01-27 | Intuit Inc. | Encoder with double decoder machine learning models |
| CN115016965A (zh) * | 2022-05-30 | 2022-09-06 | 广东电网有限责任公司 | 计量自动化主站的故障检测方法、装置、设备及存储介质 |
| CN115294345A (zh) * | 2022-07-04 | 2022-11-04 | 桂林电子科技大学 | 一种基于RDE-Net的低照度图像描述方法 |
| WO2023024412A1 (zh) * | 2021-08-25 | 2023-03-02 | 平安科技（深圳）有限公司 | 基于深度学习模型的视觉问答方法及装置、介质、设备 |
| CN115941530A (zh) * | 2022-12-02 | 2023-04-07 | 中盈优创资讯科技有限公司 | 一种二层网络环路检测的方法、装置及设备 |
| WO2023092759A1 (zh) * | 2021-11-25 | 2023-06-01 | 浙江天铂云科光电股份有限公司 | 基于温度视觉的智能检测方法、装置及电子设备 |
| CN116206171A (zh) * | 2022-12-08 | 2023-06-02 | 国能铁路装备有限责任公司 | 一种车辆异物故障检测方法、装置、电子设备及存储介质 |
| CN116433898A (zh) * | 2023-02-22 | 2023-07-14 | 北京工业大学 | 一种基于语义约束的Transformer多模态影像分割方法 |
| CN116796159A (zh) * | 2023-08-17 | 2023-09-22 | 浙江恒逸石化有限公司 | 染色效果预测方法、染色效果预测模型的训练方法和装置 |
| WO2023193428A1 (zh) * | 2022-04-08 | 2023-10-12 | 中国科学院光电技术研究所 | 应用于超分辨光刻的像素化光学邻近效应修正方法及系统 |
| CN117236390A (zh) * | 2023-09-22 | 2023-12-15 | 西南石油大学 | 一种基于交叉注意力扩散模型的储层预测方法 |
| WO2023241410A1 (zh) * | 2022-06-14 | 2023-12-21 | 北京有竹居网络技术有限公司 | 数据处理方法、装置、设备及计算机介质 |
| CN117292277A (zh) * | 2023-09-21 | 2023-12-26 | 浙江工商大学 | 基于双目无人机系统与深度学习的绝缘子故障检测方法 |
-
2023
- 2023-12-27 CN CN202311823451.0A patent/CN117726990B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02131662A (ja) * | 1988-11-11 | 1990-05-21 | Fuji Xerox Co Ltd | 画像処理装置 |
| KR20200087297A (ko) * | 2018-12-28 | 2020-07-21 | 이화여자대학교 산학협력단 | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 |
| CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种故障检测方法、装置、设备及系统 |
| US20220027563A1 (en) * | 2020-07-24 | 2022-01-27 | Intuit Inc. | Encoder with double decoder machine learning models |
| CN113570500A (zh) * | 2021-08-04 | 2021-10-29 | 光华临港工程应用技术研发(上海)有限公司 | 一种基于全局信息引导网络实现真实图像风格迁移的方法 |
| WO2023024412A1 (zh) * | 2021-08-25 | 2023-03-02 | 平安科技（深圳）有限公司 | 基于深度学习模型的视觉问答方法及装置、介质、设备 |
| WO2023092759A1 (zh) * | 2021-11-25 | 2023-06-01 | 浙江天铂云科光电股份有限公司 | 基于温度视觉的智能检测方法、装置及电子设备 |
| WO2023193428A1 (zh) * | 2022-04-08 | 2023-10-12 | 中国科学院光电技术研究所 | 应用于超分辨光刻的像素化光学邻近效应修正方法及系统 |
| CN115016965A (zh) * | 2022-05-30 | 2022-09-06 | 广东电网有限责任公司 | 计量自动化主站的故障检测方法、装置、设备及存储介质 |
| WO2023241410A1 (zh) * | 2022-06-14 | 2023-12-21 | 北京有竹居网络技术有限公司 | 数据处理方法、装置、设备及计算机介质 |
| CN115294345A (zh) * | 2022-07-04 | 2022-11-04 | 桂林电子科技大学 | 一种基于RDE-Net的低照度图像描述方法 |
| CN115941530A (zh) * | 2022-12-02 | 2023-04-07 | 中盈优创资讯科技有限公司 | 一种二层网络环路检测的方法、装置及设备 |
| CN116206171A (zh) * | 2022-12-08 | 2023-06-02 | 国能铁路装备有限责任公司 | 一种车辆异物故障检测方法、装置、电子设备及存储介质 |
| CN116433898A (zh) * | 2023-02-22 | 2023-07-14 | 北京工业大学 | 一种基于语义约束的Transformer多模态影像分割方法 |
| CN116796159A (zh) * | 2023-08-17 | 2023-09-22 | 浙江恒逸石化有限公司 | 染色效果预测方法、染色效果预测模型的训练方法和装置 |
| CN117292277A (zh) * | 2023-09-21 | 2023-12-26 | 浙江工商大学 | 基于双目无人机系统与深度学习的绝缘子故障检测方法 |
| CN117236390A (zh) * | 2023-09-22 | 2023-12-15 | 西南石油大学 | 一种基于交叉注意力扩散模型的储层预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 姚义;王诗珂;陈希豪;林宇翩;: "基于深度学习的结构化图像标注研究", 电脑知识与技术, no. 33, 25 November 2019 (2019-11-25) * |
| 庞彦伟;修宇璇;: "基于边缘特征融合和跨连接的车道线语义分割神经网络", 天津大学学报(自然科学与工程技术版), no. 08, 3 June 2019 (2019-06-03) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726990B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10877863B2 (en) | Automatic prediction system for server failure and method of automatically predicting server failure | |
| KR20110052534A (ko) | 자율적인 생물학 기반 학습 툴 | |
| CN110837963A (zh) | 一种基于数据、模型及策略的风险控制平台建设方法 | |
| CN105184213A (zh) | 图像识别方法、相机系统 | |
| Chen et al. | Graph neural network-based fault diagnosis: a review | |
| CN110649980B (zh) | 一种故障诊断方法、装置和电子设备 | |
| US9798319B2 (en) | Industrial control metadata engine | |
| CN113554526A (zh) | 电力设备的故障预警方法、装置、存储介质及处理器 | |
| CN112651938B (zh) | 视盘图像分类模型的训练方法、装置、设备及存储介质 | |
| CN107679089A (zh) | 一种用于电力传感数据的清洗方法、装置和系统 | |
| AU2016201794B1 (en) | Analyzing equipment degradation for maintaining equipment | |
| US11682112B2 (en) | Inspection device and machine learning method | |
| CN114429249B (zh) | 钢管束生产设备的寿命预测方法、系统、设备及存储介质 | |
| US20200082297A1 (en) | Inspection apparatus and machine learning method | |
| CN117726990B (zh) | 纺丝车间的检测方法、装置、电子设备及存储介质 | |
| CN112128950B (zh) | 一种基于多种模型对比的机房温湿度预测方法及系统 | |
| CN112434600A (zh) | 一种无人机巡检方法及系统 | |
| CN113408963A (zh) | 纺织纱线的质量评级方法、装置、存储介质及处理器 | |
| CN116524296A (zh) | 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法 | |
| KR102389317B1 (ko) | 순환 신경망(rnn)을 이용한 스마트팜 센서의 고장여부 판단방법 | |
| CN116205885A (zh) | 异常状态检测方法、系统、电子设备及可读存储介质 | |
| CN116188374A (zh) | 插座检测方法、装置、计算机设备及存储介质 | |
| CN115660917A (zh) | 一种平房仓粮温异常预警方法、设备及介质 | |
| CN113221324A (zh) | 停车场设备的生命周期预测方法及系统 | |
| CN117670848A (zh) | 故障检测模型的训练方法、设备故障检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |