CN115082837B - 对pet瓶进行灌装纯净水的流速控制系统及其控制方法 - Google Patents

对pet瓶进行灌装纯净水的流速控制系统及其控制方法 Download PDF

Info

Publication number
CN115082837B
CN115082837B CN202210889647.9A CN202210889647A CN115082837B CN 115082837 B CN115082837 B CN 115082837B CN 202210889647 A CN202210889647 A CN 202210889647A CN 115082837 B CN115082837 B CN 115082837B
Authority
CN
China
Prior art keywords
filling
feature vector
feature
sound effect
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210889647.9A
Other languages
English (en)
Other versions
CN115082837A (zh
Inventor
倪柏雯
倪荣国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinyi Xinnan Environmental Protection Industry Technology Research Institute Co Ltd
Original Assignee
Xinyi Xinnan Environmental Protection Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinyi Xinnan Environmental Protection Industry Technology Research Institute Co Ltd filed Critical Xinyi Xinnan Environmental Protection Industry Technology Research Institute Co Ltd
Priority to CN202210889647.9A priority Critical patent/CN115082837B/zh
Publication of CN115082837A publication Critical patent/CN115082837A/zh
Application granted granted Critical
Publication of CN115082837B publication Critical patent/CN115082837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B67—OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67C—CLEANING, FILLING WITH LIQUIDS OR SEMILIQUIDS, OR EMPTYING, OF BOTTLES, JARS, CANS, CASKS, BARRELS, OR SIMILAR CONTAINERS, NOT OTHERWISE PROVIDED FOR; FUNNELS
    • B67C3/00—Bottling liquids or semiliquids; Filling jars or cans with liquids or semiliquids using bottling or like apparatus; Filling casks or barrels with liquids or semiliquids
    • B67C3/007—Applications of control, warning or safety devices in filling machinery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能灌装控制的领域，其具体地公开了一种对PET瓶进行灌装纯净水的流速控制系统及其控制方法，其通过深度学习的卷积神经网络模型作为特征提取器，结合灌装过程的监控视频和灌装过程的声音变化来智能地调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。这样，能够在智能控制方法的作用下使得对于PET瓶灌装纯净水的灌装效率和灌装效果都能够得以保证。

Description

对PET瓶进行灌装纯净水的流速控制系统及其控制方法
技术领域
本发明涉及智能灌装控制的领域，且更为具体地，涉及一种对PET瓶进行灌装纯净水的流速控制系统及其控制方法。
背景技术
在对PET瓶灌装纯净水进行灌装时，如何控制计量设备的纯净水流出速度是关键。在邻近灌装结束时，如果没有提前降低流速或者关闭流速，会导致部分流体溢出；如果灌装结束得过早，则可能最终瓶内的流体总量不满足预设标准。
因此，期待一种对PET瓶进行灌装纯净水的流速控制方案，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种对PET瓶进行灌装纯净水的流速控制系统及其控制方法，其通过人工智能的控制方法，利用深度学习的卷积神经网络模型作为特征提取器，结合灌装过程的监控视频和灌装过程的声音变化来智能地调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。这样，能够在智能控制方法的作用下使得对于PET瓶灌装纯净水的灌装效率和灌装效果都能够得以保证。
根据本申请的一个方面，提供了一种对PET瓶进行灌装纯净水的流速控制系统，其包括：灌装过程数据采集模块，用于获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号；灌装视频编码模块，用于将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图；灌装音效编码模块，用于将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图；投影模块，用于将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量；融合模块，用于融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量；以及流速控制结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。
在上述对PET瓶进行灌装纯净水的流速控制系统中，所述灌装视频编码模块，包括：相邻帧提取单元，用于从所述灌装监控视频提取相邻的第一帧和第二帧；第一图像局部特征提取模块，用于将所述第一帧和所述第二帧分别通过所述第一卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力模块，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；第二图像局部特征提取模块，用于将所述第一帧通过所述第一卷积神经网络的第三卷积层以得到局部特征图；时间注意力施加模块，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述灌装跟踪特征图。
在上述对PET瓶进行灌装纯净水的流速控制系统中，所述灌装音效编码模块，进一步用于：所述第二卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述音效特征图，所述第二卷积神经网络的第一层的输入为所述声音信号的波形图。
在上述对PET瓶进行灌装纯净水的流速控制系统中，所述投影模块，进一步用于对所述灌装跟踪特征图和所述音效特征图分别进行沿通道维度的全局均值池化以得到所述灌装跟踪特征向量和所述音效特征向量。
在上述对PET瓶进行灌装纯净水的流速控制系统中，所述融合模块，包括：向量整合单元，用于计算所述灌装跟踪特征向量和所述音效特征向量的按位置加和以得到整合特征向量；对数化单元，用于对所述整合特征向量进行对数运算以得到对数整合特征向量，其中，所述对所述整合特征向量进行对数运算表示计算所述整合特征向量中各个位置的特征值的对数函数值；全场景单应关联单元，用于计算所述灌装跟踪特征向量的转置向量与所述音效特征向量之间的向量乘积以得到全场景单应关联矩阵；深度感知单元，用于计算全场景单应关联矩阵的Frobenius范数作为所述全场景单应关联矩阵的深度感知值；单应性表征单元，用于计算所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量的一范数作为单应性表征值；融合单元，用于以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量。
在上述对PET瓶进行灌装纯净水的流速控制系统中，所述融合单元，进一步用于：以所述单应性表征值作为权重值和所述深度感知值作为偏置以如下公式来对所述对数整合特征向量进行处理以得到所述分类特征向量；其中，所述公式为：
Figure 648217DEST_PATH_IMAGE001
其中
Figure 684831DEST_PATH_IMAGE002
表示所述跟踪特征图，/>
Figure 675789DEST_PATH_IMAGE003
表示所述音效特征图，/>
Figure 342394DEST_PATH_IMAGE004
表示所述分类特征向量，
Figure 608159DEST_PATH_IMAGE005
表示向量的一范数，且/>
Figure 512661DEST_PATH_IMAGE006
表示矩阵的Frobenius范数，/>
Figure 471259DEST_PATH_IMAGE007
和/>
Figure 359581DEST_PATH_IMAGE008
分别表示按位置减法和加法，且/>
Figure 426107DEST_PATH_IMAGE009
表示按位置点乘。
在上述对PET瓶进行灌装纯净水的流速控制系统中，所述流速控制结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：
Figure 981853DEST_PATH_IMAGE010
，其中，/>
Figure 111352DEST_PATH_IMAGE011
到/>
Figure 486970DEST_PATH_IMAGE012
为权重矩阵，/>
Figure 94537DEST_PATH_IMAGE013
到
Figure 957320DEST_PATH_IMAGE014
为偏置向量，/>
Figure 8453DEST_PATH_IMAGE015
为所述分类特征向量。
根据本申请的另一方面，一种对PET瓶进行灌装纯净水的流速控制方法，其包括：获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号；将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图；将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图；将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量；融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量；以及将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。
在上述对PET瓶进行灌装纯净水的流速控制方法中，将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图，包括：从所述灌装监控视频提取相邻的第一帧和第二帧；将所述第一帧和所述第二帧分别通过所述第一卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；将所述第一帧通过所述第一卷积神经网络的第三卷积层以得到局部特征图；将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述灌装跟踪特征图。
在上述对PET瓶进行灌装纯净水的流速控制方法中，将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图，包括：所述第二卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述音效特征图，所述第二卷积神经网络的第一层的输入为所述声音信号的波形图。
在上述对PET瓶进行灌装纯净水的流速控制方法中，将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量，包括：对所述灌装跟踪特征图和所述音效特征图分别进行沿通道维度的全局均值池化以得到所述灌装跟踪特征向量和所述音效特征向量。
在上述对PET瓶进行灌装纯净水的流速控制方法中，融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量，包括：计算所述灌装跟踪特征向量和所述音效特征向量的按位置加和以得到整合特征向量；对所述整合特征向量进行对数运算以得到对数整合特征向量，其中，所述对所述整合特征向量进行对数运算表示计算所述整合特征向量中各个位置的特征值的对数函数值；计算所述灌装跟踪特征向量的转置向量与所述音效特征向量之间的向量乘积以得到全场景单应关联矩阵；计算全场景单应关联矩阵的Frobenius范数作为所述全场景单应关联矩阵的深度感知值；计算所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量的一范数作为单应性表征值；以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量。
在上述对PET瓶进行灌装纯净水的流速控制方法中，以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量，包括：以所述单应性表征值作为权重值和所述深度感知值作为偏置以如下公式来对所述对数整合特征向量进行处理以得到所述分类特征向量；其中，所述公式为：
Figure 668104DEST_PATH_IMAGE001
其中
Figure 285555DEST_PATH_IMAGE016
表示所述跟踪特征图，/>
Figure 81473DEST_PATH_IMAGE017
表示所述音效特征图，/>
Figure 552774DEST_PATH_IMAGE018
表示所述分类特征向量，/>
Figure 902984DEST_PATH_IMAGE019
表示向量的一范数，且/>
Figure 117934DEST_PATH_IMAGE020
表示矩阵的Frobenius范数，/>
Figure 689729DEST_PATH_IMAGE021
和/>
Figure 817085DEST_PATH_IMAGE022
分别表示按位置减法和加法，且/>
Figure 924367DEST_PATH_IMAGE023
表示按位置点乘。
在上述对PET瓶进行灌装纯净水的流速控制方法中，将所述分类特征向量通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：
Figure 428160DEST_PATH_IMAGE024
，其中，/>
Figure 916779DEST_PATH_IMAGE025
到/>
Figure 215037DEST_PATH_IMAGE026
为权重矩阵，/>
Figure 789106DEST_PATH_IMAGE027
到/>
Figure 362170DEST_PATH_IMAGE028
为偏置向量，/>
Figure 642979DEST_PATH_IMAGE029
为所述分类特征向量。
与现有技术相比，本申请提供的对PET瓶进行灌装纯净水的流速控制系统及其控制方法，其通过人工智能的控制方法，利用深度学习的卷积神经网络模型作为特征提取器，结合灌装过程的监控视频和灌装过程的声音变化来智能地调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。这样，能够在智能控制方法的作用下使得对于PET瓶灌装纯净水的灌装效率和灌装效果都能够得以保证。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的对PET瓶进行灌装纯净水的流速控制系统的框图。
图2为根据本申请实施例的对PET瓶进行灌装纯净水的流速控制系统中灌装视频编码模块的框图。
图3为根据本申请实施例的对PET瓶进行灌装纯净水的流速控制系统中融合模块的框图。
图4为根据本申请实施例的对PET瓶进行灌装纯净水的流速控制方法的流程图。
图5为根据本申请实施例的对PET瓶进行灌装纯净水的流速控制方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，在对PET瓶灌装纯净水进行灌装时，如何控制计量设备的纯净水流出速度是关键。应可以理解，在邻近灌装结束时，如果没有提前降低流速或者关闭流速，会导致部分流体溢出；如果灌装结束得过早，则可能最终瓶内的流体总量不满足预设标准。
因此，期待一种用于计量设备的计量方法，也就是，流量控制方法来对灌装阀门进行智能控制，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为对PET瓶进行灌装纯净水的流速控制提供了新的解决思路和方案。
相应地，本申请发明人发现在对PET瓶灌装纯净水进行灌装中，若想对于计量设备的纯净水流出速度进行智能控制来确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求，就需要实时动态地对于PET瓶进行灌装纯净水的灌装过程进行监测，而这可以依靠相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频来实现。并且，考虑到监控视频可能会存在遮挡，又可能会受到环境的影响等问题，因此使用单一的监控方式来对于ET瓶进行灌装纯净水的灌装过程进行实时监测是不准确的，为了能够更为准确地对于灌装过程进行监测并动态地控制，进一步加入灌装过程中的声音信号来辅助进行监控。也就是，应可以理解，随着对于PET瓶进行纯净水灌装的不断进行，声音的信号是不断发生变化的，因此，在本申请的技术方案中，采用所述声音信号来辅助进行对于PET瓶进行灌装纯净水的灌装过程的实时动态监测，能够提高判断的准确性。也就是，结合灌装过程的监控视频和灌装过程的声音变化来调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。
具体地，在本申请的技术方案中，首先，通过相机采集对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集所述灌装过程中的声音信号。然后，将所述灌装监控视频通过用于在隐含关联特征提取方面具有优异表现的卷积神经网络模型来进行特征提取，但是，考虑到在所述灌装监控视频中，所述视频中的各个图像帧在时间维度上具有着特殊的动态关联信息，因此，为了挖掘出其在时序上的隐含动态关联特征，在本申请的技术方案中，使用使用时间注意力机制的第一卷积神经网络来对所述灌装监控视频进行特征提取，以得到灌装跟踪特征图。
进一步地，对于所述灌装过程中的声音信号，将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络中进行特征提取，以提取出所述声音信号的波形图的局部高维隐含特征，从而得到音效特征图。
应可以理解，考虑到对于所述跟踪特征图和所述音效特征图，由于其特征分布在高维特征空间内的深度分布特征，在特征融合时可能由于分布错位而影响融合效果。在本申请的技术方案中，由于两者的特征分布都具有沿着时间方向的预定维度，因此在进行特征融合时，可以基于预定维度的场景流来进行特征图的深度对齐融合。具体地，首先将所述跟踪特征图和所述音效特征图投影为特征向量
Figure 377716DEST_PATH_IMAGE030
和/>
Figure 176433DEST_PATH_IMAGE031
，在本申请实施例中，可以对所述灌装跟踪特征图和所述音效特征图分别进行沿通道维度的全局均值池化来进行特征图的降维处理，以得到所述灌装跟踪特征向量和所述音效特征向量。然后计算融合向量：
Figure 553187DEST_PATH_IMAGE001
其中
Figure 750819DEST_PATH_IMAGE030
表示所述跟踪特征图，/>
Figure 656458DEST_PATH_IMAGE032
表示所述音效特征图，/>
Figure 939541DEST_PATH_IMAGE033
表示所述分类特征向量，/>
Figure 41358DEST_PATH_IMAGE034
表示向量的一范数，且/>
Figure 844229DEST_PATH_IMAGE035
表示矩阵的Frobenius范数，/>
Figure 432687DEST_PATH_IMAGE036
和/>
Figure 157060DEST_PATH_IMAGE037
分别表示按位置减法和加法，且/>
Figure 593727DEST_PATH_IMAGE038
表示按位置点乘。
也就是，将差分向量的一范数作为深度场景流的单应性表征，来对向量的信息融合表达进行约束，并叠加作为向量之间的全场景单应关联矩阵的深度感知，从而充分利用预定维度下的场景流的深度单应性表达，来在可能存在特征分布错位的基础上实现特征之间的稠密深度融合，进而提高分类的准确性。
进一步再将融合得到的分类特征向量通过分类器进行分类处理，以获得用于表示当前时间点是否需关闭灌装阀门的分类结果。
基于此，本申请提出了一种对PET瓶进行灌装纯净水的流速控制系统，其包括：灌装过程数据采集模块，用于获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号；灌装视频编码模块，用于将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图；灌装音效编码模块，用于将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图；投影模块，用于将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量；融合模块，用于融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量；以及，流速控制结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1图示了根据本申请实施例的对PET瓶进行灌装纯净水的流速控制系统的框图。如图1所示，根据本申请实施例的对PET瓶进行灌装纯净水的流速控制系统 200，包括：灌装过程数据采集模块 210，用于获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号；灌装视频编码模块 220，用于将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图；灌装音效编码模块 230，用于将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图；投影模块 240，用于将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量；融合模块 250，用于融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量；以及，流速控制结果生成模块 260，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。
具体地，在本申请实施例中，所述灌装过程数据采集模块 210和所述灌装视频编码模块 220，用于获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号，并将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图。如前所述，考虑到在对PET瓶灌装纯净水进行灌装中，若想对于计量设备的纯净水流出速度进行智能控制来确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求，就需要实时动态地对于PET瓶进行灌装纯净水的灌装过程进行监测，而这可以依靠相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频来实现。
并且，考虑到在实际的监控过程中，监控视频可能会存在遮挡，又可能会受到环境的影响等问题，因此使用单一的监控方式来对于ET瓶进行灌装纯净水的灌装过程进行实时监测是不准确的，为了能够更为准确地对于灌装过程进行监测并动态地控制，进一步加入灌装过程中的声音信号来辅助进行监控。也就是，应可以理解，随着对于PET瓶进行纯净水灌装的不断进行，声音的信号是不断发生变化的，因此，在本申请的技术方案中，采用所述声音信号来辅助进行对于PET瓶进行灌装纯净水的灌装过程的实时动态监测，能够提高判断的准确性。也就是，结合灌装过程的监控视频和灌装过程的声音变化来调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。
具体地，在本申请的技术方案中，首先，通过相机采集对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集所述灌装过程中的声音信号。然后，将所述灌装监控视频通过用于在隐含关联特征提取方面具有优异表现的卷积神经网络模型来进行特征提取，但是，考虑到在所述灌装监控视频中，所述视频中的各个图像帧在时间维度上具有着特殊的动态关联信息，因此，为了挖掘出其在时序上的隐含动态关联特征，在本申请的技术方案中，使用使用时间注意力机制的第一卷积神经网络来对所述灌装监控视频进行特征提取，以得到灌装跟踪特征图。
更具体地，在本申请的实施例中，所述灌装视频编码模块，包括：首先，从所述灌装监控视频提取相邻的第一帧和第二帧。接着，将所述第一帧和所述第二帧分别通过所述第一卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图。然后，将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图。接着，将所述第一帧通过所述第一卷积神经网络的第三卷积层以得到局部特征图。最后，将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述灌装跟踪特征图。应可以理解，在通过时间注意力模块获得的所述跟踪特征图上，可以结合当前的所述第一帧和先前的所述第二帧中的时域信息，来强化所述第一帧中的对象区域的特征，从而能够有效地提取所述第一帧图像中灌装过程的实时动态特征。
图2图示了根据本申请实施例的对PET瓶进行灌装纯净水的流速控制中灌装视频编码模块的框图。如图2所示，所述灌装视频编码模块 220，包括：相邻帧提取单元 221，用于从所述灌装监控视频提取相邻的第一帧和第二帧；第一图像局部特征提取模块 222，用于将所述第一帧和所述第二帧分别通过所述第一卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力模块 223，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；第二图像局部特征提取模块 224，用于将所述第一帧通过所述第一卷积神经网络的第三卷积层以得到局部特征图；时间注意力施加模块225，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述灌装跟踪特征图。
具体地，在本申请实施例中，所述灌装音效编码模块 230，用于将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图。也就是，在本申请的技术方案中，对于所述灌装过程中的声音信号，将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络中进行特征提取，以提取出所述声音信号的波形图的局部高维隐含特征，从而得到音效特征图。
更具体地，在本申请的实施例中，所述灌装音效编码模块，进一步用于：所述第二卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述音效特征图，所述第二卷积神经网络的第一层的输入为所述声音信号的波形图。
具体地，在本申请实施例中，所述投影模块 240和所述融合模块 250，用于将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量，并融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量。应可以理解，考虑到对于所述跟踪特征图和所述音效特征图，由于其特征分布在高维特征空间内的深度分布特征，在特征融合时可能由于分布错位而影响融合效果。并且在本申请的技术方案中，由于两者的特征分布都具有沿着时间方向的预定维度，因此在进行特征融合时，可以基于预定维度的场景流来进行特征图的深度对齐融合。具体地，在本申请的技术方案中，首先将所述跟踪特征图和所述音效特征图投影为特征向量
Figure 782263DEST_PATH_IMAGE039
和/>
Figure 278972DEST_PATH_IMAGE040
，相应地，在一个具体示例中，可以对所述灌装跟踪特征图和所述音效特征图分别进行沿通道维度的全局均值池化来进行特征图的降维处理，以得到所述灌装跟踪特征向量和所述音效特征向量。也就是，将差分向量的一范数作为深度场景流的单应性表征，来对向量的信息融合表达进行约束，并叠加作为向量之间的全场景单应关联矩阵的深度感知，从而充分利用预定维度下的场景流的深度单应性表达，来在可能存在特征分布错位的基础上实现特征之间的稠密深度融合，进而提高分类的准确性。
更具体地，在本申请实施例中，所述融合模块，包括：首先，计算所述灌装跟踪特征向量和所述音效特征向量的按位置加和以得到整合特征向量。接着，对所述整合特征向量进行对数运算以得到对数整合特征向量，其中，所述对所述整合特征向量进行对数运算表示计算所述整合特征向量中各个位置的特征值的对数函数值。然后，计算所述灌装跟踪特征向量的转置向量与所述音效特征向量之间的向量乘积以得到全场景单应关联矩阵。接着，计算全场景单应关联矩阵的Frobenius范数作为所述全场景单应关联矩阵的深度感知值。然后，计算所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量的一范数作为单应性表征值。最后，以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量。相应地，在一个具体示例中，以所述单应性表征值作为权重值和所述深度感知值作为偏置以如下公式来对所述对数整合特征向量进行处理以得到所述分类特征向量；其中，所述公式为：
Figure 5488DEST_PATH_IMAGE001
其中
Figure 996578DEST_PATH_IMAGE002
表示所述跟踪特征图，/>
Figure 26238DEST_PATH_IMAGE041
表示所述音效特征图，/>
Figure 444581DEST_PATH_IMAGE042
表示所述分类特征向量，
Figure 658394DEST_PATH_IMAGE005
表示向量的一范数，且/>
Figure 718754DEST_PATH_IMAGE043
表示矩阵的Frobenius范数，/>
Figure 599991DEST_PATH_IMAGE044
和/>
Figure 376186DEST_PATH_IMAGE045
分别表示按位置减法和加法，且/>
Figure 808786DEST_PATH_IMAGE009
表示按位置点乘。
图3图示了根据本申请实施例的对PET瓶进行灌装纯净水的流速控制中融合模块的框图。如图3所示，所述融合模块 250，包括：向量整合单元 251，用于计算所述灌装跟踪特征向量和所述音效特征向量的按位置加和以得到整合特征向量；对数化单元 252，用于对所述整合特征向量进行对数运算以得到对数整合特征向量，其中，所述对所述整合特征向量进行对数运算表示计算所述整合特征向量中各个位置的特征值的对数函数值；全场景单应关联单元 253，用于计算所述灌装跟踪特征向量的转置向量与所述音效特征向量之间的向量乘积以得到全场景单应关联矩阵；深度感知单元 254，用于计算全场景单应关联矩阵的Frobenius范数作为所述全场景单应关联矩阵的深度感知值；单应性表征单元 255，用于计算所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量的一范数作为单应性表征值；融合单元 256，用于以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量。
具体地，在本申请实施例中，所述流速控制结果生成模块 260，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。也就是，进一步再将融合得到的分类特征向量通过分类器进行分类处理，以获得用于表示当前时间点是否需关闭灌装阀门的分类结果。
相应地，在一个具体示例中，所述流速控制结果生成模块，包括：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：
Figure 125366DEST_PATH_IMAGE046
，其中，/>
Figure 64372DEST_PATH_IMAGE047
到/>
Figure 90097DEST_PATH_IMAGE048
为权重矩阵，/>
Figure 812590DEST_PATH_IMAGE049
到/>
Figure 949173DEST_PATH_IMAGE050
为偏置向量，/>
Figure 539424DEST_PATH_IMAGE051
为所述分类特征向量。
综上，基于本申请实施例的所述对PET瓶进行灌装纯净水的流速控制系统 200被阐明，其通过人工智能的控制方法，利用深度学习的卷积神经网络模型作为特征提取器，结合灌装过程的监控视频和灌装过程的声音变化来智能地调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。这样，能够在智能控制方法的作用下使得对于PET瓶灌装纯净水的灌装效率和灌装效果都能够得以保证。
如上所述，根据本申请实施例的对PET瓶进行灌装纯净水的流速控制系统 200可以实现在各种终端设备中，例如对PET瓶进行灌装纯净水的流速控制算法的服务器等。在一个示例中，根据本申请实施例的对PET瓶进行灌装纯净水的流速控制系统 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该对PET瓶进行灌装纯净水的流速控制系统 200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该对PET瓶进行灌装纯净水的流速控制系统 200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该对PET瓶进行灌装纯净水的流速控制系统 200与该终端设备也可以是分立的设备，并且该对PET瓶进行灌装纯净水的流速控制系统 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了对PET瓶进行灌装纯净水的流速控制方法的流程图。如图4所示，根据本申请实施例的对PET瓶进行灌装纯净水的流速控制方法，包括步骤：S110，获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号；S120，将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图；S130，将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图；S140，将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量；S150，融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量；以及，S160，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。
图5图示了根据本申请实施例的对PET瓶进行灌装纯净水的流速控制方法的架构示意图。如图5所示，在所述对PET瓶进行灌装纯净水的流速控制方法的网络架构中，首先，将获得的所述灌装监控视频（例如，如图5中所示意的P1）通过使用时间注意力机制的第一卷积神经网络（例如，如图5中所示意的CNN1）以得到灌装跟踪特征图（例如，如图5中所示意的F1）；接着，将获得的所述声音信号的波形图（例如，如图5中所示意的P2）通过作为特征提取器的第二卷积神经网络（例如，如图5中所示意的CNN2）以得到音效特征图（例如，如图5中所示意的F2）；然后，将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量（例如，如图5中所示意的VF1）和音效特征向量（例如，如图5中所示意的VF2）；接着，融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量（例如，如图5中所示意的VF）；以及，最后，将所述分类特征向量通过分类器（例如，如图5中所示意的圈S）以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。
更具体地，在步骤S110和步骤S120中，获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号，并将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图。应可以理解，考虑到在对PET瓶灌装纯净水进行灌装中，若想对于计量设备的纯净水流出速度进行智能控制来确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求，就需要实时动态地对于PET瓶进行灌装纯净水的灌装过程进行监测，而这可以依靠相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频来实现。
并且，考虑到在实际的监控过程中，监控视频可能会存在遮挡，又可能会受到环境的影响等问题，因此使用单一的监控方式来对于ET瓶进行灌装纯净水的灌装过程进行实时监测是不准确的，为了能够更为准确地对于灌装过程进行监测并动态地控制，进一步加入灌装过程中的声音信号来辅助进行监控。也就是，应可以理解，随着对于PET瓶进行纯净水灌装的不断进行，声音的信号是不断发生变化的，因此，在本申请的技术方案中，采用所述声音信号来辅助进行对于PET瓶进行灌装纯净水的灌装过程的实时动态监测，能够提高判断的准确性。也就是，结合灌装过程的监控视频和灌装过程的声音变化来调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。
具体地，在本申请的技术方案中，首先，通过相机采集对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集所述灌装过程中的声音信号。然后，将所述灌装监控视频通过用于在隐含关联特征提取方面具有优异表现的卷积神经网络模型来进行特征提取，但是，考虑到在所述灌装监控视频中，所述视频中的各个图像帧在时间维度上具有着特殊的动态关联信息，因此，为了挖掘出其在时序上的隐含动态关联特征，在本申请的技术方案中，使用使用时间注意力机制的第一卷积神经网络来对所述灌装监控视频进行特征提取，以得到灌装跟踪特征图。
更具体地，在步骤S130中，将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图，并将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量。也就是，在本申请的技术方案中，对于所述灌装过程中的声音信号，将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络中进行特征提取，以提取出所述声音信号的波形图的局部高维隐含特征，从而得到音效特征图。
更具体地，在步骤S140和步骤S150中，将所述灌装跟踪特征图和所述音效特征图投影为特征向量以得到灌装跟踪特征向量和音效特征向量，并融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量。应可以理解，考虑到对于所述跟踪特征图和所述音效特征图，由于其特征分布在高维特征空间内的深度分布特征，在特征融合时可能由于分布错位而影响融合效果。并且在本申请的技术方案中，由于两者的特征分布都具有沿着时间方向的预定维度，因此在进行特征融合时，可以基于预定维度的场景流来进行特征图的深度对齐融合。具体地，在本申请的技术方案中，首先将所述跟踪特征图和所述音效特征图投影为特征向量
Figure 736050DEST_PATH_IMAGE052
和/>
Figure 880592DEST_PATH_IMAGE053
，相应地，在一个具体示例中，可以对所述灌装跟踪特征图和所述音效特征图分别进行沿通道维度的全局均值池化来进行特征图的降维处理，以得到所述灌装跟踪特征向量和所述音效特征向量。也就是，将差分向量的一范数作为深度场景流的单应性表征，来对向量的信息融合表达进行约束，并叠加作为向量之间的全场景单应关联矩阵的深度感知，从而充分利用预定维度下的场景流的深度单应性表达，来在可能存在特征分布错位的基础上实现特征之间的稠密深度融合，进而提高分类的准确性。
更具体地，在步骤S160中，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门。也就是，进一步再将融合得到的分类特征向量通过分类器进行分类处理，以获得用于表示当前时间点是否需关闭灌装阀门的分类结果。
综上，基于本申请实施例的所述对PET瓶进行灌装纯净水的流速控制方法被阐明，其通过人工智能的控制方法，利用深度学习的卷积神经网络模型作为特征提取器，结合灌装过程的监控视频和灌装过程的声音变化来智能地调整计量设备的流速，以确保流体不溢出且最终灌入PET瓶内的流量总量满足预设要求。这样，能够在智能控制方法的作用下使得对于PET瓶灌装纯净水的灌装效率和灌装效果都能够得以保证。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (7)

1.一种对PET瓶进行灌装纯净水的流速控制系统，其特征在于，包括：灌装过程数据采集模块，用于获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号；灌装视频编码模块，用于将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图；灌装音效编码模块，用于将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图；投影模块，用于将所述灌装跟踪特征图和所述音效特征图分别投影为特征向量以得到灌装跟踪特征向量和音效特征向量；融合模块，用于融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量；流速控制结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门；
其中，所述融合模块，包括：向量整合单元，用于计算所述灌装跟踪特征向量和所述音效特征向量的按位置加和以得到整合特征向量；对数化单元，用于对所述整合特征向量进行对数运算以得到对数整合特征向量，其中，所述对所述整合特征向量进行对数运算表示计算所述整合特征向量中各个位置的特征值的对数函数值；全场景单应关联单元，用于计算所述灌装跟踪特征向量的转置向量与所述音效特征向量之间的向量乘积以得到全场景单应关联矩阵；深度感知单元，用于计算全场景单应关联矩阵的Frobenius范数作为所述全场景单应关联矩阵的深度感知值；单应性表征单元，用于计算所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量的一范数作为单应性表征值；融合单元，用于以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量；
其中，所述融合单元，进一步用于：以所述单应性表征值作为权重值和所述深度感知值作为偏置以如下公式来对所述对数整合特征向量进行处理以得到所述分类特征向量；其中，所述公式为：
Figure QLYQS_1
,
其中
Figure QLYQS_3
表示所述灌装跟踪特征向量，/>
Figure QLYQS_5
表示所述音效特征向量，/>
Figure QLYQS_8
表示所述分类特征向量，/>
Figure QLYQS_4
表示向量的一范数，且/>
Figure QLYQS_6
表示矩阵的Frobenius范数，/>
Figure QLYQS_7
和/>
Figure QLYQS_9
分别表示按位置减法和加法，且/>
Figure QLYQS_2
表示按位置点乘；
在上述公式中，将所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量作为深度场景流的单应性表征，来对所述灌装跟踪特征向量和所述音效特征向量的信息融合表达进行约束，并叠加作为所述灌装跟踪特征向量和所述音效特征向量之间的全场景单应关联矩阵的深度感知，从而充分利用预定维度下的场景流的深度单应性表达，来在可能存在特征分布错位的基础上实现特征之间的稠密深度融合。
2.根据权利要求1所述的对PET瓶进行灌装纯净水的流速控制系统，其特征在于，所述灌装视频编码模块，包括：相邻帧提取单元，用于从所述灌装监控视频提取相邻的第一帧和第二帧；第一图像局部特征提取模块，用于将所述第一帧和所述第二帧分别通过所述第一卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力模块，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；第二图像局部特征提取模块，用于将所述第一帧通过所述第一卷积神经网络的第三卷积层以得到局部特征图；时间注意力施加模块，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述灌装跟踪特征图。
3.根据权利要求2所述的对PET瓶进行灌装纯净水的流速控制系统，其特征在于，所述灌装音效编码模块，进一步用于：所述第二卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述音效特征图，所述第二卷积神经网络的第一层的输入为所述声音信号的波形图。
4.根据权利要求3所述的对PET瓶进行灌装纯净水的流速控制系统，其特征在于，所述投影模块，进一步用于对所述灌装跟踪特征图和所述音效特征图分别进行沿通道维度的全局均值池化以得到所述灌装跟踪特征向量和所述音效特征向量。
5.根据权利要求4所述的对PET瓶进行灌装纯净水的流速控制系统，其特征在于，所述流速控制结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：
Figure QLYQS_10
，其中，/>
Figure QLYQS_11
到/>
Figure QLYQS_12
为权重矩阵，/>
Figure QLYQS_13
到/>
Figure QLYQS_14
为偏置向量，/>
Figure QLYQS_15
为所述分类特征向量。
6.一种对PET瓶进行灌装纯净水的流速控制方法，其特征在于，包括：
获取由相机采集的对PET瓶进行灌装纯净水的灌装过程的灌装监控视频和由声音传感器采集的所述灌装过程中的声音信号；将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图；将所述声音信号的波形图通过作为特征提取器的第二卷积神经网络以得到音效特征图；将所述灌装跟踪特征图和所述音效特征图分别投影为特征向量以得到灌装跟踪特征向量和音效特征向量；融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量；以及将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否需关闭灌装阀门；
其中，所述融合所述灌装跟踪特征向量和所述音效特征向量以得到分类特征向量，包括：计算所述灌装跟踪特征向量和所述音效特征向量的按位置加和以得到整合特征向量；对所述整合特征向量进行对数运算以得到对数整合特征向量，其中，所述对所述整合特征向量进行对数运算表示计算所述整合特征向量中各个位置的特征值的对数函数值；计算所述灌装跟踪特征向量的转置向量与所述音效特征向量之间的向量乘积以得到全场景单应关联矩阵；计算全场景单应关联矩阵的Frobenius范数作为所述全场景单应关联矩阵的深度感知值；计算所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量的一范数作为单应性表征值；以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量；
其中，所述以所述单应性表征值作为权重值和所述深度感知值作为偏置来对所述对数整合特征向量进行处理以得到所述分类特征向量，包括：以所述单应性表征值作为权重值和所述深度感知值作为偏置以如下公式来对所述对数整合特征向量进行处理以得到所述分类特征向量；其中，所述公式为：
Figure QLYQS_16
,
其中
Figure QLYQS_18
表示所述灌装跟踪特征向，/>
Figure QLYQS_20
表示所述音效特征向量，/>
Figure QLYQS_22
表示所述分类特征向量，/>
Figure QLYQS_19
表示向量的一范数，且/>
Figure QLYQS_21
表示矩阵的Frobenius范数，/>
Figure QLYQS_23
和/>
Figure QLYQS_24
分别表示按位置减法和加法，且/>
Figure QLYQS_17
表示按位置点乘；
在上述公式中，将所述灌装跟踪特征向量和所述音效特征向量之间的差分特征向量作为深度场景流的单应性表征，来对所述灌装跟踪特征向量和所述音效特征向量的信息融合表达进行约束，并叠加作为所述灌装跟踪特征向量和所述音效特征向量之间的全场景单应关联矩阵的深度感知，从而充分利用预定维度下的场景流的深度单应性表达，来在可能存在特征分布错位的基础上实现特征之间的稠密深度融合。
7.根据权利要求6所述的对PET瓶进行灌装纯净水的流速控制方法，其特征在于，所述将所述灌装监控视频通过使用时间注意力机制的第一卷积神经网络以得到灌装跟踪特征图，包括：从所述灌装监控视频提取相邻的第一帧和第二帧；将所述第一帧和所述第二帧分别通过所述第一卷积神经网络的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；将所述第一帧通过所述第一卷积神经网络的第三卷积层以得到局部特征图；将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述灌装跟踪特征图。
CN202210889647.9A 2022-07-27 2022-07-27 对pet瓶进行灌装纯净水的流速控制系统及其控制方法 Active CN115082837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889647.9A CN115082837B (zh) 2022-07-27 2022-07-27 对pet瓶进行灌装纯净水的流速控制系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889647.9A CN115082837B (zh) 2022-07-27 2022-07-27 对pet瓶进行灌装纯净水的流速控制系统及其控制方法

Publications (2)

Publication Number Publication Date
CN115082837A CN115082837A (zh) 2022-09-20
CN115082837B true CN115082837B (zh) 2023-07-04

Family

ID=83242349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889647.9A Active CN115082837B (zh) 2022-07-27 2022-07-27 对pet瓶进行灌装纯净水的流速控制系统及其控制方法

Country Status (1)

Country Link
CN (1) CN115082837B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116119589A (zh) * 2023-02-21 2023-05-16 德玛克(浙江)精工科技有限公司 液态pet瓶装饮品吹洗灌旋一体机及其方法
CN116101958A (zh) * 2023-03-22 2023-05-12 德玛克(浙江)精工科技有限公司 大桶饮用水智能化灌装方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156807A (zh) * 2015-04-02 2016-11-23 华中科技大学 卷积神经网络模型的训练方法及装置
CN113127672A (zh) * 2021-04-21 2021-07-16 鹏城实验室 量化图像检索模型的生成方法、检索方法、介质及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114768986B (zh) * 2022-06-20 2022-09-16 江苏中腾石英材料科技股份有限公司 高纯熔融石英粉的精细化研磨装置及其研磨方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156807A (zh) * 2015-04-02 2016-11-23 华中科技大学 卷积神经网络模型的训练方法及装置
CN113127672A (zh) * 2021-04-21 2021-07-16 鹏城实验室 量化图像检索模型的生成方法、检索方法、介质及终端

Also Published As

Publication number Publication date
CN115082837A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN115082837B (zh) 对pet瓶进行灌装纯净水的流速控制系统及其控制方法
KR20190024689A (ko) 객체 검출 방법 및 객체 검출을 위한 뉴럴 네트워크 시스템
CN110210551A (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
WO2022134655A1 (zh) 一种端到端的视频动作检测定位系统
CN115013298B (zh) 污水泵的实时性能在线监测系统及其监测方法
Santos et al. Trajectory-based human action segmentation
CN110826447A (zh) 一种基于注意力机制的餐厅后厨人员行为识别方法
CN116025319A (zh) 多介质热流体作业监测系统及其方法
CN114782882B (zh) 基于多模态特征融合的视频目标行为异常检测方法和系统
CN110853074A (zh) 一种利用光流增强目标的视频目标检测网络系统
CN114463677B (zh) 一种基于全局注意力的安全帽配戴检测方法
CN115936682A (zh) 印制线路板的废料回收系统及其方法
Rao et al. Neural network classifier for continuous sign language recognition with selfie video
Sheng et al. Cross-modal self-supervised learning for lip reading: When contrastive learning meets adversarial training
CN112733710A (zh) 用于灌溉装置的灌溉水压控制的神经网络的训练方法
CN116851856B (zh) 纯水线切割加工工艺及其系统
CN106408547A (zh) 图像融合方法、装置和终端设备
CN116797814A (zh) 智慧工地安全管理系统
CN110826397A (zh) 一种基于高阶低秩多模态注意力机制的视频描述方法
CN113254713B (zh) 基于视频内容生成情感曲线的多源情感计算系统及方法
CN113658231B (zh) 光流预测方法、装置、电子设备及存储介质
CN115131735A (zh) 五金工具热处理后冷却媒介温度控制系统及温度控制方法
CN112634331A (zh) 一种光流预测方法及装置
CN114839466A (zh) 用于水泵的emc电磁兼容性测试系统及其测试方法
JP2024502326A (ja) ２ｄイメージを３ｄモデルへと変換するために構成されたニューラル・ネットワークを訓練する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant