CN116912739A - 藕粉的加工控制系统及其方法 - Google Patents
藕粉的加工控制系统及其方法 Download PDFInfo
- Publication number
- CN116912739A CN116912739A CN202310862732.0A CN202310862732A CN116912739A CN 116912739 A CN116912739 A CN 116912739A CN 202310862732 A CN202310862732 A CN 202310862732A CN 116912739 A CN116912739 A CN 116912739A
- Authority
- CN
- China
- Prior art keywords
- lotus root
- feature
- state
- vector
- matrices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000006508 Nelumbo nucifera Nutrition 0.000 title claims abstract description 343
- 240000002853 Nelumbo nucifera Species 0.000 title claims abstract description 343
- 229920002472 Starch Polymers 0.000 title claims abstract description 98
- 235000019698 starch Nutrition 0.000 title claims abstract description 98
- 239000008107 starch Substances 0.000 title claims abstract description 98
- 238000012545 processing Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008859 change Effects 0.000 claims abstract description 95
- 238000012544 monitoring process Methods 0.000 claims abstract description 74
- 239000013598 vector Substances 0.000 claims description 211
- 238000012546 transfer Methods 0.000 claims description 80
- 239000011159 matrix material Substances 0.000 claims description 74
- 238000000605 extraction Methods 0.000 claims description 63
- 238000009826 distribution Methods 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000000465 moulding Methods 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000007792 addition Methods 0.000 description 6
- KRKNYBCHXYNGOX-UHFFFAOYSA-N citric acid Chemical compound OC(=O)CC(O)(C(O)=O)CC(O)=O KRKNYBCHXYNGOX-UHFFFAOYSA-N 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000000843 powder Substances 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000004886 process control Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000029087 digestion Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 235000016709 nutrition Nutrition 0.000 description 3
- 230000035764 nutrition Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 238000009835 boiling Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001590 oxidative effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000007873 sieving Methods 0.000 description 2
- 238000002791 soaking Methods 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- A—HUMAN NECESSITIES
- A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
- A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
- A23L19/00—Products from fruits or vegetables; Preparation or treatment thereof
- A23L19/10—Products from fruits or vegetables; Preparation or treatment thereof of tuberous or like starch containing root crops
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nutrition Science (AREA)
- Chemical & Material Sciences (AREA)
- Food Science & Technology (AREA)
- Polymers & Plastics (AREA)
- Image Analysis (AREA)
Abstract
一种藕粉的加工控制系统及其方法，其获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；采用基于深度学习的人工智能技术，进行所述莲藕片煎煮状态的时序动态变化特征信息的充分表达，以此基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
Description
技术领域
本申请涉及智能化加工控制技术领域，并且更具体地，涉及一种藕粉的加工控制系统及其方法。
背景技术
藕粉是一种由莲藕加工而成的粉末，具有营养丰富、口感细腻、易于消化的特点。在藕粉的加工过程中，控制小火煎煮的时间是影响藕粉质量和口感的重要因素之一。不同的煎煮时间对莲藕片的软硬程度有很大影响，过长或过短的煎煮时间都会影响藕粉的成型。然而，传统的藕粉加工方式通常是人工控制煎煮的时间，存在时效性不足、效率低下、受到操作人员个体差异等缺点，导致制得的藕粉质量和口感不佳。
因此，期望一种优化的藕粉的加工控制系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种藕粉的加工控制系统及其方法，其获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；采用基于深度学习的人工智能技术，进行所述莲藕片煎煮状态的时序动态变化特征信息的充分表达，以此基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
第一方面，提供了一种藕粉的加工控制系统，其包括：
煎煮状态视频采集模块，用于获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；
关键帧提取模块，用于从所述煎煮状态监控视频提取多个煎煮状态监控关键帧；
空间增强特征提取模块，用于将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵；
状态局部时序变化特征提取模块，用于计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；
时序排列模块，用于分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量；
全局多尺度时序关联模块，用于将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量；
特征优化模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及
小火煎煮控制模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。
在上述藕粉的加工控制系统中，所述空间增强特征提取模块，用于：所述使用空间注意力的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力的卷积神经网络模型的最后一层输出的所述多个特征矩阵为所述多个莲藕片状态特征矩阵。
在上述藕粉的加工控制系统中，所述状态局部时序变化特征提取模块，用于：以如下转移公式计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：
其中，M1和M2表示所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵，Mi表示所述多个转移矩阵，表示矩阵相乘。
在上述藕粉的加工控制系统中，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的融合层，其中，所述第一卷积层和所述第二卷积层使用具有不同尺度的一维卷积核。
在上述藕粉的加工控制系统中，所述全局多尺度时序关联模块，包括：第一尺度特征提取单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以如下第一卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第一尺度莲藕片特征向量；其中，所述第一卷积公式为：
其中，a为第一一维卷积核在x方向上的宽度、F(a)为第一一维卷积核参数向量、G(x-a)为与第一一维卷积核函数运算的局部向量矩阵，w为第一一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；第二尺度特征提取单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以如下第二卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第二尺度莲藕片特征向量；其中，所述第二卷积公式为：
其中，b为第二一维卷积核在x方向上的宽度、F(b)为第二一维卷积核参数向量、G(x-b)为与第二一维卷积核函数运算的局部向量矩阵，m为第二一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；以及，级联单元，用于使用所述多尺度邻域特征提取模块的融合层对所述第一尺度莲藕片特征向量和所述第二尺度莲藕片特征向量进行级联以得到所述分类特征向量。
在上述藕粉的加工控制系统中，所述特征优化模块，用于：以如下优化公式对所述莲藕片状态变化时序输入向量和所述分类特征向量进行深层空间封装语义匹配融合以得到所述优化分类特征向量；其中，所述优化公式为：
其中，V1是所述莲藕片状态变化时序输入向量，V2是所述分类特征向量，||·||1和||·||2分别表示向量的一范数和二范数，ω和∈分别为权重和偏置超参数，D(V1,V2)表示所述莲藕片状态变化时序输入向量和所述分类特征向量之间的按位置距离矩阵，且I为单位矩阵，⊕、、⊙分别表示按位置加法、按位置减法和按位置点乘，V2'是所述优化分类特征向量。
在上述藕粉的加工控制系统中，所述小火煎煮控制模块，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
第二方面，提供了一种藕粉的加工控制方法，其包括：
获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；
从所述煎煮状态监控视频提取多个煎煮状态监控关键帧；
将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵；
计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；
分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量；
将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量；
对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及
将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。
在上述藕粉的加工控制方法中，将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵，包括：所述使用空间注意力的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力的卷积神经网络模型的最后一层输出的所述多个特征矩阵为所述多个莲藕片状态特征矩阵。
在上述藕粉的加工控制方法中，计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：
其中，M1和M2表示所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵，Mi表示所述多个转移矩阵，表示矩阵相乘。
与现有技术相比，本申请提供的藕粉的加工控制系统及其方法，其获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；采用基于深度学习的人工智能技术，进行所述莲藕片煎煮状态的时序动态变化特征信息的充分表达，以此基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的藕粉的加工控制系统的应用场景图。
图2为根据本申请实施例的藕粉的加工控制系统的框图。
图3为根据本申请实施例的藕粉的加工控制系统中所述全局多尺度时序关联模块的框图。
图4为根据本申请实施例的藕粉的加工控制系统中所述小火煎煮控制模块的框图。
图5为根据本申请实施例的藕粉的加工控制方法的流程图。
图6为根据本申请实施例的藕粉的加工控制方法的系统架构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
如上所述，藕粉是一种由莲藕加工而成的粉末，具有营养丰富、口感细腻、易于消化的特点。在藕粉的加工过程中，控制小火煎煮的时间是影响藕粉质量和口感的重要因素之一。不同的煎煮时间对莲藕片的软硬程度有很大影响，过长或过短的煎煮时间都会影响藕粉的成型。然而，传统的藕粉加工方式通常是人工控制煎煮的时间，存在时效性不足、效率低下、受到操作人员个体差异等缺点，导致制得的藕粉质量和口感不佳。因此，期望一种优化的藕粉的加工控制系统。
具体地，在本申请的技术方案中，提出了一种藕粉的加工制备方法，其包括：选取新鲜、无病虫害、无机械损伤的莲藕，洗净去皮，切成薄片，浸泡在柠檬酸溶液中，以防止氧化变色；将莲藕片放入锅中，加水没过，煮沸后改用小火煎煮，使其变软糊化，然后捞出沥干水分，放入搅拌机中打成泥状；将莲藕泥放入不锈钢盘中平铺，再放入烘箱中烘干，直到水分含量降低到10％以下；将烘干的莲藕片取出，放入粉碎机中粉碎成细粉，过筛去除杂质，以制得藕粉。
相应地，考虑到在实际进行藕粉的制备过程中，不同的小火煎煮时间对莲藕片的软糊化效果有很大影响，具体来说，煎煮时间过长会导致过于软糊化不能完整地捞出，而如果软糊化不足，则会影响后续的藕粉加工。因此，在本申请的技术方案中，期望基于实际的莲藕片煎煮状态情况来进行小火煎煮的时长控制，也就是，基于莲藕片煎煮状态的时序变化来判断是否停止小火煎。但是，由于莲藕片的煎煮状态在实际的监测过程中为小尺度的隐含特征信息，其时序变化特征也较为微弱，难以通过传统的方式进行变化特征的捕捉。因此，在此过程中，难点在于如何进行所述莲藕片煎煮状态的时序动态变化特征信息的充分表达，以此基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述莲藕片煎煮状态的时序动态变化特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过摄像头采集预定时间段的莲藕片的煎煮状态监控视频。接着，考虑到在所述莲藕片的煎煮状态监控视频中，关于莲藕片的煎煮状态变化特征可以通过所述莲藕片的煎煮状态监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示莲藕片的煎煮状态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述莲藕片的煎煮状态监控视频进行关键帧采样，以从所述煎煮状态监控视频提取多个煎煮状态监控关键帧。
然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个煎煮状态监控关键帧的特征提取，特别地，考虑到在进行所述莲藕片的煎煮状态监测时，应更加关注于空间位置上关于莲藕片的状态隐含特征信息而忽略与莲藕片的煎煮状态监测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型中进行处理，以提取出所述各个煎煮状态监控关键帧中聚焦于空间上的关于所述莲藕片的煎煮状态隐含特征分布信息，从而得到多个莲藕片状态特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于莲藕片的煎煮状态隐含特征信息。
进一步地，考虑到由于所述莲藕片的煎煮状态在时间维度上是不断变化的，并且所述莲藕片的煎煮状态在时序上的变化信息是微弱的，难以通过传统的特征提取方式进行有效地捕捉。因此，在本申请的技术方案中，进一步计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵，以此来表示每两个所述监控关键帧下关于所述莲藕片的煎煮状态的时序相对变化特征信息。
接着，还考虑到由于所述莲藕片的煎煮状态在时间维度上的不同时间周期跨度下呈现出不同的动态变化规律性，为了能够充分捕捉所述莲藕片的煎煮状态在时序上的动态变化特征信息，在本申请的技术方案中，进一步分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量后，将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块中进行特征挖掘，以提取出所述莲藕片的煎煮状态相对特征在不同时间跨度下的多尺度邻域关联特征信息，从而得到分类特征向量。
然后，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。也就是，在本申请的技术方案中，所述分类器的标签包括停止小火煎煮(第一标签)，以及，不停止小火煎煮(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否停止小火煎煮”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否停止小火煎煮的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否停止小火煎煮”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否停止小火煎煮的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来进行小火煎煮的实时控制，从而优化藕粉的成型质量和口感。
特别地，在本申请的技术方案中，考虑到所述莲藕片状态变化时序输入向量表达煎煮状态监控关键帧的空间强化图像语义的特征域转移表达沿时序下的分布，在通过多尺度邻域特征提取模块下，提取了特征域转移表达时序分布的多尺度邻域关联特征，但是，为了提升所述分类特征向量的分类效果，期望所述分类特征向量能够同时表达所述特征域转移表达时序分布及其多尺度邻域关联特征，因此，期望对所述莲藕片状态变化时序输入向量和所述分类特征向量进行融合来对所述分类特征向量进行优化。
由此，本申请的申请人对所述莲藕片状态变化时序输入向量，例如记为V1和所述分类特征向量，例如记为V2进行深层空间封装语义匹配融合，以得到优化后的所述分类特征向量，例如记为V2'，其中，优化后的所述分类特征向量V2'具体表示为：
||·||1和||·||2分别表示向量的一范数和二范数，ω和∈分别为权重和偏置超参数，D(V1,V2)表示所述莲藕片状态变化时序输入向量V1和所述分类特征向量V2之间的按位置距离矩阵，即Dij＝d(v1i,v2j)，且I为单位矩阵。
这里，对于深度特征空间中的所述莲藕片状态变化时序输入向量V1和所述分类特征向量V2，其语义表达被封装到了深层空间内，这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布，由此，通过所述深层空间封装语义匹配融合，可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配，以实现特征在特征空间内的语义受控的编译融合，从而获得所述莲藕片状态变化时序输入向量V1和所述分类特征向量V2在特征融合空间内的语义协同，提升了优化后的所述分类特征向量V2'对所述莲藕片状态变化时序输入向量V1和所述分类特征向量V2的融合效果，也就提升了所述优化后的分类特征向量通过分类器得到的分类结果的准确性。这样，能够基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
图1为根据本申请实施例的藕粉的加工控制系统的应用场景图。如图1所示，在该应用场景中，首先，获取由摄像头采集的预定时间段的莲藕片(例如，如图1中所示意的M)的煎煮状态监控视频(例如，如图1中所示意的C)；然后，将获取的煎煮状态监控视频输入至部署有藕粉的加工控制算法的服务器(例如，如图1中所示意的S)中，其中所述服务器能够基于藕粉的加工控制算法对所述煎煮状态监控视频进行处理，以生成用于表示是否停止小火煎煮的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的藕粉的加工控制系统的框图。如图2所示，根据本申请实施例的藕粉的加工控制系统100，包括：煎煮状态视频采集模块110，用于获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；关键帧提取模块120，用于从所述煎煮状态监控视频提取多个煎煮状态监控关键帧；空间增强特征提取模块130，用于将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵；状态局部时序变化特征提取模块140，用于计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；时序排列模块150，用于分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量；全局多尺度时序关联模块160，用于将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量；特征优化模块170，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，小火煎煮控制模块180，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。
具体地，在本申请实施例中，所述煎煮状态视频采集模块110，用于获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频。如上所述，藕粉是一种由莲藕加工而成的粉末，具有营养丰富、口感细腻、易于消化的特点。在藕粉的加工过程中，控制小火煎煮的时间是影响藕粉质量和口感的重要因素之一。不同的煎煮时间对莲藕片的软硬程度有很大影响，过长或过短的煎煮时间都会影响藕粉的成型。然而，传统的藕粉加工方式通常是人工控制煎煮的时间，存在时效性不足、效率低下、受到操作人员个体差异等缺点，导致制得的藕粉质量和口感不佳。因此，期望一种优化的藕粉的加工控制系统。
具体地，在本申请的技术方案中，提出了一种藕粉的加工制备方法，其包括：选取新鲜、无病虫害、无机械损伤的莲藕，洗净去皮，切成薄片，浸泡在柠檬酸溶液中，以防止氧化变色；将莲藕片放入锅中，加水没过，煮沸后改用小火煎煮，使其变软糊化，然后捞出沥干水分，放入搅拌机中打成泥状；将莲藕泥放入不锈钢盘中平铺，再放入烘箱中烘干，直到水分含量降低到10％以下；将烘干的莲藕片取出，放入粉碎机中粉碎成细粉，过筛去除杂质，以制得藕粉。
相应地，考虑到在实际进行藕粉的制备过程中，不同的小火煎煮时间对莲藕片的软糊化效果有很大影响，具体来说，煎煮时间过长会导致过于软糊化不能完整地捞出，而如果软糊化不足，则会影响后续的藕粉加工。因此，在本申请的技术方案中，期望基于实际的莲藕片煎煮状态情况来进行小火煎煮的时长控制，也就是，基于莲藕片煎煮状态的时序变化来判断是否停止小火煎。但是，由于莲藕片的煎煮状态在实际的监测过程中为小尺度的隐含特征信息，其时序变化特征也较为微弱，难以通过传统的方式进行变化特征的捕捉。因此，在此过程中，难点在于如何进行所述莲藕片煎煮状态的时序动态变化特征信息的充分表达，以此基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述莲藕片煎煮状态的时序动态变化特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过摄像头采集预定时间段的莲藕片的煎煮状态监控视频。
具体地，在本申请实施例中，所述关键帧提取模块120，用于从所述煎煮状态监控视频提取多个煎煮状态监控关键帧。接着，考虑到在所述莲藕片的煎煮状态监控视频中，关于莲藕片的煎煮状态变化特征可以通过所述莲藕片的煎煮状态监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示莲藕片的煎煮状态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述莲藕片的煎煮状态监控视频进行关键帧采样，以从所述煎煮状态监控视频提取多个煎煮状态监控关键帧。
具体地，在本申请实施例中，所述空间增强特征提取模块130，用于将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵。然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个煎煮状态监控关键帧的特征提取，特别地，考虑到在进行所述莲藕片的煎煮状态监测时，应更加关注于空间位置上关于莲藕片的状态隐含特征信息而忽略与莲藕片的煎煮状态监测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。
因此，在本申请的技术方案中，将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型中进行处理，以提取出所述各个煎煮状态监控关键帧中聚焦于空间上的关于所述莲藕片的煎煮状态隐含特征分布信息，从而得到多个莲藕片状态特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于莲藕片的煎煮状态隐含特征信息。
其中，所述空间增强特征提取模块130，用于：所述使用空间注意力的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力的卷积神经网络模型的最后一层输出的所述多个特征矩阵为所述多个莲藕片状态特征矩阵。
注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask,mask上的值的权重。一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
具体地，在本申请实施例中，所述状态局部时序变化特征提取模块140，用于计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵。进一步地，考虑到由于所述莲藕片的煎煮状态在时间维度上是不断变化的，并且所述莲藕片的煎煮状态在时序上的变化信息是微弱的，难以通过传统的特征提取方式进行有效地捕捉。因此，在本申请的技术方案中，进一步计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵，以此来表示每两个所述监控关键帧下关于所述莲藕片的煎煮状态的时序相对变化特征信息。
其中，所述状态局部时序变化特征提取模块140，用于：以如下转移公式计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：
其中，M1和M2表示所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵，Mi表示所述多个转移矩阵，表示矩阵相乘。
具体地，在本申请实施例中，所述时序排列模块150，用于分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量。接着，还考虑到由于所述莲藕片的煎煮状态在时间维度上的不同时间周期跨度下呈现出不同的动态变化规律性，为了能够充分捕捉所述莲藕片的煎煮状态在时序上的动态变化特征信息，在本申请的技术方案中，进一步分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量。
具体地，在本申请实施例中，所述全局多尺度时序关联模块160，用于将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量。然后，将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块中进行特征挖掘，以提取出所述莲藕片的煎煮状态相对特征在不同时间跨度下的多尺度邻域关联特征信息，从而得到分类特征向量。
其中，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的融合层，其中，所述第一卷积层和所述第二卷积层使用具有不同尺度的一维卷积核。
图3为根据本申请实施例的藕粉的加工控制系统中所述全局多尺度时序关联模块的框图，如图3所示，所述全局多尺度时序关联模块160，包括：第一尺度特征提取单元161，用于使用所述多尺度邻域特征提取模块的第一卷积层以如下第一卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第一尺度莲藕片特征向量；其中，所述第一卷积公式为：
其中，a为第一一维卷积核在x方向上的宽度、F(a)为第一一维卷积核参数向量、G(x-a)为与第一一维卷积核函数运算的局部向量矩阵，w为第一一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；第二尺度特征提取单元162，用于使用所述多尺度邻域特征提取模块的第二卷积层以如下第二卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第二尺度莲藕片特征向量；其中，所述第二卷积公式为：
其中，b为第二一维卷积核在x方向上的宽度、F(b)为第二一维卷积核参数向量、G(x-b)为与第二一维卷积核函数运算的局部向量矩阵，m为第二一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；以及，级联单元163，用于使用所述多尺度邻域特征提取模块的融合层对所述第一尺度莲藕片特征向量和所述第二尺度莲藕片特征向量进行级联以得到所述分类特征向量。
值得一提的是，相较于传统的特征工程，所述多尺度邻域特征提取模块本质上是一个基于深度学习的深度神经网络模型，其能够通过预定训练策略来拟合任何函数功能，且具有更高的特征提取泛化能力。
所述多尺度邻域特征提取模块包含多个并行的一维卷积层，其中，在所述多尺度邻域特征提取模块进行特征提取的过程中，所述多个并行的一维卷积层分别以具有不同尺度的一维卷积核对输入数据进行一维卷积编码以捕捉序列局部隐含特征。
具体地，在本申请实施例中，所述特征优化模块170，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量。特别地，在本申请的技术方案中，考虑到所述莲藕片状态变化时序输入向量表达煎煮状态监控关键帧的空间强化图像语义的特征域转移表达沿时序下的分布，在通过多尺度邻域特征提取模块下，提取了特征域转移表达时序分布的多尺度邻域关联特征，但是，为了提升所述分类特征向量的分类效果，期望所述分类特征向量能够同时表达所述特征域转移表达时序分布及其多尺度邻域关联特征，因此，期望对所述莲藕片状态变化时序输入向量和所述分类特征向量进行融合来对所述分类特征向量进行优化。
由此，本申请的申请人对所述莲藕片状态变化时序输入向量，例如记为V1和所述分类特征向量，例如记为V2进行深层空间封装语义匹配融合，以得到优化后的所述分类特征向量，例如记为V2'，其中，优化后的所述分类特征向量V2'具体表示为：以如下优化公式对所述莲藕片状态变化时序输入向量和所述分类特征向量进行深层空间封装语义匹配融合以得到所述优化分类特征向量；其中，所述优化公式为：
其中，V1是所述莲藕片状态变化时序输入向量，V2是所述分类特征向量，||·||1和||·||2分别表示向量的一范数和二范数，ω和∈分别为权重和偏置超参数，D(V1,V2)表示所述莲藕片状态变化时序输入向量和所述分类特征向量之间的按位置距离矩阵，且I为单位矩阵，⊕、、⊙分别表示按位置加法、按位置减法和按位置点乘，V2'是所述优化分类特征向量。
这里，对于深度特征空间中的所述莲藕片状态变化时序输入向量V1和所述分类特征向量V2，其语义表达被封装到了深层空间内，这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布，由此，通过所述深层空间封装语义匹配融合，可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配，以实现特征在特征空间内的语义受控的编译融合，从而获得所述莲藕片状态变化时序输入向量V1和所述分类特征向量V2在特征融合空间内的语义协同，提升了优化后的所述分类特征向量V2'对所述莲藕片状态变化时序输入向量V1和所述分类特征向量V2的融合效果，也就提升了所述优化后的分类特征向量通过分类器得到的分类结果的准确性。这样，能够基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
具体地，在本申请实施例中，所述小火煎煮控制模块180，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。然后，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。也就是，在本申请的技术方案中，所述分类器的标签包括停止小火煎煮(第一标签)，以及，不停止小火煎煮(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。
值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否停止小火煎煮”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否停止小火煎煮的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否停止小火煎煮”的语言文本意义。
应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否停止小火煎煮的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来进行小火煎煮的实时控制，从而优化藕粉的成型质量和口感。
图4为根据本申请实施例的藕粉的加工控制系统中所述小火煎煮控制模块的框图，如图4所示，所述小火煎煮控制模块180，包括：全连接编码单元181，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元182，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的藕粉的加工控制系统100被阐明，其获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；采用基于深度学习的人工智能技术，进行所述莲藕片煎煮状态的时序动态变化特征信息的充分表达，以此基于实际的莲藕片煎煮状态变化情况来进行小火煎煮的实时准确控制，从而优化藕粉的成型质量和口感。
如上所述，根据本申请实施例的藕粉的加工控制系统100可以实现在各种终端设备中，例如用于藕粉的加工控制的服务器等。在一个示例中，根据本申请实施例的藕粉的加工控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该藕粉的加工控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该藕粉的加工控制系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该藕粉的加工控制系统100与该终端设备也可以是分立的设备，并且该藕粉的加工控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
在本申请的一个实施例中，图5为根据本申请实施例的藕粉的加工控制方法的流程图。如图5所示，根据本申请实施例的藕粉的加工控制方法，其包括：210，获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；220，从所述煎煮状态监控视频提取多个煎煮状态监控关键帧；230，将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵；240，计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；250，分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量；260，将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量；270，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，280，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。
图6为根据本申请实施例的藕粉的加工控制方法的系统架构的示意图。如图6所示，在所述藕粉的加工控制方法的系统架构中，首先，获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；然后，从所述煎煮状态监控视频提取多个煎煮状态监控关键帧；接着，将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵；然后，计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；接着，分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量；然后，将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量；接着，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，最后，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。
在一个具体示例中，在上述藕粉的加工控制方法中，将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵，包括：所述使用空间注意力的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力的卷积神经网络模型的最后一层输出的所述多个特征矩阵为所述多个莲藕片状态特征矩阵。
在一个具体示例中，在上述藕粉的加工控制方法中，计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：
其中，M1和M2表示所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵，Mi表示所述多个转移矩阵，表示矩阵相乘。
在一个具体示例中，在上述藕粉的加工控制方法中，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的融合层，其中，所述第一卷积层和所述第二卷积层使用具有不同尺度的一维卷积核。
在一个具体示例中，在上述藕粉的加工控制方法中，将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下第一卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第一尺度莲藕片特征向量；其中，所述第一卷积公式为：
其中，a为第一一维卷积核在x方向上的宽度、F(a)为第一一维卷积核参数向量、G(x-a)为与第一一维卷积核函数运算的局部向量矩阵，w为第一一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；使用所述多尺度邻域特征提取模块的第二卷积层以如下第二卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第二尺度莲藕片特征向量；其中，所述第二卷积公式为：
其中，b为第二一维卷积核在x方向上的宽度、F(b)为第二一维卷积核参数向量、G(x-b)为与第二一维卷积核函数运算的局部向量矩阵，m为第二一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；以及，使用所述多尺度邻域特征提取模块的融合层对所述第一尺度莲藕片特征向量和所述第二尺度莲藕片特征向量进行级联以得到所述分类特征向量。
在一个具体示例中，在上述藕粉的加工控制方法中，对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：以如下优化公式对所述莲藕片状态变化时序输入向量和所述分类特征向量进行深层空间封装语义匹配融合以得到所述优化分类特征向量；其中，所述优化公式为：
其中，V1是所述莲藕片状态变化时序输入向量，V2是所述分类特征向量，||·||1和||·||2分别表示向量的一范数和二范数，ω和∈分别为权重和偏置超参数，D(V1,V2)表示所述莲藕片状态变化时序输入向量和所述分类特征向量之间的按位置距离矩阵，且I为单位矩阵，⊕、、⊙分别表示按位置加法、按位置减法和按位置点乘，V2'是所述优化分类特征向量。
在一个具体示例中，在上述藕粉的加工控制方法中，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮，包括：使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
本领域技术人员可以理解，上述藕粉的加工控制方法中的各个步骤的具体操作已经在上面参考图1到图4的藕粉的加工控制系统的描述中得到了详细介绍，并因此，将省略其重复描述。
本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种藕粉的加工控制系统，其特征在于，包括：
煎煮状态视频采集模块，用于获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；
关键帧提取模块，用于从所述煎煮状态监控视频提取多个煎煮状态监控关键帧；
空间增强特征提取模块，用于将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵；
状态局部时序变化特征提取模块，用于计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；
时序排列模块，用于分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量；
全局多尺度时序关联模块，用于将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量；
特征优化模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及
小火煎煮控制模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。
2.根据权利要求1所述的藕粉的加工控制系统，其特征在于，所述空间增强特征提取模块，用于：所述使用空间注意力的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；
其中，所述使用空间注意力的卷积神经网络模型的最后一层输出的所述多个特征矩阵为所述多个莲藕片状态特征矩阵。
3.根据权利要求2所述的藕粉的加工控制系统，其特征在于，所述状态局部时序变化特征提取模块，用于：以如下转移公式计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；
其中，所述转移公式为：
其中，M1和M2表示所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵，Mi表示所述多个转移矩阵，表示矩阵相乘。
4.根据权利要求3所述的藕粉的加工控制系统，其特征在于，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的融合层，其中，所述第一卷积层和所述第二卷积层使用具有不同尺度的一维卷积核。
5.根据权利要求4所述的藕粉的加工控制系统，其特征在于，所述全局多尺度时序关联模块，包括：
第一尺度特征提取单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以如下第一卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第一尺度莲藕片特征向量；
其中，所述第一卷积公式为：
其中，a为第一一维卷积核在x方向上的宽度、F(a)为第一一维卷积核参数向量、G(x-a)为与第一一维卷积核函数运算的局部向量矩阵，w为第一一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；
第二尺度特征提取单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以如下第二卷积公式对所述莲藕片状态变化时序输入向量进行一维卷积编码以得到第二尺度莲藕片特征向量；
其中，所述第二卷积公式为：
其中，b为第二一维卷积核在x方向上的宽度、F(b)为第二一维卷积核参数向量、G(x-b)为与第二一维卷积核函数运算的局部向量矩阵，m为第二一维卷积核的尺寸，X表示所述莲藕片状态变化时序输入向量，Cov(X)表示对所述莲藕片状态变化时序输入向量进行一维卷积编码；以及
级联单元，用于使用所述多尺度邻域特征提取模块的融合层对所述第一尺度莲藕片特征向量和所述第二尺度莲藕片特征向量进行级联以得到所述分类特征向量。
6.根据权利要求5所述的藕粉的加工控制系统，其特征在于，所述特征优化模块，用于：以如下优化公式对所述莲藕片状态变化时序输入向量和所述分类特征向量进行深层空间封装语义匹配融合以得到所述优化分类特征向量；
其中，所述优化公式为：
其中，V1是所述莲藕片状态变化时序输入向量，V2是所述分类特征向量，·1和·2分别表示向量的一范数和二范数，ω和∈分别为权重和偏置超参数，DV1,V2表示所述莲藕片状态变化时序输入向量和所述分类特征向量之间的按位置距离矩阵，且I为单位矩阵，⊙分别表示按位置加法、按位置减法和按位置点乘，V2'是所述优化分类特征向量。
7.根据权利要求6所述的藕粉的加工控制系统，其特征在于，所述小火煎煮控制模块，包括：
全连接编码单元，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
8.一种藕粉的加工控制方法，其特征在于，包括：
获取由摄像头采集的预定时间段的莲藕片的煎煮状态监控视频；
从所述煎煮状态监控视频提取多个煎煮状态监控关键帧；
将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵；
计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；
分别计算所述多个转移矩阵中各个转移矩阵的全局均值以得到莲藕片状态变化时序输入向量；
将所述莲藕片状态变化时序输入向量通过多尺度邻域特征提取模块以得到分类特征向量；
对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及
将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否停止小火煎煮。
9.根据权利要求8所述的藕粉的加工控制方法，其特征在于，将所述多个煎煮状态监控关键帧分别通过使用空间注意力的卷积神经网络模型以得到多个莲藕片状态特征矩阵，包括：所述使用空间注意力的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；
其中，所述使用空间注意力的卷积神经网络模型的最后一层输出的所述多个特征矩阵为所述多个莲藕片状态特征矩阵。
10.根据权利要求9所述的藕粉的加工控制方法，其特征在于，计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵之间的转移矩阵以得到多个转移矩阵；
其中，所述转移公式为：
其中，M1和M2表示所述多个莲藕片状态特征矩阵中每相邻两个莲藕片状态特征矩阵，Mi表示所述多个转移矩阵，表示矩阵相乘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310862732.0A CN116912739A (zh) | 2023-07-14 | 2023-07-14 | 藕粉的加工控制系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310862732.0A CN116912739A (zh) | 2023-07-14 | 2023-07-14 | 藕粉的加工控制系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912739A true CN116912739A (zh) | 2023-10-20 |
Family
ID=88362343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310862732.0A Pending CN116912739A (zh) | 2023-07-14 | 2023-07-14 | 藕粉的加工控制系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912739A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117668484A (zh) * | 2023-12-05 | 2024-03-08 | 东莞市成铭胶粘剂有限公司 | 胶黏剂生产过程的实时监测系统及方法 |
-
2023
- 2023-07-14 CN CN202310862732.0A patent/CN116912739A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117668484A (zh) * | 2023-12-05 | 2024-03-08 | 东莞市成铭胶粘剂有限公司 | 胶黏剂生产过程的实时监测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728628B (zh) | 一种基于条件生成对抗网络的人脸去遮挡方法 | |
| CN114120037A (zh) | 一种基于改进yolov5模型的发芽马铃薯图像识别方法 | |
| Kamath et al. | Classification of paddy crop and weeds using semantic segmentation | |
| Liu et al. | Deep learning based research on quality classification of shiitake mushrooms | |
| CN116912739A (zh) | 藕粉的加工控制系统及其方法 | |
| Mercurio et al. | Classification of sweet potato variety using convolutional neural network | |
| Singh et al. | Identification of tomato leaf diseases using deep Convolutional Neural Networks | |
| CN113221913A (zh) | 一种基于高斯概率决策级融合的农林病虫害细粒度识别方法及装置 | |
| CN117975282B (zh) | 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统 | |
| CN116704412A (zh) | 玫瑰花瓣加工处理方法及系统 | |
| Kim et al. | Fruit tree disease classification system using generative adversarial networks | |
| Thangaraj et al. | Automatic recognition of avocado fruit diseases using modified deep convolutional neural network | |
| Espejo-Garcia et al. | Top-tuning on transformers and data augmentation transferring for boosting the performance of weed identification | |
| Kong et al. | Detection model based on improved faster-RCNN in apple orchard environment | |
| Parvez et al. | Tomato leaf disease detection using convolutional neural network | |
| Arya et al. | A comprehensive review: advancements in pretrained and deep learning methods in the disease detection of rice plants | |
| David et al. | Betel Leaf Diseases Classification using Machine Learning Algorithm: A Feasible Approach | |
| Cui et al. | Improving U-net network for semantic segmentation of corns and weeds during corn seedling stage in field | |
| Santhosh Kumar et al. | Review on disease detection of plants using image processing and machine learning techniques | |
| Akbar et al. | Performance Evaluation of Deep Learning Models for Leaf Disease Detection: A Comparative Study | |
| Khaparde et al. | PLANT CHECK: POTATO LEAF DISEASE DETECTION USING CNN MODEL | |
| Bhange et al. | Detection of Bacterial Blight on Pomegranate Leaf | |
| Singh | A Critical Analysis of Convolutional Neural Networks for Leaf Disease Detection in Plants | |
| Dong et al. | Enhanced Pest Recognition Using Multi-Task Deep Learning with the Discriminative Attention Multi-Network | |
| Hettiarachchi et al. | UrbanAgro: Utilizing advanced deep learning to support Sri Lankan urban farmers to detect and control common diseases in tomato plants |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |