CN118068799A - 酱卤自动化生产线智能控制系统及方法 - Google Patents
酱卤自动化生产线智能控制系统及方法 Download PDFInfo
- Publication number
- CN118068799A CN118068799A CN202410503172.4A CN202410503172A CN118068799A CN 118068799 A CN118068799 A CN 118068799A CN 202410503172 A CN202410503172 A CN 202410503172A CN 118068799 A CN118068799 A CN 118068799A
- Authority
- CN
- China
- Prior art keywords
- surface state
- food material
- feature
- time sequence
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 235000015067 sauces Nutrition 0.000 title claims abstract description 32
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 27
- 235000013305 food Nutrition 0.000 claims abstract description 229
- 239000000463 material Substances 0.000 claims abstract description 201
- 239000002994 raw material Substances 0.000 claims abstract description 43
- 235000011194 food seasoning agent Nutrition 0.000 claims abstract description 15
- 239000004278 EU approved seasoning Substances 0.000 claims abstract description 13
- 239000012466 permeate Substances 0.000 claims abstract description 11
- 238000005303 weighing Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 85
- 239000013598 vector Substances 0.000 claims description 70
- 238000012512 characterization method Methods 0.000 claims description 51
- 238000012544 monitoring process Methods 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 229910052736 halogen Inorganic materials 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 235000015090 marinades Nutrition 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 150000002367 halogens Chemical class 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims 1
- 238000004590 computer program Methods 0.000 description 9
- 238000010411 cooking Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 235000014347 soups Nutrition 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101100001674 Emericella variicolor andI gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- General Preparation And Processing Of Foods (AREA)
Abstract
本申请涉及智能化生产线控制技术领域，其具体地公开了一种酱卤自动化生产线智能控制系统及方法，其包括：自动投料机，用于对原料进行称重和分配；输送带，用于输送分配完成的所述原料；智能卤锅，用于卤煮所述原料，使得调料均匀地渗透到所述原料中；部署于所述智能卤锅的传感器组，所述传感器组包括摄像头；中央控制器，用于生成所述智能卤锅的控制指令。这样，可以自适应地调整卤锅压力，使得调料更均匀细腻地渗透到原料食材中，保证食材的质地和口感。
Description
技术领域
本申请涉及智能化生产线控制技术领域，尤其涉及一种酱卤自动化生产线智能控制系统及方法。
背景技术
酱卤是中国传统美食的重要组成部分，其制作工艺复杂，需要精确控制原料的比例和烹饪时间。然而，传统的酱卤生产方式大多依赖人工操作，这不仅效率低下，而且难以保证产品质量的稳定性。
随着科技的发展，自动化和智能化技术在各行各业得到了广泛应用，包括食品制造业。自动化生产线可以提高生产效率，降低人工成本，同时通过精确控制生产过程，保证产品质量的稳定性。然而，酱卤的生产过程涉及到多种原料的精确配比和复杂的烹饪过程，如何将自动化和智能化技术应用到酱卤生产中，是当前亟待解决的问题。
发明内容
本申请实施例提供一种酱卤自动化生产线智能控制系统及方法，其包括：自动投料机，用于对原料进行称重和分配；输送带，用于输送分配完成的所述原料；智能卤锅，用于卤煮所述原料，使得调料均匀地渗透到所述原料中；部署于所述智能卤锅的传感器组，所述传感器组包括摄像头；中央控制器，用于生成所述智能卤锅的控制指令。这样，可以自适应地调整卤锅压力，使得调料更均匀细腻地渗透到原料食材中，保证食材的质地和口感。
本申请实施例还提供了一种酱卤自动化生产线智能控制系统，其包括：
自动投料机，用于对原料进行称重和分配；
输送带，用于输送分配完成的所述原料；
智能卤锅，用于卤煮所述原料，使得调料均匀地渗透到所述原料中；
部署于所述智能卤锅的传感器组，所述传感器组包括摄像头；
中央控制器，用于生成所述智能卤锅的控制指令。
在上述酱卤自动化生产线智能控制系统中，所述中央控制器，包括：视频数据采集模块，用于获取由所述摄像头采集的食材表面状态监控视频；食材表面状态特征提取模块，用于对所述食材表面状态监控视频进行食材表面状态特征提取以得到食材表面状态时序特征图的序列；特征显化和本质特征表示模块，用于对所述食材表面状态时序特征图的序列进行特征显化和本质特征表示以得到食材表面状态变化时序本质表征特征图；控制指令生成模块，用于基于所述食材表面状态变化时序本质表征特征图来确定卤锅压力的控制指令。
在上述酱卤自动化生产线智能控制系统中，所述食材表面状态特征提取模块，包括：数据预处理单元，用于对所述食材表面状态监控视频进行视频片段切分以得到食材表面状态监控视频片段的序列；时序特征提取单元，用于将所述食材表面状态监控视频片段的序列中的各个食材表面状态监控视频片段通过基于三维卷积神经网络模型的食材表面状态时序模式特征提取器以得到所述食材表面状态时序特征图的序列。
在上述酱卤自动化生产线智能控制系统中，所述特征显化和本质特征表示模块，包括：特征显著化单元，用于将所述食材表面状态时序特征图的序列中的各个食材表面状态时序特征图分别通过基于注意力机制的特征显著器以得到显著化食材表面状态时序特征图的序列；本质模式特征表示单元，用于将所述显著化食材表面状态时序特征图的序列通过基于本质特征提取网络的食材表面状态时序本质模式特征提取器以得到所述食材表面状态变化时序本质表征特征图。
在上述酱卤自动化生产线智能控制系统中，所述特征显著化单元，包括：多尺度表征特征提取子单元，用于提取所述食材表面状态时序特征图的多尺度非线性卷积全局表征特征以得到浓缩全局表征特征向量；注意力施加子单元，用于基于所述浓缩全局表征特征向量进行注意力施加处理以得到所述显著化食材表面状态时序特征图。
在上述酱卤自动化生产线智能控制系统中，所述多尺度表征特征提取子单元，用
于：将所述食材表面状态时序特征图通过多尺度卷积核组进行非线性卷积操作以得到第一
非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特
征图；以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所
述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向
量；其中，所述全局表示公式为：， 其中，、、和分别为所述第一非线性卷积特
征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特
征图，为多尺度非线性卷积融合特征图，表示级联处理，表示所述全局表征特征向量
中第个特征值，表示对所述多尺度非线性卷积融合特征图中第个特征矩阵进行
全局均值池化处理，和分别为所述多尺度非线性卷积融合特征图中第个特征矩阵的
高度和宽度，为所述多尺度非线性卷积融合特征图中第个特征矩阵中位置处
的特征值；对所述全局表征特征向量进行激活处理以得到所述浓缩全局表征特征向量。
在上述酱卤自动化生产线智能控制系统中，所述注意力施加子单元，用于：以如下
注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第
三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理
以得到所述显著化食材表面状态时序特征图；其中，所述注意力权重施加公式为：，，，，， 其中，、、、分别表示所述第
一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和
所述第四非线性卷积特征图的权重概率向量，表示所述浓缩全局表征特征向量中与
所述第一非线性卷积特征图对应的通道的向量元素，、和则分别表示所述浓缩
全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第
四非线性卷积特征图对应的通道的向量元素，为所述显著化食材表面状态时序特征图，表示级联处理。
在上述酱卤自动化生产线智能控制系统中，所述本质模式特征表示单元，用于：以
如下时序本质模式特征提取公式对所述显著化食材表面状态时序特征图的序列进行处理
以得到所述食材表面状态变化时序本质表征特征图；其中，所述时序本质模式特征提取公
式为：， 其中，是所述显著化食材表面
状态时序特征图的序列中第个显著化食材表面状态时序特征图，是所述显著化食材表面
状态时序特征图的序列中第个显著化食材表面状态时序特征图，表示特征图的2范
数，为所述显著化食材表面状态时序特征图的序列的长度减一，为所述显著化食材表
面状态时序特征图的序列的表示，表示特征差异系数，表示自然指数函数运算，
表示所述特征差异系数的总数，为所述食材表面状态变化时序本质表征特征图。
在上述酱卤自动化生产线智能控制系统中，所述控制指令生成模块，用于：对所述食材表面状态变化时序本质表征特征图进行特征图展开以得到第一特征向量；将所述显著化食材表面状态时序特征图的序列级联得到第二特征向量后，将所述第一特征向量和所述第二特征向量进行融合以得到校正后食材表面状态变化时序本质表征特征向量；将所述校正后食材表面状态变化时序本质表征特征向量通过基于分类器的智能控制器以得到所述控制指令，所述控制指令用于表示当前时间点的卤锅压力应增大、应减小或应保持不变。
本申请实施例还提供了一种酱卤自动化生产线智能控制方法，其包括：
使用自动投料机对原料进行称重和分配；
使用输送带输送分配完成的所述原料；
使用智能卤锅卤煮所述原料，使得调料均匀地渗透到所述原料中；
使用部署于所述智能卤锅的传感器组，所述传感器组包括摄像头，使用所述摄像头采集食材表面状态监控视频；
使用中央控制器生成所述智能卤锅的控制指令；
其中，使用中央控制器生成所述智能卤锅的控制指令，包括：
获取由所述摄像头采集的所述食材表面状态监控视频；
对所述食材表面状态监控视频进行食材表面状态特征提取以得到食材表面状态时序特征图的序列；
对所述食材表面状态时序特征图的序列进行特征显化和本质特征表示以得到食材表面状态变化时序本质表征特征图；
基于所述食材表面状态变化时序本质表征特征图来确定所述卤锅压力的控制指令。
与现有技术相比，本申请的酱卤自动化生产线智能控制系统及方法，其包括：自动投料机，用于对原料进行称重和分配；输送带，用于输送分配完成的所述原料；智能卤锅，用于卤煮所述原料，使得调料均匀地渗透到所述原料中；部署于所述智能卤锅的传感器组，所述传感器组包括摄像头；中央控制器，用于生成所述智能卤锅的控制指令。这样，可以自适应地调整卤锅压力，使得调料更均匀细腻地渗透到原料食材中，保证食材的质地和口感。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例中提供的一种酱卤自动化生产线智能控制系统的框图。
图2为本申请实施例中提供的智能卤锅的传感器组的示意图。
图3为本申请实施例中提供的一种酱卤自动化生产线智能控制系统中所述中央控制器的框图。
图4为本申请实施例中提供的一种酱卤自动化生产线智能方法的流程图。
图5为本申请实施例中提供的一种酱卤自动化生产线智能控制系统的应用场景图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
在本申请的一个实施例中，图1为本申请实施例中提供的一种酱卤自动化生产线智能控制系统的框图。如图1所示，根据本申请实施例的酱卤自动化生产线智能控制系统100，包括：自动投料机110，用于对原料进行称重和分配；输送带120，用于输送分配完成的所述原料；智能卤锅130，用于卤煮所述原料，使得调料均匀地渗透到所述原料中；部署于所述智能卤锅的传感器组140，所述传感器组包括摄像头；中央控制器150，用于生成所述智能卤锅的控制指令。
在本申请的一个实施例中，如图2所示，所述智能卤锅的传感器组140在所述智能卤锅内进一步包括上、中、下三层的温度传感器a、b、c和卤汤浓度监测传感器d，其中，卤汤浓度监测传感器d位于智能卤锅的中间位置，对卤煮过程中智能卤锅内卤汤的浓度进行实时监测，确保产品质量；在智能卤锅的锅身的上、中、下位置分别安装温度传感器a、b、c，对卤煮过程中罐内各部分产品实现温度的实时监测。这样，有助于实时监控所述智能卤锅内的温度和卤汤浓度，使得食材在烹饪过程中受热均匀，口感和质地良好。
其中，在实际进行酱卤的过程中，所述智能卤锅的卤锅压力会影响调料在烹饪过程中对食材的渗透效果。应可以理解，不同的食材和菜品可能需要不同的烹饪条件，包括温度和压力。具体来说，卤锅压力的增加通常会提高烹饪过程中的温度。在高压环境下，水的沸点会升高，导致食材受热更加迅速和均匀。这种高温环境有助于加速调料与食材之间的反应，促进调料更好地渗透到食材内部。然而，过高的卤锅压力会导致食材在烹饪过程中过度受热，容易导致食材变得过软或过煮，影响口感和质地。同时，过高的卤锅压力可能增加卤锅的安全风险，例如可能导致卤锅爆炸或其他安全问题，对操作人员和生产设备造成危险。因此，在实际进行酱卤的过程中，对卤锅压力的控制是必不可少的环节。目前，通常依赖于人工经验来对卤锅压力进行控制和调节，但这种方式可能受到操作人员的主观性影响，可能导致控制结果的不一致和不稳定。
针对上述技术问题，本申请的技术构思是：通过摄像头来采集智能卤锅中的食材表面状态监控视频，结合基于深度学习的人工智能技术来挖掘食材的表面状态时序特征，从而自适应地调整卤锅压力，使得调料更均匀细腻地渗透到原料食材中，保证食材的质地和口感。
图3为本申请实施例中提供的一种酱卤自动化生产线智能控制系统中所述中央控制器的框图。如图3所示，所述中央控制器150，包括：视频数据采集模块151，用于获取由所述摄像头采集的食材表面状态监控视频；食材表面状态特征提取模块152，用于对所述食材表面状态监控视频进行食材表面状态特征提取以得到食材表面状态时序特征图的序列；特征显化和本质特征表示模块153，用于对所述食材表面状态时序特征图的序列进行特征显化和本质特征表示以得到食材表面状态变化时序本质表征特征图；控制指令生成模块154，用于基于所述食材表面状态变化时序本质表征特征图来确定卤锅压力的控制指令。
基于此，在本申请的技术方案中，所述中央控制器的具体编码过程，包括：首先，获取由摄像头采集的食材表面状态监控视频。这里，通过摄像头采集食材表面状态监控视频，可以实时监测食材的状态变化，包括颜色、湿润程度等，从而了解食材在酱卤过程中的实时状况。
在本申请的一个具体实施例中，所述食材表面状态特征提取模块，包括：数据预处理单元，用于对所述食材表面状态监控视频进行视频片段切分以得到食材表面状态监控视频片段的序列；时序特征提取单元，用于将所述食材表面状态监控视频片段的序列中的各个食材表面状态监控视频片段通过基于三维卷积神经网络模型的食材表面状态时序模式特征提取器以得到所述食材表面状态时序特征图的序列。
然后，对所述食材表面状态监控视频进行视频片段切分以得到食材表面状态监控视频片段的序列。应可以理解，所述食材表面状态监控视频是原始的视频数据，其中包含大量的帧数以及像素信息，对其进行直接处理会由于计算量庞大而降低计算效率。同时考虑到，若对所述食材表面状态监控视频直接进行处理和分析，会导致后续模型分散大量的注意力到冗余信息和重复信息中，例如一些相似帧和重复帧，这会导致一些细微的食材状态变化得不到有效的关注，从而影响对食材状态信息的捕捉。在本申请的技术方案中，通过对所述食材表面状态监控视频进行视频片段切分可以将所述食材表面状态监控视频分解成局部的、连续的视频片段数据，以更好地分析食材状态随时间的变化规律和演变过程，挖掘出食材表面状态的时序特征。
接着，将所述食材表面状态监控视频片段的序列中的各个食材表面状态监控视频片段通过基于三维卷积神经网络模型的食材表面状态时序模式特征提取器以得到食材表面状态时序特征图的序列。其中，三维卷积神经网络（3D Convolutional Neural Network）是一种专门用于处理视频数据的深度学习模型。与传统的二维卷积神经网络不同，3D卷积神经网络可以同时考虑时间维度和空间维度的信息，更适合处理视频数据。这样，通过三维卷积神经网络模型可以同时考虑各个所述食材表面状态监控视频片段中帧与帧之间的时序关系和空间信息。也就是，捕捉各个时刻的食材表面状态特征信息的同时，能够刻画食材在时间维度上的状态变化状况和时序演变特征。
在本申请的一个具体实施例中，所述特征显化和本质特征表示模块，包括：特征显著化单元，用于将所述食材表面状态时序特征图的序列中的各个食材表面状态时序特征图分别通过基于注意力机制的特征显著器以得到显著化食材表面状态时序特征图的序列；本质模式特征表示单元，用于将所述显著化食材表面状态时序特征图的序列通过基于本质特征提取网络的食材表面状态时序本质模式特征提取器以得到所述食材表面状态变化时序本质表征特征图。
随后，将所述食材表面状态时序特征图的序列中的各个食材表面状态时序特征图分别通过基于注意力机制的特征显著器以得到显著化食材表面状态时序特征图的序列。其中，所述基于注意力机制的特征显著器将各个所述食材表面状态时序特征图通过多尺度卷积核组进行非线性卷积操作以提取各个所述食材表面状态时序特征图中不同局部空间邻域内的关联特征，提高特征的表达能力和区分度。之后，同时考虑通道和卷积核两个方面的重要程度，通过权重信息来指导网络给具有不同尺寸的卷积核分配不同的关注度。通过这样的方式来提取有用特征的卷积核所捕获的特征分布，忽略无用背景特征或噪声的卷积核的目标信息。
在本申请的一个具体实施例中，所述特征显著化单元，包括：多尺度表征特征提取子单元，用于提取所述食材表面状态时序特征图的多尺度非线性卷积全局表征特征以得到浓缩全局表征特征向量；注意力施加子单元，用于基于所述浓缩全局表征特征向量进行注意力施加处理以得到所述显著化食材表面状态时序特征图。
进一步地，所述多尺度表征特征提取子单元，用于：将所述食材表面状态时序特征
图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷
积特征图、第三非线性卷积特征图和第四非线性卷积特征图；以如下全局表示公式对所述
第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述
第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：， 其中，、、和分
别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征
图和所述第四非线性卷积特征图，为多尺度非线性卷积融合特征图，表示级联处理，
表示所述全局表征特征向量中第个特征值，表示对所述多尺度非线性卷积融合特
征图中第个特征矩阵进行全局均值池化处理，和分别为所述多尺度非线性卷积融合
特征图中第个特征矩阵的高度和宽度，为所述多尺度非线性卷积融合特征图中第
个特征矩阵中位置处的特征值；对所述全局表征特征向量进行激活处理以得到所述浓
缩全局表征特征向量。
更进一步地，所述注意力施加子单元，用于：以如下注意力权重施加公式对所述第
一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四
非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述显著化食材表面状
态时序特征图；其中，所述注意力权重施加公式为：，，，，， 其中，、、、分别表示所述第一非线性卷积特征
图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷
积特征图的权重概率向量，表示所述浓缩全局表征特征向量中与所述第一非线性卷
积特征图对应的通道的向量元素，、和则分别表示所述浓缩全局表征特征向量
中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征
图对应的通道的向量元素，为所述显著化食材表面状态时序特征图，表示级联处理。
如前所述，考虑到所述食材表面状态监控视频中存在大量的冗余信息和重复信息。例如，当相邻图像帧之间在空间上有较大的重叠部分时，会导致空间冗余信息的存在。这种冗余信息可能包含相似的空间结构和特征，没有提供额外的有用信息。此外，当相邻图像帧之间在时间维度上变化不大或者变化缓慢，就会存在时间冗余信息。虽然通过视频片段切分的方式可以引导模型不过度分散注意力到这些冗余信息和重复信息中，但这些冗余信息和重复信息仍然存在，且在特征提取的过程中可能被保留甚至被放大。为了减小这些冗余信息和重复信息进一步影响后续的控制决策任务，在本申请的技术方案中，进一步地将所述显著化食材表面状态时序特征图的序列通过基于本质特征提取网络的食材表面状态时序本质模式特征提取器以得到食材表面状态变化时序本质表征特征图。具体地，所述基于本质特征提取网络的食材表面状态时序本质模式特征提取器可以自动选择并强调对表达食材状态特征信息具有较大贡献度的特征，而减弱或忽略那些冗余的特征。
在本申请的一个具体实施例中，所述本质模式特征表示单元，用于：以如下时序本
质模式特征提取公式对所述显著化食材表面状态时序特征图的序列进行处理以得到所述
食材表面状态变化时序本质表征特征图；其中，所述时序本质模式特征提取公式为：， 其中，是所述显著化食材表面状态时
序特征图的序列中第个显著化食材表面状态时序特征图，是所述显著化食材表面状态时
序特征图的序列中第个显著化食材表面状态时序特征图，表示特征图的2范数，为所
述显著化食材表面状态时序特征图的序列的长度减一，为所述显著化食材表面状态时序
特征图的序列的表示，表示特征差异系数，表示自然指数函数运算，表示所述特
征差异系数的总数，为所述食材表面状态变化时序本质表征特征图。
在本申请的一个实施例中，所述控制指令生成模块，用于：对所述食材表面状态变化时序本质表征特征图进行特征图展开以得到第一特征向量；将所述显著化食材表面状态时序特征图的序列级联得到第二特征向量后，将所述第一特征向量和所述第二特征向量进行融合以得到校正后食材表面状态变化时序本质表征特征向量；将所述校正后食材表面状态变化时序本质表征特征向量通过基于分类器的智能控制器以得到所述控制指令，所述控制指令用于表示当前时间点的卤锅压力应增大、应减小或应保持不变。
在上述技术方案中，所述显著化食材表面状态时序特征图的序列表达所述食材表面状态监控视频片段的经由注意力局部特征分布强化的时序相关的图像语义特征，由此，将所述显著化食材表面状态时序特征图的序列通过基于本质特征提取网络的食材表面状态时序本质模式特征提取器后，可以进一步基于全局时域下的各个局部时域的时序相关图像语义特征本质关联性进行时序本质模式特征表示，但是，这在提升了所述食材表面状态变化时序本质表征特征图对于所述食材表面状态监控视频的全局时域时序关联图像语义特征表达的同时，也会使得其特征表示偏离各个局部时域的时序关联图像语义特征表示，从而影响所述食材表面状态变化时序本质表征特征图的表达效果。
因此，本申请的申请人期望通过进一步融合所述食材表面状态变化时序本质表征
特征图和所述显著化食材表面状态时序特征图的序列来优化所述食材表面状态变化时序
本质表征特征图，并且，进一步考虑到在经过本质模式特征提取后，所述食材表面状态变化
时序本质表征特征图相对于所述显著化食材表面状态时序特征图的序列的特征分布结构
变化，因此对所述食材表面状态变化时序本质表征特征图和所述显著化食材表面状态时序
特征图的序列进行优化融合，表示为：对所述食材表面状态变化时序本质表征特征图进行
特征图展开以得到第一特征向量；将所述显著化食材表面状态时序特征图的序列级联得到
第二特征向量后，以如下优化公式将所述第一特征向量和所述第二特征向量进行融合以得
到校正后食材表面状态变化时序本质表征特征向量；其中，所述优化公式为： 其中，是所述食材表面状态变化时序本质
表征特征图展开后的第一特征向量，是所述显著化食材表面状态时序特征图的序列级联
后的第二特征向量，，，特征向量和具有相同长度，和是尺度超参
数，且是距离差值超参数，是所述显著化食材表面状态时序特征图的序列级联后的第
二特征向量的转置向量，是所述校正后食材表面状态变化时序本质表征特征向量，表
示向量乘法。
这里，针对特征融合场景下，所述食材表面状态变化时序本质表征特征图和所述
显著化食材表面状态时序特征图的序列之间的流形分布距离导致的流形网络结构交互重
建困难的问题，通过低阶中尺度希尔伯特空间基元结构对于复杂流形网络结构中的网络子
结构的有效近似，来进行基于距离表示的低阶中尺度子流形交互行为构建，从而在网络相
互作用层面上理解网络中的异常子流形交互，提升所述食材表面状态变化时序本质表征特
征图和所述显著化食材表面状态时序特征图的序列的特征融合表示效果。这样，再将由
组成的优化后的第一特征向量作为所述食材表面状态变化时序本质表征特征图展开后的
分类特征向量通过分类器进行分类，就可以藉由提升所述食材表面状态变化时序本质表征
特征图的表达效果来改进分类结果的准确性。
继而，将所述校正后食材表面状态变化时序本质表征特征向量通过基于分类器的智能控制器以得到控制指令，所述控制指令用于表示当前时间点的卤锅压力应增大、应减小或应保持不变。
综上，基于本申请实施例的酱卤自动化生产线智能控制系统100被阐明，其通过摄像头来采集智能卤锅中的食材表面状态监控视频，结合基于深度学习的人工智能技术来挖掘食材的表面状态时序特征，从而自适应地调整卤锅压力，使得调料更均匀细腻地渗透到原料食材中，保证食材的质地和口感。
如上所述，根据本申请实施例的酱卤自动化生产线智能控制系统100可以实现在各种终端设备中，例如用于酱卤自动化生产线智能控制的服务器等。在一个示例中，根据本申请实施例的酱卤自动化生产线智能控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该酱卤自动化生产线智能控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该酱卤自动化生产线智能控制系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该酱卤自动化生产线智能控制系统100与该终端设备也可以是分立的设备，并且该酱卤自动化生产线智能控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
在本申请的一个实施例中，图4为本申请实施例中提供的一种酱卤自动化生产线智能方法的流程图。如图4所示，根据本申请实施例的酱卤自动化生产线智能方法，其包括：210，使用自动投料机对原料进行称重和分配；220，使用输送带输送分配完成的所述原料；230，使用智能卤锅卤煮所述原料，使得调料均匀地渗透到所述原料中；240，使用部署于所述智能卤锅的传感器组，所述传感器组包括摄像头，使用所述摄像头采集食材表面状态监控视频；250，使用中央控制器生成所述智能卤锅的控制指令；其中，使用中央控制器生成所述智能卤锅的控制指令，包括：首先，获取由所述摄像头采集的所述食材表面状态监控视频；接着，对所述食材表面状态监控视频进行食材表面状态特征提取以得到食材表面状态时序特征图的序列；然后，对所述食材表面状态时序特征图的序列进行特征显化和本质特征表示以得到食材表面状态变化时序本质表征特征图；进一步地，基于所述食材表面状态变化时序本质表征特征图来确定所述卤锅压力的控制指令。
本领域技术人员可以理解，上述酱卤自动化生产线智能方法中的各个步骤的具体操作已经在上面参考图1到图3的酱卤自动化生产线智能控制系统的描述中得到了详细介绍，并因此，将省略其重复描述。
图5为本申请实施例中提供的一种酱卤自动化生产线智能控制系统的应用场景图。如图5所示，在该应用场景中，首先，获取由所述摄像头采集的食材表面状态监控视频（例如，如图5中所示意的C）；然后，将获取的食材表面状态监控视频输入至部署有酱卤自动化生产线智能控制算法的服务器（例如，如图5中所示意的S）中，其中所述服务器能够基于酱卤自动化生产线智能控制算法对所述食材表面状态监控视频进行处理，以确定卤锅压力的控制指令。
本申请实施例还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述方法实施例中任意一种可选或优选的基于卷积神经网络的图像处理方法。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有执行上述方法实施例中任意一种可选或优选的基于卷积神经网络的图像处理方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种酱卤自动化生产线智能控制系统，其特征在于，包括：
自动投料机，用于对原料进行称重和分配；
输送带，用于输送分配完成的所述原料；
智能卤锅，用于卤煮所述原料，使得调料均匀地渗透到所述原料中；
部署于所述智能卤锅的传感器组，所述传感器组包括摄像头；
中央控制器，用于生成所述智能卤锅的控制指令；
其中，所述中央控制器，包括：
视频数据采集模块，用于获取由所述摄像头采集的食材表面状态监控视频；
食材表面状态特征提取模块，用于对所述食材表面状态监控视频进行食材表面状态特征提取以得到食材表面状态时序特征图的序列；
特征显化和本质特征表示模块，用于对所述食材表面状态时序特征图的序列进行特征显化和本质特征表示以得到食材表面状态变化时序本质表征特征图；
控制指令生成模块，用于基于所述食材表面状态变化时序本质表征特征图来确定卤锅压力的控制指令。
2.根据权利要求1所述的酱卤自动化生产线智能控制系统，其特征在于，所述食材表面状态特征提取模块，包括：
数据预处理单元，用于对所述食材表面状态监控视频进行视频片段切分以得到食材表面状态监控视频片段的序列；
时序特征提取单元，用于将所述食材表面状态监控视频片段的序列中的各个食材表面状态监控视频片段通过基于三维卷积神经网络模型的食材表面状态时序模式特征提取器以得到所述食材表面状态时序特征图的序列。
3.根据权利要求2所述的酱卤自动化生产线智能控制系统，其特征在于，所述特征显化和本质特征表示模块，包括：
特征显著化单元，用于将所述食材表面状态时序特征图的序列中的各个食材表面状态时序特征图分别通过基于注意力机制的特征显著器以得到显著化食材表面状态时序特征图的序列；
本质模式特征表示单元，用于将所述显著化食材表面状态时序特征图的序列通过基于本质特征提取网络的食材表面状态时序本质模式特征提取器以得到所述食材表面状态变化时序本质表征特征图。
4.根据权利要求3所述的酱卤自动化生产线智能控制系统，其特征在于，所述特征显著化单元，包括：
多尺度表征特征提取子单元，用于提取所述食材表面状态时序特征图的多尺度非线性卷积全局表征特征以得到浓缩全局表征特征向量；
注意力施加子单元，用于基于所述浓缩全局表征特征向量进行注意力施加处理以得到所述显著化食材表面状态时序特征图。
5.根据权利要求4所述的酱卤自动化生产线智能控制系统，其特征在于，所述多尺度表征特征提取子单元，用于：
将所述食材表面状态时序特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；
以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：，/>
其中，、/>、/>和/>分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，/>为多尺度非线性卷积融合特征图，/>表示级联处理，/>表示所述全局表征特征向量中第/>个特征值，/>表示对所述多尺度非线性卷积融合特征图中第/>个特征矩阵进行全局均值池化处理，/>和/>分别为所述多尺度非线性卷积融合特征图中第/>个特征矩阵的高度和宽度，/>为所述多尺度非线性卷积融合特征图中第/>个特征矩阵中/>位置处的特征值；
对所述全局表征特征向量进行激活处理以得到所述浓缩全局表征特征向量。
6.根据权利要求5所述的酱卤自动化生产线智能控制系统，其特征在于，所述注意力施加子单元，用于：
以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述显著化食材表面状态时序特征图；其中，所述注意力权重施加公式为：
，/>，/>，，/>，/>
其中，、/>、/>、/>分别表示所述第一非线性卷积特征图/>、所述第二非线性卷积特征图/>、所述第三非线性卷积特征图/>和所述第四非线性卷积特征图/>的权重概率向量，表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的/>通道的向量元素，/>、/>和/>则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的/>通道的向量元素，为所述显著化食材表面状态时序特征图，/>表示级联处理。
7.根据权利要求6所述的酱卤自动化生产线智能控制系统，其特征在于，所述本质模式特征表示单元，用于：
以如下时序本质模式特征提取公式对所述显著化食材表面状态时序特征图的序列进行处理以得到所述食材表面状态变化时序本质表征特征图；其中，所述时序本质模式特征提取公式为： ，/>
其中，是所述显著化食材表面状态时序特征图的序列中第/>个显著化食材表面状态时序特征图，/>是所述显著化食材表面状态时序特征图的序列中第/>个显著化食材表面状态时序特征图，/>表示特征图的2范数，/>为所述显著化食材表面状态时序特征图的序列的长度减一，/>为所述显著化食材表面状态时序特征图的序列的表示，/>表示特征差异系数，表示自然指数函数运算，/>表示所述特征差异系数的总数，/>为所述食材表面状态变化时序本质表征特征图。
8.根据权利要求7所述的酱卤自动化生产线智能控制系统，其特征在于，所述控制指令生成模块，用于：
对所述食材表面状态变化时序本质表征特征图进行特征图展开以得到第一特征向量；
将所述显著化食材表面状态时序特征图的序列级联得到第二特征向量后，将所述第一特征向量和所述第二特征向量进行融合以得到校正后食材表面状态变化时序本质表征特征向量；
将所述校正后食材表面状态变化时序本质表征特征向量通过基于分类器的智能控制器以得到所述控制指令，所述控制指令用于表示当前时间点的卤锅压力应增大、应减小或应保持不变。
9.一种酱卤自动化生产线智能控制方法，其特征在于，包括：
使用自动投料机对原料进行称重和分配；
使用输送带输送分配完成的所述原料；
使用智能卤锅卤煮所述原料，使得调料均匀地渗透到所述原料中；
使用部署于所述智能卤锅的传感器组，所述传感器组包括摄像头，使用所述摄像头采集食材表面状态监控视频；
使用中央控制器生成所述智能卤锅的控制指令；
其中，使用中央控制器生成所述智能卤锅的控制指令，包括：
获取由所述摄像头采集的所述食材表面状态监控视频；
对所述食材表面状态监控视频进行食材表面状态特征提取以得到食材表面状态时序特征图的序列；
对所述食材表面状态时序特征图的序列进行特征显化和本质特征表示以得到食材表面状态变化时序本质表征特征图；
基于所述食材表面状态变化时序本质表征特征图来确定所述卤锅压力的控制指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410503172.4A CN118068799A (zh) | 2024-04-25 | 2024-04-25 | 酱卤自动化生产线智能控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410503172.4A CN118068799A (zh) | 2024-04-25 | 2024-04-25 | 酱卤自动化生产线智能控制系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118068799A true CN118068799A (zh) | 2024-05-24 |
Family
ID=91106142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410503172.4A Pending CN118068799A (zh) | 2024-04-25 | 2024-04-25 | 酱卤自动化生产线智能控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118068799A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113907611A (zh) * | 2021-09-27 | 2022-01-11 | 广东美的厨房电器制造有限公司 | 烹饪设备、图像处理方法、图像处理装置和可读存储介质 |
| CN116849237A (zh) * | 2023-07-11 | 2023-10-10 | 集思谷(上海)健康科技有限公司 | 焦糖饼干及其制备方法 |
| CN117193079A (zh) * | 2023-09-13 | 2023-12-08 | 宁波甬洋食品有限公司 | 食品的烘焙加工控制系统及其方法 |
| CN117789185A (zh) * | 2024-02-28 | 2024-03-29 | 浙江驿公里智能科技有限公司 | 基于深度学习的汽车油孔姿态识别系统及方法 |
-
2024
- 2024-04-25 CN CN202410503172.4A patent/CN118068799A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113907611A (zh) * | 2021-09-27 | 2022-01-11 | 广东美的厨房电器制造有限公司 | 烹饪设备、图像处理方法、图像处理装置和可读存储介质 |
| CN116849237A (zh) * | 2023-07-11 | 2023-10-10 | 集思谷(上海)健康科技有限公司 | 焦糖饼干及其制备方法 |
| CN117193079A (zh) * | 2023-09-13 | 2023-12-08 | 宁波甬洋食品有限公司 | 食品的烘焙加工控制系统及其方法 |
| CN117789185A (zh) * | 2024-02-28 | 2024-03-29 | 浙江驿公里智能科技有限公司 | 基于深度学习的汽车油孔姿态识别系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960119B (zh) | 一种用于无人售货柜的多角度视频融合的商品识别算法 | |
| Olaniyi et al. | Intelligent grading system for banana fruit using neural network arbitration | |
| CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
| CN105389581B (zh) | 一种胚芽米胚芽完整度智能识别系统及其识别方法 | |
| CN114724043B (zh) | 基于对比学习的自编码器异常检测方法 | |
| CN109239082A (zh) | 基于机器视觉技术的烟丝结构质量在线检测方法及系统 | |
| Zaborowicz et al. | Use of artificial neural networks in the identification and classification of tomatoes | |
| CN114092487A (zh) | 目标果实实例分割方法及系统 | |
| US20230222645A1 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
| Ji et al. | Apple grading method based on features of color and defect | |
| CN111199523A (zh) | 电力设备识别方法、装置、计算机设备和存储介质 | |
| US11775908B2 (en) | Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input | |
| Pandey et al. | Non-destructive quality grading of mango (Mangifera Indica L) based on CIELab colour model and size | |
| CN110782385A (zh) | 一种基于深度学习的图像水印的去除方法 | |
| Wang et al. | A variational gamma correction model for image contrast enhancement | |
| CN114445268A (zh) | 一种基于深度学习的服装风格迁移方法及系统 | |
| Novas et al. | Development of a smartphone application for assessment of chilling injuries in zucchini | |
| Herulambang et al. | Comparison of SVM And BPNN methods in the classification of batik patterns based on color histograms and invariant moments | |
| Mamatov et al. | Algorithm for extracting contours of agricultural crops images | |
| CN113724223B (zh) | 基于光学显微镜的YOLOv3数据集制作方法及系统 | |
| CN118068799A (zh) | 酱卤自动化生产线智能控制系统及方法 | |
| CN110517226A (zh) | 基于双边滤波的多特征纹理图像融合的烟梗区域提取方法 | |
| Ogorodnikova et al. | Method of ripe tomato detecting for a harvesting robot | |
| Wang et al. | Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind | |
| CN113034465B (zh) | 一种基于红外图像的电力设备热故障监测方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |