CN117475431A - 一种基于数字孪生技术的食品安全监管方法及系统 - Google Patents

一种基于数字孪生技术的食品安全监管方法及系统 Download PDF

Info

Publication number
CN117475431A
CN117475431A CN202311819712.1A CN202311819712A CN117475431A CN 117475431 A CN117475431 A CN 117475431A CN 202311819712 A CN202311819712 A CN 202311819712A CN 117475431 A CN117475431 A CN 117475431A
Authority
CN
China
Prior art keywords
model
food production
equipment
food
fault diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311819712.1A
Other languages
English (en)
Other versions
CN117475431B (zh
Inventor
张文状
王欢
陆娣
杨术海
潘海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Junhua High Tech Group Co ltd
Original Assignee
Junhua High Tech Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Junhua High Tech Group Co ltd filed Critical Junhua High Tech Group Co ltd
Priority to CN202311819712.1A priority Critical patent/CN117475431B/zh
Publication of CN117475431A publication Critical patent/CN117475431A/zh
Application granted granted Critical
Publication of CN117475431B publication Critical patent/CN117475431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Abstract

本发明属于食品安全监管技术领域。公开了一种基于数字孪生技术的食品安全监管方法及系统。所述的方法包括如下步骤:构建食品生产车间数字孪生模型;构建设备故障诊断模型;构建食品生产过程检测模型;构建食品安全监管数字孪生模型;进行设备故障诊断;进行食品生产过程检测;使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示。所述的系统包括数字孪生模型构建模块、设备故障诊断模型构建模块、食品生产过程检测模型构建模块、模型集成模块、设备故障诊断模块、食品生产过程检测模块以及食品安全监管可视化展示模块。本发明解决了现有技术存在的实用性和实时性低,成本投入大以及效率低下的问题。

Description

一种基于数字孪生技术的食品安全监管方法及系统
技术领域
本发明属于食品安全监管技术领域,具体涉及一种基于数字孪生技术的食品安全监管方法及系统。
背景技术
近年来随着经济的发展,民众对于食品安全的关注程度与日俱增,但是食品安全现状与社会需求、民众期待存在着一定的差距。通过依法建立严格的食品安全管理制度,可以有效地保证食品安全,保障人民群众生命安全和生命健康,但是食品安全单靠政府监管是不够的,对于食品生产企业,对食品安全进行严格监管,有利于提高产品合格率,影响企业的销量和客户的口碑。
现有技术中,食品生产企业对产品的食品安全监管,仍停留在食品出厂前的抽样检测,实用性和实时性低,缺乏对食品生产过程的及时监管,导致食品安全合格率较低,影响企业的经济效益,并且大多依靠人工监管的方式,成本投入大,效率低下。
发明内容
为了解决现有技术存在的实用性和实时性低,成本投入大以及效率低下的问题,本发明目的在于提供一种基于数字孪生技术的食品安全监管方法及系统。
本发明所采用的技术方案为:
一种基于数字孪生技术的食品安全监管方法,包括如下步骤:
根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型;
根据食品生产设备的历史设备运行数据,使用深度学习算法,构建设备故障诊断模型;
根据食品生产车间的历史生产视频数据,使用图像识别算法,构建食品生产过程检测模型;
将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于食品生产车间数字孪生模型,得到食品安全监管数字孪生模型;
采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果;
采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果;
使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示。
进一步地,根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型,包括如下步骤:
使用统计滤波算法对三维点云数据进行的去噪处理,得到去噪后三维点云数据;
使用移动最小二乘法对去噪后三维点云数据平滑优化处理,得到预处理后三维点云数据;
根据食品生产车间的建筑图纸、车间BIM数据以及预处理后三维点云数据,构建食品生产车间三维静态模型;
对食品生产设备的历史设备运行数据进行动态属性抽取,得到食品生产设备的动态部件数据;
根据食品生产设备的动态部件数据、设备BIM数据以及预处理后三维点云数据,构建食品生产设备三维动态模型;
将食品生产设备三维动态模型添加至食品生产车间三维静态模型,得到食品生产车间数字孪生模型。
进一步地,根据食品生产设备的历史设备运行数据,使用深度学习算法,构建设备故障诊断模型,具体的,使用深度置信网络、浅谈群组分析和注意力机制,构建设备故障诊断模型。
进一步地,设备故障诊断模型包括依次连接的基于深度置信网络构建的第一数据特征提取子模型、基于聚类分析构建的第一特征聚类子模型、基于注意力机制构建的线性变换子模型以及基于softmax算法构建的第一分类子模型。
进一步地,根据食品生产车间的历史生产视频数据,使用图像识别算法,构建食品生产过程检测模型,具体的,使用视觉词袋模型,构建食品生产过程检测模型。
进一步地,食品生产过程检测模型包括依次连接的基于目标检测算法构建的目标检测子模型、基于语义分割构建的语义分割子模型、基于图像特征提取算法构建的第二数据特征提取、基于视觉词袋模型构建的第二特征聚类子模型以及基于softmax算法构建的第二分类子模型。
进一步地,采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果,包括如下步骤:
采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型;
使用第一数据特征提取子模型提取实时设备运行数据的特征向量;
使用第一特征聚类子模型对特征向量进行特征聚类,得到特征向量权重;
根据特征向量权重,设置线性变换子模型的注意力权重,得到更新后线性变换子模型;
使用更新后线性变换子模型对特征向量进行线性变换,得到线性变换后特征向量;
使用第一分类子模型根据线性变换后特征向量进行分类,得到设备故障诊断结果。
进一步地,采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果,包括如下步骤:
采集食品生产车间的实时生产视频数据,并对实时生产视频数据进行帧截取,得到连续帧的实时生产图像数据;
对连续帧的实时生产图像数据进行关键帧筛选和预处理,得到连续关键帧的预处理后实时生产图像集合;
使用目标检测子模型对连续关键帧的预处理后实时生产图像集合进行人物目标检测和目标跟踪,得到连续关键帧的同一人物目标的检测框,并根据检测框进行裁剪,得到若干人物目标的人物目标图像集合;
使用语义分割子模型对若干人物目标的人物目标图像集合进行语义分割,得到若干人物目标的人物目标分割图像集合;
使用第二数据特征提取模块提取若干人物目标的人物目标分割图像集合的MoSIFT_CLD特征集合;
使用第二特征聚类子模型对MoSIFT_CLD特征集合进行特征聚类,得到若干人物目标的聚类特征向量;
使用第二分类子模型根据聚类特征向量进行分类,得到若干人物目标的食品生产过程检测结果。
进一步地,使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示,包括如下步骤:
为食品安全监管数字孪生模型添加可视化界面;
将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于可视化界面;
使用可视化界面,可视化展示设备故障诊断结果和食品生产过程检测结果。
一种基于数字孪生技术的食品安全监管系统,用于实现食品安全监管方法,系统包括依次连接的数字孪生模型构建模块、设备故障诊断模型构建模块、食品生产过程检测模型构建模块、模型集成模块、设备故障诊断模块、食品生产过程检测模块以及食品安全监管可视化展示模块;
数字孪生模型构建模块,用于根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型;
设备故障诊断模型构建模块,用于根据食品生产设备的历史设备运行数据,使用深度学习算法,构建设备故障诊断模型;
食品生产过程检测模型构建模块,用于根据食品生产车间的历史生产视频数据,使用图像识别算法,构建食品生产过程检测模型;
模型集成模块,用于将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于食品生产车间数字孪生模型,得到食品安全监管数字孪生模型;
设备故障诊断模块,用于采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果;
食品生产过程检测模块,用于采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果;
食品安全监管可视化展示模块,用于使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示。
本发明的有益效果为:
本发明提供的一种基于数字孪生技术的食品安全监管方法及系统,通过构建食品生产车间数字孪生模型,对食品生产过程进行直观、立体的监管,并且通过设备故障诊断模型对食品生产设备进行实时监测,避免了由于设备故障导致食品安全不合格的情况发生,降低了非人为因素影响食品安全的概率,通过食品生产过程检测模型对工作人员的食品加工过程行为进行实时监测,避免了由于人为违规操作导致食品安全不合格的情况发生,降低了人为因素影响食品安全的概率,通过食品安全监管数字孪生模型对食品生成过程中非人为因素和人为因素进行监测,并对故障设备和违规操作进行准确定位,实现了食品安全的实时监管,提高了实用性、实时性以及监管效率,降低了成本投入,将食品安全监管贯彻于食品生产全过程,有利于食品生产企业提高产品销量和客户口碑。
本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
图1是本发明中基于数字孪生技术的食品安全监管方法的流程框图。
图2是本发明中基于数字孪生技术的食品安全监管系统的结构框图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步阐释。
实施例1:
如图1所示,本实施例提供一种基于数字孪生技术的食品安全监管方法,包括如下步骤:
S1:根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型,包括如下步骤:
S1-1:使用统计滤波算法对三维点云数据进行的去噪处理,得到去噪后三维点云数据,包括如下步骤:
S1-1-1:对三维点云数据中所有点领域进行统计分析,得到任意点到领域的距离,公式为:
式中,为任意点/>到领域的距离;/>为任意点/>的坐标和领域内一点的坐标;
S1-1-2:获取任意点到领域的距离的高斯分布的均值和标准差,公式为:
式中,为高斯分布的均值;/>为高斯分布的标准差;i为点云指示量;n为领域的点云数量;
S1-1-3:根据高斯分布的均值和标准差,获取距离阈值,并将到领域的距离超过距离阈值的任意点作为离群点进行删除,公式为:
式中,为距离阈值;/>为预设标准差倍数;
S1-1-4:遍历三维点云数据中所有点,得到去噪处理后三维点云数据;
S1-2:使用移动最小二乘法对去噪后三维点云数据平滑优化处理,得到预处理后三维点云数据,公式为:
式中,为任意点/>的权值函数,为移动最小二乘法权函数-高斯权函数;为影响点云平滑强度参数,/>越大,高斯权函数越大,点云平滑力度越强;B为关于二次基函数矩阵;W为权值函数/>的对角矩阵;Y=[Y 1Y 2,...,Y n]T为任意点/>的取值;/>为二次基函数;A为待定系数矩阵,且A=[/>,/>,...,/>]T;/>为待定系数;/>为拟合函数;
S1-3:根据食品生产车间的建筑图纸、车间建筑信息模型(BIM,BuildingInformation Modeling)数据以及预处理后三维点云数据,构建食品生产车间三维静态模型;
S1-4:对食品生产设备的历史设备运行数据进行动态属性抽取,得到食品生产设备的动态部件数据;
S1-5:根据食品生产设备的动态部件数据、设备BIM数据以及预处理后三维点云数据,构建食品生产设备三维动态模型;
S1-6:将食品生产设备三维动态模型添加至食品生产车间三维静态模型,得到食品生产车间数字孪生模型;
S2:根据食品生产设备的历史设备运行数据,使用深度学习算法的DBN-CA-注意力机制,构建设备故障诊断模型;
历史设备运行数据包括食品生产设备,例如,食品包装机、食品加热机或食品冷藏柜等设备的正常运行状态、故障运行状态以及异常运行状态下的历史运行数据集,其中的故障运行状态根据食品生产设备不同,对历史运行数据集的故障标签设置不同;
设备故障诊断模型包括依次连接的基于深度置信网络(DBN,Deep beliefnetworks)算法构建的第一数据特征提取子模型、基于浅谈群组分析(CA,CohortAnalysis)聚类算法构建的第一特征聚类子模型、基于注意力机制构建的线性变换子模型以及基于softmax算法构建的第一分类子模型;
深度置信网络为深度学习算法,通过多层隐含层结构,能够准确的提取出数据的深层特征,提高模型的准确性,聚类分析根据数据特征之间相似程度的统计量,以这些统计量为划分类型的依据进行聚类,注意力机制为Multi-Head-Attention机制,根据不同特征向量的重要性程度,获取对应的权重,并且对特征向量进行线性变换,便于将特征向量转换为分类函数能够识别的形式,第一分类子模型根据特征向量进行分类,输出对应的故障标签,实现设备故障诊断;
S3:根据食品生产车间的历史生产视频数据,使用图像识别算法的视觉词袋模型,构建食品生产过程检测模型;
历史生产视频数据包括工作人员在合规操作、违规操作下操作设备的若干历史生产视频数据集,加入工作人员正常行走、休息下的历史生产视频数据集,便于后续模型准确的区分各种违规操作;
食品生产过程检测模型包括依次连接的基于目标检测算法构建的目标检测子模型、基于门控形状卷积神经网络(GSCNN,Gated-Shape Convolutional Neural Networks)算法构建的语义分割子模型、基于MoIFT_颜色布局描述符(CLD,Color LayoutDescriptor)算法构建的第二数据特征提取、基于视觉词袋(BOVW,Bag-of-words)算法构建的第二特征聚类子模型以及基于softmax算法构建的第二分类子模型;
目标检测算法作为一种广泛应用于图像识别领域的单阶段目标检测算法,能够快速、准确的获取图像人物目标的检测框,语义分割子模型包括规则流结构、形状流结构、融合结构,规则流结构基于CNN卷积层构建,形状流结构基于Gated Convolution门卷积层构建,融合结构基于ASPP空洞金字塔池化层构建,图像特征提取算法融合数据特征的动态信息和静态信息,提高了图像数据特征对于真实动作的表征,视觉词袋模型对图像提取关键点描述,接着通过聚类算法对字典进行训练,实现了根据图像关键点描述进行分类的功能;
S4:将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于食品生产车间数字孪生模型,得到食品安全监管数字孪生模型;
S5:采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果,包括如下步骤:
S5-1:采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型;
S5-2:使用第一数据特征提取子模型提取实时设备运行数据的特征向量;
S5-3:使用第一特征聚类子模型对特征向量进行特征聚类,得到特征向量权重,公式为:
式中,为特征向量权重矩阵;/>为当前特征向量的/>个近邻特征向量的集合;/>为特征向量指示量;/>为实时设备运行数据的特征向量;
S5-4:根据特征向量权重,设置线性变换子模型的注意力权重,得到更新后线性变换子模型;
S5-5:使用更新后线性变换子模型对特征向量进行线性变换,得到线性变换后特征向量,公式为:
式中,为线性变换后特征向量;/>为更新后线性变换子模型对QKV三个向量的线性变换函数;Q为Query向量;K为Key向量;V为Value向量;/>为拼接函数;/>为特征向量权重矩阵;/>为第/>个注意力通道;/>为注意力函数;为将/>根据Q、K、V三个向量进行拆分的特征向量权重矩阵;
S5-6:使用第一分类子模型根据线性变换后特征向量进行分类,得到设备故障诊断结果;
设备故障诊断结果包括食品生产设备发生的若干设备故障,例如食品包装机的过热故障,导致食品包装失效,这台设备生产的所有食品均为食品安全不合格产品;
S6:采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果,包括如下步骤:
S6-1:采集食品生产车间的实时生产视频数据,并对实时生产视频数据进行帧截取,得到连续帧的实时生产图像数据;
S6-2:对连续帧的实时生产图像数据进行关键帧筛选和预处理,得到连续关键帧的预处理后实时生产图像集合,包括如下步骤:
S6-2-1:获取连续帧的实时生产图像数据的图像熵,并将图像熵为极值或图像熵相差过大的帧作为备选关键帧,得到备选关键帧的实时生产图像数据集合,图像熵的计算公式为:
式中,为/>帧的图像熵;/>为/>帧的概率密度函数;/>为帧图像;j为帧指示量;
S6-2-2:根据备选关键帧的实时生产图像数据集合的局部帧差分,进行关键帧提取,得到连续关键帧的实时生产图像集合;
S6-2-3:对连续关键帧的实时生产图像集合进行预处理,得到连续关键帧的预处理后实时生产图像集合,避免视频时长过长,识别效率过低;
S6-3:使用目标检测子模型对连续关键帧的预处理后实时生产图像集合进行人物目标检测和目标跟踪,得到连续关键帧的同一人物目标的检测框,并根据检测框进行裁剪,得到若干人物目标的人物目标图像集合;
S6-4:使用语义分割子模型对若干人物目标的人物目标图像集合进行语义分割,得到若干人物目标的人物目标分割图像集合,包括如下步骤:
S6-4-1:将若干人物目标的人物目标图像集合输入图像语义分割模型;
S6-4-2:使用图像语义分割模型的形状流结构对人物目标图像进行特征提取,得到原始图像特征图;
S6-4-3:根据若干人物目标的人物目标图像集合的原始图像梯度和原始图像特征图,使用形状流结构进行语义边界提取,得到语义边界信息;
S6-4-4:使用融合结构对原始图像特征图和语义边界信息进行多尺度融合,并将非感兴趣区域的灰度值设置为0,得到当前人物目标图像的人物目标分割图像,在融合结构中的ASPP层,用于帮助保存多尺度的语境信息,产生具有限定边界的物体语义区域,得到准确分割的语义分割图像;
S6-4-5:遍历若干人物目标的人物目标图像集合,得到若干人物目标的人物目标分割图像集合;
S6-5:使用第二数据特征提取模块提取若干人物目标的人物目标分割图像集合的MoSIFT_CLD特征集合,包括如下步骤:
S6-5-1:使用第二数据特征提取模块提取当前帧的人物目标分割图像的尺度不变特征变换(SIFT,Scale Invariant Feature Transform)特征;
S6-5-2:使用光流法计算当前帧和下一帧的人物目标分割图像的光流特征向量,并计算人物目标分割图像的关键点附近的图像颜色特征;
S6-5-3:将具有运动信息的SIFT特征、光流特征向量以及图像颜色特征进行拼接,得到当前帧的人物目标分割图像的MoSIFT_CLD特征;
S6-5-4:遍历当前人物目标的人物目标分割图像集合,得到当前人物目标的MoSIFT_CLD特征集合;
S6-6:使用第二特征聚类子模型对MoSIFT_CLD特征集合进行特征聚类,得到若干人物目标的聚类特征向量;
S6-7:使用第二分类子模型根据聚类特征向量进行分类,得到若干人物目标的食品生产过程检测结果;
食品生产过程检测结果包括工作人员的人物目标在食品生产过程中发生的各种违规操作,在训练食品生产过程检测模型时,将设备的正常操作相关视频数据作为训练样本,并且加入多种违规操作的视频数据,例如,摘下口罩,该设备生产的所有产品视为食品安全不合格;由于食品生产过程检测模型能够结合视频数据的动态信息和静态进行进行特征提取,食品生产过程检测模型能够分辨出细微的图像动作信息,并将该行为视为违规操作,或者在重型设备前进行奔跑行为,同样视为违规操作;
S7:使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示,包括如下步骤:
S7-1:为食品安全监管数字孪生模型添加可视化界面;
S7-2:将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于可视化界面;
S7-3:使用可视化界面,可视化展示设备故障诊断结果和食品生产过程检测结果。
实施例2:
如图2所示,本实施例提供一种基于数字孪生技术的食品安全监管系统,用于实现食品安全监管方法,系统包括依次连接的数字孪生模型构建模块、设备故障诊断模型构建模块、食品生产过程检测模型构建模块、模型集成模块、设备故障诊断模块、食品生产过程检测模块以及食品安全监管可视化展示模块;
数字孪生模型构建模块,用于根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型;
设备故障诊断模型构建模块,用于根据食品生产设备的历史设备运行数据,使用深度学习算法,构建设备故障诊断模型;
食品生产过程检测模型构建模块,用于根据食品生产车间的历史生产视频数据,使用图像识别算法,构建食品生产过程检测模型;
模型集成模块,用于将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于食品生产车间数字孪生模型,得到食品安全监管数字孪生模型;
设备故障诊断模块,用于采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果;
食品生产过程检测模块,用于采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果;
食品安全监管可视化展示模块,用于使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示。
本发明提供的一种基于数字孪生技术的食品安全监管方法及系统,通过构建食品生产车间数字孪生模型,对食品生产过程进行直观、立体的监管,并且通过设备故障诊断模型对食品生产设备进行实时监测,避免了由于设备故障导致食品安全不合格的情况发生,降低了非人为因素影响食品安全的概率,通过食品生产过程检测模型对工作人员的食品加工过程行为进行实时监测,避免了由于人为违规操作导致食品安全不合格的情况发生,降低了人为因素影响食品安全的概率,通过食品安全监管数字孪生模型对食品生成过程中非人为因素和人为因素进行监测,实现了食品安全的实时监管,提高了实用性、实时性以及监管效率,降低了成本投入,将食品安全监管贯彻于食品生产全过程,有利于食品生产企业提高产品销量和客户口碑。
本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。

Claims (10)

1.一种基于数字孪生技术的食品安全监管方法,其特征在于:包括如下步骤:
根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型;
根据食品生产设备的历史设备运行数据,使用深度学习算法,构建设备故障诊断模型;
根据食品生产车间的历史生产视频数据,使用图像识别算法,构建食品生产过程检测模型;
将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于食品生产车间数字孪生模型,得到食品安全监管数字孪生模型;
采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果;
采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果;
使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示。
2.根据权利要求1所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型,包括如下步骤:
使用统计滤波算法对三维点云数据进行的去噪处理,得到去噪后三维点云数据;
使用移动最小二乘法对去噪后三维点云数据平滑优化处理,得到预处理后三维点云数据;
根据食品生产车间的建筑图纸、车间BIM数据以及预处理后三维点云数据,构建食品生产车间三维静态模型;
对食品生产设备的历史设备运行数据进行动态属性抽取,得到食品生产设备的动态部件数据;
根据食品生产设备的动态部件数据、设备BIM数据以及预处理后三维点云数据,构建食品生产设备三维动态模型;
将食品生产设备三维动态模型添加至食品生产车间三维静态模型,得到食品生产车间数字孪生模型。
3.根据权利要求1所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:根据食品生产设备的历史设备运行数据,使用深度学习算法,构建设备故障诊断模型,具体的,使用深度置信网络、浅谈群组分析和注意力机制,构建设备故障诊断模型。
4.根据权利要求3所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:所述的设备故障诊断模型包括依次连接的基于深度置信网络构建的第一数据特征提取子模型、基于聚类分析构建的第一特征聚类子模型、基于注意力机制构建的线性变换子模型以及基于softmax算法构建的第一分类子模型。
5.根据权利要求1所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:根据食品生产车间的历史生产视频数据,使用图像识别算法,构建食品生产过程检测模型,具体的,使用视觉词袋模型,构建食品生产过程检测模型。
6.根据权利要求5所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:所述的食品生产过程检测模型包括依次连接的基于目标检测算法构建的目标检测子模型、基于语义分割构建的语义分割子模型、基于图像特征提取算法构建的第二数据特征提取、基于视觉词袋模型构建的第二特征聚类子模型以及基于softmax算法构建的第二分类子模型。
7.根据权利要求4所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果,包括如下步骤:
采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型;
使用第一数据特征提取子模型提取实时设备运行数据的特征向量;
使用第一特征聚类子模型对特征向量进行特征聚类,得到特征向量权重;
根据特征向量权重,设置线性变换子模型的注意力权重,得到更新后线性变换子模型;
使用更新后线性变换子模型对特征向量进行线性变换,得到线性变换后特征向量;
使用第一分类子模型根据线性变换后特征向量进行分类,得到设备故障诊断结果。
8.根据权利要求5所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果,包括如下步骤:
采集食品生产车间的实时生产视频数据,并对实时生产视频数据进行帧截取,得到连续帧的实时生产图像数据;
对连续帧的实时生产图像数据进行关键帧筛选和预处理,得到连续关键帧的预处理后实时生产图像集合;
使用目标检测子模型对连续关键帧的预处理后实时生产图像集合进行人物目标检测和目标跟踪,得到连续关键帧的同一人物目标的检测框,并根据检测框进行裁剪,得到若干人物目标的人物目标图像集合;
使用语义分割子模型对若干人物目标的人物目标图像集合进行语义分割,得到若干人物目标的人物目标分割图像集合;
使用第二数据特征提取模块提取若干人物目标的人物目标分割图像集合的MoSIFT_CLD特征集合;
使用第二特征聚类子模型对MoSIFT_CLD特征集合进行特征聚类,得到若干人物目标的聚类特征向量;
使用第二分类子模型根据聚类特征向量进行分类,得到若干人物目标的食品生产过程检测结果。
9.根据权利要求1所述的一种基于数字孪生技术的食品安全监管方法,其特征在于:使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示,包括如下步骤:
为食品安全监管数字孪生模型添加可视化界面;
将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于可视化界面;
使用可视化界面,可视化展示设备故障诊断结果和食品生产过程检测结果。
10.一种基于数字孪生技术的食品安全监管系统,用于实现如权利要求1-9任一所述的食品安全监管方法,其特征在于:所述的系统包括依次连接的数字孪生模型构建模块、设备故障诊断模型构建模块、食品生产过程检测模型构建模块、模型集成模块、设备故障诊断模块、食品生产过程检测模块以及食品安全监管可视化展示模块;
数字孪生模型构建模块,用于根据食品生产车间及食品生产设备的三维点云数据,以及食品生产设备的历史设备运行数据,构建食品生产车间数字孪生模型;
设备故障诊断模型构建模块,用于根据食品生产设备的历史设备运行数据,使用深度学习算法,构建设备故障诊断模型;
食品生产过程检测模型构建模块,用于根据食品生产车间的历史生产视频数据,使用图像识别算法,构建食品生产过程检测模型;
模型集成模块,用于将设备故障诊断模型的输出和食品生产过程检测模型的输出集成于食品生产车间数字孪生模型,得到食品安全监管数字孪生模型;
设备故障诊断模块,用于采集食品生产设备的实时设备运行数据,并将实时设备运行数据输入设备故障诊断模型进行设备故障诊断,得到设备故障诊断结果;
食品生产过程检测模块,用于采集食品生产车间的实时生产视频数据,并将实时生产视频数据输入食品生产过程检测模型进行食品生产过程检测,得到食品生产过程检测结果;
食品安全监管可视化展示模块,用于使用食品安全监管数字孪生模型,对设备故障诊断结果和食品生产过程检测结果进行可视化展示。
CN202311819712.1A 2023-12-27 2023-12-27 一种基于数字孪生技术的食品安全监管方法及系统 Active CN117475431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311819712.1A CN117475431B (zh) 2023-12-27 2023-12-27 一种基于数字孪生技术的食品安全监管方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311819712.1A CN117475431B (zh) 2023-12-27 2023-12-27 一种基于数字孪生技术的食品安全监管方法及系统

Publications (2)

Publication Number Publication Date
CN117475431A true CN117475431A (zh) 2024-01-30
CN117475431B CN117475431B (zh) 2024-03-15

Family

ID=89633367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311819712.1A Active CN117475431B (zh) 2023-12-27 2023-12-27 一种基于数字孪生技术的食品安全监管方法及系统

Country Status (1)

Country Link
CN (1) CN117475431B (zh)

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580628A (zh) * 2019-08-17 2019-12-17 江苏省食品药品监督信息中心 一种食品生产企业电子追溯集成与风险预警系统及方法
CN111208759A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 矿井无人化综采工作面数字孪生智能监控系统
CN111582892A (zh) * 2020-05-21 2020-08-25 机械工业第六设计研究院有限公司 一种速冻食品全流程质量追溯方法
US20200304375A1 (en) * 2019-03-19 2020-09-24 Microsoft Technology Licensing, Llc Generation of digital twins of physical environments
CN111899032A (zh) * 2020-06-23 2020-11-06 无锡市锡产智谷感知科技有限公司 基于区块链技术的食品安全溯源系统及其使用方法
CN112256751A (zh) * 2020-10-10 2021-01-22 天津航天机电设备研究所 一种基于孪生数据的仓储物流可视化系统及其构建方法
WO2021108680A1 (en) * 2019-11-25 2021-06-03 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
CN113673948A (zh) * 2021-08-02 2021-11-19 江苏杰瑞信息科技有限公司 一种基于工业互联网的数字孪生基础开发平台
CN114118673A (zh) * 2021-09-30 2022-03-01 苏州大学 一种基于数字孪生技术的车间智能化故障诊断预警方法
US20220414281A1 (en) * 2017-02-22 2022-12-29 Middle Chart, LLC Method and apparatus for presentation of digital content
CN115907289A (zh) * 2022-11-01 2023-04-04 烟台富美特信息科技股份有限公司 一种食品品质与生产安全的智能监管方法及系统
CN115937790A (zh) * 2023-01-06 2023-04-07 华能重庆两江燃机发电有限责任公司 一种安全生产监督管理系统
CN116070974A (zh) * 2023-02-13 2023-05-05 南京捷鹰数码测绘有限公司 一种基于数字孪生的智慧工厂控制系统
CN116109977A (zh) * 2023-02-12 2023-05-12 深圳中检联检测有限公司 基于生产环境的食品卫生检测方法、装置、设备及介质
CN116125958A (zh) * 2023-03-08 2023-05-16 中科海慧(北京)科技有限公司 一种基于数字孪生的智能化工厂故障诊断与决策系统
CN116156428A (zh) * 2023-02-10 2023-05-23 江苏杰瑞科技集团有限责任公司 一种基于数字孪生的车间人员信息管控方法及系统
CN116168164A (zh) * 2023-04-25 2023-05-26 深圳墨影科技有限公司 基于机器人产业链的数字孪生可视化方法
CN116277001A (zh) * 2023-03-22 2023-06-23 宝钢工程技术集团有限公司 一种基于数字孪生的连铸机器人管理方法及其系统
CN116415386A (zh) * 2021-12-29 2023-07-11 中国科学院沈阳自动化研究所 一种基于实时数据驱动的数字孪生产线可视化系统
US11704449B1 (en) * 2022-05-12 2023-07-18 Beijing Longruan Technologies Inc. Construction method of mine intelligent management and control platform based on geological survey guarantee system
CN116466049A (zh) * 2023-05-12 2023-07-21 淮阴工学院 一种食品新鲜度监控系统及方法
CN116700162A (zh) * 2023-05-23 2023-09-05 苏州思萃工业大数据技术研究所有限公司 一种基于数字孪生的工业生产系统
CN116797722A (zh) * 2023-04-28 2023-09-22 中国计量大学 一种基于数字孪生的商砼生产三维可视化监管方法
CN116824734A (zh) * 2022-12-23 2023-09-29 慧之安信息技术股份有限公司 一种基于数字孪生的设备远程故障诊断方法、系统和装置
US20230316458A1 (en) * 2022-04-01 2023-10-05 Nvidia Corporation Image stitching with dynamic seam placement based on object saliency for surround view visualization
CN116976549A (zh) * 2023-06-30 2023-10-31 大唐互联科技(武汉)有限公司 一种面向设备密集离散型制造工厂的智能优化管控方法

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414281A1 (en) * 2017-02-22 2022-12-29 Middle Chart, LLC Method and apparatus for presentation of digital content
US20200304375A1 (en) * 2019-03-19 2020-09-24 Microsoft Technology Licensing, Llc Generation of digital twins of physical environments
CN110580628A (zh) * 2019-08-17 2019-12-17 江苏省食品药品监督信息中心 一种食品生产企业电子追溯集成与风险预警系统及方法
WO2021108680A1 (en) * 2019-11-25 2021-06-03 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
CN111208759A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 矿井无人化综采工作面数字孪生智能监控系统
CN111582892A (zh) * 2020-05-21 2020-08-25 机械工业第六设计研究院有限公司 一种速冻食品全流程质量追溯方法
CN111899032A (zh) * 2020-06-23 2020-11-06 无锡市锡产智谷感知科技有限公司 基于区块链技术的食品安全溯源系统及其使用方法
CN112256751A (zh) * 2020-10-10 2021-01-22 天津航天机电设备研究所 一种基于孪生数据的仓储物流可视化系统及其构建方法
CN113673948A (zh) * 2021-08-02 2021-11-19 江苏杰瑞信息科技有限公司 一种基于工业互联网的数字孪生基础开发平台
CN114118673A (zh) * 2021-09-30 2022-03-01 苏州大学 一种基于数字孪生技术的车间智能化故障诊断预警方法
CN116415386A (zh) * 2021-12-29 2023-07-11 中国科学院沈阳自动化研究所 一种基于实时数据驱动的数字孪生产线可视化系统
US20230316458A1 (en) * 2022-04-01 2023-10-05 Nvidia Corporation Image stitching with dynamic seam placement based on object saliency for surround view visualization
US11704449B1 (en) * 2022-05-12 2023-07-18 Beijing Longruan Technologies Inc. Construction method of mine intelligent management and control platform based on geological survey guarantee system
CN115907289A (zh) * 2022-11-01 2023-04-04 烟台富美特信息科技股份有限公司 一种食品品质与生产安全的智能监管方法及系统
CN116824734A (zh) * 2022-12-23 2023-09-29 慧之安信息技术股份有限公司 一种基于数字孪生的设备远程故障诊断方法、系统和装置
CN115937790A (zh) * 2023-01-06 2023-04-07 华能重庆两江燃机发电有限责任公司 一种安全生产监督管理系统
CN116156428A (zh) * 2023-02-10 2023-05-23 江苏杰瑞科技集团有限责任公司 一种基于数字孪生的车间人员信息管控方法及系统
CN116109977A (zh) * 2023-02-12 2023-05-12 深圳中检联检测有限公司 基于生产环境的食品卫生检测方法、装置、设备及介质
CN116070974A (zh) * 2023-02-13 2023-05-05 南京捷鹰数码测绘有限公司 一种基于数字孪生的智慧工厂控制系统
CN116125958A (zh) * 2023-03-08 2023-05-16 中科海慧(北京)科技有限公司 一种基于数字孪生的智能化工厂故障诊断与决策系统
CN116277001A (zh) * 2023-03-22 2023-06-23 宝钢工程技术集团有限公司 一种基于数字孪生的连铸机器人管理方法及其系统
CN116168164A (zh) * 2023-04-25 2023-05-26 深圳墨影科技有限公司 基于机器人产业链的数字孪生可视化方法
CN116797722A (zh) * 2023-04-28 2023-09-22 中国计量大学 一种基于数字孪生的商砼生产三维可视化监管方法
CN116466049A (zh) * 2023-05-12 2023-07-21 淮阴工学院 一种食品新鲜度监控系统及方法
CN116700162A (zh) * 2023-05-23 2023-09-05 苏州思萃工业大数据技术研究所有限公司 一种基于数字孪生的工业生产系统
CN116976549A (zh) * 2023-06-30 2023-10-31 大唐互联科技(武汉)有限公司 一种面向设备密集离散型制造工厂的智能优化管控方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NIKOLAOS PELADARINOS 等: "Enhancing Smart Agriculture by Implementing Digital Twins: A Comprehensive Review", 《SENSORS》, vol. 23, no. 16, 11 August 2023 (2023-08-11), pages 1 - 38 *
唐辉荣: "基于数字孪生的猪肉智慧生产多尺度协同智能分析平台架构与应用", 《数字技术与应用》, vol. 41, no. 04, 25 April 2023 (2023-04-25), pages 134 - 137 *
巴怀强: "基于BIM技术的大型转体桥梁施工安全管理应用研究", 《公路》, vol. 68, no. 11, 13 November 2023 (2023-11-13), pages 86 - 92 *
张冀 等: "数字孪生变电站框架设计与关键技术研究", 《工程科学与技术》, vol. 55, no. 06, 25 October 2023 (2023-10-25), pages 15 - 30 *

Also Published As

Publication number Publication date
CN117475431B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
Racki et al. A compact convolutional neural network for textured surface anomaly detection
Zhang et al. Research on face detection technology based on MTCNN
CN104992223B (zh) 基于深度学习的密集人数估计方法
Benyang et al. Safety helmet detection method based on YOLO v4
Peng et al. Pedestrian detection for transformer substation based on gaussian mixture model and YOLO
CN103839065A (zh) 人群动态聚集特征提取方法
CN116486240A (zh) 图像识别算法在输电线路无人机智能巡检方法上的应用
CN113378962B (zh) 一种基于图注意力网络的服装属性识别方法与系统
Wang et al. A novel tool condition monitoring based on Gramian angular field and comparative learning
Wen et al. Fast LiDAR R-CNN: Residual relation-aware region proposal networks for multiclass 3-D object detection
CN117475431B (zh) 一种基于数字孪生技术的食品安全监管方法及系统
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
Hongjiao Application of advanced BP neural network in image recognition
Ling et al. Magnetic tile surface defect detection methodology based on self-attention and self-supervised learning
Batapati et al. Video analysis for traffic anomaly detection using support vector machines
Cai et al. Real-time leaf recognition method based on image segmentation and feature extraction
Ye et al. Human interactive behaviour recognition method based on multi-feature fusion
CN106530300A (zh) 一种低秩分析的火焰识别算法
CN111696070A (zh) 基于深度学习的多光谱图像融合电力物联网故障点检测方法
Zheng et al. Traffic Sign Recognition Based on Learning Vector Quantization and Convolution Neural Network
Lin et al. Background subtraction based on codebook model and texture feature
Jayant et al. Study of robust facial recognition under occlusion using different techniques
Jing et al. Foreign Object Debris Detection Based on Gaussian Mixture Autoencoder of Pre-trained Features
Feng Design of the safety Monitoring system for Civil engineering Construction
Chen et al. Smart Grid Image Recognition Based on Neural Network and SIFT Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant