CN114119552A - 基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法 - Google Patents

基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法 Download PDF

Info

Publication number
CN114119552A
CN114119552A CN202111424903.9A CN202111424903A CN114119552A CN 114119552 A CN114119552 A CN 114119552A CN 202111424903 A CN202111424903 A CN 202111424903A CN 114119552 A CN114119552 A CN 114119552A
Authority
CN
China
Prior art keywords
food
module
closed space
information
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424903.9A
Other languages
English (en)
Inventor
杨斌
李潇婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202111424903.9A priority Critical patent/CN114119552A/zh
Publication of CN114119552A publication Critical patent/CN114119552A/zh
Priority to US17/838,266 priority patent/US20230168027A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00Problems to be solved
    • F25D2500/06Stock management
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2600/00Control issues
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/06Sensors detecting the presence of a product
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2654Fridge, refrigerator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Abstract

本发明提供基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法,采集密闭空间内的食品图像、温度和湿度信息;根据食品图像对食品进行种类识别;若食品没有包装,则采用欧拉视频放大技术对食品图像进行处理,得到食品表面颜色分布信息,根据食品表面颜色分布信息和学习结果判断食品状态,根据食品状态给用户进行相应的状态提示;并接收和识别用户的反馈,根据食品表面颜色分布信息、判断的食品状态及用户的反馈进行学习,得到学习结果;根据食品状态对密闭空间内的温度和湿度进行调控;若食品有包装,根据其储存时间和已知的保质期,判断食品状态,给用户进行相应的状态提示。本发明能给用户食品状态提醒,对冷藏环境进行调控。

Description

基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法
技术领域
本发明涉及密闭空间冷冻冷藏环境控制领域,具体涉及一种基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法。
背景技术
冷藏冷冻技术是一种以调节储存物所处密闭空间气体环境的方式,也是一种延长食品储存寿命的常用手段。目前,食材保鲜领域中被广泛使用的冷冻冷藏技术,消耗了大量的能源,但这种消耗并没有达到最大化利用食品的目的,亟需改进冷冻冷藏环境控制系统及其控制方法以解决上述问题。
目前普遍使用的传统冷藏冷冻环境控制技术无法做到因地制宜、因物制宜地调整密闭空间环境参数,也不能对食品过期做出预警。只有在食品过期后,人们才能通过食品表面情况或食品散发气味做出判断,从中导致了大量食品浪费,也无法满足人员对于高效、便捷的食品管理需求,也不利于节能。再者,使用者会根据自己的经验知识来判断食品当前情况,而不会考虑该种食品什么样的温湿度条件下可以达到最佳的保存效果。
综上,传统的冷藏冷冻环境控制模式存在诸多局限性,例如:
1、在传统的密闭空间制冷系统中,管理人员处于相对被动的状态,会受到多种因素的影响,如忘记或记错食品的变质日期。因此不能有效且迅速地做出相应的措施,即使管理人员主动检查食品的状态也无法做出准确的判断。
2、传统的密闭空间只有通过人员观察的方法识别冷藏冷冻空间内的情况,无法做到实时监测空间内部食品变质情况,亦无法做到远程操控密闭空间内环境。
3、目前大多密闭空间数冷藏冷冻环境控制一般出现两种极端情况:为了保障食品的新鲜程度,耗费大量能量营造低温工况;为了节省能源,提高冷藏冷冻温度。
4、单独使用摄像头捕捉密闭空间内部的食材信息,会造成诸多不利情况,如精度降低、鲁棒性减弱。
发明内容
针对上述现有冷冻冷藏环境控制系统中存在的问题或缺陷,本发明的目的在于,提供一种基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法,能及时对管理者进行食品状态提醒,以避免食品中毒现象的发生,能够根据食品种类及保鲜情况对冷藏环境进行调控,避免食品大量浪费。
本发明通过一下技术方案实现:
基于计算机视觉的密闭空间冷冻冷藏环境控制系统,包括数据采集模块、信息处理模块、人工智能模块和环境调控模块;
数据采集模块,用于采集密闭空间内的食品图像并传输给信息处理模块;用于采集密闭空间内的温度和湿度信息并传输给环境调控模块;
信息处理模块,根据接收到的食品图像,对食品进行种类识别;若食品没有包装,则采用欧拉视频放大技术对食品图像信息进行处理,得到食品表面颜色分布信息,根据食品表面颜色分布信息和人工智能模块的学习结果判断食品状态,根据食品状态输出相应的状态提示指令给人工智能模块及调整指令给环境调控模块,将食品表面颜色分布信息发送给人工智能模块;否则,根据之前记录判断该食品在密闭空间的储存时间,根据存储时间和预设的阈值,输出相应的状态提示指令给人工智能模块;
人工智能模块,根据接收到的状态提示指令给用户进行相应的状态提示,并接收和识别用户的反馈,根据食品表面颜色分布信息、状态提示指令及用户的反馈利用深度学习算法进行深度学习,将学习结果发送给信息处理模块。
环境调控模块根据接收的调整指令对密闭空间内的温度和湿度进行调整。
优选的,数据采集模块还将采集的温度和湿度信息传输给信息处理模块;信息处理模块根据食品表面颜色分布信息、温度、湿度以及人工智能模块的学习结果判断食品状态。
进一步的,数据采集模块还采集密闭空间内的预设化学物质信息,并传输给信息处理模块,信息处理模块根据食品表面颜色分布信息、温度、湿度信息、预设化学物质信息以及人工智能模块的学习结果判断食品状态。
进一步的,数据采集模块包括非接触式化学传感器,化学传感器采集密闭空间内的预设化学物质信息。
优选的,还包括光照灭菌模块;数据采集模块还采集密闭空间内的预设化学物质信息,并传输给信息处理模块,信息处理模块根据预设化学物质信息传输灭菌指令给光照灭菌模块;光照灭菌模块根据接收的灭菌指令进行光照灭菌操作。
优选的,信息处理模块还对食品进行分区识别,根据识别结果,传输相应的分区提示指令给人工智能模块;人工智能模块根据接收的分区提示指令给用户进行相应的分区提示。
优选的,根据食品表面颜色分布信息和人工智能模块的学习结果判断食品状态,根据食品状态输出相应的状态提示指令给人工智能模块及调整指令给环境调控模块,具体是:根据食品表面颜色分布信息和人工智能模块的学习结果判断食品状态,并得到食品的保鲜时间t;将保鲜时间t与该类食品已知保鲜时间t`对比,若t≤t`,则输出调控指令给环境调控模块;若t≤t`且t不等于0则输出使用提示指令给语义识别模块,若t=0则输出过期提示指令给语义识别模块。
优选的,信息处理模块根据接收到的食品图像,利用卷积神经网络对食品进行种类识别。
基于计算机视觉的密闭空间冷冻冷藏环境控制方法,基于所述的系统,包括:
采集密闭空间内的食品图像;采集密闭空间内的温度和湿度信息;
根据食品图像对食品进行种类识别;若食品没有包装,则采用欧拉视频放大技术对食品图像进行处理,得到食品表面颜色分布信息,根据食品表面颜色分布信息和学习结果判断食品状态,根据食品状态给用户进行相应的状态提示;并接收和识别用户的反馈,根据食品表面颜色分布信息、判断的食品状态及用户的反馈进行学习,得到学习结果;根据食品状态对密闭空间内的温度和湿度进行调控;
若食品有包装,根据之前记录判断该食品在密闭空间的储存时间,根据存储时间和已知的保质期,判断食品状态,给用户进行相应的状态提示。
与现有技术相比,本发明具有如下的有益效果:
本发明的实施对象是密闭空间内冷冻冷藏的食品,旨在根据食品种类、数量的不同控制该密闭空间内的热环境。采集密闭空间内的食品图像,根据接收到的食品图像对食品进行种类识别;若为有包装食品,则提取其保质期,根据其存储时间和保质期的比较,判断其状态,并根据判断结果给出相应的状态提示;若为非包装食品,则应用欧拉视频放大技术提取食品表面的颜色分布信息,根据颜色分布及以往的学习结果,判断食品状态,根据判断结果给出相应的状态提示;同时根据食品状态判断密闭空间的环境是否合适,根据判断结果对密闭空间的环境进行调控。从而,通过本发明的系统,一方面可以根据食品状态给用户进行相应的提醒,避免出现食品浪费或食品中毒的现象;另一方面,还可以根据实际保鲜情况调整空间的环境,从而达到个性化调节的目的,这样可以保障物品的保鲜时间延长。本发明不仅应用了欧拉视频放大技术,还加入了深度学习算法支撑的食品状态预估模型,同时识别用户的反馈为系统提供了技术交叉验证,弥补系统前期存在的诸多不足,大幅度提高了控制系统的控制精度,防止出现误判的现象。与传统密闭空间冷冻冷藏环境控制相比,本发明在日常生产生活中能够提供各项个性化服务,可以与各大平台联动,具有较高的经济效益,满足了人们对于人机智能交互的需求,让机器更好的服务于人。本发明的控制系统可以与多种类型的密闭空间相结合,例如冷冻柜、家用冰箱、大型冰库等。配适体积大小不一、用途功能不一的各类冷冻冷藏密闭空间,其灵活性较强。
进一步的,由于欧拉视频放大技术可能会对结果进行误判,因此需要传感器同时对室内环境信息进行采集,交叉验证后综合判断室内食品变质情况,提高结果准确性。
进一步的,现有技术大多数采用接触式化学传感器,测量具有一定延迟性。其测量数据无法及时反馈给使用者。本发明采用非接触式化学传感器,通过
进一步的,根据预设化学物质信息,开启灭菌功能,可以有效对密闭空间内中的细菌进行杀菌,从而降低食品之间的交叉感染。
进一步的,信息处理模块还对食品进行分区识别,若食品放错区域,则提示用户更正,如此可以保证同类食物放在相近区域,便于识别,提高本发明系统的识别精度。
本发明实现的控制方法是自动控制制冷设备,避免了管理人员因操作不当或错误判断造成的各项安全事故,从而达到延长食品保鲜时间的目的。从整体效果上看,该方法的控制方案具有极大便利性,并且可以以最高效率及准确度完成环境控制任务,同时还可以避免能源浪费。
附图说明
图1是一种基于计算机视觉检测的密闭空间冷冻冷藏控制系统结构示意图。
图2是一种基于计算机视觉检测的密闭空间冷冻冷藏控制系统流程图。
图3是本发明结合冷冻冷藏末端装置的控制逻辑图。
图4是本发明控制密闭空间冷冻冷藏环境控制的概念图(以家用冰箱为例)。
图中标号代表:1-冰箱,2-灭菌灯,3-摄像头,4-食品,5-传感器。
具体实施方式
为了进一步理解本发明,下面结合实施例对本发明进行描述,这些描述只是进一步解释本发明的特征和优点,并非用于限制本发明的权利要求。
如图1,本发明所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,包括数据采集模块、信息处理模块、人工智能模块、环境调控模块、光照灭菌模块。人工智能模块包括大数据学习模块和语义识别模块两部分。
数据采集模块包含摄像头、非接触式化学传感器和物理传感器。
其中,摄像头用于采集密闭空间内的食品图像信息并输出给食品分区识别模型,其被安装在密闭空间柜门上侧中间位置。
物理传感器主要指温度传感器、湿度传感器。它们被安装在密闭空间的侧壁面上,为了监测密闭空间内的温度和湿度。其所测数据被转化为电信号传输给保鲜时间预估模型、大数据学习模块和环境调控模块。非接触式化学传感器主要用于检测预设化学物质,即腐败食品发出的特殊化学物质信息,检测结果输出给保鲜时间预估模型和大数据学习模块。为了避免误判,密闭空间内的各个功能区内均假定不会出现摆放错误的情况。
信息处理模块主要包含图像处理模块、保鲜时间预估模型和食品分区识别模型识别种类。
食品分区识别模型接收摄像头采集的食品图像信息,并根据该食品图像信息对食品进行种类识别和分类,若食品不在其预设的分区内,则输出分区提示指令给语义识别模块;若食品没有包装,则将食品图像信息传输给图像处理模块;否则,根据之前记录判断该食品在密闭空间的储存时间,若储存时间距离该食品的保质期的时间在预设时间范围内,则输出使用提示指令给语义识别模块,若储存时间到达或超过该食品的保质期,则输出过期提示指令给语义识别模块。
图像处理模块采用欧拉视频放大技术对食品图像信息进行处理,得到食品表面颜色分布信息并传输给保鲜时间预估模型。欧拉视频放大技术能够捕捉到人类视觉系统无法识别的一些信息变化量,如血液循环会改变人体皮肤的颜色。欧拉视频放大技术利用傅里叶变换可以得到有腐烂迹象水果或蔬菜表皮早期变色瘢痕。图像处理模块将食品表面颜色分布信息发送给大数据学习模块。
所述傅里叶变换具体为:
基于高斯金字塔可以对图像信号进行空间滤波,并将图像信号按照傅里叶级数进行展开,可得如下式子:
Figure BDA0003377818920000071
接着进行时域滤波,并考虑放大因子,其数值可以根据具体关注的区域进行微调。之后,合成变化信号的图像,接着与原图像进行叠加,最终编写形成合成方法。
保鲜时间预估模型参考大数据学习模块的学习结果,根据食品表面颜色分布信息、密闭空间的温度和湿度以及预设化学物质信息,判断当前食品所处状态,并得到食品的保鲜时间t;将保鲜时间t与该类食品已知保鲜时间t`对比,若t>t`则认为食品保鲜状况良好,密闭空间内参数不进行调控;若t≤t`则认为食品保鲜状态较差,输出调控指令给环境调控模块,以延长保鲜时间。若食品保鲜状态较差,t≤t`且t不等于0,则输出使用提示指令给语义识别模块;若食品已腐败,t=0,则输出过期提示指令给语义识别模块。若接收到预设化学物质信息,则输出灭菌指令给光照灭菌模块。
语义识别模块,接收到使用提示指令时,提示用户食品即将过保质期,应尽快使用,若用户给出反馈信息,则识别反馈信息并将接收的使用指令信息和反馈信息一起发送给大数据学习模块;接收到过期提示指令时,提示用户食品已过期,应尽快处理掉,若用户给出反馈信息,则识别反馈信息并将接收的过期指令信息和反馈信息一起发送给大数据学习模块。接收到分区提示指令时,提示用于食品放错位置。
大数据学习模块根据接收的食品表面颜色分布信息、密闭空间的温度和湿度以及预设化学物质信息、使用指令信息或过期使用指令信息以及用户的反馈信息,进行学习,将学习结果发送至保鲜时间预估模型。大数据学习模块具体是指通过使用者行为习惯进行学习记忆使用者的偏好,同时获取使用者的反馈行为进行纠正。
环境调控模块,根据调控指令、密闭空间的温度和湿度对密闭空间内的环境进行调整。光照灭菌模块接收到灭菌指令时,开启灭菌功能。
实施例
遵从上述技术方案,如图1到图4所示,本发明的实现密闭空间冷冻冷藏环境控制系统。
当系统通过安装在密闭空间内的摄像头拍摄箱室内食品情况,并利用传感器获取室内各项化学、物理数据,从而得到食品当前的状态,以此判定保鲜时间。但由于欧拉视频放大技术可能会对结果进行误判,因此需要传感器同时对室内环境信息进行采集,交叉验证后综合判断室内食品变质情况。
如图4,摄像头3安装在家用冰箱1的柜门上,其监视范围覆盖整个操作区间,可以监测食品4的相关信息。同时摄像头并不是全天开启,当人们打开柜门时,摄像头将自动记录拍摄视频并传输给信息处理模块。将该图像与上一次记录的图像进行对比,可以得出加入食材的详细信息。但会存在误判的情况,如多个食材摆放位置重叠时,后面被遮挡的食材很难被摄像头所识别。其解决方法是尽量将同类型的食品摆放到相近的区域。当食材的表面并不处于裸露状态或有外包装的情况下,无需使用欧拉视频放大技术,仅需食品分区识别模型识别其种类,提取该食品特定的保质期限即可。
下一步,食品分区识别模型利用卷积神经网络识别图像/视频中食品的种类及数目,并将其记录在信息处理模块中,以便后续进行其他操作。当食材的表面并不处于裸露状态或有外包装的情况下,提取该食品特定的保质期限即可;否则采用欧拉视频放大技术进行食品状态判断。
下一步,欧拉视频放大技术放大食品表皮的微小色素变化,根据颜色变化与时间的函数,判断食品腐败的情况,从而判断是否需要改变室内环境。系统计算得出食品保鲜时间,与已知食品保鲜时间对比,发出相应指令调节密闭空间内环境。
物理、化学传感器5可以采集箱室内的参数信息,与上述所采集到的信息进行对比,有助于提高系统判别的准确性。传感器被安装在箱体各个区域内,并且根据物品的种类所安装的化学传感器也略有不同。其主要目的是与上述步骤的数据进行比较,避免仅根据上述步骤得出的数据发出错误判断。同时温湿度传感器的所测数据作为环境调控模块的输入。
智能语音咨询是另一种行为纠正措施,它可以起到多方面的作用。首先,当食品过期或短缺时,它可以发出提示,提醒用户添置或处理食品。其次,当系统发出食品过期提示后,用户可以通过自己的经验对其判断结果进行核实,即对系统得出结论进行修正。因此本步骤十分有必要,它提高了控制系统调控环境的稳定性,真正延长了食品保质期并节能。另一方面,将上述两部分数据均发送至大数据学习模块中。大数据学习模块将记录用户的喜好及行为,此后推荐合适的菜谱,减少采集数据的繁琐性,减少不必要的输入是很有必要的。通过用户反馈行为的长时间训练,系统最终能够实现自动控制密闭空间室内参数,在不牺牲能源的情况下还能保障食品新鲜程度。
以上三种模块功能一定程度上提高了本发明控制系统的操作精度,避免系统发生延迟、误判等不利情况。
此外,每一次信息采集系统所收集到的信息都将传输到工作室的后台中进行保存并储存,一方面能够和其他用户同类数据进行交叉验证,另一方面可以和该用户后续操作进行比对。大数据学习方式不仅建立了一个大型冷冻冷藏数据库,方便系统运行维护进行进一步开发,而且还可以计算用户的偏好,便捷使用者们的生产生活。即使使用者变更,本发明的控制系统仍然可以重新根据新用户喜好继续提供优质的智能化服务。
如图2,本发明的工作步骤如下:
1、非接触式的摄像头采集密闭空间内食品的图像信息;
2、将图像按照划分区域分割,通过卷积神经网络识别每个区域食品的信息,包括数目、种类等。若食品没有包装,进行步骤3,否则,根据之前记录判断该食品在密闭空间的储存时间,若储存时间距离该食品的保质期的时间在预设时间范围内,则提示用户尽快使用该食品,若储存时间到达或超过该食品的保质期,则提示用户食品过期。
3、将采集到的视频信号采用欧拉视频放大技术进行分析,提取食品表面颜色分布,识别食品变质前期出现的瘢痕,进一步判断食品腐败状态;
4、收集传感器测量的物理、化学数据;
5、根据温度、湿度及特殊化学物质信息和食品表面颜色分布信息作为保鲜时间预估模型的输入,判断当前食品所处状态,从而得到该类物品的保鲜时间t;
6、将保鲜时间t与该类食品已知保鲜时间t`对比,若t>t`则认为食品保鲜状况良好,密闭空间内参数不进行调控;若t≤t`则认为食品保鲜状态较差,环境调控模块对密闭空间环境进行调控(如图3)。
7、根据当前食品状况,系统发出语音提示,提醒用户处理过期食品或购置缺少食材;若t≤t`且t不等于0,食品保鲜状态较差,则提示用户尽快使用食品,若t=0,食品已腐败,则提示用户食品已过期。根据用户反馈判断系统结果是否正确。
8、将本次数据记录在人工智能模块的大数据学习模块中,并上传到大数据云后台;
9、根据特殊化学物质信息,开启灭菌灯2。
具体实施中不利情况的解决方法:
1、针对大型冷库需要室内温度均匀的问题,除普通摄像头外可以增加红外摄像头观察室内温度场是否均匀,以此增加系统准确度。
2、若食品种类过多,功能区混杂,系统应先根据用户平时喜好划定食品摆放功能区。当出现系统未知品种的食品时,可以连接大数据库进行搜索获取其保鲜信息。
3、如果食品在系统提示用户之前就已经变质,可以改变报警阈值,从而延长保鲜期。
4、如果智能语义提示结果与使用者实际观察到的结果不符或相差较大。将此情况下的数据记录在人工智能模块中,通过比对之前经验得出结论,以此结果为最终控制信号。
本发明中,还可以根据密闭空间的种类作出相应的调整。
小型箱室一般用于保存不同种类的物品,如水果、肉类、蔬菜等。这就要求箱室内不同区域的制冷功能略有不同。根据各个箱室中热负荷的实际需求将冷量准确地输送到各个功能分区。例如:提高密闭空间的湿度,有利于蔬菜、水果的储藏;维持空间内温度接近0℃,更适合鱼、肉、蛋的储存。系统可以根据用户习惯划分储藏功能分区,并且对各个分区的温湿度进行独立控制。当系统检测到该区域内食品数量及变质情况后,也会对此区域的温度进行自动调节。
大容积箱室通常用于储存数量较大的同类型产品,如海鲜产品、疫苗、血液样本等。这对密闭空间内温度场的均匀性要求较高,即使产生微小的温度波动,都会对产品品质造成不可逆的影响。利用普通数码摄像头捕捉室内物品的变化情况,并结合温度、湿度传感器及一些特殊的化学传感器,判断当前空间内的冷冻冷藏环境控制系统是否运行良好。以此避免了由于物品数量过大,管理人员不易逐个检查,导致产品变质从而造成用户的意外损失。同时减轻了管理人员的管理负担,降低了产品的损耗率及运行管理成本,提高了大容积箱室的管理效率。
低温密闭空间内容易滋生各类细菌,其中有一部分对人体有害,如沙门氏菌、志贺氏菌、李斯特菌等。它们全都来自于箱室内储藏的变质物品。采用紫外线灯光照的方式可以有效对密闭空间内中的细菌进行杀菌,从而降低食品之间的交叉感染,确保食品卫生安全并且延长食品保鲜时间。因此,当系统检测到食品表面的细微变化或检测到特殊化学物质后,光照灭菌模块将自动开启,针对不同的微生物种类和食品种类,杀菌的时间和功率也不尽相同。
本发明提出的基于计算机视觉技术监测冷冻冷藏密闭空间环境控制系统。以非接触方式为主,并与语音识别和深度学习算法记录人员储存、购买食品习惯相结合,人工智能系统能够提前告知食品过期时间、提醒用户采购短缺食材,主动规划食品分区。计算机视觉技术可以代替人眼对空间内食材种类进行识别,这是整个智能控制环境技术中最核心的部分,也是后续后处理部分的输入信号。通过摄像头采集食品信息,对密闭空间内食材的品种、摆放位置进行识别。这是因为针对不同种类的食材有其独特的储存特性,具体表现为温湿度数值控制以及杀菌灯的开启/关闭。与此同时,该系统的人工智能系统还可以根据已有食材和用户喜好推荐菜肴食谱,并且可以结合用户近期的健身计划,搭配低热量的健康食谱,合理安排用户饮食。同时针对一些患有疾病的用户如糖尿病患者,避免用户摄入高脂肪、高糖等食品防止患者血糖升高从而导致影响人员的身体健康。针对一些有过敏史的用户,智能系统也可以对食材进行鉴别同时对人员做出提示。该智能系统也可以实现人机交互的功能,除安装语音助手外,还将与智能手机相关联,远程传输密闭空间内食材种类及数量,推荐今日食谱,并自动搜索最近采购地点补充必须食材。同时一些化学传感器能够测量水果、蔬菜等食品腐烂后产生的特殊化学物质从而识别食品保质期限,可以与计算机视觉技术判断结果进行交叉验证提高监测精度。
语义识别模块是数据采集的最后一个组成部分。信息处理系统在接收非接触测量及传感器测量的信号后,对密闭空间内储存食材信息进行分析,提醒用户是否需要对密闭空间内食材进行处理,如补充短缺食材、识别过期食品。再进一步提高了控制系统的智能性,便利了人们的生产生活。实现精准控制密闭空间环境。此外,语义识别模块还增加了智能语音询问服务,通过询问控制器得出信息的正确性来判断采集信息的准确度。将反复验证的结果发送到大数据学习模块。该辅助功能十分有必要性,这将进一步提高系统识别食材状态的稳定性和准确性,真正改善人们的日常生活生产,并达到节能的效果。另一方面,发送到大数据学习使用者的人员反馈信息能够进一步学习并记忆使用者的喜好。智能系统能够根据不同的食品偏好推荐同类产品,极大地丰富了人们的可选择空间。同时当非接触测量结果与传感器测量结果相悖时,智能语音询问将起到决定性优化效果,防止该控制系统造成极大偏差。

Claims (9)

1.基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,包括数据采集模块、信息处理模块、人工智能模块和环境调控模块;
数据采集模块,用于采集密闭空间内的食品图像并传输给信息处理模块;用于采集密闭空间内的温度和湿度信息并传输给环境调控模块;
信息处理模块,根据接收到的食品图像,对食品进行种类识别;若食品没有包装,则采用欧拉视频放大技术对食品图像信息进行处理,得到食品表面颜色分布信息,根据食品表面颜色分布信息和人工智能模块的学习结果判断食品状态,根据食品状态输出相应的状态提示指令给人工智能模块及调整指令给环境调控模块,将食品表面颜色分布信息发送给人工智能模块;否则,根据之前记录判断该食品在密闭空间的储存时间,根据存储时间和预设的阈值,输出相应的状态提示指令给人工智能模块;
人工智能模块,根据接收到的状态提示指令给用户进行相应的状态提示,并接收和识别用户的反馈,根据食品表面颜色分布信息、状态提示指令及用户的反馈利用深度学习算法进行深度学习,将学习结果发送给信息处理模块;
环境调控模块根据接收的调整指令对密闭空间内的温度和湿度进行调整。
2.根据权利要求1所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,数据采集模块还将采集的温度和湿度信息传输给信息处理模块;信息处理模块根据食品表面颜色分布信息、温度、湿度以及人工智能模块的学习结果判断食品状态。
3.根据权利要求2所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,数据采集模块还采集密闭空间内的预设化学物质信息,并传输给信息处理模块,信息处理模块根据食品表面颜色分布信息、温度、湿度信息、预设化学物质信息以及人工智能模块的学习结果判断食品状态。
4.根据权利要求3所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,数据采集模块包括非接触式化学传感器,化学传感器采集密闭空间内的预设化学物质信息。
5.根据权利要求1所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,还包括光照灭菌模块;数据采集模块还采集密闭空间内的预设化学物质信息,并传输给信息处理模块,信息处理模块根据预设化学物质信息传输灭菌指令给光照灭菌模块;光照灭菌模块根据接收的灭菌指令进行光照灭菌操作。
6.根据权利要求1所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,信息处理模块还对食品进行分区识别,根据识别结果,传输相应的分区提示指令给人工智能模块;人工智能模块根据接收的分区提示指令给用户进行相应的分区提示。
7.根据权利要求1所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,根据食品表面颜色分布信息和人工智能模块的学习结果判断食品状态,根据食品状态输出相应的状态提示指令给人工智能模块及调整指令给环境调控模块,具体是:根据食品表面颜色分布信息和人工智能模块的学习结果判断食品状态,并得到食品的保鲜时间t;将保鲜时间t与该类食品已知保鲜时间t`对比,若t≤t`,则输出调控指令给环境调控模块;若t≤t`且t不等于0则输出使用提示指令给语义识别模块,若t=0则输出过期提示指令给语义识别模块。
8.根据权利要求1所述的基于计算机视觉的密闭空间冷冻冷藏环境控制系统,其特征在于,信息处理模块根据接收到的食品图像,利用卷积神经网络对食品进行种类识别。
9.基于计算机视觉的密闭空间冷冻冷藏环境控制方法,其特征在于,基于权利要求1所述的系统,包括:
采集密闭空间内的食品图像;采集密闭空间内的温度和湿度信息;
根据食品图像对食品进行种类识别;若食品没有包装,则采用欧拉视频放大技术对食品图像进行处理,得到食品表面颜色分布信息,根据食品表面颜色分布信息和学习结果判断食品状态,根据食品状态给用户进行相应的状态提示;并接收和识别用户的反馈,根据食品表面颜色分布信息、判断的食品状态及用户的反馈进行学习,得到学习结果;根据食品状态对密闭空间内的温度和湿度进行调控;
若食品有包装,根据之前记录判断该食品在密闭空间的储存时间,根据存储时间和已知的保质期,判断食品状态,给用户进行相应的状态提示。
CN202111424903.9A 2021-11-26 2021-11-26 基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法 Pending CN114119552A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111424903.9A CN114119552A (zh) 2021-11-26 2021-11-26 基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法
US17/838,266 US20230168027A1 (en) 2021-11-26 2022-06-13 Control system and control method of refrigeration environment in closed space based on computer vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424903.9A CN114119552A (zh) 2021-11-26 2021-11-26 基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法

Publications (1)

Publication Number Publication Date
CN114119552A true CN114119552A (zh) 2022-03-01

Family

ID=80370466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424903.9A Pending CN114119552A (zh) 2021-11-26 2021-11-26 基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法

Country Status (2)

Country Link
US (1) US20230168027A1 (zh)
CN (1) CN114119552A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128533A (zh) * 2023-03-06 2023-05-16 广西螺霸王食品科技有限公司 一种食品销售数据管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128533A (zh) * 2023-03-06 2023-05-16 广西螺霸王食品科技有限公司 一种食品销售数据管理系统
CN116128533B (zh) * 2023-03-06 2023-07-28 广西螺霸王食品科技有限公司 一种食品销售数据管理系统

Also Published As

Publication number Publication date
US20230168027A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
WO2020125456A1 (zh) 一种食物监控方法、冰箱及具有存储功能的装置
CN110135788B (zh) 一种冷链物流运输设备和冷链物流系统
KR102551358B1 (ko) 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
US9702858B1 (en) Dynamic recipe control
US9436170B2 (en) Appliances with weight sensors for nutritional substances
WO2018148740A1 (en) Computer vision based food system and method
CN109838957A (zh) 一种智能保鲜冷柜装置及其识别和测控方法
WO2016196336A1 (en) Nutrition based food system and method
CN110567227A (zh) 食物保鲜方法、装置、系统及冰箱
US20180106523A1 (en) Refrigerator food inventory preservation
CN105205323A (zh) 基于用户体征数据的健康饮食指导系统及方法
CN105222504B (zh) 冰箱及其控制方法
CN214409742U (zh) 一种数字化智能冷藏保鲜系统
CN109458785A (zh) 一种食品检测装置、冰箱及食品检测方法
CN102889749A (zh) 一种带有多个气味传感器的冰箱或冰柜
CN114119552A (zh) 基于计算机视觉的密闭空间冷冻冷藏环境控制系统及方法
CN108061415A (zh) 一种智能冰箱及基于智能冰箱食品管理的方法
CN110608574A (zh) 一种冰箱及其保鲜控制方法
CN113158005A (zh) 冰箱菜品存储管理方法、冰箱及存储介质
KR101923458B1 (ko) 냉장고
CN105865123A (zh) 一种家用食品储藏柜
CN113218139B (zh) 冰箱的食材存储环境的控制方法、冰箱及存储介质
CN113154780A (zh) 冰箱菜品存储温度管理方法、冰箱及存储介质
CN109124301A (zh) 一种无人厨房智能系统及其操作方法
JP2022064576A (ja) 情報処理システム、及び品質推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination