CN105513052B - 一种冰箱内食物存量及变质信息探知系统及方法 - Google Patents

Abstract

本发明公开了一种冰箱内食物存量及变质信息探知系统及方法，包括压力传感器模块、摄像头拍摄模块、压力分析模块、图像差异判断模块、综合分析判断模块、信息发送模块和移动终端，压力传感器模块、摄像头拍摄模块设置于冰箱内部所对应的检测区域，压力分析模块与压力传感器模块连接，图像差异判断模块与摄像头拍摄模块连接，综合分析判断模块分别与压力分析模块、图像差异判断模块连接，信息发送模块与综合分析判断模块连接，信息发送模块与移动终端网络通信连接。本发明通过压力传感器模块能够探测到冰箱内食物存量信息，便于用户及时掌握食物存量。再经过综合分析判断模块的综合分析得出食物变质概率比例值，便于用户及时掌握食物变质情况。

Description

一种冰箱内食物存量及变质信息探知系统及方法

技术领域

本发明涉及冰箱内食物探测技术领域，尤其涉及一种冰箱内食物存量及变质信息探知系统及方法。

背景技术

在日常生活中，家庭厨房环境下电冰箱内经常添加储藏和消费食物，可是当人们生活节奏加快过分忙碌和在外用餐的次数增加等情况，食物的存储数量和保鲜程度等作为电冰箱已经存储的食物状态可能会被人遗忘，而造成对食物的浪费以及用户对食物新鲜程度的不确定性，以及如何快捷友好的通知用户电冰箱内食品存量发生变化，通知消息和信息传递机制也是设计的重要环节。在解决以上问题的过程中，我们遇到一个关键问题，“随时间的推移如何判断电冰箱内存储的食物存量发生变化”，这一关键问题是制约冰箱技术发展的一个障碍，自冰箱等家电系统进入嵌入式微处理器时代便拥有了智能化人性化的信息处理方法，如何友好的与用户交流，是智能化冰箱的一个发展方向，也是当下物联网及智慧家庭发展的一大课题，为提高生活品质，赋予电冰箱更多智能化信息处理机制，解决机器与人更多的交互问题。现有的冰箱中没有对冰箱内食物进行探测的装置及其系统，无法得知冰箱内食物的变质情况，也不能将冰箱内食物变质情况及时地反馈给用户，增加了食物变质的概率，严重影响了人体饮食健康。

发明内容

针对现有技术存在的不足之处，本发明的目的在于提供一种冰箱内食物存量及变质信息探知系统及方法，能够探知冰箱内食物存量信息，在友好的人机交互状态下，可有效制止食物过期变质和对食物保鲜程度的了解，具有有效处理功能和非常可靠稳定的系统构架，并能够准确快捷地向用户传送食物保存情况。

本发明的目的通过下述技术方案实现：

一种冰箱内食物存量及变质信息探知系统，包括压力传感器模块、摄像头拍摄模块、压力分析模块、图像差异判断模块、综合分析判断模块、信息发送模块和移动终端，所述压力传感器模块、摄像头拍摄模块设置于冰箱内部所对应的检测区域，所述压力分析模块与压力传感器模块连接，图像差异判断模块与摄像头拍摄模块连接，综合分析判断模块分别与压力分析模块、图像差异判断模块连接，信息发送模块与综合分析判断模块连接，信息发送模块与所述移动终端网络通信连接；

所述压力传感器模块用于检测冰箱内部的食物压力情况并实时将该压力情况发送给压力分析模块，所述压力分析模块用于对食物压力情况的变化趋势进行分析汇总成压力变化数据库并将该压力变化数据库发送给综合分析判断模块；

所述摄像头拍摄模块用于实时拍摄冰箱内部的食物图像并实时将该食物图像发送给图像差异判断模块，所述图像差异判断模块利用差分图像方法对时间序列上前后相邻两食物图像进行图像差异分析，并将差异分析结果实时传输给综合分析判断模块；

所述综合分析判断模块用于对来自于压力分析模块的压力变化数据库和图像差异判断模块的差异分析结果进行同步实时综合分析，并得出食物变质预测结论然后将该食物变质预测结论实时传送给信息发送模块；

所述信息发送模块通过有线或无线网络将食物变质预测结论实时传送给移动终端；移动终端用于实时查看食物变质预测结论。

为了更好地实现本冰箱内食物存量及变质信息探知系统，所述移动终端为手机或电脑，所述移动终端与信息发送模块通过无线网络连接。

进一步地技术方案是：本冰箱内食物存量及变质信息探知系统还包括与综合分析判断模块电连接的报警模块，所述综合分析判断模块分析出的食物变质预测结论若为食物变质，则触发报警模块发出报警提示信号。

一种冰箱内食物存量及变质信息探知方法，其方法如下：

A、冰箱内食物压力变化探测及分析：压力传感器模块设置于冰箱内部各个的检测区域处，对各个检测区域的食物进行实时压力情况检测，压力传感器模块将探测到各个检测区域的食物压力情况实时发送给压力分析模块，压力分析模块对；压力分析模块对食物压力情况的变化趋势进行分析并汇总成压力变化数据库，压力分析模块将该压力变化数据库发送给综合分析判断模块；

B、冰箱内食物图像变化探测及分析：摄像头拍摄模块设置于冰箱内部各个的检测区域处，对各个检测区域的食物实时图像拍摄，摄像头拍摄模块将探测到各个检测区域的食物图像实时发送给图像差异判断模块，图像差异判断模块利用差分图像方法对前后相邻两食物图像进行图像差异分析并汇总成图像变化数据库，然后将该图像变化数据库发送给综合分析判断模块；

C、食物是否变质综合性判断：综合分析判断模块接收来自于压力分析模块的压力变化数据库以及来自于图像差异判断模块的图像变化数据库，并对压力变化数据库、图像变化数据库进行综合分析；

如果压力分析模块分析出的压力变化数据库中所检测到的前后相邻时刻压力有变化，则判断为食物可能变质，压力变化数据库中所检测到的前后相邻时刻压力变化越大，则判断食物变质可能性越大，如果压力变化数据库中所检测到的前后相邻时刻压力无变化，则判断食物可能不变质，综合分析判断模块根据自身数据库的统计分析并根据压力变化数据库分析出食物变质概率比例值A；

如果图像差异判断模块分析出的图像变化数据库中前后相邻两食物图像有变化，则判断为食物可能变质，图像变化数据库中的前后相邻两食物图像变化越大，则判断食物变质可能性越大，如果图像变化数据库中的前后相邻两食物图像无变化，则判断食物可能不变质，综合分析判断模块根据自身数据库的统计分析并根据图像变化数据库分析出食物变质概率比例值B；

最后，综合分析判断模块自身数据库的综合统计分析并根据压力变化数据库与图像变化数据库综合分析出食物变质概率比例值C；

D、食物变质概率信息发送：信息发送模块接收来自于综合分析判断模块中的食物变质概率比例值A、食物变质概率比例值B和食物变质概率比例值C，并将食物变质概率比例值A、食物变质概率比例值B和食物变质概率比例值C通过网络发送给移动终端，用户在移动终端中的app系统中可以查询到冰箱如下数据：

各个检测区域的食物压力情况、趋势走向图以及所对应的食物变质概率比例值A，

各个检测区域的食物图像情况、趋势走向图以及所对应的食物变质概率比例值B，

综合分析判断模块分析出各个检测区域的趋势走向图以及食物变质概率比例值C；

E、食物变质报警：综合分析判断模块中对应设置有与食物变质概率比例值A的报警阈值，与食物变质概率比例值B相对应的报警阈值，与食物变质概率比例值C相对应的报警阈值；如果各个食物变质概率比例值超过该报警阈值时，则综合分析判断模块触发报警模块发出报警信号。

本发明较现有技术相比，具有以下优点及有益效果：

(1)本发明通过压力传感器模块能够探测到冰箱内食物存量信息，用户通过移动终端，可以非常方便地查询冰箱内的食物存量，便于用户及时掌握冰箱内的食物存量。本发明通过压力分析模块对压力传感器模块所探测到的食物压力情况变化趋势进行分析，通过图像差异判断模块对摄像头拍摄模块所探测到的前后相邻两食物图像进行图像差异分析，然后再经过综合分析判断模块对压力变化数据库、图像变化数据库进行综合分析得出食物变质概率比例值并及时反馈给移动终端，便于用户及时掌握冰箱内食物经过本系统分析的变质情况。

(2)本发明的综合分析判断模块中对应设置有与食物变质概率比例值A的报警阈值，设有与食物变质概率比例值B相对应的报警阈值，还设有与食物变质概率比例值C相对应的报警阈值；如果各个食物变质概率比例值超过该报警阈值时，则综合分析判断模块触发报警模块发出报警信号；这样当冰箱内食物变质时，报警模块就会发出报警信号提醒用户，以便用户及时处理。

附图说明

图1为本发明冰箱内食物存量及变质信息探知系统的原理结构框图；

图2为本发明冰箱内食物存量及变质信息探知方法的流程示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例

如图1所示，一种冰箱内食物存量及变质信息探知系统，包括压力传感器模块、摄像头拍摄模块、压力分析模块、图像差异判断模块、综合分析判断模块、信息发送模块和移动终端，所述压力传感器模块、摄像头拍摄模块设置于冰箱内部所对应的检测区域，所述压力分析模块与压力传感器模块连接，图像差异判断模块与摄像头拍摄模块连接，综合分析判断模块分别与压力分析模块、图像差异判断模块连接，信息发送模块与综合分析判断模块连接，信息发送模块与所述移动终端网络通信连接；

所述压力传感器模块用于检测冰箱内部的食物压力情况并实时将该压力情况发送给压力分析模块，所述压力分析模块用于对食物压力情况的变化趋势进行分析汇总成压力变化数据库并将该压力变化数据库发送给综合分析判断模块；

所述摄像头拍摄模块用于实时拍摄冰箱内部的食物图像并实时将该食物图像发送给图像差异判断模块，所述图像差异判断模块利用差分图像方法对前后相邻两食物图像进行图像差异分析，并将差异分析结果实时传输给综合分析判断模块；

所述综合分析判断模块用于对来自于压力分析模块的压力变化数据库和图像差异判断模块的差异分析结果进行同步实时综合分析，并得出食物变质预测结论然后将该食物变质预测结论以及冰箱内食物存量实时传送给信息发送模块；

所述信息发送模块通过有线或无线网络将食物变质预测结论实时传送给移动终端；移动终端用于实时查看食物变质预测结论。

本发明优选的移动终端为手机或电脑，所述移动终端与信息发送模块通过无线网络连接。这样信息发送模块能够将冰箱内综合分析判断模块综合分析所得到的食物变质预测结论以及冰箱内食物存量实时传送给移动终端，方便用户及时查看。

本发明冰箱内食物存量及变质信息探知系统还包括与综合分析判断模块电连接的报警模块，所述综合分析判断模块分析出的食物变质预测结论若为食物变质，则触发报警模块发出报警提示信号。

本专利发明从现有技术问题着手提出一种行之有效的机器自动化信息处理方法，如何有效判断电冰箱内存储的食物存量发生变化。本专利对实验过程中有关电冰箱存储空间内可能出现的食物增加和减少等实验情形和应用做充分的实验和功能模拟，证明本专利在传感器的协调使用上，通过最简单冰箱内食物存量信息的探知功能上可以有效验证发明的实际构架，构思和原理在测试和实施方面具有极优的体现，在测试方面获得优良的实验结果。

本发明以新型的智能电冰箱为设计原型，在冰箱储物柜内隔板和底层贴膜下设置高灵敏度压力传感器，用于感知冰箱冰箱储物柜压力数据的变化，更明显的从参数采样上开始直接判断冰箱储物柜内食品重量的增加和减少，可是食品重量的增加和减少也会随冰箱内食物的冷却，冷藏，变质，枯萎缩水等随时间新鲜程度变化而质量发生改变的情况，进而单纯从压力传感器传递的参数做判断是很难得到正确结论的。在存储柜壁上设置有多部摄像头，这些摄像头的功能为满足我们的工作提供了良好的技术支持，从图像的时间序列拍摄过程中利用前后相邻两画面的差分图像的方法得到冰箱内存储食物目标出现的大致变化状态，通过一个在时间跨度较长的时间范围区间构造高斯背景统计模型的方法得到每一个可能目标点的准确分割阈值，最后再对上一步操作得到的目标区域内部进行精细分割。实验结果表明,该方法能够有效的判断在时间前后顺序上食物增加和减少的两幅冰箱内前后图像,且对背景噪声抑制效果良好，并取得良好的实验效果。

如图2所示，一种冰箱内食物存量及变质信息探知方法，其方法如下：

A、冰箱内食物压力变化探测及分析：压力传感器模块设置于冰箱内部各个的检测区域处，对各个检测区域的食物进行实时压力情况检测，压力传感器模块将探测到各个检测区域的食物压力情况实时发送给压力分析模块，压力分析模块对；压力分析模块对食物压力情况的变化趋势进行分析并汇总成压力变化数据库，压力分析模块将该压力变化数据库发送给综合分析判断模块；

B、冰箱内食物图像变化探测及分析：摄像头拍摄模块设置于冰箱内部各个的检测区域处，对各个检测区域的食物实时图像拍摄，摄像头拍摄模块将探测到各个检测区域的食物图像实时发送给图像差异判断模块，图像差异判断模块利用差分图像方法对前后相邻两食物图像进行图像差异分析并汇总成图像变化数据库，然后将该图像变化数据库发送给综合分析判断模块；

C、食物是否变质综合性判断：综合分析判断模块接收来自于压力分析模块的压力变化数据库以及来自于图像差异判断模块的图像变化数据库，并对压力变化数据库、图像变化数据库进行综合分析；

如果压力分析模块分析出的压力变化数据库中所检测到的前后相邻时刻压力有变化，则判断为食物可能变质，压力变化数据库中所检测到的前后相邻时刻压力变化越大，则判断食物变质可能性越大，如果压力变化数据库中所检测到的前后相邻时刻压力无变化，则判断食物可能不变质，综合分析判断模块根据自身数据库的统计分析并根据压力变化数据库分析出食物变质概率比例值A；

如果图像差异判断模块分析出的图像变化数据库中前后相邻两食物图像有变化，则判断为食物可能变质，图像变化数据库中的前后相邻两食物图像变化越大，则判断食物变质可能性越大，如果图像变化数据库中的前后相邻两食物图像无变化，则判断食物可能不变质，综合分析判断模块根据自身数据库的统计分析并根据图像变化数据库分析出食物变质概率比例值B；

最后，综合分析判断模块自身数据库的综合统计分析并根据压力变化数据库与图像变化数据库综合分析出食物变质概率比例值C；

D、食物变质概率信息发送：信息发送模块接收来自于综合分析判断模块中的食物变质概率比例值A、食物变质概率比例值B和食物变质概率比例值C，并将食物变质概率比例值A、食物变质概率比例值B和食物变质概率比例值C通过网络发送给移动终端，用户在移动终端中的app系统中可以查询到冰箱如下数据：

第一、各个检测区域的食物压力情况、趋势走向图以及所对应的食物变质概率比例值A，

第二、各个检测区域的食物图像情况、趋势走向图以及所对应的食物变质概率比例值B，

第三、综合分析判断模块分析出各个检测区域的趋势走向图以及食物变质概率比例值C，

第四、压力传感器模块所探测到的冰箱内食物存量；

E、食物变质报警：综合分析判断模块中对应设置有与食物变质概率比例值A的报警阈值，与食物变质概率比例值B相对应的报警阈值，与食物变质概率比例值C相对应的报警阈值；如果各个食物变质概率比例值超过该报警阈值时，则综合分析判断模块触发报警模块发出报警信号；本发明的报警模块通过信息发送模块将报警信号发送给移动终端，以便于用户通过移动终端能够及时地得知冰箱内食物已经变质的报警信息。

本发明冰箱内食物存量及变质信息探知方法的工作原理概括如下：

从现代智能电冰箱和智能终端设备上需要无人监控得到冰箱内食物存量信息数据，以新型的智能电冰箱为设计原型，在冰箱储物柜内隔板和底层贴膜下设置高灵敏度压力传感器，用于感知冰箱冰箱储物柜压力数据的变化，压力传感器的开创式使用只是单纯从冰箱内食物承重和质量变化上得到具体的数据，可是具体的当存储食物的内部环境受温度变化，食品重量的增加和减少等信息也会随相对内部条件的变化而发生改变，冰箱内食物的冷藏，变质，叶子蔬菜等枯萎缩水等随时间新鲜程度变化而质量发生改变的情况都有可能影响到压力传感器的工作数据范围，而单单使用压力传感器是不能有效判断冰箱内食物存量信息的，或者是食物质量和数量发生改变的。在存储食物质量发生改变的情况下只是仅此作为判断的依据是不太现实的，必须依据更多稳定可靠的监控方法做判断，最终数据结果才更有说服力。

其次，智能电冰箱工程样机内部储物柜内壁上嵌入有8个数量的摄像头，从这些摄像头的拍摄画面上可以清晰得到冰箱内部800*600分辨率的图像画面，以此图像分辨率画面为图像处理的样本数据，在图像处理算法层面主要针对于这些前景和背景画面的分割计算方法上，采用一种业内最简单实用方法：时间序列上相邻两画面的差分图像的计算方法，在具体算法的执行过程中通过一个在时间跨度较长的时间范围区间构造高斯背景统计模型的方法得到每一个可能目标点的准确分割阈值，最后再对上一步操作得到的目标区域内部进行精细分割。实验结果表明,该方法能够有效的判断在时间前后顺序上食物增加和减少的两幅冰箱内前后图像,且对背景噪声抑制效果良好，并取得良好的实验效果，实验效果为当前图像基于像素样本统计信息的背景表示，利用像素在较长时间内大量样本值的概率密度等统计信息表示背景，然后统计差分进行目标像素判断，由于在冰箱内部不存在复杂动态的背景，无需进行建模，因此计算量较小。在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对最后的图像中食物取出，放入和大事件范围内的变化具有很敏感的感知能力。

通过以上图像间差分计算得到的结果可以明确的分析出在可视化的范围内，食物在冰箱内部摆放情况，拿出消耗或者存储新入食物等。加上和压力传感器在质量变化的对比，通过以上两种相得益彰的配合计算方法，我们就可以对冰箱内的食物存量信息有了准确的判断，做到无人监控情况下存储空间内食物存量的信息探知。

最后，有关冰箱等智能终端系统的运行界面及消息传递的处理体现在系统界面报警或者消息的发送等设计机制上，本申请阐述一种冰箱内应用程序简单的信息发送和处理方式上，通过协同连接的智能终端探知当食物存量信息发生变化时候，通过家庭内互联网络告知用户，冰箱内当前食物状态。具体的，仅当压力传感器采样数据对比近期一段时间发现存量发生细微质量减小的情况，可能是有部分绿叶蔬菜枯萎或者失去水份；如果视觉感应装置发现某一图像内前景图像较一天或者更长时间差分图像结果出现明显不同，那么充分说明食物变质，提醒用户留意查看。通过以上细节的变化程度对比，可以更有效的提高智能家电设备的人性化程度，提高友好的人机交互用户体验，并对智能化产品有了更高的定义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种冰箱内食物存量及变质信息探知系统，其特征在于：包括压力传感器模块、摄像头拍摄模块、压力分析模块、图像差异判断模块、综合分析判断模块、信息发送模块和移动终端，所述压力传感器模块、摄像头拍摄模块设置于冰箱内部所对应的检测区域，所述压力分析模块与压力传感器模块连接，图像差异判断模块与摄像头拍摄模块连接，综合分析判断模块分别与压力分析模块、图像差异判断模块连接，信息发送模块与综合分析判断模块连接，信息发送模块与所述移动终端网络通信连接；

所述压力传感器模块用于检测冰箱内部的食物压力情况并实时将该压力情况发送给压力分析模块，所述压力分析模块用于对食物压力情况的变化趋势进行分析汇总成压力变化数据库并将该压力变化数据库发送给综合分析判断模块；

所述摄像头拍摄模块用于实时拍摄冰箱内部的食物图像并实时将该食物图像发送给图像差异判断模块，所述图像差异判断模块利用差分图像方法对前后相邻两食物图像进行图像差异分析，并将差异分析结果实时传输给综合分析判断模块；

所述综合分析判断模块用于对来自于压力分析模块的压力变化数据库和图像差异判断模块的差异分析结果进行同步实时综合分析，并得出食物变质预测结论然后将该食物变质预测结论实时传送给信息发送模块；

所述信息发送模块通过有线或无线网络将食物变质预测结论实时传送给移动终端；移动终端用于实时查看食物变质预测结论。

2.按照权利要求1所述的一种冰箱内食物存量及变质信息探知系统，其特征在于：所述移动终端为手机或电脑，所述移动终端与信息发送模块通过无线网络连接。

3.按照权利要求1或2所述的一种冰箱内食物存量及变质信息探知系统，其特征在于：还包括与综合分析判断模块电连接的报警模块，所述综合分析判断模块分析出的食物变质预测结论若为食物变质，则触发报警模块发出报警提示信号。

4.一种冰箱内食物存量及变质信息探知方法，其特征在于：其方法如下：

A、冰箱内食物压力变化探测及分析：压力传感器模块设置于冰箱内部各个的检测区域处，对各个检测区域的食物进行实时压力情况检测，压力传感器模块将探测到各个检测区域的食物压力情况实时发送给压力分析模块，压力分析模块对；压力分析模块对食物压力情况的变化趋势进行分析并汇总成压力变化数据库，压力分析模块将该压力变化数据库发送给综合分析判断模块；

B、冰箱内食物图像变化探测及分析：摄像头拍摄模块设置于冰箱内部各个的检测区域处，对各个检测区域的食物实时图像拍摄，摄像头拍摄模块将探测到各个检测区域的食物图像实时发送给图像差异判断模块，图像差异判断模块利用差分图像方法对前后相邻两食物图像进行图像差异分析并汇总成图像变化数据库，然后将该图像变化数据库发送给综合分析判断模块；

C、食物是否变质综合性判断：综合分析判断模块接收来自于压力分析模块的压力变化数据库以及来自于图像差异判断模块的图像变化数据库，并对压力变化数据库、图像变化数据库进行综合分析；

如果压力分析模块分析出的压力变化数据库中所检测到的前后相邻时刻压力有变化，则判断为食物可能变质，压力变化数据库中所检测到的前后相邻时刻压力变化越大，则判断食物变质可能性越大，如果压力变化数据库中所检测到的前后相邻时刻压力无变化，则判断食物可能不变质，综合分析判断模块根据自身数据库的统计分析并根据压力变化数据库分析出食物变质概率比例值A；

如果图像差异判断模块分析出的图像变化数据库中前后相邻两食物图像有变化，则判断为食物可能变质，图像变化数据库中的前后相邻两食物图像变化越大，则判断食物变质可能性越大，如果图像变化数据库中的前后相邻两食物图像无变化，则判断食物可能不变质，综合分析判断模块根据自身数据库的统计分析并根据图像变化数据库分析出食物变质概率比例值B；

最后，综合分析判断模块自身数据库的综合统计分析并根据压力变化数据库与图像变化数据库综合分析出食物变质概率比例值C；

D、食物变质概率信息发送：信息发送模块接收来自于综合分析判断模块中的食物变质概率比例值A、食物变质概率比例值B和食物变质概率比例值C，并将食物变质概率比例值A、食物变质概率比例值B和食物变质概率比例值C通过网络发送给移动终端，用户在移动终端中的app系统中可以查询到冰箱如下数据：

各个检测区域的食物压力情况、趋势走向图以及所对应的食物变质概率比例值A，

各个检测区域的食物图像情况、趋势走向图以及所对应的食物变质概率比例值B，

综合分析判断模块分析出各个检测区域的趋势走向图以及食物变质概率比例值C；

E、食物变质报警：综合分析判断模块中对应设置有与食物变质概率比例值A的报警阈值，与食物变质概率比例值B相对应的报警阈值，与食物变质概率比例值C相对应的报警阈值；如果各个食物变质概率比例值超过该报警阈值时，则综合分析判断模块触发报警模块发出报警信号。