CN108663331A - 检测冰箱内食物新鲜度的方法与冰箱 - Google Patents
检测冰箱内食物新鲜度的方法与冰箱 Download PDFInfo
- Publication number
- CN108663331A CN108663331A CN201710188925.7A CN201710188925A CN108663331A CN 108663331 A CN108663331 A CN 108663331A CN 201710188925 A CN201710188925 A CN 201710188925A CN 108663331 A CN108663331 A CN 108663331A
- Authority
- CN
- China
- Prior art keywords
- freshness
- food
- refrigerator
- imaging devices
- hyperspectral imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 182
- 238000000701 chemical imaging Methods 0.000 claims abstract description 62
- 230000003595 spectral effect Effects 0.000 claims abstract description 31
- 238000001228 spectrum Methods 0.000 claims description 44
- 238000003909 pattern recognition Methods 0.000 claims description 14
- 238000007405 data analysis Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000027455 binding Effects 0.000 claims description 2
- 238000009739 binding Methods 0.000 claims description 2
- 241000220225 Malus Species 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 239000007789 gas Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 8
- 238000007710 freezing Methods 0.000 description 6
- 230000008014 freezing Effects 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000005057 refrigeration Methods 0.000 description 5
- 238000001816 cooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229940068517 fruit extracts Drugs 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
- G01N2021/3155—Measuring in two spectral ranges, e.g. UV and visible
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明提供了一种检测冰箱内食物新鲜度的方法与冰箱。其中冰箱的储物间室内部形成有用于放置被检食物的检测区且布置有拍摄角度朝向检测区的高光谱成像装置。该检测冰箱内食物新鲜度的方法包括:获取由高光谱成像装置拍摄的检测区内放置的被检食物的高光谱数据;获取适用于被检食物的新鲜度检测模型,其中新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到;以及使用新鲜度检测模型对高光谱成像装置拍摄的高光谱数据进行分类,从而确定出被检食物的新鲜度。本方案在冰箱内部设置高光谱成像装置,拍摄得到食物的高光谱数据,综合利用图像信息和光谱信息检测食物的新鲜度,检测准确率高,满足了快速、无损获得新鲜度的要求。
Description
技术领域
本发明涉及储物技术领域,特别是涉及一种检测冰箱内食物新鲜度的方法与冰箱。
背景技术
随着社会的进步和人们生活水平的提高,消费者在购买食品时不仅关注食品的营养价值与安全,还会考虑价格、口感、外观及新鲜程度等因素,而冰箱的角色也从单纯的存储保鲜逐渐转变为食材管理中心和家庭营养中心,这也对冰箱提出了新的挑战,同时,这也为各种智能识别技术应用在冰箱上提供了契机。了解冰箱中存放食材种类的方式,也从打开冰箱门实际查看变为了智能化识别。利用自动识别技术,在家用冰箱上实现食品的种类识别功能,已经成为智能化冰箱的发展趋势。
自动识别技术就是应用特定识别装置,将被识别物品接近识别装置,自动获取被识别物品的相关信息,并提供给计算机处理系统来完成相关后续处理的一种技术。目前应用于冰箱的自动识别技术包括射频识别和图像识别等,射频识别是在放进冰箱的食材上张贴射频识别码,利用安装在冰箱上的射频识别装置进行识别,该技术需要所购置的食材本身含有射频识别码,而目前市场上的大部分食品都不含有射频识别码,特别是蔬菜、水果,更是不含有识别码,因此该技术受到了很大的应用限制。图像识别技术也已应用于冰箱上,但是正确识别率较低,由于该技术主要是依赖于对食材图像颜色或者食材形状、纹理的不同进行识别,其对颜色、形状相近的食材已经很难正确识别,更无法实现检测食物的新鲜度。
而对于现有的食物新鲜度的检测,一般是采用气体传感器阵列实现。气体传感器阵列安装于冰箱间室内,随着冰箱中存储的食物随着存放时间的延长,不断释放各种气体,而此时各个气体传感器分别对某些特定气体响应,从而判断食物的新鲜程度以及变化情况,综合判定食物的新鲜程度。
气体传感器阵列检测食物的新鲜程度时,有比较大的误判风险。首先,一般的气体传感器可以对一类化学物质都敏感,而多种气体可能都含有该物质,因此传感器可能并不能真正识别到底是哪种气体引起响应,从而引起误判。其次,多种食物混合放置时,散发的气体混合在一起,使得传感器响应,但却不能识别到底是哪种食物所释放的,从而引起误判。
发明内容
本发明的一个目的是要提供一种自动检测食物新鲜度的方法。
本发明一个进一步的目的是要提高新鲜度检测的准确性。
本发明首先提供了一种检测冰箱内食物新鲜度的方法,适用的冰箱的储物间室内部形成有用于放置被检食物的检测区且布置有拍摄角度朝向检测区的高光谱成像装置。该检测冰箱内食物新鲜度的方法包括:获取由高光谱成像装置拍摄的检测区内放置的被检食物的高光谱数据;获取适用于被检食物的新鲜度检测模型,其中新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到;以及使用新鲜度检测模型对高光谱成像装置拍摄的高光谱数据进行分类,从而确定出被检食物的新鲜度。
可选地,使用新鲜度检测模型对高光谱成像装置拍摄的高光谱数据进行分类的步骤包括:从高光谱成像装置拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息;将新鲜度检测模型所需的图像特征信息和特征光谱信息输入新鲜度检测模型;由新鲜度检测模型进行模式识别,得到被检食物的新鲜度。
可选地,高光谱数据包括设定数量的三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组三元数据组,并且新鲜度检测模型所需的图像特征信息通过对图像像素元素中数据分析提取得出,新鲜度检测模型所需的特征光谱信息通过对光谱波长元素中的数据分析提取得出。
可选地,高光谱数据中每个像素点的光谱波长的分辨率小于或等于2nm。
可选地,在驱使高光谱成像装置拍摄检测区内放置的被检食物的过程中,还同时驱动与高光谱成像装置匹配设置的光源系统启动,以为高光谱成像装置提供拍摄光线,其中光源系统的光谱范围为400nm至1100nm。
可选地,获取适用于被检食物的新鲜度检测模型的步骤包括:利用高光谱成像装置拍摄的高光谱数据识别出被检食物的类型;获取与被检食物的类型对应的新鲜度检测模型。
可选地,利用高光谱成像装置拍摄的高光谱数据识别出被检食物的类型的步骤包括:获取食物类型识别模型;从高光谱成像装置拍摄的高光谱数据中提取出食物类型识别模型所需的图像特征信息和特征光谱信息;将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;由食物类型识别模型进行模式识别,得到被检食物的类型。
可选地,确定出食物的类型的步骤之后还包括:通过冰箱的显示屏或者与冰箱绑定的移动终端输出被检食物的新鲜度。
根据本发明的另一个方面,还提供了一种冰箱。该冰箱包括:箱体,其内限定有储物间室,储物间室内形成有用于放置被检食物的检测区;高光谱成像装置,设置于箱体内部并且拍摄角度朝向检测区,并配置成拍摄得到被检食物的高光谱数据;新鲜度检测装置,配置成获取被检食物的高光谱数据,获取适用于被检食物的新鲜度检测模型,使用新鲜度检测模型对高光谱成像装置拍摄的高光谱数据进行分类,从而确定出被检食物的新鲜度,其中新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到。
可选地,新鲜度检测装置还配置成:从高光谱成像装置拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息,将新鲜度检测模型所需的图像特征信息和特征光谱信息输入新鲜度检测模型,由新鲜度检测模型进行模式识别,得到被检食物的新鲜度;高光谱数据包括设定数量的三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组三元数据组,并且新鲜度检测模型所需的图像特征信息通过对图像像素元素中数据分析提取得出,新鲜度检测模型所需的特征光谱信息通过对光谱波长元素中的数据分析提取得出,每个像素点的光谱波长的分辨率小于或等于2nm;并且冰箱还包括:类型检测装置,配置成利用高光谱成像装置拍摄的高光谱数据识别出被检食物的类型,以供确定与被检食物的类型对应的新鲜度检测模型;光源系统,设置于检测区内,以为高光谱成像装置提供拍摄光线,光源系统的光谱范围设置为400~1100nm;信息输出接口,配置成向冰箱的显示屏或者与冰箱绑定的移动终端提供被检食物的新鲜度,以向用户输出。
本发明的检测冰箱内食物新鲜度的方法与冰箱,在冰箱内部设置高光谱成像装置,拍摄得到食物的高光谱数据,利用高光谱数据进行被检食物新鲜度的检测,检测准确率高,满足了快速、无损获得新鲜度的要求。
进一步地,本发明的检测冰箱内食物新鲜度的方法与冰箱,利用食物的光谱信息与其新鲜程度相关的特性,采用模式识别技术,借助于新鲜度检测模型进行食物的新鲜度检测,显著提高了检测的准确程度,便于用户进行食物管理。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本发明一个实施例的冰箱的示意图;
图2是图1所示的冰箱中检测区的示意图;
图3是根据本发明一个实施例的冰箱的功能示意框图;
图4是根据本发明另一实施例的冰箱的功能示意框图;
图5是根据本发明另一实施例的冰箱的示意图;
图6是图5所示的冰箱中检测区的示意图;以及
图7是根据本发明一个实施例的检测冰箱内食物新鲜度的方法的示意图。
具体实施方式
图1是根据本发明一个实施例的冰箱10的示意图,图2是图1所示的冰箱中检测区130的示意图,图3是根据本发明一个实施例的冰箱10的功能示意框图。本实施例的冰箱10一般性地可以包括:箱体110、门体120、高光谱成像装置210、新鲜度检测装置220。
箱体110内限定有至少一个前侧敞开的储物间室,通常为多个,如冷藏室、冷冻室、变温室等等。具体的储物间室的数量和功能可以根据预先的需求进行配置,在一些实施例中,冷藏室的保藏温度可为2~9℃,或者可为4~7℃;冷冻室的保藏温度可为-22~-14℃,或者可为-20~16℃。冷冻室设置于冷藏室的下方,变温室设置于冷冻室和冷藏室之间。冷冻室内的温度范围一般在-14℃至-22℃。变温室可根据需求进行调整,以储存合适的食物,或者作为保鲜储藏室。
门体120,设置于箱体110前侧,用于开闭储物间室。例如门体120可以通过铰接的方式设置箱体110前部的一侧,通过枢转的方式开闭储物间室,门体120的数量可以与储物间室的数量匹配,从而可以将储物间室逐一单独开启。例如可以为冷藏室、冷冻室、变温室分别设置冷藏室门体、冷冻室门体、变温室门体。在一些可选实施例中,门体120也可以采用平开门、对开门、侧滑门、抽拉门等形式。
储物间室由制冷系统提供冷量,以实现冷藏、冷冻、变温的储物环境。制冷系统可为由压缩机、冷凝器、节流装置和蒸发器等构成的制冷循环系统。蒸发器配置成直接或间接地向储物间室内提供冷量。例如压缩式直冷冰箱中,蒸发器可设置于冰箱内胆的后壁面外侧或内侧。压缩式风冷冰箱中,箱体110内还具有蒸发器室,蒸发器室通过风路系统与储物间室连通,且蒸发器室内设置蒸发器,出口处设置有风机,以向储物间室进行循环制冷。由于上述箱体110、门体120、制冷系统本身是本领域技术人员习知且易于实现的,为了不掩盖和模糊本申请的发明点,后文对箱体110、门体120、制冷系统本身不做赘述。
储物间室内形成有检测区130,该检测区130可以作为一个单独的储物间室,在另一些可选实施例中,检测区130可以是某一储物间室的某一层,例如可以为冷藏间室的某一层。检测区130也可以直接作为食物300的储藏区。
高光谱成像装置210,设置于箱体110内部并且拍摄角度朝向检测区130,并配置成拍摄检测区130内放置的被检食物300。
新鲜度检测装置220,配置成获取被检食物300的高光谱数据,获取适用于被检食物的新鲜度检测模型,使用新鲜度检测模型对高光谱成像装置210拍摄的高光谱数据进行分类,从而确定出被检食物300的新鲜度,其中新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到。
高光谱数据可以为一系列三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组三元数据组。因此高光谱数据同时获得每个像素点的连续光谱数据和每个光谱波段的连续图像数据。高光谱图像是连续波长的光学图像,光谱范围可以设置为200nm到2500nm,具有更高的光谱分辨率,分辨率可达到2~3nm。高光谱数据可以用三维数据块来表示,其中二维是图像像素信息(x,y),第三维是波长信息(λ)。分辨率为x×y像素的图像检测器阵列在n个波长处获得的数据立方是x×y×λ的三维阵列。
在本实施例中,新鲜度检测装置220优选利用光谱范围为400nm至1100nm的光谱数据,这是由于通过大量的研究上述光谱范围内的光谱数据有利于对食物300的识别和检测。高光谱成像装置210拍摄的高光谱数据中每个像素点的光谱波长的分辨率要求小于或等于2nm,从而满足新鲜度检测装置的检测要求。
新鲜度检测装置220使用的新鲜度检测模型可以通过对大量不同新鲜度的食物的高光谱数据进行训练得出,其可以采用的训练算法可以包括神经网络(BP)、支持向量机(SVM)、Adaboost。可以预先按照食物的类型训练处多种不同不同的新鲜度检测模型,例如针对各种肉类、各种水果、各种蔬菜分别训练出相应的新鲜度检测模型。
在进行新鲜度检测时,新鲜度检测装置220可以执行如下步骤:从高光谱成像装置210拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息,将新鲜度检测模型所需的图像特征信息和特征光谱信息输入新鲜度检测模型,由新鲜度检测模型进行模式识别,得到被检食物的新鲜度。
新鲜度检测装置220还可以借助于云技术实现检测,例如在获取到高光谱成像装置210拍摄的高光谱数据后,冰箱10的数据处理装置经过初步处理后,将经过初步处理后的高光谱数据上传至云端,由云端完成新鲜度检测模型的模式识别步骤,然后将被检食物300的新鲜度提供给冰箱10或者与冰箱10绑定的移动终端,以供向用户提供。新鲜度检测模型保存在云端,减小了冰箱10的数据处理压力。
上述新鲜度可以反映食物的酸败程度、霉变程度、脱水程度等。在新鲜度超过设定的程度后,可以及时对用户进行提醒。与用户的交互可以通过冰箱10的人机交互系统实现,例如在冰箱10的显示屏上进行输出上述新鲜度的信息。在另一种实施例中,可以向与冰箱10绑定的移动终端发送包括上述新鲜度的消息,并接收用户通过移动终端反馈的消息。
图4是根据本发明另一实施例的冰箱10的功能示意框图。在该实施例的冰箱10中可以灵活选择增加以下部件:类型检测装置240、光源系统230、信息输出接口250。
信息输出接口250可以配置成向冰箱的显示屏或者与冰箱绑定的移动终端提供被检食物300的新鲜度,以向用户输出,从而提醒用户使用被检食物300。
由于不同食物的高光谱数据的差异性也较大,因此类型检测装置240可以预先利用高光谱成像装置拍摄的高光谱数据识别出被检食物的类型,以供确定与被检食物的类型对应的新鲜度检测模型。类型检测装置240的一种可选执行过程可以包括:获取食物类型识别模型;从高光谱成像装置拍摄的高光谱数据中提取出食物类型识别模型所需的图像特征信息和特征光谱信息;将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;由食物类型识别模型进行模式识别,得到被检食物的类型。
类型检测装置240使用的食物类型识别模型可以通过以下方式训练得出:预先选择一定数量的食物及其高光谱数据作为训练样本,利用这些训练样本对判决函数进行训练得到。在识别过程中,类型检测装置240将图像特征信息和特征光谱信息输入识别模型,按照不同的规则将其划分到与其最接近的分类中,完成类型的确定。其可以使用匹配算法包括:最小距离法,最大似然法,马氏距离法、神经网络(BP)、支持向量机(SVM)、Adaboost等。类型检测装置240同样可以借助于云技术,利用云端进行类型识别。
在检测区130存在多种食物的情况下,类型检测装置240也可以检测到多种食物,从而对各种食物分别进行新鲜度检测,例如分别使用各种食物对应的新鲜度检测模型分别进行新鲜度测量,从而得到多种食物的各自的新鲜度。
光源系统230设置于检测区130内,以为高光谱成像装置210提供拍摄光线,其中光源系统230的光谱范围设置为400~1100nm。光源系统230可以设置于检测区130的顶壁后部,向斜下方提供拍摄光线。光源系统230可以跟随高光谱成像装置210同时启动,从而在封闭的检测区130内中提供光线。
由于检测区130的空间有限,为了保证高光谱成像装置210能够拍摄到检测区130内放置的食物300的全貌。高光谱成像装置210优选使用广角镜头或者鱼眼镜头,并且设置于检测区130的正上方。
图5是根据本发明另一实施例的冰箱10的示意图,图6是图5所示的冰箱10中检测区130的示意图。本实例的冰箱10中针对冰箱内部空间狭小,高光谱成像装置210难于拍摄检测区130全貌的问题,通过设置反光镜260,利用拍摄反射图像的方式得到反映检测区130全貌的高光谱数据。
反射镜260和高光谱成像装置210相对设置于储物间室内部,反射镜260和高光谱成像装置210之间的区域可作为检测区130。高光谱成像装置210,可以配置成对反射镜260进行拍摄,以得到反射镜260对检测区130的反射图像的高光谱数据。由于冰箱内部的空间比较狭小,而且储物间室为了便于储物一般为扁平分层结构,在这种空间狭小的扁平区域内,现有的高光谱成像装置210很难拍摄检测区的全貌,因此在本实施例中,通过拍摄反射镜260的反射图像,可以有效地解决这一问题。在一些可选实施例中,反射镜260可以选择使用凸镜,以反射整个检测区130。
反射镜260设置于检测区130的顶部(例如储藏间室的顶壁上),并且高光谱成像装置210设置于检测区130的底部(例如储藏间室的底壁中)。高光谱成像装置210所在的区域可以设置为空白区,防止用户将待识别食物300放置在高光谱成像装置210的上方,遮挡镜头。
无论是高光谱成像装置210采用角镜头或者鱼眼镜头,还是采用反射镜260的反射方式,高光谱成像装置均可以得到反映检测区130全貌的高光谱数据,从而满足了对被检食物300的拍摄要求。
在使用冰箱10的新鲜度检测功能时,一个具体的实例为:用户在检测区130内放置一个苹果后,通过冰箱10上的按钮或者移动终端下发识别指令。高光谱成像装置210对检测区130进行拍摄,得到包括苹果在内的高光谱数据。经过初步处理,可以提取出被检食物300(苹果)的食物类型识别模型所需的图像特征信息和特征光谱信息,类型检测装置240获取食物类型识别模型,并将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;由食物类型识别模型进行模式识别,得到被检食物300的类型,也即确定被检食物为苹果。新鲜度检测装置220,确定苹果的新鲜度检测模型,从高光谱成像装置210拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息,将新鲜度检测模型所需的图像特征信息和特征光谱信息输入苹果新鲜度检测模型,由苹果新鲜度检测模型进行模式识别,得到苹果的新鲜度。新鲜度通过冰箱10的显示屏或者与冰箱10绑定的移动终端向用户报告,在苹果的新鲜程度下降到一定程度时,可以向用户进行报警。
另外冰箱10的新鲜度检测功能也可以定时自动启动,从而定期对检测区130内的被检食物300进行检测。
利用上述检测结果还可以进一步建立食物300的储藏档案,记录食物300的储藏信息,为食物的智能管理提供数据基础。
本实施例还提供了一种检测冰箱内食物新鲜度的方法,该方法可以用于上述任一实施例的冰箱10,对冰箱10内部的检测区130的食物进行品质检测。图7是根据本发明一个实施例的检测冰箱内食物新鲜度的方法的示意图。该检测冰箱内食物新鲜度的方法一般性地可以包括:
步骤S702,获取由高光谱成像装置210拍摄的检测区130内放置的被检食物300的高光谱数据;
步骤S704,获取适用于被检食物300的新鲜度检测模型;
步骤S706,使用新鲜度检测模型对高光谱成像装置210拍摄的高光谱数据进行分类,从而确定出被检食物300的新鲜度。
上述新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到,例如通过对大量不同新鲜度的食物的高光谱数据进行训练得出,其可以采用的训练算法可以包括神经网络(BP)、支持向量机(SVM)、Adaboost。可以预先按照食物的类型训练处多种不同的新鲜度检测模型,例如针对各种肉类、各种水果、各种蔬菜分别训练出相应的新鲜度检测模型。
步骤S706的一种具体执行过程可以包括:从高光谱成像装置210拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息;将新鲜度检测模型所需的图像特征信息和特征光谱信息输入新鲜度检测模型;由新鲜度检测模型进行模式识别,得到被检食物300的新鲜度。
高光谱数据可以包括设定数量的三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组三元数据组,并且新鲜度检测模型所需的图像特征信息通过对图像像素元素中数据分析提取得出,新鲜度检测模型所需的特征光谱信息通过对光谱波长元素中的数据分析提取得出。高光谱数据中每个像素点的光谱波长的分辨率小于或等于2nm。为了保证光谱数据的光谱范围可以在满足新鲜度检测要求的400nm至1100nm范围,光源系统230的光谱范围需要满足为400nm至1100nm。
由于食物的种类较多,高光谱数据的差异性也较大,步骤S704还可以包括:利用高光谱成像装置210拍摄的高光谱数据识别出被检食物300的类型,从而获取与被检食物300的类型对应的新鲜度检测模型。例如识别出被检食物300为苹果时,调用苹果的新鲜度检测模型;对于桔子,调用桔子的新鲜度检测模型。
识别出被检食物300的类型的步骤可以包括:获取食物类型识别模型;从高光谱成像装置210拍摄的高光谱数据中提取出食物类型识别模型所需的图像特征信息和特征光谱信息;将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;由食物类型识别模型进行模式识别,得到被检食物300的类型。在检测区130存在多种食物的情况下,也可以利用食物类型识别模型检测到多种食物,从而对各种食物分别进行新鲜度检测,例如分别使用各种食物对应的新鲜度检测模型分别进行新鲜度测量,从而得到多种食物的各自的新鲜度。
本实施例的检测冰箱内食物新鲜度的方法通过已经建立的高准确度智能算法模型,进行食材的种类识别,并进一步检测食物的新鲜度,方便了用户使用冰箱10。为食物的智能管理提供数据基础。
本实施例的检测冰箱内食物新鲜度的方法的一个具体使用实例为:用户在检测区130内放置一个苹果后,通过冰箱10上的按钮或者移动终端下发识别指令。另外该检测冰箱内食物新鲜度的方法也可以定时自动启动,从而定期对检测区130内的被检食物300进行检测。
高光谱成像装置210对检测区130进行拍摄,光源系统230同时启动,为检测区提供拍摄光线,高光谱成像装置210拍摄得到包括苹果在内的高光谱数据,得到的图像分辨率可以为1280×1024像素,每个像素点的光谱数据光谱分辨率为2nm。经过初步处理,可以提取出被检食物300(苹果)的食物类型识别模型所需的图像特征信息和特征光谱信息以及新鲜度检测模型所需的图像特征信息和特征光谱信息,这些特征信息可以为相同的特征。将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;从而由食物类型识别模型进行模式识别,得到被检食物300的类型,也即确定被检食物为苹果。获取苹果的新鲜度检测模型,从高光谱成像装置210拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息,将新鲜度检测模型所需的图像特征信息和特征光谱信息输入苹果新鲜度检测模型,由苹果新鲜度检测模型进行模式识别,得到苹果的新鲜度。
新鲜度最终可以通过冰箱10的显示屏或者与冰箱10绑定的移动终端向用户报告,在苹果的新鲜程度下降到一定程度时,可以向用户进行报警。
相比于利用气体传感器阵列进行新鲜度识别,本实施例的检测冰箱内食物新鲜度的方法的识别正确率显著提高。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (10)
1.一种检测冰箱内食物新鲜度的方法,所述冰箱的储物间室内部形成有用于放置被检食物的检测区且布置有拍摄角度朝向所述检测区的高光谱成像装置,所述方法包括:
获取由所述高光谱成像装置拍摄的所述检测区内放置的被检食物的高光谱数据;
获取适用于所述被检食物的新鲜度检测模型,其中所述新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到;以及
使用所述新鲜度检测模型对所述高光谱成像装置拍摄的高光谱数据进行分类,从而确定出所述被检食物的新鲜度。
2.根据权利要求1所述的方法,其中使用所述新鲜度检测模型对所述高光谱成像装置拍摄的高光谱数据进行分类的步骤包括:
从所述高光谱成像装置拍摄的高光谱数据中提取出所述新鲜度检测模型所需的图像特征信息和特征光谱信息;
将所述新鲜度检测模型所需的图像特征信息和特征光谱信息输入所述新鲜度检测模型;
由所述新鲜度检测模型进行模式识别,得到所述被检食物的新鲜度。
3.根据权利要求1所述的方法,其中,
所述高光谱数据包括设定数量的三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组所述三元数据组,并且
所述新鲜度检测模型所需的图像特征信息通过对所述图像像素元素中数据分析提取得出,所述新鲜度检测模型所需的特征光谱信息通过对所述光谱波长元素中的数据分析提取得出。
4.根据权利要求3所述的方法,其中,
所述高光谱数据中每个像素点的光谱波长的分辨率小于或等于2nm。
5.根据权利要求3所述的方法,其中,
在驱使所述高光谱成像装置拍摄所述检测区内放置的被检食物的过程中,还同时驱动与所述高光谱成像装置匹配设置的光源系统启动,以为所述高光谱成像装置提供拍摄光线,其中光源系统的光谱范围为400nm至1100nm。
6.根据权利要求1所述的方法,其中获取适用于所述被检食物的新鲜度检测模型的步骤包括:
利用所述高光谱成像装置拍摄的高光谱数据识别出所述被检食物的类型;
获取与所述被检食物的类型对应的新鲜度检测模型。
7.根据权利要求6所述的方法,其中利用所述高光谱成像装置拍摄的高光谱数据识别出所述被检食物的类型的步骤包括:
获取食物类型识别模型;
从所述高光谱成像装置拍摄的高光谱数据中提取出所述食物类型识别模型所需的图像特征信息和特征光谱信息;
将所述食物类型识别模型所需的图像特征信息和特征光谱信息输入所述食物类型识别模型;
由所述食物类型识别模型进行模式识别,得到所述被检食物的类型。
8.根据权利要求1所述的方法,其中,确定出所述食物的类型的步骤之后还包括:
通过所述冰箱的显示屏或者与所述冰箱绑定的移动终端输出被检食物的新鲜度。
9.一种冰箱,包括:
箱体,其内限定有储物间室,所述储物间室内形成有用于放置被检食物的检测区;
高光谱成像装置,设置于所述箱体内部并且拍摄角度朝向所述检测区,并配置成拍摄得到所述被检食物的高光谱数据;
新鲜度检测装置,配置成获取所述被检食物的高光谱数据,获取适用于所述被检食物的新鲜度检测模型,使用所述新鲜度检测模型对所述高光谱成像装置拍摄的高光谱数据进行分类,从而确定出所述被检食物的新鲜度,其中所述新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到。
10.根据权利要求9所述的冰箱,其中
所述新鲜度检测装置还配置成:从所述高光谱成像装置拍摄的高光谱数据中提取出所述新鲜度检测模型所需的图像特征信息和特征光谱信息,将所述新鲜度检测模型所需的图像特征信息和特征光谱信息输入所述新鲜度检测模型,由所述新鲜度检测模型进行模式识别,得到所述被检食物的新鲜度;
所述高光谱数据包括设定数量的三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组所述三元数据组,并且所述新鲜度检测模型所需的图像特征信息通过对所述图像像素元素中数据分析提取得出,所述新鲜度检测模型所需的特征光谱信息通过对所述光谱波长元素中的数据分析提取得出,每个像素点的光谱波长的分辨率小于或等于2nm;并且所述冰箱还包括:
类型检测装置,配置成利用所述高光谱成像装置拍摄的高光谱数据识别出所述被检食物的类型,以供确定与所述被检食物的类型对应的新鲜度检测模型;
光源系统,设置于所述检测区内,以为所述高光谱成像装置提供拍摄光线,所述光源系统的光谱范围设置为400~1100nm;
信息输出接口,配置成向所述冰箱的显示屏或者与所述冰箱绑定的移动终端提供所述被检食物的新鲜度,以向用户输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710188925.7A CN108663331A (zh) | 2017-03-27 | 2017-03-27 | 检测冰箱内食物新鲜度的方法与冰箱 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710188925.7A CN108663331A (zh) | 2017-03-27 | 2017-03-27 | 检测冰箱内食物新鲜度的方法与冰箱 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108663331A true CN108663331A (zh) | 2018-10-16 |
Family
ID=63786252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710188925.7A Pending CN108663331A (zh) | 2017-03-27 | 2017-03-27 | 检测冰箱内食物新鲜度的方法与冰箱 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108663331A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109580501A (zh) * | 2018-12-25 | 2019-04-05 | 上海理工大学 | 一种嵌入冰箱的果蔬新鲜品质智能判别装置及方法 |
CN110018133A (zh) * | 2019-04-11 | 2019-07-16 | 北京小米移动软件有限公司 | 食物检测方法、装置,食物处理工具及存储介质 |
CN110133202A (zh) * | 2019-05-20 | 2019-08-16 | 梁志鹏 | 一种智能厨房的食材监测新鲜度的方法及装置 |
CN111027479A (zh) * | 2019-12-10 | 2020-04-17 | 珠海格力电器股份有限公司 | 食材处理方法、装置和冰箱 |
CN111044466A (zh) * | 2019-12-27 | 2020-04-21 | 吉林求是光谱数据科技有限公司 | 果蔬新鲜度的光谱检测系统及检测方法 |
CN111159831A (zh) * | 2018-10-18 | 2020-05-15 | 珠海格力电器股份有限公司 | 食材新鲜度的预测方法及装置、家电设备 |
CN111323551A (zh) * | 2018-12-17 | 2020-06-23 | 珠海格力电器股份有限公司 | 食材新鲜度的提示方法、装置及家电设备 |
CN111999293A (zh) * | 2020-07-03 | 2020-11-27 | 中国农业大学 | 一种果蔬新鲜度检测及评价方法 |
CN113220658A (zh) * | 2020-01-21 | 2021-08-06 | 青岛海尔电冰箱有限公司 | 冰箱的食材检测方法、冰箱及存储介质 |
CN113780182A (zh) * | 2021-09-13 | 2021-12-10 | 阜阳职业技术学院 | 一种检测食品新鲜度的方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102564964A (zh) * | 2011-12-29 | 2012-07-11 | 南京林业大学 | 基于光谱图像的肉品品质可视化非接触检测方法 |
CN103900344A (zh) * | 2014-04-04 | 2014-07-02 | 合肥美的电冰箱有限公司 | 制冷设备 |
CN104406916A (zh) * | 2014-11-04 | 2015-03-11 | 百度在线网络技术(北京)有限公司 | 食物的检测方法和装置 |
CN204795419U (zh) * | 2015-07-22 | 2015-11-18 | 公安部第三研究所 | 一种流水线货物清晰拍照的反射摄像仪 |
CN105717051A (zh) * | 2016-04-22 | 2016-06-29 | 合肥美菱股份有限公司 | 一种快速检测果蔬新鲜度的系统及冰箱 |
-
2017
- 2017-03-27 CN CN201710188925.7A patent/CN108663331A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102564964A (zh) * | 2011-12-29 | 2012-07-11 | 南京林业大学 | 基于光谱图像的肉品品质可视化非接触检测方法 |
CN103900344A (zh) * | 2014-04-04 | 2014-07-02 | 合肥美的电冰箱有限公司 | 制冷设备 |
CN104406916A (zh) * | 2014-11-04 | 2015-03-11 | 百度在线网络技术(北京)有限公司 | 食物的检测方法和装置 |
CN204795419U (zh) * | 2015-07-22 | 2015-11-18 | 公安部第三研究所 | 一种流水线货物清晰拍照的反射摄像仪 |
CN105717051A (zh) * | 2016-04-22 | 2016-06-29 | 合肥美菱股份有限公司 | 一种快速检测果蔬新鲜度的系统及冰箱 |
Non-Patent Citations (6)
Title |
---|
《聚焦"互联网+"》编写组编: "《聚焦"互联网+"》", 30 September 2015, 中国言实出版社 * |
冯学智等: "《数字地球导论》", 31 May 2004, 商务印书馆 * |
刘木华: "《农产品质量安全光学无损检测技术及应用》", 30 June 2011, 华中科技大学出版社 * |
邹小波等: "《农产品无损检测技术与数据分析方法》", 31 January 2008, 中国轻工业出版社 * |
钱志鸿等: "《蓝牙技术原理、开发与应用》", 31 March 2006, 北京航空航天大学出版社 * |
陈雨时: "《高光谱数据降维及压缩技术》", 30 November 2014, 哈尔滨工程大学出版社 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111159831A (zh) * | 2018-10-18 | 2020-05-15 | 珠海格力电器股份有限公司 | 食材新鲜度的预测方法及装置、家电设备 |
CN111323551A (zh) * | 2018-12-17 | 2020-06-23 | 珠海格力电器股份有限公司 | 食材新鲜度的提示方法、装置及家电设备 |
CN109580501A (zh) * | 2018-12-25 | 2019-04-05 | 上海理工大学 | 一种嵌入冰箱的果蔬新鲜品质智能判别装置及方法 |
CN109580501B (zh) * | 2018-12-25 | 2023-11-07 | 上海理工大学 | 一种嵌入冰箱的果蔬新鲜品质智能判别装置及方法 |
CN110018133A (zh) * | 2019-04-11 | 2019-07-16 | 北京小米移动软件有限公司 | 食物检测方法、装置,食物处理工具及存储介质 |
CN110133202A (zh) * | 2019-05-20 | 2019-08-16 | 梁志鹏 | 一种智能厨房的食材监测新鲜度的方法及装置 |
CN111027479A (zh) * | 2019-12-10 | 2020-04-17 | 珠海格力电器股份有限公司 | 食材处理方法、装置和冰箱 |
CN111044466A (zh) * | 2019-12-27 | 2020-04-21 | 吉林求是光谱数据科技有限公司 | 果蔬新鲜度的光谱检测系统及检测方法 |
CN113220658A (zh) * | 2020-01-21 | 2021-08-06 | 青岛海尔电冰箱有限公司 | 冰箱的食材检测方法、冰箱及存储介质 |
CN113220658B (zh) * | 2020-01-21 | 2023-06-20 | 青岛海尔电冰箱有限公司 | 冰箱的食材检测方法、冰箱及存储介质 |
CN111999293A (zh) * | 2020-07-03 | 2020-11-27 | 中国农业大学 | 一种果蔬新鲜度检测及评价方法 |
CN113780182A (zh) * | 2021-09-13 | 2021-12-10 | 阜阳职业技术学院 | 一种检测食品新鲜度的方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108663331A (zh) | 检测冰箱内食物新鲜度的方法与冰箱 | |
CN108662842A (zh) | 冰箱内食物的检测系统与冰箱 | |
CN110966833B (zh) | 检测冰箱内食材信息的方法及冰箱 | |
CN108662843A (zh) | 冰箱内食物的检测系统与冰箱 | |
CN106871568A (zh) | 冰箱内部食物的种类识别方法与冰箱 | |
Pu et al. | Soluble solids content and pH prediction and maturity discrimination of lychee fruits using visible and near infrared hyperspectral imaging | |
CN107873101B (zh) | 用于对象辨识和评估的成像系统 | |
CN106705564B (zh) | 冰箱的控制方法及冰箱 | |
Barbin et al. | NIR hyperspectral imaging as non-destructive evaluation tool for the recognition of fresh and frozen–thawed porcine longissimus dorsi muscles | |
CN106871569A (zh) | 冰箱内部食物的种类识别方法与冰箱 | |
Cubero et al. | Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables | |
CN109655414B (zh) | 电子设备、信息推送方法及相关产品 | |
Wang et al. | Application of hyperspectral imaging to discriminate the variety of maize seeds | |
US8851365B2 (en) | Adaptive storage and conditioning systems for nutritional substances | |
Cheng et al. | Integration of classifiers analysis and hyperspectral imaging for rapid discrimination of fresh from cold-stored and frozen-thawed fish fillets | |
CN110966834A (zh) | 识别冰箱内食材种类的方法与冰箱 | |
WO2014210531A2 (en) | Local storage and conditioning systems for nutritional substances | |
CN109740639A (zh) | 一种风云卫星遥感影像云检测方法、系统及电子设备 | |
CN110675400B (zh) | 一种基于手机app的羊肉品质指标快速智能检测方法 | |
CN110017659A (zh) | 家用制冷器具设备 | |
US11852619B2 (en) | Apparatus for inspecting meat, system for inspecting meat including the same, refrigerator including the same, and method of inspecting meat | |
JP2021165604A (ja) | 保管容器、冷蔵庫及び熟成度推定装置 | |
CN115131783B (zh) | 基于机器视觉的用户饮食营养成分信息自主感知方法 | |
CN110966835B (zh) | 检测冰箱内食材营养成分的方法与冰箱 | |
Jiang et al. | Identification of tomato maturity based on multinomial logistic regression with kernel clustering by integrating color moments and physicochemical indices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181016 |
|
RJ01 | Rejection of invention patent application after publication |