CN108662843A - 冰箱内食物的检测系统与冰箱 - Google Patents

冰箱内食物的检测系统与冰箱 Download PDF

Info

Publication number
CN108662843A
CN108662843A CN201710188928.0A CN201710188928A CN108662843A CN 108662843 A CN108662843 A CN 108662843A CN 201710188928 A CN201710188928 A CN 201710188928A CN 108662843 A CN108662843 A CN 108662843A
Authority
CN
China
Prior art keywords
food
refrigerator
imaging devices
hyperspectral imaging
detecting system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710188928.0A
Other languages
English (en)
Inventor
陶瑞涛
张冰
梁静娜
王霁昀
范强
项红荧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN201710188928.0A priority Critical patent/CN108662843A/zh
Publication of CN108662843A publication Critical patent/CN108662843A/zh
Pending legal-status Critical Current

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • F25D29/005Mounting of control devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D27/00Lighting arrangements
    • F25D27/005Lighting arrangements combined with control means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/06Sensors detecting the presence of a product
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's
    • G01N2201/0627Use of several LED's for spectral resolution
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/10Scanning
    • G01N2201/102Video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明提供了一种冰箱内食物的检测系统与冰箱,其中冰箱内食物的检测系统包括:高光谱成像装置,设置于冰箱的箱体内部并且拍摄角度朝向检测区,检测区形成于箱体内部,以用于放置被检食物;光源装置,也设置于冰箱的箱体内部,其包括LED阵列组件,并利用LED阵列组件为高光谱成像装置提供拍摄光线;检测控制器,配置成获取种类检测触发信号,并根据触发信号启动高光谱成像装置以及LED阵列组件;类型检测装置,配置成利用高光谱成像装置拍摄的高光谱数据识别出被检食物的类型。本方案综合利用图像信息和光谱信息进行食物的种类识别,识别准确率高。同时采用了包括LED阵列组件的光源装置提供宽光谱范围的拍摄光线。

Description

冰箱内食物的检测系统与冰箱
技术领域
本发明涉及储物技术领域,特别是涉及一种冰箱内食物的检测系统与冰箱。
背景技术
随着社会的进步和人们生活水平的提高,消费者在购买食品时不仅关注食品的营养价值与安全,还会考虑价格、口感、外观及新鲜程度等因素,而冰箱的角色也从单纯的存储保鲜逐渐转变为食材管理中心和家庭营养中心,这也对冰箱提出了新的挑战,同时,这也为各种智能识别技术应用在冰箱上提供了契机。了解冰箱中存放食材种类的方式,也从打开冰箱门实际查看变为了智能化识别。利用自动识别技术,在家用冰箱上实现食品的种类识别功能,已经成为智能化冰箱的发展趋势。
自动识别技术就是应用特定识别装置,将被识别物品接近识别装置,自动获取被识别物品的相关信息,并提供给计算机处理系统来完成相关后续处理的一种技术。目前应用于冰箱的自动识别技术包括射频识别和图像识别等,射频识别是在放进冰箱的食材上张贴射频识别码,利用安装在冰箱上的射频识别装置进行识别,该技术需要所购置的食材本身含有射频识别码,而目前市场上的大部分食品都不含有射频识别码,特别是蔬菜、水果,更是不含有识别码,因此该技术受到了很大的应用限制。
图像识别技术也已应用于冰箱上,但是正确识别率较低,由于该技术主要是依赖于对食材图像颜色或者食材形状、纹理的不同进行识别,因此对于颜色、形状相近的食材很难正确识别,比如桔子和橙子很难区别,识别结果为柑类,因此该技术的正确率需要进一步提高。
发明内容
本发明的一个目的是要提供一种准确率高的冰箱内食物的检测系统与冰箱。
本发明首先提供了一种冰箱内食物的检测系统,该冰箱内食物的检测系统包括:高光谱成像装置,设置于冰箱的箱体内部并且拍摄角度朝向检测区,检测区形成于箱体内部,以用于放置被检食物;光源装置,也设置于冰箱的箱体内部,其包括LED阵列组件,并利用LED阵列组件为高光谱成像装置提供拍摄光线;检测控制器,配置成获取种类检测触发信号,并根据触发信号启动高光谱成像装置以及LED阵列组件,以使高光谱成像装置拍摄得到被检食物的高光谱数据;类型检测装置,配置成利用高光谱成像装置拍摄的高光谱数据识别出被检食物的类型。
可选地,LED阵列组件由设定数量的LED排布形成,各个LED的发光中心波长配置为不同,并使得LED阵列组件的发光光谱范围达到400nm至1100nm。
可选地,LED阵列组件包括:基板;设定数量的LED均匀分布于基板的一侧。
可选地,光源装置设置于检测区的顶壁后部,向斜下方提供拍摄光线。
可选地,高光谱成像装置使用广角镜头或者鱼眼镜头,并且设置于检测区的正上方。
可选地,上述检测系统还包括:反射镜,也设置于箱体内部,与高光谱成像装置间隔相对;并且高光谱成像装置与反射镜之间形成用于放置待识别食物的检测区,其中高光谱成像装置配置成对反射镜进行拍摄,以得到反射镜对检测区的反射图像的高光谱数据。
可选地,类型检测装置还配置成:获取食物类型识别模型,食物类型识别模型预先按照不同种类的食物的高光谱数据训练得到;从高光谱成像装置拍摄的高光谱数据中提取出食物类型识别模型所需的图像特征信息和特征光谱信息;将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;由食物类型识别模型进行模式识别,确定出被检食物的类型。
可选地,高光谱成像装置拍摄的高光谱数据包括设定数量的三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组三元数据组;并且食物类型识别模型所需的图像特征信息通过对图像像素元素中数据分析提取得出,以及食物类型识别模型所需的特征光谱信息通过对光谱波长元素中的数据分析提取得出。
可选地,上述检测系统还包括:新鲜度检测装置,配置成获取被检食物的高光谱数据,获取适用于被检食物的新鲜度检测模型,使用新鲜度检测模型对高光谱成像装置拍摄的高光谱数据进行分类,从而确定出被检食物的新鲜度,其中新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到。
根据本发明的另一个方面,还提供了一种冰箱。该冰箱包括:箱体,其内限定有储物间室,储物间室内形成有用于放置被检食物的检测区;上述介绍的任一种冰箱内食物的检测系统,用于对被检食物进行检测。
本发明的冰箱内食物的检测系统与冰箱,在冰箱内部设置高光谱成像装置,拍摄得到食物的高光谱数据,综合利用图像信息和光谱信息进行食物的种类识别,识别准确率高。同时针对种类识别对高光谱数据的光谱范围要求,采用了包括LED阵列等的光源装置提供拍摄光线,利用LED阵列中不同发光中心波长的LED满足高光谱成像装置的拍摄要求,使得高光谱数据能够满足食物种类检测的宽光谱要求。
进一步地,本发明的冰箱内食物的检测系统与冰箱,对高光谱成像装置以及光源装置的布置位置进行了优化,可以满足对检测区整体拍摄要求。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本发明一个实施例的冰箱内食物的检测系统的示意功能框图;
图2是根据本发明一个实施例的冰箱内食物的检测系统的结构示意图;
图3是根据本发明一个实施例的冰箱的结构示意图;
图4是根据本发明一个实施例的冰箱内食物的检测系统中LED阵列组件的示意图;
图5是根据本发明另一实施例的冰箱的示意图;
图6是根据本发明一个实施例的冰箱内食物的检测系统的结构示意图;以及
图7是根据本发明另一实施例的冰箱内食物的检测系统的示意功能框图。
具体实施方式
本实施例提供了一种冰箱内食物的检测系统以及具有该冰箱内食物的检测系统的冰箱,其中冰箱内食物的检测系统可以利用高光谱成像技术实现食物类型的识别。图1是根据本发明一个实施例的冰箱内食物的检测系统200的示意功能框图,图2是根据本发明一个实施例的冰箱内食物的检测系统200的结构示意图,以及图3是根据本发明一个实施例的冰箱10的结构示意图。
该冰箱内食物的检测系统200一般性地可以包括:高光谱成像装置210、光源装置220、检测控制器230、类型检测装置240。高光谱成像装置210设置于冰箱10的箱体110内部并且拍摄角度朝向检测区130,检测区130形成于箱体110内部,以用于放置被检食物300。
光源装置220也设置于冰箱10的箱体110内部,其包括LED阵列组件221,并利用LED阵列组件221为高光谱成像装置210提供拍摄光线。
检测控制器230配置成获取种类检测触发信号,并根据触发信号启动高光谱成像装置210以及LED阵列组件221,以使高光谱成像装置210拍摄得到被检食物300的高光谱数据;上述种类检测触发信号可以是用户通过冰箱10的特定按键的按压操作、通过与冰箱10绑定的移动终端下发的指令、冰箱10对门体120关闭或开启的信号、定时触发信号等。
类型检测装置240配置成利用高光谱成像装置210拍摄的高光谱数据识别出被检食物300的类型。
类型检测装置240识别出的被检食物300的类型可以通过冰箱10的显示屏上显示,也可以向与冰箱10绑定的移动终端发送包括上述被检食物300的类型的消息。根据确定出的食物类型,可以建立该食物300的储藏档案,记录食物300的储藏信息(例如保质期、保存环境),为冰箱的智能食材管理提供数据基础。由于综合使用了图像和光谱两项特征,显著提高了识别正确率。
本实施例的冰箱10一般性地可以包括:箱体110、门体120、本实施例的冰箱内食物的检测系统200。箱体110内限定有至少一个前侧敞开的储物间室,通常为多个,如冷藏室、冷冻室、变温室等等。具体的储物间室的数量和功能可以根据预先的需求进行配置,在一些实施例中,冷藏室的保藏温度可为2~9℃,或者可为4~7℃;冷冻室的保藏温度可为-22~-14℃,或者可为-20~16℃。冷冻室设置于冷藏室的下方,变温室设置于冷冻室和冷藏室之间。冷冻室内的温度范围一般在-14℃至-22℃。变温室可根据需求进行调整,以储存合适的食物,或者作为保鲜储藏室。
门体120,设置于箱体110前侧,用于开闭储物间室。例如门体120可以通过铰接的方式设置箱体110前部的一侧,通过枢转的方式开闭储物间室,门体120的数量可以与储物间室的数量匹配,从而可以将储物间室逐一单独开启。例如可以为冷藏室、冷冻室、变温室分别设置冷藏室门体、冷冻室门体、变温室门体。在一些可选实施例中,门体120也可以采用平开门、对开门、侧滑门、抽拉门等形式。
储物间室由制冷系统提供冷量,以实现冷藏、冷冻、变温的储物环境。制冷系统可为由压缩机、冷凝器、节流装置和蒸发器等构成的制冷循环系统。蒸发器配置成直接或间接地向储物间室内提供冷量。例如压缩式直冷冰箱中,蒸发器可设置于冰箱内胆的后壁面外侧或内侧。压缩式风冷冰箱中,箱体110内还具有蒸发器室,蒸发器室通过风路系统与储物间室连通,且蒸发器室内设置蒸发器,出口处设置有风机,以向储物间室进行循环制冷。由于上述箱体110、门体120、制冷系统本身是本领域技术人员习知且易于实现的,为了不掩盖和模糊本申请的发明点,后文对箱体110、门体120、制冷系统本身不做赘述。
储物间室内形成有检测区130,该检测区130可以作为一个单独的储物间室,在另一些可选实施例中,检测区130可以是某一储物间室的某一层,例如可以为冷藏间室的某一层。检测区130也可以直接作为食物300的储藏区。
高光谱成像装置210,设置于箱体110内部并且拍摄角度朝向检测区130,得到高光谱数据。高光谱数据可以为一系列三元数据组,每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组三元数据组。因此高光谱数据同时获得每个像素点的连续光谱数据和每个光谱波段的连续图像数据。高光谱图像是连续波长的光学图像,光谱范围可以设置为200nm到2500nm,具有更高的光谱分辨率,分辨率可达到2~3nm。高光谱数据可以用三维数据块来表示,其中二维是图像像素信息(x,y),第三维是波长信息(λ)。分辨率为x×y像素的图像检测器阵列在n个波长处获得的数据立方是x×y×λ的三维阵列。
在本实施例中,类型检测装置240优选利用光谱范围为400nm至1100nm的光谱数据,这是由于通过大量的研究上述光谱范围内的光谱数据有利于对食物300的识别和检测。高光谱成像装置210拍摄的高光谱数据中每个像素点的光谱波长的分辨率要求小于或等于2nm,从而满足种类识别的要求。
由于检测区130一般为封闭的,因此需要设置光源装置220为高光谱成像装置210提供拍摄光线。由于所需的光谱范围较宽,目前一般的光源无法满足这一要求。虽然传统的热光源的光谱范围较宽,但是其能耗较高,而且发光时发出的热量也会影响冰箱的正常制冷,破坏食物的储藏环境。因此光源装置220的光源挑选LED阵列组件221。
在本实施例的冰箱内食物的检测系统200中,使用LED阵列组件221作为光源。利用LED阵列组件221为高光谱成像装置210提供拍摄光线。一般LED的发光特性为虽然发光并非单一波长,但波长具有正态分布的特点,在最大光谱能量(功率)处的波长成为峰值波长,亦称为发光中心波长。LED具有以发光中心波长为中心的光谱辐射带宽,光谱能量向两侧逐渐衰减。发光中心波长在一般照明的应用中其意义并不是十分明显,然而对于高光谱成像装置210而言,较窄的光谱范围会影响高光谱数据的质量,造成类型检测装置240识别不准,并且识别种类的数量受到严重限制。
为了使LED阵列组件221满足光谱范围400-1100nm的要求,LED阵列组件由设定数量的LED排布形成,各个LED的发光中心波长配置为不同,并使得LED阵列组件221的发光光谱范围达到400nm至1100nm。例如LED阵列组件可以由至少70个LED组成,每个LED的发光中心波长相差10nm,从而使得LED阵列组件221的发光光谱范围达到400nm至1100nm。
图4是根据本发明一个实施例的冰箱内食物的检测系统200中LED阵列组件221的示意图。LED阵列组件221包括:基板222以及设定数量的LED223均匀分布于基板222的一侧。LED阵列组件221的发光区可以设置为圆形等形状,为高光谱成像装置210提供宽发光光谱范围的拍摄光线。LED阵列组件221还可以进一步包括透明防护罩,用于保护LED223。
经过大量的测试,发现上述LED阵列组件221既可以满足光谱范围宽的要求。又可以避免热光源对制冷环境会产生影响,使得本实施例的冰箱内食物的检测系统200能够检测的食材种类更多。
由于检测区130的空间有限,为了保证高光谱成像装置210能够拍摄到检测区130内放置的食物300的全貌。高光谱成像装置210优选使用广角镜头或者鱼眼镜头,并且设置于检测区130的正上方。光源装置220设置于检测区130的顶壁后部,向斜下方提供拍摄光线。LED阵列组件221可以跟随高光谱成像装置210同时启动,从而在封闭的检测区130内中提供光线。
图5是根据本发明另一实施例的冰箱10的示意图,图6是根据本发明一个实施例的冰箱内食物的检测系统200的结构示意图。本实施例的冰箱10中针对冰箱内部空间狭小,高光谱成像装置210难于拍摄检测区130全貌的问题,通过设置反光镜260,利用拍摄反射图像的方式得到反映检测区130全貌的高光谱数据。
反射镜260和高光谱成像装置210相对设置于储物间室内部,反射镜260和高光谱成像装置210之间的区域可作为检测区130。高光谱成像装置210,可以配置成对反射镜260进行拍摄,以得到反射镜260对检测区130的反射图像的高光谱数据。由于冰箱内部的空间比较狭小,而且储物间室为了便于储物一般为扁平分层结构,在这种空间狭小的扁平区域内,现有的高光谱成像装置210很难拍摄检测区的全貌,因此在本实施例中,通过拍摄反射镜260的反射图像,可以有效地解决这一问题。在一些可选实施例中,反射镜260可以选择使用凸镜,以反射整个检测区130。光源装置220也设置于检测区130的顶壁后部,向斜下方提供拍摄光线。
反射镜260设置于检测区130的顶部(例如储藏间室的顶壁上),并且高光谱成像装置210设置于检测区130的底部(例如储藏间室的底壁中)。高光谱成像装置210所在的区域可以设置为空白区,防止用户将待识别食物300放置在高光谱成像装置210的上方,遮挡镜头。
无论是高光谱成像装置210采用角镜头或者鱼眼镜头,还是采用反射镜260的反射方式,高光谱成像装置均可以得到反映检测区130全貌的高光谱数据,从而满足了对被检食物300的拍摄要求。
检测控制器230在高光谱成像装置210进行拍摄时启动高光谱成像装置210以及LED阵列组件221,以使高光谱成像装置210拍摄得到被检食物300的高光谱数据。还配置成:在高光谱成像装置210完成拍摄后,检测控制器230控制LED阵列组件221和高光谱成像装置210关闭。
类型检测装置240的进行类型识别的过程可以为获取食物类型识别模型,从高光谱成像装置拍摄的高光谱数据中提取出食物类型识别模型所需的图像特征信息和特征光谱信息;将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;由食物类型识别模型进行模式识别,确定出被检食物的类型。
类型检测装置240使用的食物类型识别模型预先按照不同种类的食物的高光谱数据训练得到。食物类型识别模型可以通过以下方式训练得出:预先选择一定数量的食物及其高光谱数据作为训练样本,利用这些训练样本对判决函数进行训练得到。在识别过程中,类型检测装置240将图像特征信息和特征光谱信息输入识别模型,按照不同的规则将其划分到与其最接近的分类中,完成类型的确定。其可以使用匹配算法包括:最小距离法,最大似然法,马氏距离法、神经网络(BP)、支持向量机(SVM)、Adaboost等。
类型检测装置240同样可以借助于云技术,利用云端进行类型识别。例如在获取到高光谱成像装置210拍摄的高光谱数据后,冰箱10的类型检测装置240进行初步处理后,将经过初步处理后的高光谱数据上传至云端,由云端完成食物类型识别模型的模式识别步骤,然后将被检食物300的类型提供给冰箱10或者与冰箱10绑定的移动终端,以供向用户提供。食物类型识别模型保存在云端,减小了冰箱10的数据处理压力。
类型检测装置240对高光谱数据进行分割、分类,从而自动确定物品的类型。在使用云识别技术时,类型检测装置240可以利用冰箱10的数据传输功能向布置有食物类型识别模型的云端设备发送图像特征信息和特征光谱信息,以由云端设备使用食物类型识别模型对图像特征信息和特征光谱信息进行匹配。
图7是根据本发明另一实施例的冰箱内食物的检测系统200的示意功能框图,该冰箱内食物的检测系统200还可以设置有新鲜度检测装置250。新鲜度检测装置250。新鲜度检测装置250配置成获取被检食物300的高光谱数据,获取适用于被检食物300的新鲜度检测模型,使用新鲜度检测模型对高光谱成像装置210拍摄的高光谱数据进行分类,从而确定出被检食物300的新鲜度,其中新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到。
由于不同食物的高光谱数据的差异性也较大,因此类型检测装置240可以预先利用高光谱成像装置拍摄的高光谱数据识别出被检食物的类型,以供确定与被检食物的类型对应的新鲜度检测模型。
在检测区130存在多种食物的情况下,类型检测装置240也可以检测到多种食物,从而对各种食物分别进行新鲜度检测,例如分别使用各种食物对应的新鲜度检测模型分别进行新鲜度测量,从而得到多种食物的各自的新鲜度。
新鲜度检测装置250使用的新鲜度检测模型可以通过对大量不同新鲜度的食物的高光谱数据进行训练得出,其可以采用的训练算法可以包括神经网络(BP)、支持向量机(SVM)、Adaboost。可以预先按照食物的类型训练处多种不同的新鲜度检测模型,例如针对各种肉类、各种水果、各种蔬菜分别训练出相应的新鲜度检测模型。
在进行新鲜度检测时,新鲜度检测装置250可以执行如下步骤:从高光谱成像装置210拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息,将新鲜度检测模型所需的图像特征信息和特征光谱信息输入新鲜度检测模型,由新鲜度检测模型进行模式识别,得到被检食物的新鲜度。
新鲜度检测装置250还可以借助于云技术实现检测,例如在获取到高光谱成像装置210拍摄的高光谱数据后,冰箱10的数据处理装置经过初步处理后,将经过初步处理后的高光谱数据上传至云端,由云端完成新鲜度检测模型的模式识别步骤,然后将被检食物300的新鲜度提供给冰箱10或者与冰箱10绑定的移动终端,以供向用户提供。
上述新鲜度可以反映食物的酸败程度、霉变程度、脱水程度等。在新鲜度超过设定的程度后,可以及时对用户进行提醒。
在使用冰箱10的新鲜度检测功能时,一个具体的实例为:用户在检测区130内放置一个苹果后,通过冰箱10上的按钮或者移动终端下发识别指令,从而触发检测控制器230启动高光谱成像装置210以及LED阵列组件221。高光谱成像装置210对检测区130进行拍摄,得到包括苹果在内的高光谱数据。经过初步处理,可以提取出被检食物300(苹果)的食物类型识别模型所需的图像特征信息和特征光谱信息,类型检测装置240获取食物类型识别模型,并将食物类型识别模型所需的图像特征信息和特征光谱信息输入食物类型识别模型;由食物类型识别模型进行模式识别,得到被检食物300的类型,也即确定被检食物为苹果。新鲜度检测装置250,确定苹果的新鲜度检测模型,从高光谱成像装置210拍摄的高光谱数据中提取出新鲜度检测模型所需的图像特征信息和特征光谱信息,将新鲜度检测模型所需的图像特征信息和特征光谱信息输入苹果新鲜度检测模型,由苹果新鲜度检测模型进行模式识别,得到苹果的新鲜度。新鲜度通过冰箱10的显示屏或者与冰箱10绑定的移动终端向用户报告,在苹果的新鲜程度下降到一定程度时,可以向用户进行报警。
上述实例中以苹果为例进行介绍,在具体实施本实施例时,冰箱内食物的检测系统200可以对检测区130放置的各种食物进行类型检测,并进一步检测新鲜度,LED阵列组件221充分保证了高光谱成像装置210拍摄出光谱范围满足要求的高光谱图像。并且由于综合利用图像信息和光谱信息进行食物的种类识别,识别准确率高,为冰箱10提供了食材管理的数据基础。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种冰箱内食物的检测系统,包括:
高光谱成像装置,设置于所述冰箱的箱体内部并且拍摄角度朝向检测区,所述检测区形成于所述箱体内部,以用于放置被检食物;
光源装置,也设置于所述冰箱的箱体内部,其包括LED阵列组件,并利用所述LED阵列组件为所述高光谱成像装置提供拍摄光线;
检测控制器,配置成获取种类检测触发信号,并根据所述触发信号启动所述高光谱成像装置以及所述LED阵列组件,以使所述高光谱成像装置拍摄得到所述被检食物的高光谱数据;
类型检测装置,配置成利用所述高光谱成像装置拍摄的高光谱数据识别出所述被检食物的类型。
2.根据权利要求1所述的检测系统,其中
所述LED阵列组件由设定数量的LED排布形成,各个所述LED的发光中心波长配置为不同,并使得所述LED阵列组件的发光光谱范围达到400nm至1100nm。
3.根据权利要求2所述的检测系统,其中所述LED阵列组件包括:
基板;
所述设定数量的LED,均匀分布于所述基板的一侧。
4.根据权利要求1所述的检测系统,其中
所述光源装置设置于所述检测区的顶壁后部,向斜下方提供所述拍摄光线。
5.根据权利要求4所述的检测系统,其中
所述高光谱成像装置使用广角镜头或者鱼眼镜头,并且设置于所述检测区的正上方。
6.根据权利要求4所述的检测系统,还包括:
反射镜,也设置于所述箱体内部,与所述高光谱成像装置间隔相对;并且
所述高光谱成像装置与所述反射镜之间形成用于放置待识别食物的检测区,其中所述高光谱成像装置配置成对所述反射镜进行拍摄,以得到所述反射镜对检测区的反射图像的高光谱数据。
7.根据权利要求1所述的检测系统,其中所述类型检测装置还配置成:
获取食物类型识别模型,所述食物类型识别模型预先按照不同种类的食物的高光谱数据训练得到;
从所述高光谱成像装置拍摄的高光谱数据中提取出所述食物类型识别模型所需的图像特征信息和特征光谱信息;
将所述食物类型识别模型所需的图像特征信息和特征光谱信息输入所述食物类型识别模型;
由所述食物类型识别模型进行模式识别,确定出所述被检食物的类型。
8.根据权利要求7所述的检测系统,其中
所述高光谱成像装置拍摄的高光谱数据包括设定数量的三元数据组,每个所述三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素,每个像素点具有多组所述三元数据组;并且食物类型识别模型所需的图像特征信息通过对图像像素元素中数据分析提取得出,以及食物类型识别模型所需的特征光谱信息通过对光谱波长元素中的数据分析提取得出。
9.根据权利要求1所述的检测系统,还包括:
新鲜度检测装置,配置成获取所述被检食物的高光谱数据,获取适用于所述被检食物的新鲜度检测模型,使用所述新鲜度检测模型对所述高光谱成像装置拍摄的高光谱数据进行分类,从而确定出所述被检食物的新鲜度,其中所述新鲜度检测模型预先按照不同品质的食物的高光谱数据训练得到。
10.一种冰箱,包括:
箱体,其内限定有储物间室,所述储物间室内形成有用于放置被检食物的检测区;
根据权利要求1至9中任一项所述的冰箱内食物的检测系统,用于对所述被检食物进行检测。
CN201710188928.0A 2017-03-27 2017-03-27 冰箱内食物的检测系统与冰箱 Pending CN108662843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188928.0A CN108662843A (zh) 2017-03-27 2017-03-27 冰箱内食物的检测系统与冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710188928.0A CN108662843A (zh) 2017-03-27 2017-03-27 冰箱内食物的检测系统与冰箱

Publications (1)

Publication Number Publication Date
CN108662843A true CN108662843A (zh) 2018-10-16

Family

ID=63786185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710188928.0A Pending CN108662843A (zh) 2017-03-27 2017-03-27 冰箱内食物的检测系统与冰箱

Country Status (1)

Country Link
CN (1) CN108662843A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444052A (zh) * 2018-10-29 2019-03-08 合刃科技(武汉)有限公司 高光谱成像装置、成像系统及监控方法
CN111027894A (zh) * 2020-01-10 2020-04-17 秒针信息技术有限公司 基于知识图谱的冷库贮藏物品品质评估方法及装置
CN112880288A (zh) * 2019-11-29 2021-06-01 青岛海高设计制造有限公司 用于冰箱的控制方法及装置、冰箱
CN113218880A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN115335835A (zh) * 2020-03-31 2022-11-11 大金工业株式会社 学习装置、生鲜品的收纳装置和程序
US11852619B2 (en) 2020-09-21 2023-12-26 Samsung Electronics Co., Ltd. Apparatus for inspecting meat, system for inspecting meat including the same, refrigerator including the same, and method of inspecting meat

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618878A (zh) * 2013-12-04 2014-03-05 洛阳愿景科技有限公司 一种摄像直读远传水表装置
CN105842173A (zh) * 2016-06-06 2016-08-10 南京大学 一种高光谱材质鉴别方法
CN105928889A (zh) * 2016-04-29 2016-09-07 合肥华凌股份有限公司 一种冰箱及用于冰箱的食物营养实时检测方法
CN106203522A (zh) * 2016-07-15 2016-12-07 西安电子科技大学 基于三维非局部均值滤波的高光谱图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618878A (zh) * 2013-12-04 2014-03-05 洛阳愿景科技有限公司 一种摄像直读远传水表装置
CN105928889A (zh) * 2016-04-29 2016-09-07 合肥华凌股份有限公司 一种冰箱及用于冰箱的食物营养实时检测方法
CN105842173A (zh) * 2016-06-06 2016-08-10 南京大学 一种高光谱材质鉴别方法
CN106203522A (zh) * 2016-07-15 2016-12-07 西安电子科技大学 基于三维非局部均值滤波的高光谱图像分类方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444052A (zh) * 2018-10-29 2019-03-08 合刃科技(武汉)有限公司 高光谱成像装置、成像系统及监控方法
CN112880288A (zh) * 2019-11-29 2021-06-01 青岛海高设计制造有限公司 用于冰箱的控制方法及装置、冰箱
CN112880288B (zh) * 2019-11-29 2024-01-19 青岛海高设计制造有限公司 用于冰箱的控制方法及装置、冰箱
CN111027894A (zh) * 2020-01-10 2020-04-17 秒针信息技术有限公司 基于知识图谱的冷库贮藏物品品质评估方法及装置
CN113218880A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN113218880B (zh) * 2020-01-21 2023-05-16 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN115335835A (zh) * 2020-03-31 2022-11-11 大金工业株式会社 学习装置、生鲜品的收纳装置和程序
US11852619B2 (en) 2020-09-21 2023-12-26 Samsung Electronics Co., Ltd. Apparatus for inspecting meat, system for inspecting meat including the same, refrigerator including the same, and method of inspecting meat

Similar Documents

Publication Publication Date Title
CN108662842A (zh) 冰箱内食物的检测系统与冰箱
CN108662843A (zh) 冰箱内食物的检测系统与冰箱
CN108663331A (zh) 检测冰箱内食物新鲜度的方法与冰箱
CN106871568A (zh) 冰箱内部食物的种类识别方法与冰箱
CN110966833B (zh) 检测冰箱内食材信息的方法及冰箱
CN106871569A (zh) 冰箱内部食物的种类识别方法与冰箱
WO2018086502A1 (zh) 冰箱的控制方法及冰箱
US11221145B2 (en) Connected food preparation system and method of use
Cubero et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables
Pu et al. Soluble solids content and pH prediction and maturity discrimination of lychee fruits using visible and near infrared hyperspectral imaging
US9080997B2 (en) Local storage and conditioning systems for nutritional substances
US10330377B2 (en) Refrigeration appliance comprising a camera module
US8851365B2 (en) Adaptive storage and conditioning systems for nutritional substances
CN112740229A (zh) 用于提供与冰箱中的物体的状态有关的信息的方法和系统
CN110135788A (zh) 一种冷链物流运输设备、冷链物流系统及货物动态定价方法
US20210014461A1 (en) Refrigerator, and system and method for controlling same
CN109631456A (zh) 冰箱
US20140069838A1 (en) Nutritional Substance Label System For Adaptive Conditioning
CN110966834A (zh) 识别冰箱内食材种类的方法与冰箱
CN107873101A (zh) 用于对象辨识和评估的成像系统
CN105717051A (zh) 一种快速检测果蔬新鲜度的系统及冰箱
CN107192216A (zh) 基于食材的冰箱温度控制方法与计算机存储介质
CN204115391U (zh) 一种智能调温冰箱
CN104197632A (zh) 一种智能调温冰箱
US11852619B2 (en) Apparatus for inspecting meat, system for inspecting meat including the same, refrigerator including the same, and method of inspecting meat

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181016