CN111488831A - 一种食材联想识别方法及冰箱 - Google Patents
一种食材联想识别方法及冰箱 Download PDFInfo
- Publication number
- CN111488831A CN111488831A CN202010281046.0A CN202010281046A CN111488831A CN 111488831 A CN111488831 A CN 111488831A CN 202010281046 A CN202010281046 A CN 202010281046A CN 111488831 A CN111488831 A CN 111488831A
- Authority
- CN
- China
- Prior art keywords
- food material
- association
- probability
- food
- taking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 493
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000000463 material Substances 0.000 claims abstract description 491
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 5
- 238000012805 post-processing Methods 0.000 abstract description 5
- 241000287420 Pyrus x nivalis Species 0.000 description 23
- 235000013399 edible fruits Nutrition 0.000 description 15
- 241000167854 Bourreria succulenta Species 0.000 description 10
- 235000019693 cherries Nutrition 0.000 description 10
- 241000220225 Malus Species 0.000 description 8
- 230000008014 freezing Effects 0.000 description 8
- 238000007710 freezing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 235000011430 Malus pumila Nutrition 0.000 description 7
- 235000015103 Malus silvestris Nutrition 0.000 description 7
- 235000005686 eating Nutrition 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 5
- 240000003768 Solanum lycopersicum Species 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 239000010931 gold Substances 0.000 description 5
- 229910052737 gold Inorganic materials 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 235000003930 Aegle marmelos Nutrition 0.000 description 4
- 240000003273 Passiflora laurifolia Species 0.000 description 4
- 235000005138 Spondias dulcis Nutrition 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 235000003953 Solanum lycopersicum var cerasiforme Nutrition 0.000 description 3
- 240000003040 Solanum lycopersicum var. cerasiforme Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 235000015277 pork Nutrition 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 235000021016 apples Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000006694 eating habits Nutrition 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- FFRBMBIXVSCUFS-UHFFFAOYSA-N 2,4-dinitro-1-naphthol Chemical compound C1=CC=C2C(O)=C([N+]([O-])=O)C=C([N+]([O-])=O)C2=C1 FFRBMBIXVSCUFS-UHFFFAOYSA-N 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000009849 Cucumis sativus Nutrition 0.000 description 1
- 235000003956 Luffa Nutrition 0.000 description 1
- 244000050983 Luffa operculata Species 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 235000021028 berry Nutrition 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明公开一种食材联想识别方法及冰箱，冰箱包括机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；控制器，所述控制器被配置为：响应于识别到用户操作类型为取操作，根据食材相似性信息以及识别到的食材种类和取出位置，获取食材联想结果；将所述食材联想结果录入存取记录数据库。本申请对图像识别出的结果进行后处理和校准，给出了准确性更高的联想识别结果，摆脱了单纯依赖图像识别准确性的弊端，提高了食材识别和管理的准确性，提升用户体验。
Description
技术领域
本发明涉及智能家电技术领域，尤其涉及一种食材联想识别方法及冰箱。
背景技术
冰箱是生活中常用的电器设备，通过对食材进行制冷，比如冷藏或冷冻，实现食材的保鲜储存，用户可以将食材存放入冰箱，也可以从冰箱中取出所需的食材，通过对食材种类、食材存取位置等信息进行识别和录入，可以实现冰箱的智能化管理。
目前冰箱食材识别主要是利用图像识别，比如在冰箱上安装相机，在用户动态存取食材的过程中，通过拍摄手部食材的彩色图像来识别食材种类。然而受制于光照、遮挡及食材相似性等因素，这类食材识别方法的误识别率和漏识别率较大，不利于冰箱的食材管理，用户使用体验差。
发明内容
为解决上述技术问题，本发明提供一种食材联想识别方法及冰箱，以提高食材识别的准确性。
第一方面，本发明提供一种冰箱，包括：
机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；
至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；
相机，用于拍摄手部食材图像；
控制器，所述控制器被配置为：
根据所述手部食材图像识别食材种类、用户操作类型和位置信息；
响应于所述用户操作类型为取操作，根据食材相似性信息、所述食材种类以及所述位置信息指示的取出位置，获取食材联想结果；
将所述食材联想结果录入存取记录数据库。
在一些实施例中，所述控制器被配置为按照如下方式获取食材联想结果：
计算联想概率集合，所述联想概率集合包括表征所述取出位置存放有所述食材种类的第一联想概率、表征所述取出位置的相邻位置存放有所述食材种类的第二联想概率、表征所述取出位置存放有所述食材种类的相似食材的第三联想概率，以及，表征所述取出位置的相邻位置存放有所述食材种类的相似食材的第四联想概率；
在对所述联想概率集合排序后获取最大概率值；
将所述最大概率值对应的联想取出位置和联想食材种类设置为所述食材联想结果。
在一些实施例中，所述控制器被进一步配置为：
当判别所述取出位置存放有所述食材种类时，根据所述食材种类对应的食材外观识别准确率以及所述取出位置对应的位置识别准确率，计算所述第一联想概率。
在一些实施例中，所述控制器被进一步配置为：
当判别所述取出位置未存放有所述食材种类时，在位置数据库中查询所述取出位置的相邻位置，以及所述相邻位置与所述取出位置之间的位置相似概率；
当判别所述相邻位置存放有所述食材种类时，根据所述位置相似概率和所述食材种类对应的食材外观识别准确率，计算所述第二联想概率。
在一些实施例中，所述控制器被进一步配置为：
当判别所述相邻位置未存放有所述食材种类时，在食材百科数据库中查询所述食材种类的相似食材，以及所述相似食材与所述食材种类之间的外观相似概率；
当判别所述取出位置存放有所述相似食材时，根据所述外观相似概率以及所述取出位置对应的位置识别准确率，计算所述第三联想概率。
在一些实施例中，所述控制器被进一步配置为：
当判别所述取出位置未存放有所述相似食材时，根据所述位置相似概率和所述外观相似概率，计算所述第四联想概率。
第二方面，与第一方面所述冰箱对应地，本发明提供一种食材联想识别方法，包括：
根据拍摄到的手部食材图像识别食材种类、用户操作类型和位置信息；
响应于所述用户操作类型为取操作，根据食材相似性信息、所述食材种类以及所述位置信息指示的取出位置，获取食材联想结果；
将所述食材联想结果录入存取记录数据库。
第三方面，本发明提供一种冰箱，包括：
机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；
至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；
相机，用于拍摄手部食材图像；
控制器，所述控制器被配置为：
根据所述手部食材图像识别食材种类、用户操作类型和位置信息；
响应于识别到用户操作类型为存操作，根据食材相似性信息、存取习惯信息和所述食材种类，获取食材联想结果；其中，所述存取习惯信息通过对食材的存取记录进行概率统计获得；
将所述食材联想结果和所述位置信息指示的存放位置录入存取记录数据库。
在一些实施例中，所述控制器被进一步配置为按照如下方式获取食材联想结果：
计算表征存入所述食材种类的第五联想概率；
计算表征存入所述食材种类的相似食材的第六联想概率；
在所述第五联想概率大于第六联想概率时，将所述食材种类作为所述食材联想结果；
在所述第五联想概率小于第六联想概率时，将所述食材种类的相似食材作为所述食材联想结果。
在一些实施例中，所述控制器被进一步配置为：
根据所述食材种类对应的食材外观识别准确率和存取概率，计算所述第五联想概率。
在一些实施例中，所述控制器被进一步配置为：
在食材百科数据库中查询所述食材种类的相似食材，以及所述相似食材与所述食材种类之间的外观相似概率；
根据所述外观相似概率以及所述相似食材对应的存取概率，计算所述第六联想概率。
第四方面，与第二方面所述冰箱对应地，本发明提供一种食材联想识别方法，包括：
根据拍摄到的手部食材图像识别食材种类、用户操作类型和位置信息；
响应于识别到用户操作类型为存操作，根据食材相似性信息、存取习惯信息和所述食材种类，获取食材联想结果；其中，所述存取习惯信息通过对食材的存取记录进行概率统计获得；
将所述食材联想结果和所述位置信息指示的存放位置录入存取记录数据库。
基于图像识别的食材识别方法会受到光照、遮挡、食材之间的相似性等因素的影响，会造成很多识别出错，比如同一食材存入与取出时被识别为两种不同食材种类，或者，同一食材存入与取出时识别为不同的存取位置，又或者，食材的尺度不同但外观相似以及尺度外观都相似的情况，会造成误识别和漏识别。
第一方面和第二方面提供的技术方案是对应于用户从冰箱中取出食材，即用户操作类型为取操作的情况，这种情况下本申请根据食材相似性、以及初始识别出的取出位置和食材种类，考虑位置出错和食材外观识别出错的可能性，对位置和食材种类进行相似性联想，并给出可能性最高的取食材结果，即所述食材联想结果。
第三方面和第四方面提供的技术方案是对应于用户向冰箱中存入食材，即用户操作类型为存操作的情况，存入时可能因食物相似性而误识别，可这种情况下本申请根据食材相似性、存取习惯信息以及初始识别出的食材种类，考虑食材外观识别出错的可能性，并参照用户一定时间内用户的存取习惯进行联想，给出可能性最高的取食材结果，即所述食材联想结果。比如，雪花梨和黄金果，两者的外观相似且尺度相似，图像识别的结果是用户存入了黄金果，但是存取习惯信息指示用户没有存取黄金果的记录，说明用户购买和食用黄金果的概率低，则用户存入雪花梨的可能性更高，即食材联想结果是存入了雪花梨。
综上所述，本申请对图像识别出的结果进行后处理和校准，提供了准确性更高的联想识别结果，摆脱了单纯依赖图像识别准确性的弊端，提高了食材识别和管理的准确性，提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了冰箱门关闭时冰箱的正面结构示意图；
图2示例性示出了冰箱门打开时冰箱的正面结构示意图；
图3示例性示出了冰箱硬件结构框图；
图4示例性示出了用户操作类型为取操作时的食材联想识别方法的流程图；
图5示例性示出了取食材时获取食材联想结果的流程图；
图6示例性示出了计算联想概率集合的方法流程图；
图7为示例性示出了用户操作类型为存操作时的食材联想识别方法的流程图；
图8示例性示出了存食材时获取食材联想结果的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～图3所示，冰箱可以放置在厨房等室内空间中，冰箱整体上至少包括机壳10、冰箱门20、相机30和控制器40。
其中，机壳10内包括储藏室101，储藏室101可以具体规划为冷藏室、冷冻室和变温室，冷藏室、冷冻室和变温室可以呈上下分布或左右分布，冷藏室、冷冻室和变温室的容量配比不作限定。对于每种类型的储藏室101，其室内空间比如可以沿竖直方向设置多个隔板，从而将储藏空间划分多个层位，便于用户对食材进行分类放置和管理。需要说明的是，冰箱储藏室的结构和空间利用方式不限于本实施例所述。储藏室101的前侧，即储藏室101与冰箱门20的连接侧设置有存取开口102，通过存取开口可以方便用户从储藏室内存放或取出食材。
冰箱门20与机壳10连接，比如可采用枢转连接等方式，以使冰箱门20能够沿与机壳10的连接端转动，实现冰箱门20的开合，从而打开或关闭存取开口102，便于用户存取食材，并且保证冰箱的储藏室101的密封性。冰箱门20的数量至少为一个，冰箱门20的数量和安装位置应适应于储藏室的规划。
相机30用于拍摄手部食材图像，相机30比如可以设置在冰箱顶部，这样相机30的视野范围朝下，即拍摄出的图像是视野内场景的俯视图，相机30的安装位置应适应于能拍摄到存取开口102一定范围内的空间区域。相机30可以是彩色相机，当用户在存取开口102前侧存取食材时，相机30可以拍摄到彩色的手部食材图像，从而能通过识别算法对用户手部拿取的食材的食材种类进行识别。
此外，通过相机30还可以动态识别用户操作类型和存取位置，用户操作类型包括存操作和取操作，存操作即向冰箱内存入食材，取操作即从冰箱内取出食材。借助彩色相机或深度相机检测手部区域，然后利用追踪算法计算手部区域质心的运动轨迹，追踪算法包括但不限于卡尔曼滤波、粒子滤波等方法。当识别到手部区域具有食材时，说明用户正在进行存操作或取操作，这时可以根据手部的运动轨迹的方向来判断用户操作类型，如果检测到运动轨迹的方向为手部从冰箱前侧经存取开口进入储藏室内，则用户操作类型为存操作；如果检测到运动轨迹的方向为手部从储藏室内部经存取开口移至冰箱外部，则用户操作类型为取操作。
进一步地，可以通过运动轨迹识别位置信息，当用户进行存操作时，位置信息指示为食材的存放位置，则手部运动轨迹的终点位置即为存放位置；当用户进行取操作时，位置信息指示为食材的取出位置，则手部运动轨迹的起点位置即为取出位置。
或者，也可采用静态识别方法，比较前后两次冰箱内食材识别结果的变化，当新增了食材识别结果，则该新增食材是被存入冰箱内，即用户操作类型为存操作，该新增食材的当前放置位置即为存放位置；如果减少了食材识别结果，则减少的食材是从冰箱内取出，即用户操作类型为取操作，该食材的原存放位置即为取出位置。位置信息和用户操作类型的获取方式不限于本实施例所述。
相机30可以是彩色相机、深度相机，或者彩色相机和深度相机的组件，具体以能实现食材种类识别、位置信息识别和用户操作类型识别为准。在实际应用中，相机30可以固定在某一个预设拍摄位，为了能准确监控用户存取操作，相机30可以处于常启状态；或者，也可以在控制器40检测到开门信号时再启动相机30的拍摄，并在控制器40检测到关门信号时关闭相机30。
为了保护用户的隐私安全，同时兼顾冰箱外观的美观性，可以将相机30设置为可活动式，比如，当控制器40未检测到开门信号时，可以将相机30隐藏至冰箱顶部，即初始位置，这时相机30的拍摄视野会被遮挡，保证用户的隐私安全；当控制器40检测到开门信号时，相机30的移动方式可采用履带式、活塞推拉式或者弹出式等形式，通过履带的正转，或活塞杆伸长，或弹出相机30等方式，将相机30从初始位置移动至预设拍摄位，以拍摄存取开口周围一定区域内的手部食材图像；当控制器40检测到关门信号时，通过履带的反转，或活塞杆缩短，或弹出件复位等形式，将相机30从预设拍摄位复位至初始位置。相机30的移动形式及移动机构不限定。
控制器40用于感应冰箱门20的开门信号和关门信号，开门信号和关门信号可以是根据用户的开关门动作生成的电平信号，比如可以在冰箱门20上设置感应器，用以感应用户的开关门动作，开门信号为根据开门动作生成的高电平信号，关门指令为根据关门动作生成的低电平信号，不同类别的储藏室门电平信号不通过，因此可以通过门电平信号区分用户打开/关闭的是哪个储藏室的冰箱门20。
或者，开门信号和关门信号也可以由用户通过语音进行控制生成，冰箱中还可包括语音识别系统，语音设备60将用户输入的音频信息发送给语音识别系统，并由语音识别系统对音频信号进行识别，则在识别出用户通过语音设备60输入开门指示信息后生成的开门信号，在识别出用户通过语音设备60输入关门指示信息后生成的关门信号，比如用户对准麦克风说出“打开冷藏室”，则语音识别系统识别后生成对应于冷藏室的开门信号，并将开门信号发给控制器40，控制器40根据开门信号控制冷藏室的门打开。通过语音控制冰箱门20启闭时，可以在冰箱门20上设置门控装置，控制器40给门控装置发送控制指令，则门控装置根据控制指令即可控制冰箱门20打开或关闭。
冰箱门20上可以设置显示屏50，显示屏50与控制器40电连接，显示屏50面向用户，即可以向用户显示所需查看的信息，也可以通过触控感知用户输入的操作指令。比如，显示屏50可以向用户显示冰箱当前食材库中的食材种类、食材存放位置、食材存放的时间以及保质期等信息，便于用户获知当前冰箱中存储的食材信息。
冰箱可以根据用户存取食材的操作行为，自动录入和更新存取记录数据库，显示屏50还可以根据用户输入的显示指令，显示存取记录数据库，即可查看一定时间段内的历史存取记录。
显示屏50用于显示食材百科数据库，食材百科数据库中可以记录每个食材种类对应的保质期、食材相似性信息等内容，其中食材相似性信息包括食材尺度相似性信息和食材外观相似性信息，用于衡量相似食材之间在食材尺寸面积和外观方面上的相似程度。用户可以通过浏览食材百科数据库，了解不同的食材信息。
此外，还可以根据冰箱当前食材库中包括的食材种类，在显示屏50上向用户推送健康食谱，用户也可以对显示屏50进行触控操作，对冰箱进行一些基本控制，比如调节冷冻室、冷藏室和变温室的温度等，实现了冰箱的智能化管理和应用，并且提升用户与冰箱之间的交互体验。显示屏50可显示的内容可根据实际使用需求进行设置。
冰箱结构还包括分别与控制器40电连接的语音设备60和扬声器70。语音设备60可以是麦克风，麦克风可采用线性4麦，比如在冰箱门20上均匀分布4个麦克风孔，语音设备60接收用户输入的语音信息，并将语音信息发送给控制器40，以执行相应的处理逻辑，提升了用户与冰箱的交互体验。扬声器70的具体设置位置不作限定，比如扬声器70设置在机壳10的顶部或侧面，语音设备60和扬声器70之间应保证一定的距离，控制器40能够控制扬声器70进行信息播报和提示。
冰箱中还可包括通信器80，通信器80与控制器40电连接，通信器80可采用WIFI模块、蓝牙模块等无线通信模块，实现冰箱与关联用户的终端设备100之间的无线通信，比如向终端设备100推送健康食谱，发送用户存取食材的操作记录，或者发送即将达保质期的食材信息等内容，这样不仅可以实现用户与冰箱的面对面交互，还能实现远程交互。终端设备100可以是智能手机、智能手环和平板电脑等移动终端，也可以是笔记本电脑、台式电脑等显示设备，本实施例不作限定。
本实施例中所述的控制器40为冰箱的总控制系统，如图3所示，控制器40分别与相机30、显示屏50、语音设备60、扬声器70和通信器80电连接，控制器30可以对相机30发送的图像进行处理，获取食材种类、位置信息、用户操作类型等信息，加之控制器40的计时器记录的存取时间等信息，用户每一次存取操作完成时，通过显示屏提示、语音提示和终端提示等形式提示用户的这些操作信息，例如提示信息为“x年x月x日向冷藏室第一层存入苹果”，即操作时间为x年x月x日，操作类型为存操作，存放位置为冷藏室第一层，食材种类为苹果。控制器40承担数据库的管理、相关硬件结构的控制以及与外部终端设备通讯等功能。
在其他可能的实现方式中，也可以为冰箱配置外置相机，外置相机与控制器40电连接，外置相机设置在冰箱所处空间的某个固定位置，用于采集出现在存取操作区域的人脸图像，控制器40通过建立人脸数据库以用于人脸识别，这样即可识别出操作主体是哪个家庭成员，比如提示信息为“妈妈于x年x月x日x时从冷冻室第三层取出猪肉”，即操作主体为家庭成员中的妈妈，食材种类为猪肉，操作类型为取操作，取出位置为冷冻室第三层，从而实现“谁从冰箱什么位置存或取了什么食材”这一操作记录的自动感知和录入，提高冰箱的智能化和用户使用体验。本实施例中提示信息的内容格式不作限定。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。具体实现中，本发明还提供一种存储介质90，存储介质90与控制器40电连接。存储介质90可存储有程序，该程序执行时可包括控制器40被配置执行的本申请实施例所述的全部方法步骤。此外，存储介质90还可用于存储食材百科数据库、存取记录数据库、位置数据库和存取习惯数据库等内容。所述存储介质90可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random accessmemory，简称：RAM)等。
需要说明的是，冰箱的结构不限于本实施例所述，在实际中冰箱还应包括制冷系统、供电电源、温度控制系统等必要的电器结构，这部分电器结构可以参照现有冰箱结构进行配置，本实施例不再赘述。
申请人发现，基于图像识别的食材识别方法会受到光照、遮挡、食材之间的相似性等因素的影响，会造成很多识别出错，例如：同一食材存入与取出时被识别为两种不同食材种类；同一食材存入与取出时识别为不同的位置信息；或者，食材的尺度不同但外观相似，比如西红柿和圣女果，苹果和沙果等；又或者，食材的尺度和外观都相似的情况，比如橘子和橙子，丝瓜和黄瓜。这些因素都会造成食材的误识别和漏识别，基于此，食材联想识别方法包括存食材时的联想识别方法和取食材时的联想识别方法，以对初始图像识别的结果进行后处理和校准，提高食材信息录入和管理的准确性。
在一种实施例中，如图4所示，提供一种食材联想识别方法，对应于用户操作类型为取操作，该方法为控制器40被配置为执行的程序步骤，即执行主体为冰箱系统中的控制器40，包括：
步骤S110，根据手部食材图像识别食材种类、用户操作类型和位置信息。
食材种类的识别方法从技术角度可以分为两种：一种是利用传统的特征提取器与分类器，实现食材图像的特征提取、分类器学习训练及测试识别，其中特征提取器包括HOG(Histogram of Oriented Gradient，方向梯度直方图)、LBP(Local Binary Patterns，局部二值模式)、DPM(Deformable Part Model，可变形部件模型)等；分类器也可使用SVM(Support Vector Machine，支持向量机)、Adaboost(迭代算法)、决策树、贝叶斯网络、神经网络等。另一种是使用深度学习方法训练和识别食材种类，包括Fast-CNN、Faster-CNN、YOLO、YOLO 9000等。
食材种类的识别方法从实现过程角度可以分为两种：一种是静态识别，通常在冰箱开关门时识别冰箱内部已存在的食材；另一种是动态识别，是在存取食材时手部运动过程中识别手中食材。食材种类识别方法不作限定，无论采用何种技术何种实现过程，都不影响本方案的实质。
通过相机30可以动态识别用户操作类型和存取位置，用户操作类型包括存操作和取操作，存操作即向冰箱内存入食材，取操作即从冰箱内取出食材。借助彩色相机或深度相机检测手部区域，然后利用追踪算法计算手部区域质心的运动轨迹，追踪算法包括但不限于卡尔曼滤波、粒子滤波等方法。当识别到手部区域具有食材时，说明用户正在进行存操作或取操作，这时可以根据手部的运动轨迹的方向来判断用户操作类型，如果检测到运动轨迹的方向为手部从冰箱前侧经存取开口进入储藏室内，则用户操作类型为存操作；如果检测到运动轨迹的方向为手部从储藏室内部经存取开口移至冰箱外部，则用户操作类型为取操作。
进一步地，可以通过运动轨迹识别位置信息，当用户进行存操作时，位置信息指示为食材的存放位置，则手部运动轨迹的终点位置即为存放位置；当用户进行取操作时，位置信息指示为食材的取出位置，则手部运动轨迹的起点位置即为取出位置。
或者，也可采用静态识别方法，比较前后两次冰箱内食材识别结果的变化，当新增了食材识别结果，则该新增食材是被存入冰箱内，即用户操作类型为存操作，该新增食材的当前放置位置即为存放位置；如果减少了食材识别结果，则减少的食材是从冰箱内取出，即用户操作类型为取操作，该食材的原存放位置即为取出位置。位置信息和用户操作类型的获取方式不限于本实施例所述。
步骤S120，响应于所述用户操作类型为取操作，根据食材相似性信息、所述食材种类以及所述位置信息指示的取出位置，获取食材联想结果。
食材联想的本质是依靠先验信息或其他线索，补偿单纯依靠基于图像的食材种类识别算法存在的不足。在具体实现中，食材联想包括但不限于尺度联想、位置联想、外观联想、存取习惯联想等。所述先验信息包括食材之间的尺度相似性、外观相似性等先验领域知识，例如西红柿与圣女果、苹果与沙果等，是外观相似但食材尺度不同，故具有外观相似性及尺度差异性，该类食材识别时需进一步触发尺度联想进行区分，以减低误识别率；又比如，柑橘与橙子、黄金果与雪花梨等，其外观相似并且尺寸大小也相同，故具有外观相似性及尺度相似性，那么该类食材识别时触发外观联想，并需进一步基于位置联想等进行区分，以减低误识别率。所述其他线索包括食材的存取位置、用户饮食习惯、食材购买习惯等。
比如，用户在冷藏室第一层放入黄金果，取出时误识别从冷藏室第二层取出黄金果，但实际上冷藏室第二层并没有黄金果，这时候需进行位置联想，查看冷藏室第二层的相邻位置(冷藏室第一层和冷藏室第三层)是否有黄金果，进而确定是从冷藏室第一层取出黄金果，降低漏识别概率；又比如，用户在冷藏室第二层放入橙子，取出时误识别为从冷藏室第二层取出橘子，但实际上冷藏室第二层并没有橘子，这时需进行外观联想，查看冷藏室第二层是否有与橘子具有外观相似和尺度相似的相似食材，进而确定从冷藏室第二层取出的是橙子，降低漏识别概率；又比如，用户向冷藏室第一层存入雪花梨，但误识别为向冷藏室第一层存入黄金果，这时可触发存取习惯联想，查看用户一段时间内的存取记录，发现用户没有存取黄金果的记录，说明用户购买和食用黄金果的概率低，同时触发外观联想，查看与黄金果具有外观相似和尺度相似的食材的存取记录，查询到用户存取是雪花梨的概率更高，进而确定用户向冷藏室存入雪花梨，降低误识别概率。
其中，对于尺度联想，在基于手部食材图像识别出目标食材的食材种类，获得目标食材的尺度信息后，在食材百科数据库中查询是否存在与目标食材外观相似但尺度不同的相似食材，若存在外观相似但尺度不同的相似食材，则将目标食材与其相似食材进行尺度相似性比较，获得与目标食材尺度最接近的相似食材，作为尺度联想结果；反之，如果不存在外观相似但尺度不同的相似食材，则直接将基于图像识别出的食材种类作为尺度联想结果。
估计食材尺度的方法较多，比如可以是通过深度相机对目标区域的点云进行三维重建，从而获取目标食材的三维形状，进而获得目标食材的尺度信息，该方法的计算复杂度较高；或者，结合深度相机和彩色相机，利用深度相机对目标区域进行测距，然后结合彩色图像中目标区域的二维尺寸大小，计算目标区域对应的三维尺寸大小，进而得到目标食材的尺度信息，该方法利用针孔相机的透视变化理论，即
式中，(Δxc，Δyc)是目标食材的三维尺寸，(Δu，Δv)是目标食材的二维尺寸，Zc是目标食材距离深度相机的深度距离，f是单位焦距。
或者，仅利用彩色相机，利用存取食材的位置信息，估计目标区域的距离，并结合彩色图像中目标区域的二维尺寸，估计目标区域对应的三维尺寸，进而得到目标食材的尺度信息，该方法估计精度较低。所述目标区域为在手部食材图像中提取的食材ROI区域(Region Of Interest，感兴趣区域)。食材尺度计算方法不限于本实施例所述，无论采用何种方法估计目标食材的尺度不影响本方案的实质。
对于外观联想，在基于手部食材图像识别出目标食材的食材种类，在食材百科数据库中查询是否存在外观和尺度都相似的相似食材，若存在外观和尺度都相似的相似食材，则可以根据外观相似性进行排序，将与目标食材的外观最接近及次等接近的相似食材作为外观联想结果；反之，如果食材百科数据库中不存在外观和尺度都相似的相似食材，则直接将基于图像识别出的食材种类作为外观联想结果。
其中，食材百科数据库的内容准确性和完备性对尺度联想、外观联想具有重要影响，表1为一种食材百科数据库的示例。
表1
其中，尺度相似食材数为0时，表示没有与该食材外观相似但尺度不同的相似食材；外观相似食材数为0时，表示没有与该食材外观相似并且尺度相似的相似食材。食材百科数据库中，会记录各食材对应的外观识别准确率，外观识别准确率可以根据食材历史存取情况，对该食材识别是否准确进行概率统计而获得，用于表征每个食材被准确识别的概率。
表1所示的食材百科数据库中的食材相似性信息包括尺度相似性信息和外观相似性信息。尺度相似性信息至少包括尺度相似食材数，并分别列举出所有与食材外观相似但尺度不同的相似食材，比如序号1的西红柿，其尺度相似食材数为1，圣女果与西红柿外观相似，但是两者的尺度大小不同。外观相似性信息至少包括外观相似食材数，并分别列举出所有与食材外观及尺度都相似的相似食材，及对应的外观相似概率，外观相似概率用于表征某食材被误识别为其相似食材的概率。比如对于序号2的雪花梨，黄金果与雪花梨的外观和尺度都相似，黄金果与雪花梨之间的外观相似概率为30％，假如雪花梨存放位置为冷藏室第一层，那么识别出从冷藏室第一层取出雪花梨的概率为70％，识别出从冷藏室第一层取出黄金果的概率为30％。此外，食材百科数据库中还可包括食材的保质期、相克食材等信息，表1中不再具体示出。
在识别出用户操作类型为取操作时，可能遇到同一食材存入与取出时被识别为两种不同食材种类，同一食材存入与取出时识别为不同的位置信息，以及食材识别错误等情况，因此既需要考虑食材相似性，还要结合位置信息来综合判定。如图5所示，在步骤S120包括步骤S121～步骤S123。
步骤S121，计算联想概率集合P。所述联想概率集合P包括表征取出位置存放有所述食材种类的第一联想概率p1、表征取出位置的相邻位置存放有所述食材种类的第二联想概率p2、表征取出位置存放有所述食材种类的相似食材的第三联想概率p3，以及，表征取出位置的相邻位置存放有食材种类的相似食材的第四联想概率p4，即P＝{p1，p2，p3，p4}。
进一步如图6所示，步骤S121还包括步骤S121A～步骤S121I。
步骤S121A，判别取出位置是否存放有所述食材种类。如果取出位置是否存放有所述食材种类，执行步骤S121B，反之则执行步骤S121C。
步骤S121B，根据所述食材种类对应的食材外观识别准确率以及所述取出位置对应的位置识别准确率，计算所述第一联想概率p1，即p1＝食材外观识别准确率*位置识别准确率。
步骤S121C，在位置数据库中查询所述取出位置的相邻位置，以及所述相邻位置与所述取出位置之间的位置相似概率。
步骤S121D，判别所述相邻位置是否存放有所述食材种类。如果所述相邻位置存放有所述食材种类，则执行步骤S121E，反之则执行步骤S121F。
步骤S121E，根据所述位置相似概率和所述食材种类对应的食材外观识别准确率，计算所述第二联想概率p2，即p2＝食材外观识别准确率*位置相似概率。
步骤S121F，在食材百科数据库中查询所述食材种类的相似食材，以及所述相似食材与所述食材种类之间的外观相似概率。
步骤S121G，判别所述取出位置是否存放有所述相似食材。如果判别所述取出位置存放有所述相似食材，执行步骤S121H，反之则执行步骤S121I。
步骤S121H，根据所述外观相似概率以及所述取出位置对应的位置识别准确率，计算所述第三联想概率p3，即p3＝外观相似概率*位置识别准确率。
步骤S121I，根据所述位置相似概率和所述外观相似概率，计算所述第四联想概率p4，即p4＝位置相似概率*外观相似概率。
本实施例中，所述位置数据库的内容准确性和完备性对位置联想具有重要影响，表2为一种位置数据库的示例。
表2
所述位置数据库中，会详细记录每个储藏室的每个层位的位置识别准确率和位置相似性信息，储藏室包括冷藏室、变温室和冷冻室等。位置识别准确率可以根据食材历史存取情况，对存取位置识别是否准确进行概率统计而获得，用于表征每个存取位置被准确识别的概率。位置相似性信息包括相邻位置数、每个存取位置对应的相邻位置，以及存取位置与每个相邻位置之间的位置相似概率，位置相似概率用于表征某个存取位置被误识别为其相邻位置的概率。比如表2中序号2的信息行，冷藏室第二层的相邻位置包括其下层的冷藏室第一层以及其上层的冷藏室第三层，即相邻位置数有2个，假如苹果的存放位置是冷藏室第二层，那么正确的取出位置就应该是冷藏室第二层，但是位置识别可能出现错误，那么识别出苹果从冷藏室第二层取出的概率为80％，识别出苹果从冷藏室第二层取出的概率为10％，识别出苹果从冷藏室第三层取出的概率为10％。
基于手部食材图像识别取操作、食材种类和取出位置，即识别出了从冰箱的那个位置取出了什么食材，然后进行食材联想识别，首先判别取出位置是否存放有该食材种类，当识别出取出位置存放有该食材种类时，由于位置识别和食材外观识别存在一定的误识别概率，所以利用“食材外观识别准确率*位置识别准确率”，计算第一联想概率p1，即从该取出位置取出该食材种类成立的准确性概率为p1。
当识别出取出位置未存放有该食材种类时，主要是由于取出位置识别错误和/或食材种类识别错误造成，可以利用位置数据库查找取出位置对应的相邻位置，然后判断相邻位置是否存放有该食材种类，当判别出相邻位置存放有该食材种类时，利用“食材外观识别准确率*位置相似概率”，计算第二联想概率p2，即从该相邻位置取出该食材种类成立的准确性概率为p2。
当判别出相邻位置未存放有该食材种类时，即识别出的取出位置及其相邻位置都不具有该食材种类，则是食材种类识别错误，这时触发尺度联想和外观联想，从食材百科数据库中查找相似食材。然后利用“外观相似概率*位置识别准确率”，计算第三联想概率p3，即从该取出位置取出相似食材成立的准确性概率为p3。以及，利用“位置相似概率*外观相似概率”，计算第四联想概率p4，即从相邻位置取出相似食材成立的准确性概率为p4。
以识别出食材种类为雪花梨，取出位置为冷藏室第二层为例，参照表1和表2，从冷藏室第二层取出雪花梨的概率p1＝70％*80％＝56％；从冷藏室第一层取出雪花梨的概率p2(1)＝70％*10％＝7％；从冷藏室第三层取出雪花梨的概率p2(2)＝70％*10％＝7％；从冷藏室第二层取出黄金果的概率p3＝30％*80％＝24％；从冷藏室第一层取出黄金果的概率p4(1)＝30％*10％＝3％；从冷藏室第三层取出黄金果的概率p4(2)＝30％*10％＝3％。需要说明的是，食材百科数据库和位置数据库中的各个概率并不是固定不变的，而是可以根据实际使用情况和近期食材识别情况等因素，对其进行同步更新和调整。
步骤S122，在对联想概率集合P排序后获取最大概率值Pmax。
步骤S123，将最大概率值Pmax对应的联想取出位置和联想食材种类设置为食材联想结果。
即Pmax＝MAX(p1，p2，p3，p4)，如果按照概率值递增排序，则排序在最末位的即为最大概率值Pmax，如果按照概率值递减排序，则排序在首位的即为最大概率值Pmax。比如，以识别出食材种类为橘子，取出位置为冷藏室第一层为例，从冷藏室第一层取出橘子的概率为p1，从冷藏室第二层取出橘子的概率为p2，从冷藏室第一层取出橙子的概率为p3，从冷藏室第二层取出橙子的概率为p4，假如排序结果为p2﹥p1﹥p3﹥p4，即Pmax＝p2，说明发生了同一食材存入与取出时识别为不同的取出位置，则最大概率值Pmax对应的联想取出位置即为冷藏室第二层，最大概率值Pmax对应的联想食材种类为橘子。图像识别的结果为从冷藏室第一层取出橘子，而食材联想结果为从冷藏室第二层取出橘子，可见通过食材联想识别方法可以对图像识别结果进行自动校准，无需用户对识别结果进行人为修改或确认，保证取食材时信息录入的准确性，并且提高了用户使用体验。
步骤S130，将所述食材联想结果录入存取记录数据库。
为方便用户查看一定时间内的历史存取记录，冰箱系统中可以建立并存储存取记录数据库，存取记录数据库可以列表的形式展示给用户，表3示出了一种存取记录数据库。
表3
| 序号 | 食材种类 | 操作日期 | 位置信息 | 操作类型 | ... |
| 1 | 猪肉 | 2019-11-20 | 冷冻室第一层 | 存操作 | ... |
| 2 | 羊肉 | 2020-01-02 | 变温室 | 存操作 | ... |
| 3 | 苹果 | 2020-01-06 | 冷藏室第一层 | 存操作 | ... |
| 4 | 橘子 | 2020-01-20 | 冷藏室第二层 | 取操作 | ... |
| ... | ... | ... | ... | ... | ... |
存取记录数据库中会包括食材的存食材记录和取食材记录，这里统一名称为操作记录，因此需要对每条操作记录的操作类型进行标识，以便识别操作记录时存食材记录还是取食材记录。如果操作类型是存操作，则操作时间即为食材的存入时间，位置信息即为食材的存放位置；如果操作类型是取操作，则操作时间即为食材的取出时间，位置信息即为食材的取出位置。存入时间和取出时间可以由冰箱系统计时器获取。存取记录数据库所包括的信息不限于表3所示，比如还可包括保质期等信息。本实施例中，识别出的用户操作类型为取操作，则将取操作以及食材联想结果指示的食材和位置信息录入到存取记录数据库中，即生成并插入了一条取食材记录。
本实施例提供的技术方案是对应于用户从冰箱中取出食材，即用户操作类型为取操作的情况，这种情况下本申请根据食材相似性、以及初始识别出的取出位置和食材种类，考虑位置出错和食材外观识别出错的可能性，对位置和食材种类进行相似性联想，并给出可能性最高的取食材结果，即所述食材联想结果。本实施例对图像识别出的结果进行后处理和自动校准，无需用户对识别结果进行人为修改或确认，提供了准确性更高的联想识别结果，摆脱了单纯依赖图像识别准确性的弊端，提高了食材识别和管理的准确性，提升用户体验。
在另一种实施例中，如图7所示，提供一种食材联想识别方法，对应于用户操作类型为存操作，该方法为控制器40被配置为执行的程序步骤，即执行主体为冰箱系统中的控制器40，包括：
步骤S110，根据所述手部食材图像识别食材种类、用户操作类型和位置信息。
步骤S110的具体实现方式可以参照前一实施例所述，本实施例不再赘述。
步骤S210，响应于识别到用户操作类型为存操作，根据食材相似性信息、存取习惯信息和所述食材种类，获取食材联想结果；其中，所述存取习惯信息通过对食材的存取记录进行概率统计获得。
冰箱中预先建立并存储有存取习惯数据库，存取习惯数据库的内容准确性和完备性对习惯联想具有重要影响，表4为一种存取习惯数据库的示例。
表4
| 序号 | 食材种类 | 预设时间内存取次数 | 存取概率 | … |
| 1 | 西红柿 | 12 | 90％ | … |
| 2 | 雪花梨 | 5 | 50％ | … |
| 3 | 黄金果 | 0 | 10％ | … |
| … | … | … | … | … |
存取习惯数据库中记录的存取习惯信息，包括每种食材在预设时间内的存取次数，以及存取概率，这里预设时间不做限定，比如半年。可以结合用户饮食习惯、食材购买习惯以及对某食材的存取记录等信息，来分析计算存取概率，存取概率的计算方法不作限定。存取习惯数据库中的预设时间内存取次数和存取概率并不是固定不变的，而是可以根据实际使用情况和用户存取操作等因素，对其进行同步更新和调整。
如图8所示，步骤S210进一步包括：
步骤S210A，计算表征存入所述食材种类的第五联想概率。
根据所述食材种类对应的食材外观识别准确率和存取概率，计算第五联想概率p5，即p5＝食材外观识别准确率*存取概率。其中，食材外观识别准确率从食材百科数据库查询，存取概率从存取习惯数据库中查询。
步骤S210B，计算表征存入所述食材种类的相似食材的第六联想概率。
在食材百科数据库中查询所述食材种类的相似食材，以及所述相似食材与所述食材种类之间的外观相似概率，根据所述外观相似概率以及所述相似食材对应的存取概率，计算第六联想概率p6，即p6＝外观相似概率*存取概率。
步骤S210C，在所述第五联想概率大于第六联想概率时，将所述食材种类作为所述食材联想结果。
步骤S210D，在所述第五联想概率小于第六联想概率时，将所述食材种类的相似食材作为所述食材联想结果。
步骤S210C和步骤S210D的目的在于，选出第五联想概率p5和第六联想概率p6中较大的概率值，并将较大概率值对应的食材作为食材联想结果。当p5大于p6时，即是将图像识别出的食材种类作为食材联想结果；当p5小于p6时，即是将图像识别出的食材种类的相似食材作为食材联想结果。
以图像识别出存入的食材种类为黄金果为例，参照表1和表4，向冰箱内存入黄金果的概率p5＝60％*10％＝6％；表1中显示黄金果的相似食材为雪花梨，两者的外观相似且尺度相似，则向冰箱内存入雪花梨的概率p6＝40％*50％＝20％。通过比较可知p6大于p5，即存取习惯信息指示了用户存取黄金果的概率低，反映了用户购买和食用黄金果的概率低，因此与黄金果外观尺度都相似的雪花梨被存入冰箱的可能性更高，因此食材联想结果是雪花梨，用户存入了雪花梨。
步骤S220，将所述食材联想结果和所述位置信息指示的存放位置录入存取记录数据库。
本实施例中，识别出的用户操作类型为存操作，则将存操作、图像识别出的存放位置，以及食材联想结果指示的食材录入到存取记录数据库中，即生成并插入了一条存食材记录。
本实施例提供的技术方案是对应于用户从冰箱中存入食材，即用户操作类型为存操作的情况，存入时可能因食物相似性而误识别，可这种情况下本申请根据食材相似性、存取习惯信息以及初始识别出的食材种类，考虑食材外观识别出错的可能性，并参照用户一定时间内用户的存取习惯进行联想，给出可能性最高的取食材结果，即所述食材联想结果。本实施例对图像识别出的结果进行后处理和自动校准，无需用户对识别结果进行人为修改或确认，提供了准确性更高的联想识别结果，摆脱了单纯依赖图像识别准确性的弊端，提高了食材识别和管理的准确性，提升用户体验。
在基于图像的食材联想结果录入时，仍然可能发生录入失败情况，尤其是食材取出过程，取出位置及其相邻位置没有该食材或相似食材，这时可通过语音交互、APP操作、手动等方式，对食材种类进行确认或修改，从而保证食材录入的准确性和闭环。当食材存入成功或取出成功后对食材种类进行确认，当食材取出失败后对食材种类进行纠正。
需要说明的是，食材百科数据库、位置数据库、存取记录数据库以及存取习惯数据库所包括的内容不限于本申请实施例所述。这些数据库可以图形、图文、图表、列表等形式在显示屏50上显示给用户，便于用户查询和修改。在本申请实施例提出的位置联想、尺度联想、外观联想、存取习惯联想方法的基础上，还可融合其他信息来综合判别存取的食材种类，其他信息比如用户的购买习惯等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，并不构成对本发明保护范围的限定。本发明的真正范围和精神由所附的权利要求指出。
本说明书中各个实施例之间相同相似的部分互相参照即可。
Claims (12)
1.一种冰箱，其特征在于，包括：
机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；
至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；
相机，用于拍摄手部食材图像；
控制器，所述控制器被配置为：
根据所述手部食材图像识别食材种类、用户操作类型和位置信息；
响应于所述用户操作类型为取操作，根据食材相似性信息、所述食材种类以及所述位置信息指示的取出位置，获取食材联想结果；
将所述食材联想结果录入存取记录数据库。
2.根据权利要求1所述的冰箱，其特征在于，所述控制器被配置为按照如下方式获取食材联想结果：
计算联想概率集合，所述联想概率集合包括表征所述取出位置存放有所述食材种类的第一联想概率、表征所述取出位置的相邻位置存放有所述食材种类的第二联想概率、表征所述取出位置存放有所述食材种类的相似食材的第三联想概率，以及，表征所述取出位置的相邻位置存放有所述食材种类的相似食材的第四联想概率；
在对所述联想概率集合排序后获取最大概率值；
将所述最大概率值对应的联想取出位置和联想食材种类设置为所述食材联想结果。
3.根据权利要求2所述的冰箱，其特征在于，所述控制器被进一步配置为：
当判别所述取出位置存放有所述食材种类时，根据所述食材种类对应的食材外观识别准确率以及所述取出位置对应的位置识别准确率，计算所述第一联想概率。
4.根据权利要求2或3所述的冰箱，其特征在于，所述控制器被进一步配置为：
当判别所述取出位置未存放有所述食材种类时，在位置数据库中查询所述取出位置的相邻位置，以及所述相邻位置与所述取出位置之间的位置相似概率；
当判别所述相邻位置存放有所述食材种类时，根据所述位置相似概率和所述食材种类对应的食材外观识别准确率，计算所述第二联想概率。
5.根据权利要求4所述的冰箱，其特征在于，所述控制器被进一步配置为：
当判别所述相邻位置未存放有所述食材种类时，在食材百科数据库中查询所述食材种类的相似食材，以及所述相似食材与所述食材种类之间的外观相似概率；
当判别所述取出位置存放有所述相似食材时，根据所述外观相似概率以及所述取出位置对应的位置识别准确率，计算所述第三联想概率。
6.根据权利要求5所述的冰箱，其特征在于，所述控制器被进一步配置为：
当判别所述取出位置未存放有所述相似食材时，根据所述位置相似概率和所述外观相似概率，计算所述第四联想概率。
7.一种冰箱，其特征在于，包括：
机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；
至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；
相机，用于拍摄手部食材图像；
控制器，所述控制器被配置为：
根据所述手部食材图像识别食材种类、用户操作类型和位置信息；
响应于识别到用户操作类型为存操作，根据食材相似性信息、存取习惯信息和所述食材种类，获取食材联想结果；其中，所述存取习惯信息通过对食材的存取记录进行概率统计获得；
将所述食材联想结果和所述位置信息指示的存放位置录入存取记录数据库。
8.根据权利要求7所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式获取食材联想结果：
计算表征存入所述食材种类的第五联想概率；
计算表征存入所述食材种类的相似食材的第六联想概率；
在所述第五联想概率大于第六联想概率时，将所述食材种类作为所述食材联想结果；
在所述第五联想概率小于第六联想概率时，将所述食材种类的相似食材作为所述食材联想结果。
9.根据权利要求8所述的冰箱，其特征在于，所述控制器被进一步配置为：
根据所述食材种类对应的食材外观识别准确率和存取概率，计算所述第五联想概率。
10.根据权利要求8所述的冰箱，其特征在于，所述控制器被进一步配置为：
在食材百科数据库中查询所述食材种类的相似食材，以及所述相似食材与所述食材种类之间的外观相似概率；
根据所述外观相似概率以及所述相似食材对应的存取概率，计算所述第六联想概率。
11.一种食材联想识别方法，其特征在于，包括：
根据拍摄到的手部食材图像识别食材种类、用户操作类型和位置信息；
响应于所述用户操作类型为取操作，根据食材相似性信息、所述食材种类以及所述位置信息指示的取出位置，获取食材联想结果；
将所述食材联想结果录入存取记录数据库。
12.一种食材联想识别方法，其特征在于，包括：
根据拍摄到的手部食材图像识别食材种类、用户操作类型和位置信息；
响应于识别到用户操作类型为存操作，根据食材相似性信息、存取习惯信息和所述食材种类，获取食材联想结果；其中，所述存取习惯信息通过对食材的存取记录进行概率统计获得；
将所述食材联想结果和所述位置信息指示的存放位置录入存取记录数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010281046.0A CN111488831B (zh) | 2020-04-10 | 2020-04-10 | 一种食材联想识别方法及冰箱 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010281046.0A CN111488831B (zh) | 2020-04-10 | 2020-04-10 | 一种食材联想识别方法及冰箱 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111488831A true CN111488831A (zh) | 2020-08-04 |
| CN111488831B CN111488831B (zh) | 2023-11-03 |
Family
ID=71798043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010281046.0A Active CN111488831B (zh) | 2020-04-10 | 2020-04-10 | 一种食材联想识别方法及冰箱 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111488831B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359596A (zh) * | 2020-09-30 | 2022-04-15 | 广东美的厨房电器制造有限公司 | 食材识别方法、家电设备、云端服务器和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010169383A (ja) * | 2008-12-24 | 2010-08-05 | Panasonic Corp | 冷蔵庫 |
| WO2013030294A1 (de) * | 2011-09-01 | 2013-03-07 | BSH Bosch und Siemens Hausgeräte GmbH | Kältegerät mit graphischer benutzerschnittstelle |
| US20170195862A1 (en) * | 2016-01-05 | 2017-07-06 | Samsung Electronics Co., Ltd. | Apparatus and method for providing function of electronic device corresponding to location |
| CN107886028A (zh) * | 2016-09-29 | 2018-04-06 | 九阳股份有限公司 | 一种冰箱的食材录入方法及食材录入装置 |
| US9965798B1 (en) * | 2017-01-31 | 2018-05-08 | Mikko Vaananen | Self-shopping refrigerator |
| CN108154078A (zh) * | 2017-11-20 | 2018-06-12 | 爱图瓴（上海）信息科技有限公司 | 食材管理装置及方法 |
| JP2019168134A (ja) * | 2018-03-22 | 2019-10-03 | 三菱電機株式会社 | 冷蔵庫システム |
| CN112313684A (zh) * | 2018-06-15 | 2021-02-02 | 三星电子株式会社 | 冰箱、服务器及其控制方法 |
-
2020
- 2020-04-10 CN CN202010281046.0A patent/CN111488831B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010169383A (ja) * | 2008-12-24 | 2010-08-05 | Panasonic Corp | 冷蔵庫 |
| WO2013030294A1 (de) * | 2011-09-01 | 2013-03-07 | BSH Bosch und Siemens Hausgeräte GmbH | Kältegerät mit graphischer benutzerschnittstelle |
| US20170195862A1 (en) * | 2016-01-05 | 2017-07-06 | Samsung Electronics Co., Ltd. | Apparatus and method for providing function of electronic device corresponding to location |
| CN107886028A (zh) * | 2016-09-29 | 2018-04-06 | 九阳股份有限公司 | 一种冰箱的食材录入方法及食材录入装置 |
| US9965798B1 (en) * | 2017-01-31 | 2018-05-08 | Mikko Vaananen | Self-shopping refrigerator |
| CN108154078A (zh) * | 2017-11-20 | 2018-06-12 | 爱图瓴（上海）信息科技有限公司 | 食材管理装置及方法 |
| JP2019168134A (ja) * | 2018-03-22 | 2019-10-03 | 三菱電機株式会社 | 冷蔵庫システム |
| CN112313684A (zh) * | 2018-06-15 | 2021-02-02 | 三星电子株式会社 | 冰箱、服务器及其控制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359596A (zh) * | 2020-09-30 | 2022-04-15 | 广东美的厨房电器制造有限公司 | 食材识别方法、家电设备、云端服务器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111488831B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444880B (zh) | 一种食材识别方法及冰箱 | |
| CN111442604B (zh) | 一种冰箱及其控制方法 | |
| CN105164481A (zh) | 利用影像识别的冰箱的保管品目管理方法及其冰箱 | |
| CN111476194B (zh) | 一种感知模组工作状态检测方法及冰箱 | |
| WO2023221770A1 (zh) | 一种动态目标分析方法、装置、设备及存储介质 | |
| CN110619266A (zh) | 目标物识别方法、装置和冰箱 | |
| CN115131783B (zh) | 基于机器视觉的用户饮食营养成分信息自主感知方法 | |
| CN107527060B (zh) | 一种冷藏装置存储物管理系统和冷藏装置 | |
| CN111488831A (zh) | 一种食材联想识别方法及冰箱 | |
| US20220325946A1 (en) | Selective image capture using a plurality of cameras in a refrigerator appliance | |
| CN107527363B (zh) | 一种冷藏装置存储物管理系统和冷藏装置 | |
| CN113468914A (zh) | 一种商品纯净度的确定方法、装置及设备 | |
| CN113124635B (zh) | 冰箱 | |
| CN111931740B (zh) | 商品销量识别方法及装置、电子设备、存储介质 | |
| WO2021147473A1 (zh) | 一种模型训练方法、内容生成方法以及相关装置 | |
| CN113091390B (zh) | 一种冰箱 | |
| JP7475000B2 (ja) | 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 | |
| Morris et al. | Inventory Management of the Refrigerator's Produce Bins Using Classification Algorithms and Hand Analysis | |
| CN107526991B (zh) | 一种冷藏装置存储物管理系统和冷藏装置 | |
| CN113124636B (zh) | 冰箱 | |
| CN111967403B (zh) | 视频移动区域确定方法、装置及电子设备 | |
| US11594019B2 (en) | Refrigerator, server, and object recognition method of refrigerator | |
| CN113566487A (zh) | 食材贮存系统、冰箱、食材管理方法以及智能冰箱系统 | |
| CN113239780A (zh) | 食材的确定方法、装置、电子设备、冰箱及存储介质 | |
| CN113124633A (zh) | 冰箱 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |