CN113465285B - 一种冰箱及食材存取的方法 - Google Patents
一种冰箱及食材存取的方法 Download PDFInfo
- Publication number
- CN113465285B CN113465285B CN202010350819.6A CN202010350819A CN113465285B CN 113465285 B CN113465285 B CN 113465285B CN 202010350819 A CN202010350819 A CN 202010350819A CN 113465285 B CN113465285 B CN 113465285B
- Authority
- CN
- China
- Prior art keywords
- refrigerator
- food material
- information
- door
- rfid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 383
- 239000000463 material Substances 0.000 title claims abstract description 380
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000009471 action Effects 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims description 37
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 101100270992 Caenorhabditis elegans asna-1 gene Proteins 0.000 description 11
- 240000008067 Cucumis sativus Species 0.000 description 10
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 10
- 235000013330 chicken meat Nutrition 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 241000287828 Gallus gallus Species 0.000 description 8
- 244000061456 Solanum tuberosum Species 0.000 description 8
- 235000002595 Solanum tuberosum Nutrition 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 235000013372 meat Nutrition 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 235000015277 pork Nutrition 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000005057 refrigeration Methods 0.000 description 2
- 244000144730 Amygdalus persica Species 0.000 description 1
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 241000272814 Anser sp. Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 235000019687 Lamb Nutrition 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明公开了一种冰箱及食材存取的方法，其中，冰箱包括：冰箱壳体、冰箱门、摄像头模组、RFID模组、角度传感器、开关传感器和主控板，主控板被配置为：获取冰箱门开关门信息和冰箱门打开的角度信息，根据冰箱门开关门信息打开摄像头模组，采集食材存取过程中的食材图像，确定食材的存取动作和存取位置，在确定冰箱门打开的角度信息大于预设角度时，启动RFID模组识别食材上的RFID标签，得到识别结果，确定食材存取的最终识别结果，并根据最终识别结果进行食材的管理，以实现在结构工艺简单，成本较低的基础上得到食材的食材信息、存取动作和存取位置等信息。
Description
技术领域
本发明涉及智能家居技术领域，尤其涉及一种冰箱及食材存取的方法。
背景技术
随着社会的不断发展，智能家居越来越成为家庭生活的一个必然发展趋势，冰箱作为家庭生活中不可或缺的家电产品，其本身的智能化也是势在必行，而随着射频识别(Radio Frequency Identification，RFID)技术的研究，RFID技术也被逐步应用于智能冰箱技术领域。
现有技术中，基于RFID的智能冰箱食材管理系统，按照其安装方式及实现原理，可以分为覆盖感知与独立感知两种，其中，覆盖感知一般安装于冰箱箱体内的各个位置，每次关门时获取冰箱内各个位置处附着于食材上的RFID信息，RFID标签增多则为存入食材，增多的位置则存入位置，RFID标签减少则为取出食材，减少的位置为取出位置，另一种独立感知一般将RFID感知器与标签放置于独立的结构件中，每次关门时获取结构件中RFID信息，RFID标签减少则为存入食材，RFID标签增多则为取出食材。
但覆盖感知方法对冰箱箱体结构改造较大，且需要布置的天线较多，且不同容积的冰箱需要不同尺寸的RFID天线，不同尺寸的RFID天线研发成本高，而且天线之间需要进行信号屏蔽处理，结构工艺复杂，成本较高，独立感知方法只有在标签被取出或放回才能查看标签所附着的食材信息，无法实现查询用户预取出特定食材的RFID记录的食材信息功能，而且该方法仅能识别食材种类和保质期，无法识别食材存放位置。
发明内容
本发明实施例提供一种冰箱及食材存取的方法，以实现在结构工艺简单，成本较低的基础上得到出食材种类、存取动作和存取位置等信息。
第一方面，本发明提供一种冰箱，包括：
冰箱壳体，所述壳体包括储藏室，所述储藏室具有开口；
冰箱门，与所述冰箱壳体活动连接，用于遮挡所述开口；
摄像头模组，所述摄像头模组用于采集图像；
RFID模组，所述RFID模组用于探测RFID标签；
角度传感器，用于检测所述冰箱门打开的角度信息，并将所述冰箱门打开的角度信息发送给所述主控板；
开关传感器，用于检测冰箱门开关门信息，并将所述冰箱门开关门信息发送给所述主控板；
主控板，所述主控板被配置为：
获取所述冰箱门开关门信息和所述冰箱门打开的角度信息；
根据所述冰箱门开关门信息打开所述摄像头模组，采集食材存取过程中的食材图像；根据所述食材存取过程中的食材图像确定所述食材的存取动作和存取位置；
在确定所述冰箱门打开的角度信息大于预设角度时，启动所述RFID模组识别所述食材上的RFID标签，得到识别结果；
根据所述食材的存取动作和存取位置以及所述识别结果，确定所述食材存取的最终识别结果，并根据所述最终识别结果进行食材的管理。
本发明实施例中，通过主控板控制摄像头模组与RFID模组，实现视觉识别与RFID识别融合，使识别结构工艺简单且节约成本，再根据冰箱门开关门信息和冰箱门打开的角度信息分别控制摄像头模组和RFID模组，得到食材的最终识别结果，实现得到食材的存取动作、存取位置和食材的种类及保质期等详细的食材的信息。
在某些实施例中，所述冰箱包括弹出机械模组，所述主控板被配置为：
当所述冰箱的一个或多个冰箱门打开，控制所述弹出机械模组将所述摄像头模组弹出，打开所述摄像头模组；
当所述冰箱的所有冰箱门关闭，关闭所述摄像头模组，控制弹出机械模组将所述摄像头模组缩回。
本发明实施例中，冰箱包括弹出机械模组，以使根据冰箱门开关门信息控制弹出机械模组，进而控制智感器弹出或缩回，使识别结构工艺简单，减小对冰箱结构的改造。
在某些实施例中，所述主控板被配置为：
冰箱门为单侧门时，判断所述单侧门的开启角度是否大于预设角度，若是，则启动所述RFID模组；
冰箱门为两侧门时，判断所述两侧门的开启角度是否均大于预设角度，若是，则启动所述RFID模组，或判断所述两侧门中一侧门开启且另一侧门未开启时的打开的角度是否大于所述RFID模组的探测范围的水平角度，若是，则启动所述RFID模组；
冰箱门为冰箱抽屉时，当所述冰箱抽屉打开时，启动所述RFID模组。
本发明实施例中，针对不同类型的冰箱，以使主控板启动RFID模组，使主控板可以根据不同类型的冰箱对智感器进行控制，增加主控板适用范围。
在某些实施例中，所述主控板被配置为：
判断所述RFID标签是否存在数据库中，若是，则根据所述RFID标签确定出所述RFID标签对应的食材的食材信息，将所述食材信息确定为所述识别结果，否则确定所述识别结果为空。
本发明实施例中，对食材上的RFID标签进行解析，确定出RFID标签对应的食材信息，得到详细的食材信息，如食材的保质期，购买时间等。
在某些实施例中，所述主控板被配置为：
根据所述食材存取过程中的食材图像，确定所述食材的存取轨迹；
若所述食材的存取轨迹为从所述冰箱门外向所述冰箱壳体内移动并跨越所述冰箱门与所述冰箱壳体分界线，则确定所述食材的存取动作为存入动作，并将所述食材的存取轨迹的终点确定为存取位置；
若所述食材的存取轨迹为从所述冰箱壳体内向冰箱门外移动并跨越冰箱门与冰箱壳体分界线，则确定所述食材存取动作为取出动作，并将所述食材的存取轨迹的起点确定为存取位置。
本发明实施例中，可以通过食材存取过程中的食材图像，确定出食材的存取动作和存取位置，实现动态的对食材的存取动作和存取位置进行识别，提升识别准确性。
在某些实施例中，所述冰箱还包括：
显示设备，所述显示设备用于显示界面；
语音设备，所述语音设备用于语音播报；
所述主控板被配置为：
若所述识别结果为所述食材的食材信息，则将所述食材的食材信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；
若所述识别结果为空，则根据所述食材存取过程中的食材图像确定所述食材的种类信息，获取所述用户通过所述语音设备录入的所述食材的第一录入信息，将所述食材的种类信息、所述第一录入信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；或获取所述用户通过所述语音设备录入的食材信息，将所述录入的食材信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；
将所述食材的最终识别结果在所述显示设备上进行显示。
本发明实施例中，根据食材存取过程中的食材图像，在食材存取过程中确定出食材的最终识别结果，以实现视觉识别与RFID识别融合，并在识别结构工艺简单，成本较低的基础上识别出食材的种类、存取动作和存放位置等信息。
第二方面，本发明实施例提供一种食材存取的方法，包括：
获取所述冰箱门开关门信息和所述冰箱门打开的角度信息；
根据所述冰箱门开关门信息打开所述摄像头模组，采集食材存取过程中的食材图像；根据所述食材存取过程中的食材图像确定所述食材的存取动作和存取位置；
在确定所述冰箱门打开的角度信息大于预设角度时，启动所述RFID模组，识别所述食材上的RFID标签，得到识别结果；
根据所述食材的存取动作和存取位置以及所述识别结果，确定所述食材存取的最终识别结果，并根据所述最终识别结果进行食材的管理。
在某些实施例中，所述冰箱包括弹出机械模组；
所述根据所述冰箱门开关门信息打开所述摄像头模组，包括：
当所述冰箱的一个或多个冰箱门打开，控制所述弹出机械模组将所述摄像头模组弹出，打开所述摄像头模组；
当所述冰箱的所有冰箱门关闭，关闭所述摄像头模组，控制弹出机械模组将所述摄像头模组缩回。
在某些实施例中，所述在确定所述冰箱门打开的角度信息大于预设角度时，启动所述RFID模组，包括：
冰箱门为单侧门时，判断所述单侧门的开启角度是否大于预设角度，若是，则启动所述RFID模组；
冰箱门为两侧门时，判断所述两侧门的开启角度是否均大于预设角度，若是，则启动所述RFID模组，或判断所述两侧门中一侧门开启且另一侧门未开启时的打开的角度是否大于所述RFID模组的探测范围的水平角度，若是，则启动所述RFID模组；
冰箱门为冰箱抽屉时，当所述冰箱抽屉打开时，启动所述RFID模组。
在某些实施例中，所述识别所述食材上的RFID标签，得到识别结果，包括：
判断所述RFID标签是否存在数据库中，若是，则根据所述RFID标签确定出所述RFID标签对应的食材的食材信息，将所述食材信息确定为所述识别结果，否则确定所述识别结果为空。
在某些实施例中，所述根据所述食材存取过程中的食材图像确定所述食材的存取动作和存取位置，包括：
根据所述食材存取过程中的食材图像，确定所述食材的存取轨迹；
若所述食材的存取轨迹为从所述冰箱门外向所述冰箱壳体内移动并跨越所述冰箱门与所述冰箱壳体分界线，则确定所述食材的存取动作为存入动作，并将所述食材的存取轨迹的终点确定为存取位置；
若所述食材的存取轨迹为从所述冰箱壳体内向冰箱门外移动并跨越冰箱门与冰箱壳体分界线，则确定所述食材存取动作为取出动作，并将所述食材的存取轨迹的起点确定为存取位置。
在某些实施例中，所述冰箱还包括：
显示设备，所述显示设备用于显示界面；
语音设备，所述语音设备用于语音播报；
所述根据所述食材的存取动作和存取位置以及所述识别结果，确定所述食材存取的最终识别结果，并将所述最终识别结果在所述显示设备上显示以及将所述最终识别结果发送给所述语音设备进行语音播报，包括：
若所述识别结果为所述食材的食材信息，则将所述食材的食材信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；
若所述识别结果为空，则根据所述食材存取过程中的食材图像确定所述食材的种类信息，获取所述用户通过所述语音设备录入的所述食材的第一录入信息，将所述食材的种类信息、所述第一录入信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；或获取所述用户通过所述语音设备录入的食材信息，将所述录入的食信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；
将所述食材的最终识别结果在所述显示设备上进行显示。
第三方面，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述食材存取的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述食材存取的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种冰箱结构示意图；
图2为本发明实施例提供的一种智感器结构示意图；
图3为本发明实施例提供的一种食材存取轨迹示意图；
图4为本发明实施例提供的一种食材存取的方法的流程示意图；
图5为本发明实施例提供的一种主控板控制的结构示意图；
图6A为本发明实施例提供的一种冰箱结构示意图；
图6B为本发明实施例提供的一种冰箱结构示意图；
图7为本发明实施例提供的一种RFID探测范围的示意图；
图8为本发明实施例提供的一种食材存取的方法的流程示意图；
图9为本发明实施例提供的一种食材存取的方法的流程示意图；
图10为本发明实施例提供的一种食材存取的方法的流程示意图；
图11为本发明实施例提供的一种人机交互的方法的流程示意图；
图12为本发明实施例提供的一种食材存取的方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明一些实施例提供的一种冰箱的结构示意图，如图1所示，冰箱包括冰箱壳体101、冰箱门102、冰箱抽屉103、冰箱抽屉104、智感器105，还应包括角度传感器(图1中未示出)和开关传感器(图1中未示出)。
在冰箱门102打开时，开关传感器检测冰箱门102打开，并发送冰箱门102的开门信息，再由角度传感器检测冰箱门102打开的角度信息，角度信息是指冰箱门102与冰箱壳体101的接触面和冰箱门102之间的夹角。如：当冰箱门102打开至垂直于冰箱门102与冰箱壳体101的接触面，则确定冰箱门102的冰箱门打开的角度为90度。
智感器105与冰箱壳体101进行连接，用于视觉识别，采集食材图像，RFID识别，感知食材上的RFID标签。如：用户在开启冰箱门102后，取出冰箱壳体101中的鸡肉，智感器105可以识别出用户取出鸡肉的过程，得到该过程的食材图像，并感知鸡肉上附着的RFID标签，得到鸡肉的食材信息，如：该鸡肉购买时间，保质期，重量等。
基于上述描述，图2示例性的示出了本发明实施例提供的一种智感器的结构示意图，如图2所示，智感器105包括主控板201，摄像头模组202、弹出机械模组203、RFID模组204。
其中，RFID模组204用于识别附着于食物上的RFID标签205，并获取RFID标签205对应的食材的食材信息。
实例性的，当主控板201接收到冰箱上开关传感器发送的冰箱门102开关门信息时，控制弹出机械模组203将智感器弹出或缩回，还控制摄像头模组202打开并采集食材存取过程中的食材图像，以得到食材存取过程中的食材图像。
当主控板201接收到冰箱上角度传感器发送的冰箱门102打开的角度信息时，确定冰箱门102打开的角度大于预设角度，控制RFID模组204启动，得到食材的识别结果。
其中，RFID模组204包括RFID阅读器2041、RFID天线2042。
RFID模组204启动后，RFID模组204中的RFID天线2042感知附着于食物上的RFID标签205，并将RFID标签205发送给RFID阅读器2041，RFID阅读器2041再阅读附着于食物上的RFID标签205，得到RFID标签信息，如标签序列号，需要说明的是，RFID天线2042可以根据需要进行位置设置，如设置为竖直状态。
主控板201再根据食材图像确定出食材的存取动作和存取位置，又根据食材的存取动作和存取位置以及食材的识别结果确定出食材的最终识别结果，然后将食材的最终识别结果发送给显示设备和语音设备。
进一步的，根据食材图像确定出食材的存取动作和存取位置包括以下两种方式。
方式1
主控板201控制摄像头模组202基于目标跟踪算法的动作识别和位置识别，得到食材的存取动作和存取位置，其中目标可以是食材的种类。
方式2
主控板201控制摄像头模组202通过彩色相机或深度相机检测手部区域，得到食材的种类带有食材的种类的矩形框位置坐标，然后基于目标跟踪算法对食材进行跟踪，其中，跟踪算法包括卡尔曼滤波、粒子滤波等方法，然后根据目标跟踪轨迹，识别存取动作，例如，如图3所示，图3示例性的示出了一种食材存取轨迹的示意图，如图3中A图所示，主控板201得到摄像头模组202识别出的食材跟踪轨迹为从冰箱门102外向冰箱壳体101内移动并跨越冰箱门102与冰箱壳体101分界线时，则将食材存取动作确定为存入动作，且将食材跟踪轨迹的终点作为存入位置，如图3中B图所示，主控板201得到摄像头模组202识别出的食材跟踪轨迹为从冰箱壳体101向冰箱门102外移动并跨越冰箱门102与冰箱壳体101分界线时，则将食材存取动作确定为取出动作，且将食材跟踪轨迹的起点作为取出位置。
基于上述图2所示的结构，在一种实现方式中，如图4所示，主控板201被进一步配置为执行以下流程步骤：
步骤401，获取冰箱门开关信息。
主控板201接收冰箱上开关传感器发送的冰箱门102开关门信息。
步骤402，获取冰箱门打开的角度信息。
主控板201接收冰箱上角度传感器发送的冰箱门102打开的角度信息。
步骤403，主控板控制。
主控板201控制智感器上的弹出机械模组203的弹出或缩回，对智感器上的摄像头模组202的摄像头打开或关闭，对RFID模组204的启动或关闭。
具体的，图5示例性的示出了一种主控板控制的结构示意图，如图5所示，当主控板201得到任意一个冰箱门102的冰箱门开关门信息时，控制弹出机械模组203将智感器弹出，并打开摄像头模组202的摄像头，当主控板201得到冰箱上所有冰箱门(包括冰箱门102、冰箱抽屉103、冰箱抽屉104等)关闭时，控制弹出机械模组203将智感器缩回，并关闭摄像头模组202的摄像头。
当主控板201控制智感器弹出时，确定角度传感器发送的冰箱门102打开的角度信息是否大于预设角度，若主控板201得到的角度传感器发送的冰箱门打开的角度信息大于预设角度时，启动RFID模组204，否则关闭RFID模组204，当主控板201得到冰箱抽屉103或冰箱抽屉104的冰箱门开关门信息为打开时，启动RFID模组204。
步骤404，RFID识别。
在RFID模组204开启后，由RFID天线2042感知附着于食物上的RFID标签205，然后将RFID标签205发送给RFID阅读器2041，再由RFID阅读器2041阅读附着于食物上的RFID标签205，得到RFID标签信息，然后发送给主控板201。
步骤405，视觉识别。
在摄像头模组202打开后，摄像头对食材进行视觉识别，得到食材存取过程的食材图像，并发送给主控板201。
步骤406，主控板处理。
主控板201根据得到的食材存取过程中的食材图像，得到食材存取过程中通过RFID标签205，然后将RFID标签205在数据库中查询，得到食材的识别结果，并将得到的食材的识别结果结合图像识别的该食材的存取动作和存取位置作为最终识别结果，若主控板201未通过RFID模组204得到食材的识别结果，即主控板201确定食材的识别结果为空，则主控板201通过得到摄像头模组202根据食材图像识别出的食材的种类信息，并获取用户通过语音设备录入的食材的第一录入信息，然后结合食材的种类信息、食材的第一录入信息、图像识别出的该食材的存取动作和存取位置作为最终识别结果。
或者主控板201在确定食材的识别结果为空时，还可以根据用户录入的食材信息作为最终识别结果，例如，某块肉未附着有RFID标签205，主控板201通过RFID模组204得不到该块肉的食材信息，摄像头模组202也未识别出该块肉是何种类(如鸡、鸭、鹅、牛、羊)的肉，则用户对该块肉的录入信息为羊肉、羔羊、小腿肉以及1斤，并将用户录入的该块肉的食材信息作为食材的最终识别结果。
需要说明的是，RFID模组204识别的食材的识别结果包括食材的食材信息，例如，食材的种类、食材的保质期，食材的购买日期等，如RFID模组204识别出某食材为桃罐头，保质期三个月，生产日期****年**月**日。摄像头模组202识别的食材的种类信息包括食材的种类，如黄瓜、鸡翅、鸡爪或鸡腿等。
步骤407，人机交互。
主控板201将确定出的最终识别结果发送给显示设备，以使显示设备显示食材的最终识别结果，还将最终识别结果发送给语音设备，以使语音设备进行语音播报。
在一种实现方式中，主控板201在控制RFID模组204启动之前，被配置设置RFID的探测范围，如图6A、图6B所示，图6A、图6B实例性的示出了一种确定RFID模组探测范围的示意图，图6A中包括冰箱正视图和冰箱侧视图，图6B为冰箱俯视图及冰箱门102侧视图。
进一步地，根据RFID探测的特征，应使RFID探测范围不包含冰箱壳体101，冰箱门102，冰箱抽屉103、冰箱抽屉104等冰箱实体，下面通过具体实例描述主控板201对RFID模组204的探测范围进行配置的技术方案。
实例1
在图6A图中，两直线之间的夹角为摄像头的水平视觉识别范围的水平角度，两虚线之间的夹角为RFID的水平探测范围的水平角度，根据冰箱门102高度、冰箱壳体101宽度和冰箱门102宽度及冰箱门102上托盘宽度确定RFID的水平探测范围的水平角度，图6B示出了冰箱门102宽度及冰箱门102上托盘宽度。
主控板201通过用户设置的冰箱门打开的角度限值将冰箱门打开的水平角度限值设置为90度，当主控板201接收到角度传感器发送的冰箱门打开的角度信息不小于90时，启动RFID模组204。例如：法式冰箱，当冰箱门打开90度时，RFID模组204的探测范围不应覆盖冰箱门。对开门冰箱，冷藏作用的冰箱门和冷冻作用的冰箱门打开90度时，RFID的水平探测范围应不能覆盖冷藏作用的冰箱门和冷冻作用的冰箱门。对于十字四门冰箱，冰箱门打开90度时，RFID的水平探测范围应不能覆盖冰箱门。
为了满足上述技术方案，根据公式(1)确定RFID的水平探测范围的水平角度。
其中，α为RFID模组204探测范围的水平角度，a为冰箱壳体101宽度，b为两侧冰箱门102及冰箱门102上托盘的宽度，h为冰箱门102的高度。
如图6A中冰箱正视图所示，冰箱壳体101宽度为886mm，如图6B中俯视图所示，两侧冰箱门101及冰箱门101上托盘的宽度为180mm+180mm＝360mm，冰箱门102的高度为1060mm。通过计算
得出α≤28°，因此，RFID模组204探测范围的水平角度应不大于28度。
实例2
在图6B中，直线与冰箱门102和冰箱壳体101的接触面之间的夹角为摄像头的垂直视觉识别范围的垂直角度，虚线1与虚线2之间为RFID的垂直探测范围，虚线1与冰箱壳体101垂直方向的夹角为RFID模组204探测范围的垂直角度，根据冰箱抽屉103最大抽出长度和冰箱顶面到冰箱抽屉103上表面之间的长度确定RFID的垂直探测范围。
主控板201根据公式(2)确定RFID的水平探测范围的垂直角度。
其中，β为RFID模组204探测范围的垂直角度，x为冰箱抽屉103最大的抽出长度，y为冰箱顶面到冰箱抽屉上103表面之间的长度。
如图6A中冰箱侧视图所示，冰箱抽屉103最大的抽出长度为465mm，冰箱顶面到冰箱抽屉103上表面之间的长度为1060mm。通过计算
得出β≥26.7°，因此，RFID模组204探测范围的垂直角度应不小于26.7度。如图7所示，图7示例性的示出了一种RFID模组204的探测范围，根据三维立体描述RFID的探测范围，图7中，RFID模组204的探测范围不包含冰箱门体、冰箱抽屉等实体。
为了更好的解释上述技术方案，在一种实现方式中，如图8所示，主控板被进一步配置为执行以下流程步骤：
步骤801，冰箱门开关门信息检测。
主控板201周期性的获取冰箱门102的冰箱门开关门信息。
步骤802，判断冰箱门是否为开，若是，则执行步骤803，否则返回步骤801。
主控板根据接收到的冰箱门开关门信息，判断冰箱门开关门信息是否为冰箱门开门信息。
步骤803，冰箱门打开的角度信息检测。
主控板周期性的获取冰箱门打开的角度信息。
步骤804，判断打开的角度是否大于90度，若是，则执行步骤805，否则返回步骤803。
主控板判断冰箱门打开的角度信息中冰箱门打开的角度是否大于90度(预设角度)，其中，冰箱门打开的预设角度需要大于图6A所示的RFID探测范围水平角度，以使RFID的水平探测范不覆盖冰箱门。
步骤805，判断两侧门的打开的角度是否不小于90度，若是，则执行步骤806，否则执行步骤807。
冰箱门为两侧门时，主控板判断两侧门的开启角度是否均大于90度(预设角度)，或判断两侧门中一侧门开启且另一侧门未开启时的打开的角度是否大于90度。
步骤806，主控板开启RFID模组。
步骤807，主控板关闭RFID模组。
在一种实现方式中，如图9所示，主控板被进一步配置为执行以下流程步骤：
步骤901，获取RFID标签。
主控板通过RFID阅读器获取RFID天线感知的附着在食材上的RFID标签，并通过RFID阅读器得到解析后的RFID标签。
步骤902，数据库查询。
主控板根据RFID标签在数据库中进行查询RFID标签对应的食材。
步骤903，判断是否存在数据库中，若是，执行步骤904，否则执行步骤905。
主控板判断是否在数据库中存在RFID标签对应的食材的食材信息。
步骤904，获取数据库中RFID标签对应的食材的食材信息。
步骤905，存储信息。
主控板获取用户录入的RFID标签对应的食材的食材信息，并进行记录，存储至数据库中。
本发明实施例提供的技术方案中，解析后的标签包括标签序列号，主控板得到标签序列号之后，在数据库中进行查询，确定标签序列号是否在数据库中，若标签序列号在数据库中，则说明该标签为已存在的标签，属于现有标签，数据库中存在标签对应的食材的食材信息，进而获取标签对应的食材的食材信息，否则在说明该标签在数据库中不存在，为新标签或未登记标签，此时触发标签录入服务，以使用户通过冰箱屏幕或语音进行人机交互，由用户录入该标签所代表的食材信息，完成新标签的登记。
在一种实现方式中，如图10所示，主控板被进一步配置为执行以下流程步骤：
步骤1001，获取食材图像。
主控板获取摄像头模组采集的食材存取过程中的食材图像，并根据食材图像确定出食材的存取动作和存取位置。
步骤1002，判断食材的识别结果是否为空，若是，执行步骤1003，否则执行步骤1004。
主控板根据食材存取过程中的食材图像，判断食材是否通过RFID标签在数据库中确定出对应的食材的食材信息，并得到数据库中对应的食材的识别结果。
步骤1003，确定食材的最终识别结果。
主控板将通过RFID模组得到的数据库中对应的食材的识别结果结合根据食材图像确定出食材的存取动作和存取位置，作为食材的最终识别结果。
步骤1004，判断是否得到食材的种类信息，若是，执行步骤1005，否则执行步骤1006。
主控板判断是否得到摄像头模组根据食材存取过程中的食材图像识别出的食材的种类信息。
步骤1005，输出信息。
若主控板得到的食材的识别结果为食材的食材信息，则将食材的食材信息、存取动作和存取位置确定的食材的最终识别结果发送至显示设备和语音设备。
若主控板得到的食材的识别结果为空，则通过摄像头模组得到的食材的种类信息，并通过语音设备获取用户录入的食材的第一录入信息，并将食材的种类信息、第一录入信息、存取动作和存取位置确定为食材的最终识别结果，并发送至显示设备和语音设备。或直接通过语音设备获取用户录入的食材信息，将录入的食材信息、存取动作和存取位置确定为食材的最终识别结果并发送至显示设备和语音设备。
步骤1006，得到录入的食材信息。
主控板获取用户录入的食材信息，并将用户录入的食材信息作为食材的最终识别结果。
主控板未得到食材的识别结果时，可以获取用户通过显示设备或语音设备录入的食材的食材信息，并将用户录入的食材信息作为食材的最终识别结果。
例如，冰箱中有切好的土豆块，RFID模组未在土豆块上识别到土豆块的RFID标签，因此RFID模组未得到土豆块在数据库中的食材信息，进而主控板未得到土豆块的识别结果，确定识别结果为空。此时，因切好的土豆块因形状等原因，摄像头模组也并未识别出食材种类信息，即摄像头模组未识别出食材为土豆块，主控板未得到通过摄像头模组识别的土豆块的种类信息。此时，主控板可以将用户通过显示设备或语音设备录入的食材的录入信息作为食材的最终识别结果。
本发明提供的技术方案中，主控板在获取到通过RFID模组识别出的食材的识别结果时，优先使用RFID模组识别出的食材的识别结果，具体的，在得到摄像头模组识别出的食材种类、存取动作和存取位置之后，主控板201判断在食材存取过程中，是否得到通过数据库查询或录入标签对应的食材信息等方式确定的识别结果，若得到RFID模组识别的食材识别结果，则将RFID模组识别的食材识别结果取代摄像头模组识别的食材的种类信息，将RFID模组识别的食材识别结果作为最终识别结果，否则主控板判断是否得到摄像头模组识别出的食材的种类信息，若得到了摄像头模组识别出的食材的种类信息，则将摄像头模组识别出的食材的种类信息结合用户录入的第一录入信息、食材的存取动作和存取位置作为最终的识别结果，或者，直接获取的由用户通过冰箱屏幕和/或语音设备进行人机交互录入的食材信息作为食材的最终识别结果，实现多种方式得到食材的最终识别结果，明确食材的详细信息，提升用户的体验。
其中，主控板得到摄像头模组识别出的食材的种类信息，包括以下两种方式。
方式1
主控板201通过摄像头模组202利用传统的特征提取器与分类器实现对食材图像的特征提取、分类器学习训练和测试识别，得到食材的种类，其中，特征提取器包括HOG、LBP、DPM等，分类器可使用SVM、Adaboost、决策树、贝叶斯网络和神经网络等。
方式2
主控板201通过摄像头模组202使用深度学习方法训练和识别食材信息得到食材的种类，其中学习方法包括Fast-CNN、Faster-CNN、YOLO、YOLO 9000等。
在一种实现方式中，如图11所示，主控板被进一步配置为执行以下流程步骤：
步骤1101，主控板确定食材的最终识别结果。
主控板根据得到的食材的识别结果为食材的食材信息，然后结合食材的食材信息、存取动作和存取位置，确定出食材的最终识别结果。
步骤1102，人机交互。
主控板将食材的最终识别结果发送至显示设备上显示以及将最终识别结果发送给语音设备进行语音播报。
步骤1103，主控板存储修改后的食材信息。
主控板获取用户通过语音交互和/或显示设备对显示的最终识别结果进行修改和/或确认，并将修改和/或确认后的食材信息存储值数据库中。
如图12所示，示例性的示出了本发明提供的一种食材存取的方法的流程示意图，对于实际的控制过程，本发明中所述主控板被进一步配置为执行以下程序步骤：
步骤1201，获取所述冰箱门开关门信息和所述冰箱门打开的角度信息。
示例性的，主控板在冰箱门开启时通过冰箱上的开关传感器，得到冰箱门开关门信息，再通过冰箱上的角度传感器得到角度传感器检测的冰箱门打开的角度信息，其中主控板可以周期性的通过开关传感器获取冰箱门开关门信息，周期性的通过角度传感器获取冰箱门打开的角度信息。
步骤1202，根据所述冰箱门开关门信息打开所述摄像头模组，采集食材存取过程中的食材图像；根据所述食材存取过程中的食材图像确定所述食材的存取动作和存取位置。
主控板在得到冰箱门开关门信息后，通过弹出机械模组将智感器上的摄像头弹出，并打开摄像头，通过摄像头采集食材存取过程中的食材图像，并通过摄像头模组获取到该食材图像，主控板再根据获取的食材图像，确认出食材的存取轨迹，根据存取轨迹确定出食材的存取动作和存取位置，然后在获取到冰箱门关闭的信息后，主控板关闭摄像头模组，控制弹出机械模组将摄像头缩回。
进一步地，如图3所示，主控板在确定食材的存取轨迹为冰箱门外向冰箱壳体内移动并跨越冰箱门与冰箱壳体分界线时，确定出食材的存取动作为存入动作，并将食材的存取轨迹的终点确定为存取位置，主控板在食材的存取轨迹为从冰箱壳体内向冰箱门外移动并跨越冰箱门与冰箱壳体分界线时，确定出食材存取动作为取出动作，并将食材的存取轨迹的起点确定为存取位置。例如，用户A做午饭时，打开冰箱门，在冰箱壳体内取出猪肉，然后关上冰箱门，在此过程中，主控板通过开关传感器得到冰箱门打开的信息，控制弹出机械模组弹出摄像头模组的摄像头，主控板得到摄像头采集的用户A在取猪肉过程的食材图像，通过食材图像确定该过程是用户A将猪肉从冰箱壳体内向冰箱门外移动，因此确定该猪肉的存取动作为食材的取出动作，将该食材图像中的起点，作为该猪肉在冰箱壳体内的存取位置。
步骤1203，主控板在确定所述冰箱门打开的角度信息大于预设角度时，启动所述RFID模组识别所述食材上的RFID标签，得到识别结果。
主控板201在得到冰箱门打开的信息后，需要判断冰箱门的冰箱门打开的角度信息，再确定是否启动RFID模组。
进一步地，在冰箱门为单侧门时，主控板获取到冰箱门的冰箱门打开的角度信息。判断该角度是否大于预设角度，例如，将冰箱门打开角度阈值设置为，在判断冰箱门打开的冰箱角度大于90度时，启动RFID模组。
在冰箱门为两侧门时，判断两侧门的开启角度是否均大于预设角度，例如，如图6B中的冰箱俯视图所示，只有当冰箱门的左侧门的冰箱门打开角度，与冰箱门的右侧门的冰箱门打开角度都大于90度(预设角度)时，启动RFID模组。或者在冰箱门为两侧门时，其中一侧门开启且另一侧门未开启，确定开启的那一侧冰箱门的打开角度大于90度，则启动RFID模组。
示例性的，如图6A中冰箱侧视图所示，当主控板获取到冰箱门打开信息为冰箱抽屉103时，冰箱抽屉103被抽出冰箱壳体101时，主控板直接开启RFID模组，例如，冰箱门102没有开启，而冰箱抽屉103被抽出，则主控板通过开关传感器得到冰箱抽屉103打开的信息，控制弹出机械模组弹出RFID天线，并开启RFID模组。
RFID模组开启后，主控板通过RFID模组得到食材上的RFID标签，在数据库中查询得到的该RFID标签，查询出该RFID标签对应的食材的食材信息，并将食材的食材信息确定为食材的识别结果，若是在数据库中并查询到该RFID标签，则通过显示设备或语音设备告知用户，已使用户对该标签对应的食物进行信息录入，得到用户录入该标签对应的食物的信息，并存储至数据库，以使主控板可以根据该RFID标签在数据库中查询出该RFID标签对应的食材的食材信息。例如，用户B在冰箱壳体内取出苹果，主控板通过RFID模组得到苹果上的RFID标签，在数据库中查询出苹果上的RFID标签，进一步得到数据库中关于该苹果的食材信息，如苹果的购买日期等信息。用户B在冰箱壳体内又取出羊肉片，主控板通过RFID模组得到羊肉片上的RFID标签，但是并未在数据库中查询出羊肉片上的RFID标签，则通过显示设备(如冰箱屏幕)和/或语音设备通知用户该羊肉片没有信息，由用户对该羊肉片录入信息，如购买时间，保质期等，然后主控板得到用户录入的该羊肉片的食材信息，存储至数据库，再一次得到该羊肉片的RFID标签时，主控板可以直接得到该羊肉片的食材信息。
步骤1204，主控板根据所述食材的存取动作和存取位置以及所述识别结果，确定所述食材存取的最终识别结果，并根据所述最终识别结果进行食材的管理。
示例性的，主控板通过RFID模组得到食材的识别结果时，优先使用RFID模组识别出的食材的识别结果，例如，用户C在冰箱壳体内取出黄瓜时，摄像头模组识别出的食材种类、存取动作和存取位置，RFID模组识别出黄瓜的食材信息，得到黄瓜的识别结果，则主控板根据通过RFID模组得到的黄瓜的识别结果与通过摄像头模组得到的黄瓜的存取动作和存取位置，确定出黄瓜的最终识别结果。然后将确定出的黄瓜的最终识别结果发送给显示设备(如冰箱屏幕)，在显示设备上显示黄瓜的最终识别结果，还将确定出的黄瓜的最终识别结果发送语音设备进行语音播报。
基于相同的技术构思，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述人机交互的方法。
基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述人机交互的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种冰箱，其特征在于，包括：
冰箱壳体，所述壳体包括储藏室，所述储藏室具有开口；
冰箱门，与所述冰箱壳体活动连接，用于遮挡所述开口；
摄像头模组，所述摄像头模组用于采集图像；
RFID模组，所述RFID模组用于探测RFID标签，且安装于所述冰箱壳体的顶端中部位置；
角度传感器，用于检测所述冰箱门打开的角度信息；
开关传感器，用于检测冰箱门开关门信息；
主控板，所述主控板被配置为：
获取所述冰箱门开关门信息和所述冰箱门打开的角度信息；
根据所述冰箱门开关门信息打开所述摄像头模组，采集食材存取过程中的食材图像；根据所述食材存取过程中的食材图像确定所述食材的存取动作和存取位置；
在确定所述冰箱门打开的角度信息大于预设角度时，启动所述RFID模组识别所述食材上的RFID标签，得到识别结果；所述RFID模组的探测范围不包含所述冰箱壳体、所述冰箱门、所述冰箱的抽屉；通过下述公式(1)和公式(2)分别确定所述RFID模组的水平探测范围的水平角度和竖直角度：
其中，α为RFID模组探测范围的水平角度，a为冰箱壳体宽度，b为两侧冰箱门及冰箱门上托盘的宽度，h为冰箱门的高度；
其中，β为RFID模组探测范围的垂直角度，x为冰箱抽屉最大的抽出长度，y为冰箱顶面到冰箱抽屉上表面之间的长度；
根据所述食材的存取动作和存取位置以及所述识别结果，确定所述食材存取的最终识别结果，并根据所述最终识别结果进行食材的管理。
2.如权利要求1所述的冰箱，其特征在于，所述冰箱包括弹出机械模组；
所述主控板被配置为：
当所述冰箱的一个或多个冰箱门打开，控制所述弹出机械模组将所述摄像头模组弹出，打开所述摄像头模组；
当所述冰箱的所有冰箱门关闭，关闭所述摄像头模组，控制弹出机械模组将所述摄像头模组缩回。
3.如权利要求1所述的冰箱，其特征在于，所述主控板被配置为：
冰箱门为单侧门时，判断所述单侧门的开启角度是否大于预设角度，若是，则启动所述RFID模组；
冰箱门为两侧门时，判断所述两侧门的开启角度是否均大于预设角度，若是，则启动所述RFID模组，或判断所述两侧门中一侧门开启且另一侧门未开启时的打开的角度是否大于所述RFID模组的探测范围的水平角度，若是，则启动所述RFID模组；
冰箱门为冰箱抽屉时，当所述冰箱抽屉打开时，启动所述RFID模组。
4.如权利要求1所述的冰箱，其特征在于，所述主控板被配置为：
判断所述RFID标签是否存在数据库中，若是，则根据所述RFID标签确定出所述RFID标签对应的食材的食材信息，将所述食材信息确定为所述识别结果，否则确定所述识别结果为空。
5.如权利要求1所述的冰箱，其特征在于，所述主控板被配置为：
根据所述食材存取过程中的食材图像，确定所述食材的存取轨迹；
若所述食材的存取轨迹为从所述冰箱门外向所述冰箱壳体内移动并跨越所述冰箱门与所述冰箱壳体分界线，则确定所述食材的存取动作为存入动作，并将所述食材的存取轨迹的终点确定为存取位置；
若所述食材的存取轨迹为从所述冰箱壳体内向冰箱门外移动并跨越冰箱门与冰箱壳体分界线，则确定所述食材存取动作为取出动作，并将所述食材的存取轨迹的起点确定为存取位置。
6.如权利要求1至5任一项所述的冰箱，其特征在于，所述冰箱还包括：
显示设备，所述显示设备用于显示界面；
语音设备，所述语音设备用于语音播报；
所述主控板被配置为：
若识别结果为食材的食材信息，则将所述食材的食材信息、存取动作和存取位置确定为所述食材的最终识别结果；
若所述识别结果为空，则根据所述食材存取过程中的食材图像确定所述食材的种类信息，获取用户通过所述语音设备录入的所述食材的第一录入信息，将所述食材的种类信息、所述第一录入信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；或获取所述用户通过所述语音设备录入的食材信息，将所述录入的食材信息、所述存取动作和所述存取位置确定为所述食材的最终识别结果；
将所述食材的最终识别结果在所述显示设备上进行显示。
7.一种食材存取的方法，其特征在于，包括：
获取冰箱门开关门信息和所述冰箱门打开的角度信息；
根据所述冰箱门开关门信息打开摄像头模组，采集食材存取过程中的食材图像；根据所述食材存取过程中的食材图像确定所述食材的存取动作和存取位置；
在确定所述冰箱门打开的角度信息大于预设角度时，启动RFID模组，识别所述食材上的RFID标签，得到识别结果；所述RFID模组安装于所述冰箱壳体的顶端中部位置；所述RFID模组的探测范围不包含所述冰箱壳体、所述冰箱门、所述冰箱的抽屉；通过下述公式(1)和公式(2)分别确定所述RFID模组的水平探测范围的水平角度和竖直角度：
其中，α为RFID模组探测范围的水平角度，a为冰箱壳体宽度，b为两侧冰箱门及冰箱门上托盘的宽度，h为冰箱门的高度；
其中，β为RFID模组探测范围的垂直角度，x为冰箱抽屉最大的抽出长度，y为冰箱顶面到冰箱抽屉上表面之间的长度；
根据所述食材的存取动作和存取位置以及所述识别结果，确定所述食材存取的最终识别结果，并根据所述最终识别结果进行食材的管理。
8.如权利要求7所述的方法，其特征在于，所述冰箱包括弹出机械模组；
所述根据所述冰箱门开关门信息打开所述摄像头模组，包括：当所述冰箱的一个或多个冰箱门打开，控制所述弹出机械模组将所述摄像头模组弹出，打开所述摄像头模组；
当所述冰箱的所有冰箱门关闭，关闭所述摄像头模组，控制弹出机械模组将所述摄像头模组缩回。
9.如权利要求7所述的方法，其特征在于，所述在确定所述冰箱门打开的角度信息大于预设角度时，启动所述RFID模组，包括：
冰箱门为单侧门时，判断所述单侧门的开启角度是否大于预设角度，若是，则启动所述RFID模组；
冰箱门为两侧门时，判断所述两侧门的开启角度是否均大于预设角度，若是，则启动所述RFID模组，或判断所述两侧门中一侧门开启且另一侧门未开启时的打开的角度是否大于所述RFID模组的探测范围的水平角度，若是，则启动所述RFID模组；
冰箱门为冰箱抽屉时，当所述冰箱抽屉打开时，启动所述RFID模组。
10.如权利要求7所述的方法，其特征在于，识别所述食材上的RFID标签，得到识别结果，包括：
判断所述RFID标签是否存在数据库中，若是，则根据所述RFID标签确定出所述RFID标签对应的食材的食材信息，将所述食材信息确定为所述识别结果，否则确定识别结果为空。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010350819.6A CN113465285B (zh) | 2020-04-28 | 2020-04-28 | 一种冰箱及食材存取的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010350819.6A CN113465285B (zh) | 2020-04-28 | 2020-04-28 | 一种冰箱及食材存取的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113465285A CN113465285A (zh) | 2021-10-01 |
| CN113465285B true CN113465285B (zh) | 2022-06-03 |
Family
ID=77865899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010350819.6A Active CN113465285B (zh) | 2020-04-28 | 2020-04-28 | 一种冰箱及食材存取的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113465285B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022231021A1 (ko) * | 2021-04-27 | 2022-11-03 | 엘지전자 주식회사 | 냉장고 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100749688B1 (ko) * | 2006-09-29 | 2007-08-16 | (주)제이브이엠 | 약품 냉장고의 보안 시스템 및 그 방법 |
| CN105423698A (zh) * | 2016-01-14 | 2016-03-23 | 滁州学院 | 基于rfid的智能冰箱系统 |
| CN208704296U (zh) * | 2018-08-13 | 2019-04-05 | 长虹美菱股份有限公司 | 一种冰箱动态识别装置 |
| CN109631456A (zh) * | 2017-10-06 | 2019-04-16 | 东芝生活电器株式会社 | 冰箱 |
| CN110873510A (zh) * | 2018-08-29 | 2020-03-10 | 博西华电器（江苏）有限公司 | 制冷器具 |
| CN110929658A (zh) * | 2019-11-28 | 2020-03-27 | 青岛海尔智能技术研发有限公司 | 图像识别方法、图像识别装置及冰箱 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5808285A (en) * | 1990-09-17 | 1998-09-15 | Metrologic Instruments, Inc. | Portable code symbol reading device with one-way wireless data packet transmission link to base unit employing condition-dependent acoustical signalling for data packet reception acknowledgement |
| CN102116551A (zh) * | 2009-12-31 | 2011-07-06 | 青岛海尔软件有限公司 | 基于射频识别技术的冰箱管理系统 |
| US20160358508A1 (en) * | 2015-06-05 | 2016-12-08 | Elwha Llc | Smart refrigerator |
| CN109255273A (zh) * | 2018-08-31 | 2019-01-22 | 连云港伍江数码科技有限公司 | 储物设备、储物设备控制方法、装置、冷藏设备及系统 |
-
2020
- 2020-04-28 CN CN202010350819.6A patent/CN113465285B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100749688B1 (ko) * | 2006-09-29 | 2007-08-16 | (주)제이브이엠 | 약품 냉장고의 보안 시스템 및 그 방법 |
| CN105423698A (zh) * | 2016-01-14 | 2016-03-23 | 滁州学院 | 基于rfid的智能冰箱系统 |
| CN109631456A (zh) * | 2017-10-06 | 2019-04-16 | 东芝生活电器株式会社 | 冰箱 |
| CN208704296U (zh) * | 2018-08-13 | 2019-04-05 | 长虹美菱股份有限公司 | 一种冰箱动态识别装置 |
| CN110873510A (zh) * | 2018-08-29 | 2020-03-10 | 博西华电器（江苏）有限公司 | 制冷器具 |
| CN110929658A (zh) * | 2019-11-28 | 2020-03-27 | 青岛海尔智能技术研发有限公司 | 图像识别方法、图像识别装置及冰箱 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113465285A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111442604B (zh) | 一种冰箱及其控制方法 | |
| CN106705564B (zh) | 冰箱的控制方法及冰箱 | |
| JP2021515333A (ja) | ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム | |
| US9639823B2 (en) | Electric product | |
| EP1860041B1 (en) | Storing system | |
| CN106052242B (zh) | 智能冰箱的食品管理方法及食品管理系统 | |
| CN105164481A (zh) | 利用影像识别的冰箱的保管品目管理方法及其冰箱 | |
| CN104949465A (zh) | 一种具有人脸识别功能的冰箱及物品存取方法 | |
| CN106546063A (zh) | 冷藏冷冻装置的食物信息管理方法及系统 | |
| CN106958975B (zh) | 基于食材的冰箱温度控制方法与计算机存储介质 | |
| CN106979647B (zh) | 基于食材的冰箱温度控制方法与计算机存储介质 | |
| CN113465285B (zh) | 一种冰箱及食材存取的方法 | |
| CN113465267B (zh) | 一种智能冰箱、食材管理方法及介质 | |
| WO2021057820A1 (zh) | 制冷电器和用于跟踪所储存物品的方法 | |
| CN110969047A (zh) | 识别食材的方法、装置和冰箱 | |
| CN113063261B (zh) | 冰箱控制方法、冰箱及计算机可读存储介质 | |
| CN111488831B (zh) | 一种食材联想识别方法及冰箱 | |
| US20220325946A1 (en) | Selective image capture using a plurality of cameras in a refrigerator appliance | |
| KR20190090290A (ko) | 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법 | |
| CN112417282B (zh) | 信息推荐方法、食材储藏设备及服务器 | |
| CN113091390B (zh) | 一种冰箱 | |
| CN114152029B (zh) | 一种基于rfid标签的食材管理冰箱及其控制方法 | |
| CN112199406A (zh) | 信息推荐方法、食材存储设备及服务器 | |
| CN105809135A (zh) | 智能冷藏设备和监控智能冷藏设备的方法 | |
| CN105844309B (zh) | 一种出入库识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |