CN104482715B - 冰箱中食物的管理方法和冰箱 - Google Patents

冰箱中食物的管理方法和冰箱 Download PDF

Info

Publication number
CN104482715B
CN104482715B CN201410850615.3A CN201410850615A CN104482715B CN 104482715 B CN104482715 B CN 104482715B CN 201410850615 A CN201410850615 A CN 201410850615A CN 104482715 B CN104482715 B CN 104482715B
Authority
CN
China
Prior art keywords
food
image
refrigerator
action
photographic head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410850615.3A
Other languages
English (en)
Other versions
CN104482715A (zh
Inventor
季涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Midea Intelligent Technologies Co Ltd
Original Assignee
Hefei Hualing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hualing Co Ltd filed Critical Hefei Hualing Co Ltd
Priority to CN201410850615.3A priority Critical patent/CN104482715B/zh
Publication of CN104482715A publication Critical patent/CN104482715A/zh
Application granted granted Critical
Publication of CN104482715B publication Critical patent/CN104482715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明公开了一种冰箱,包括:摄像头,摄像头设置在冰箱上,用于获取用户放入或取出食物的动作过程图像;控制装置,用于对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,其中,食物信息包括食物的名称、存放位置,以及根据动作类型和对应的食物信息对冰箱内的食物统计数据进行管理。本发明只需一个摄像头即可在冰箱开门期间实现智能自动识别用户放入或取出食物的名称以及存放位置等,具有更好的实时性和用户体验,且成本低。本发明还公开了一种冰箱中食物的管理方法。

Description

冰箱中食物的管理方法和冰箱
技术领域
本发明涉及家用电器技术领域,特别涉及一种冰箱中食物的管理方法和一种冰箱。
背景技术
随着计算机技术与信息技术的发展,图像识别技术获得了越来越广泛的应用。例如医疗诊断中各种医学图片的分析与识别、天气预报中的卫星云图识别、指纹识别、脸谱识别等,图像识别技术越来越多地渗透到我们的日常生活中。图像识别技术的涵义很广,主要指通过计算机或者其它软件平台,采用数学计数方法,对一个系统前端获取的图像按照特定目的进行相应地处理。图像识别包括诸如生物特征识别(人脸识别、指纹识别等)技术、智能交通中的动态对象识别、手写识别等。随着计算机技术及人工智能技术的发展,图像识别技术越来越成为人工智能的基础技术,它涉及的技术领域也越来越广泛,应用越来越深入。
同时,家电智能化的浪潮,催生了智能冰箱的产生。智能冰箱对硬件技术和软件技术均进行了升级和革新。如何有效地进行冰箱内食物管理是智能冰箱的核心功能,也是用户非常关注的问题。在智能冰箱的食物管理研究过程中,智能冰箱已经具有了多摄像头进行拍照、远程查看进行食物管理等功能,还有配备了RFID(射频电子标签)、触摸操作等方式进行食物添加、食物删除等功能。尽管这些设备和功能解决了智能冰箱食物管理的部分问题,但是依然没有从根本上解决冰箱内食物管理操作繁琐的问题,仍然需要用户对冰箱内的食物出库、入库进行人工操作来完成食物管理。
相关技术中提出了一种智能冰箱食品管理的方法,该方法在冰箱关门后,通过设置于冰箱内的2个以上摄像头采集冰箱体内的食品图像,进行图像识别,最终实现智能管理冰箱食品。
相关技术中的智能冰箱食品管理的方法仍然存在一些缺点和不足之处,主要表现在:需要2个以上的摄像头,成本高;在冰箱关门后才能识别,不具有实时性;只能智能识别食品名称,无法进行放入/取出动作的识别和食品位置的识别。
发明内容
本发明的目的旨在至少从一定程度上解决上述的技术问题之一。
为此,本发明的一个目的在于提出一种冰箱中食物的管理方法,该冰箱中食物的管理方法只需一个摄像头即可在冰箱开门期间自动识别用户放入或取出食物的动作、食物的名称等,具有更好的实时性和用户体验,且成本低。
本发明的另一个目的在于提出一种冰箱。
为达到上述目的,本发明一方面实施例提出了一种冰箱中食物的管理方法,该冰箱中食物的管理方法,包括以下步骤:通过设置在冰箱上的摄像头获取用户放入或取出食物的动作过程图像;对所述动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,其中,所述食物信息包括食物的名称、存放位置;以及根据所述动作类型和对应的食物信息对所述冰箱内的食物统计数据进行管理。
本发明实施例提出的冰箱中食物的管理方法,在摄像头获取用户放入或取出食物的动作过程图像后,对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,以及根据动作类型和对应的食物信息对冰箱内的食物统计数据进行管理。该冰箱中食物的管理方法只需一个摄像头即可在冰箱开门期间自动识别用户放入或取出食物的动作和食物的名称、存放位置,具有更好的实时性和用户体验,且成本低。
进一步地,在本发明的一个实施例中,所述动作类型包括放入食物动作和取出食物动作。
进一步地,在本发明的一个实施例中,所述对所述动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息具体包括:获取相邻图像中用户手和食物的变化关系,并对所述变化关系进行图像顺序比较以确定所述动作类型;以及对所述动作过程图像进行图像分割以获取所述食物的图像,并对所述食物的图像进行图像模式识别以获取所述对应的食物信息。
进一步地,在本发明的一个实施例中,所述存放位置包括所述食物摆放搁架的层级。
进一步地,在本发明的一个实施例中,所述食物的图像包括所述用户手与所述食物遮挡搁架的图像,所述食物摆放搁架的层级通过对所述用户手与所述食物遮挡搁架的图像进行图像模式识别获取。
进一步地,在本发明的一个实施例中,所述摄像头安装在冰箱间室内部的顶端、或所述冰箱间室内部的底部、或所述冰箱间室外部的顶端、或所述冰箱间室外部的底部。
进一步地,在本发明的一个实施例中,所述摄像头安装在所述冰箱中紧邻的两个间室中上部间室门体的下端或下部间室门体的上端。
为达到上述目的,本发明另一方面实施例还提出了一种冰箱,该冰箱包括:摄像头,所述摄像头设置在所述冰箱上,用于获取用户放入或取出食物的动作过程图像;以及控制装置,用于对所述动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,其中,所述食物信息包括食物的名称、存放位置,以及根据所述动作类型和对应的食物信息对所述冰箱内的食物统计数据进行管理。
本发明实施例提出的冰箱,在摄像头获取用户放入或取出食物的动作过程图像后,控制装置对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,以及根据动作类型和对应的食物信息对冰箱内的食物统计数据进行管理。该冰箱只需一个摄像头即可在冰箱开门期间自动识别用户放入或取出食物的动作和食物的名称、存放位置等,具有更好的实时性和用户体验,且成本低。
进一步地,在本发明的一个实施例中,所述动作类型包括放入食物动作和取出食物动作。
进一步地,在本发明的一个实施例中,所述控制装置包括:动作类型获取模块,所述动作类型获取模块用于获取相邻图像中用户手和食物的变化关系,并对所述变化关系进行图像顺序比较以确定所述动作类型;以及食物信息获取模块,所述食物信息获取模块用于对所述动作过程图像进行图像分割以获取所述食物的图像,并对所述食物的图像进行图像模式识别以获取所述对应的食物信息。
进一步地,在本发明的一个实施例中,所述存放位置包括所述食物摆放搁架的层级。
进一步地,在本发明的一个实施例中,所述食物的图像包括所述用户手与所述食物遮挡搁架的图像,所述食物摆放搁架的层级通过对所述用户手与所述食物遮挡搁架的图像进行图像模式识别获取。
进一步地,在本发明的一个实施例中,所述摄像头安装在冰箱间室内部的顶端、或所述冰箱间室内部的底部、或所述冰箱间室外部的顶端、或所述冰箱间室外部的底部。
进一步地,在本发明的一个实施例中,所述摄像头安装在所述冰箱中紧邻的两个间室中上部间室门体的下端或下部间室门体的上端。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的冰箱中食物的管理方法的流程图;
图2为根据本发明一个具体实施例的冰箱中食物的管理方法的流程图;
图3为根据本发明实施例的冰箱的方框示意图;
图4为根据本发明一个具体实施例的冰箱,当摄像头安装在间室内部的顶端时的位置示意图;
图5为根据本发明一个具体实施例的冰箱,当摄像头安装在间室外部的顶端时的位置示意图;
图6为根据本发明另一个具体实施例的冰箱,当摄像头安装在冰箱中紧邻的两个间室中上部间室门体的下端时的位置示意图;
图7为根据本发明另一个具体实施例的冰箱,当摄像头安装在冰箱中紧邻的两个间室中下部间室门体的上端时的位置示意图;以及
图8为根据本发明一个实施例的冰箱的方框示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外,以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例,也可以包括另外的特征形成在第一和第二特征之间的实施例,这样第一和第二特征可能不是直接接触。
在本发明的描述中,需要说明的是,除非另有规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
下面参照附图来描述根据本发明实施例提出的冰箱中食物的管理方法和冰箱。
如图1所示,本发明实施例的冰箱中食物的管理方法,包括以下步骤:
S1,通过设置在冰箱上的摄像头获取用户放入或取出食物的动作过程图像。
具体地,在本发明的一个实施例中,摄像头可以安装在冰箱间室内部的顶端、或冰箱间室内部的底部、或冰箱间室外部的顶端、或冰箱间室外部的底部等能够获取用户放入或取出食物的动作过程图像的位置。具体地,在本发明的另一个实施例中,摄像头可以安装在冰箱中紧邻的两个间室中上部间室门体的下端或下部间室门体的上端等能够获取用户放入或取出食物的动作过程图像的位置。
在本发明的一个实施例中,可以在冰箱开门后启动摄像头。进一步地,在本发明的一个具体实施例中,获取用户放入或取出食物的动作过程图像具体可以为:连续拍摄用户放入或取出食物过程的一组图像(照片),该组图像包括静态搁架图像、用户手与食物遮挡搁架的图像以及没有食物的用户手图像等。
S2,对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,其中,食物信息包括食物的名称、存放位置。
具体地,对动作过程图像进行图像分割可以为对用户手的轮廓线、食物的轮廓线等进行分割。另外,在本发明的一个实施例中,还可以对动作过程图像进行图像顺序比较。需要说明的是,对于摄像头拍摄的动作过程图像即连续拍摄的一组图像,进行图像分割、图像模式识别、图像顺序比较这三种动作的先后次序是可以交换的,例如图像分割-图像模式识别-图像顺序比较、图像分割-图像顺序比较-图像模式识别、图像顺序比较-图像模式识别-图像分割等次序,而且对动作过程图像进行图像分割、图像模式识别、图像顺序比较这三种动作可以同时进行或两两同时进行,例如图像分割和图像模式识别同时进行、图像分割和图像顺序比较同时进行等。
在本发明的一个实施例中,动作类型可以包括放入食物动作和取出食物动作等。进一步地,在本发明的一个实施例中,对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息具体可以包括:
S21,获取相邻图像中用户手和食物的变化关系,并对变化关系进行图像顺序比较以确定动作类型。
S22,对动作过程图像进行图像分割以获取食物的图像,并对食物的图像进行图像模式识别以获取对应的食物信息。
其中,对食物的图像进行图像模式识别后,即可自动获得与食物的名称相关的食物信息。
S3,根据动作类型和对应的食物信息对冰箱内的食物统计数据进行管理。
在本发明的一个实施例中,存放位置可以包括食物摆放搁架的层级。具体地,在本发明的一个实施例中,食物的图像包括用户手与食物遮挡搁架的图像,食物摆放搁架的层级通过对用户手与食物遮挡搁架的图像进行图像模式识别获取。在本发明的一个实施例中,食物统计数据可以存储在存储器中。
在本发明的一个具体实施例中,如图2所示,冰箱中食物的管理方法包括以下步骤:
S21,检测冰箱的开门信号。
在检测到冰箱的开门信号后,进入步骤S22。
S22,启动摄像头。
S23,摄像头拍摄照片。
S24,对照片进行图像预处理。
其中,对照片进行图像预处理可以便于后续进行图像分割、图像模式识别等动作。
S25,对照片进行图像分割。
S26,对图像分割后的照片进行特征提取。
其中,提取的特征可以为色彩、鲜艳度、色彩组合、灰度、纹理、轮廓、形状、粗糙度、斑纹等中的一种或多种。
S27,当前图像分割后的照片与前次图像分割后的照片进行图像顺序比较。
S28,根据比较结果判定动作类型。
S29,对分割后的食物照片进行图像模式识别以确定食物的名称。
S210,根据图像模式识别结果判定食物摆放搁架的层级。
S211,判断是否检测到冰箱的关门信号。
如果是,则进入步骤S212,如果否,则返回步骤S23。
S212,关闭摄像头。
S213,输出食物统计数据。
S214,结束。
本发明实施例提出的冰箱中食物的管理方法,在摄像头获取用户放入或取出食物的动作过程图像后,对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,以及根据动作类型和对应的食物信息对冰箱内的食物统计数据进行管理。该冰箱中食物的管理方法只需一个摄像头即可在冰箱开门期间自动识别用户放入或取出食物的动作、食物的名称和存放位置,具有更好的实时性和用户体验,且成本低。
本发明另一方面实施例还提出了一种冰箱1,如图3所示,该冰箱1包括:摄像头2以及控制装置3。其中,摄像头2设置在冰箱1上,用于获取用户放入或取出食物的动作过程图像。控制装置3用于对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,其中,食物信息包括食物的名称、存放位置,以及根据动作类型和对应的食物信息对冰箱1内的食物统计数据进行管理。
具体地,在本发明的一个实施例中,摄像头2可以安装在冰箱间室4内部的顶端、或冰箱间室4内部的底部、或冰箱间室4外部的顶端、或冰箱间室4外部的底部等能够获取用户放入或取出食物的动作过程图像的位置。其中,在本发明的一个具体实施例中,当摄像头2安装在冰箱间室4内部的顶端时如图4所示,当摄像头2安装在冰箱间室4外部的顶端时如图5所示。
具体地,在本发明的另一个实施例中,摄像头2可以安装在冰箱1中紧邻的两个间室4中上部间室门体5的下端或下部间室门体6的上端等能够获取用户放入或取出食物的动作过程图像的位置。其中,在本发明的一个具体实施例中,当摄像头2安装在冰箱1中紧邻的两个间室4中上部间室门体5的下端时如图6所示,当摄像头2安装在冰箱1中紧邻的两个间室4中下部间室门体6的上端时如图7所示。
在本发明的一个实施例中,控制装置3可以在冰箱1开门后启动摄像头2。进一步地,在本发明的一个具体实施例中,摄像头2取用户放入或取出食物的动作过程图像具体可以为:摄像头2连续拍摄用户放入或取出食物过程的一组图像(照片),该组图像包括静态搁架图像、用户手与食物遮挡搁架的图像以及没有食物的用户手图像等。
具体地,对动作过程图像进行图像分割可以为对用户手的轮廓线、食物的轮廓线等进行分割。另外,在本发明的一个实施例中,控制装置3还可以对动作过程图像进行图像顺序比较。需要说明的是,对于摄像头2拍摄的动作过程图像即连续拍摄的一组图像,控制装置3进行图像分割、图像模式识别、图像顺序比较这三种动作的先后次序是可以交换的,例如图像分割-图像模式识别-图像顺序比较、图像分割-图像顺序比较-图像模式识别、图像顺序比较-图像模式识别-图像分割等次序,而且控制装置3对动作过程图像进行图像分割、图像模式识别、图像顺序比较这三种动作可以同时进行或两两同时进行,例如图像分割和图像模式识别同时进行、图像分割和图像顺序比较同时进行等。
进一步地,在本发明的一个实施例中,动作类型可以包括放入食物动作和取出食物动作。进一步地,在本发明的一个实施例中,控制装置3可以包括动作类型获取模块31和食物信息获取模块32。其中,动作类型获取模块31用于获取相邻图像中用户手和食物的变化关系,并对变化关系进行图像顺序比较以确定动作类型。食物信息获取模块32用于对动作过程图像进行图像分割以获取食物的图像,并对食物的图像进行图像模式识别以获取对应的食物信息。其中,食物信息获取模块32对食物的图像进行图像模式识别后,即可自动获得与食物的名称相关的食物信息。
进一步地,在本发明的一个实施例中,存放位置可以包括食物摆放搁架的层级。具体地,在本发明的一个实施例中,食物的图像包括用户手与食物遮挡搁架的图像,食物摆放搁架的层级可以通过对用户手与食物遮挡搁架的图像进行图像模式识别获取。
在本发明的一个实施例中,如图8所示,食物统计数据可以存储在存储器4中,控制装置3可以为单片机等,其中,冰箱1中的控制装置3还可以通过通信接口5与冰箱1外的设备进行通信。
本发明实施例提出的冰箱,在摄像头获取用户放入或取出食物的动作过程图像后,控制装置对动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,以及根据动作类型和对应的食物信息对冰箱内的食物统计数据进行管理。该冰箱只需一个摄像头即可在冰箱开门期间自动识别用户放入或取出食物的动作、食物的名称和存放位置,具有更好的实时性和用户体验,且成本低。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

Claims (14)

1.一种冰箱中食物的管理方法,其特征在于,包括以下步骤:
通过设置在冰箱上的摄像头获取用户放入或取出食物的动作过程图像;
对所述动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,其中,所述食物信息包括食物的名称、存放位置;以及
根据所述动作类型和对应的食物信息对所述冰箱内的食物统计数据进行管理。
2.如权利要求1所述的冰箱中食物的管理方法,其特征在于,所述动作类型包括放入食物动作和取出食物动作。
3.如权利要求2所述的冰箱中食物的管理方法,其特征在于,所述对所述动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息具体包括:
获取相邻图像中用户手和食物的变化关系,并对所述变化关系进行图像顺序比较以确定所述动作类型;以及
对所述动作过程图像进行图像分割以获取所述食物的图像,并对所述食物的图像进行图像模式识别以获取所述对应的食物信息。
4.如权利要求3所述的冰箱中食物的管理方法,其特征在于,所述存放位置包括所述食物摆放搁架的层级。
5.如权利要求4所述的冰箱中食物的管理方法,其特征在于,所述食物的图像包括所述用户手与所述食物遮挡搁架的图像,所述食物摆放搁架的层级通过对所述用户手与所述食物遮挡搁架的图像进行图像模式识别获取。
6.如权利要求1所述的冰箱中食物的管理方法,其特征在于,所述摄像头安装在冰箱间室内部的顶端、或所述冰箱间室内部的底部、或所述冰箱间室外部的顶端、或所述冰箱间室外部的底部。
7.如权利要求1所述的冰箱中食物的管理方法,其特征在于,所述摄像头安装在所述冰箱中紧邻的两个间室中上部间室门体的下端或下部间室门体的上端。
8.一种冰箱,其特征在于,包括:
摄像头,所述摄像头设置在所述冰箱上,用于获取用户放入或取出食物的动作过程图像;以及
控制装置,用于对所述动作过程图像进行图像分割、图像模式识别以确定动作类型和对应的食物信息,其中,所述食物信息包括食物的名称、存放位置,以及根据所述动作类型和对应的食物信息对所述冰箱内的食物统计数据进行管理。
9.如权利要求8所述的冰箱,其特征在于,所述动作类型包括放入食物动作和取出食物动作。
10.如权利要求9所述的冰箱,其特征在于,所述控制装置包括:
动作类型获取模块,所述动作类型获取模块用于获取相邻图像中用户手和食物的变化关系,并对所述变化关系进行图像顺序比较以确定所述动作类型;以及
食物信息获取模块,所述食物信息获取模块用于对所述动作过程图像进行图像分割以获取所述食物的图像,并对所述食物的图像进行图像模式识别以获取所述对应的食物信息。
11.如权利要求10所述的冰箱,其特征在于,所述存放位置包括所述食物摆放搁架的层级。
12.如权利要求11所述的冰箱,其特征在于,所述食物的图像包括所述用户手与所述食物遮挡搁架的图像,所述食物摆放搁架的层级通过对所述用户手与所述食物遮挡搁架的图像进行图像模式识别获取。
13.如权利要求8所述的冰箱,其特征在于,所述摄像头安装在冰箱间室内部的顶端、或所述冰箱间室内部的底部、或所述冰箱间室外部的顶端、或所述冰箱间室外部的底部。
14.如权利要求8所述的冰箱,其特征在于,所述摄像头安装在所述冰箱中紧邻的两个间室中上部间室门体的下端或下部间室门体的上端。
CN201410850615.3A 2014-12-31 2014-12-31 冰箱中食物的管理方法和冰箱 Active CN104482715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410850615.3A CN104482715B (zh) 2014-12-31 2014-12-31 冰箱中食物的管理方法和冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410850615.3A CN104482715B (zh) 2014-12-31 2014-12-31 冰箱中食物的管理方法和冰箱

Publications (2)

Publication Number Publication Date
CN104482715A CN104482715A (zh) 2015-04-01
CN104482715B true CN104482715B (zh) 2016-08-24

Family

ID=52757286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410850615.3A Active CN104482715B (zh) 2014-12-31 2014-12-31 冰箱中食物的管理方法和冰箱

Country Status (1)

Country Link
CN (1) CN104482715B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104949465B (zh) * 2015-06-30 2018-09-14 合肥美的电冰箱有限公司 一种具有人脸识别功能的冰箱及物品存取方法
CN105184231B (zh) * 2015-08-14 2018-11-23 北京京东尚科信息技术有限公司 一种储物空间的图像采集系统及方法
CN105208355A (zh) * 2015-10-21 2015-12-30 合肥华凌股份有限公司 一种冰箱数据采集方法、系统及冰箱
CN105513052B (zh) * 2015-11-26 2018-01-12 四川长虹电器股份有限公司 一种冰箱内食物存量及变质信息探知系统及方法
CN105758108B (zh) * 2016-03-09 2018-12-28 北京京东尚科信息技术有限公司 用于智能冷藏设备的信息反馈方法和装置
CN105737477B (zh) * 2016-04-21 2018-04-17 合肥华凌股份有限公司 一种冰箱
CN106204573A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 一种智能冰箱的食品管理方法及系统
CN107763956A (zh) * 2016-08-23 2018-03-06 海信(山东)冰箱有限公司 一种冰箱及其控制方法
CN106382789B (zh) * 2016-08-30 2019-04-02 青岛海尔股份有限公司 冰箱内储物信息的管理方法与冰箱
WO2018040105A1 (zh) * 2016-09-05 2018-03-08 合肥华凌股份有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN107816841B (zh) * 2016-09-14 2020-08-07 青岛海尔智能技术研发有限公司 冰箱间室内部食物种类的检测系统及其检测方法
CN106679321A (zh) * 2016-12-19 2017-05-17 Tcl集团股份有限公司 一种智能冰箱食物管理方法及智能冰箱
CN106642973A (zh) * 2016-12-21 2017-05-10 合肥华凌股份有限公司 冰箱及冰箱用摄像头安装结构、翻转梁止挡
CN106907890A (zh) * 2017-02-23 2017-06-30 海信(山东)冰箱有限公司 一种智能冰箱的食材管理方法及智能冰箱
CN107525342B (zh) * 2017-07-26 2020-04-21 合肥美的智能科技有限公司 物品信息录入方法、系统和冰箱
CN109425190A (zh) * 2017-08-24 2019-03-05 九阳股份有限公司 一种冰箱食材管理方法
JP7211700B2 (ja) * 2017-10-06 2023-01-24 東芝ライフスタイル株式会社 冷蔵庫、表示システム
JP7012262B2 (ja) * 2017-10-06 2022-01-28 パナソニックIpマネジメント株式会社 冷蔵庫
CN108038411A (zh) * 2017-10-31 2018-05-15 珠海格力电器股份有限公司 账单生成方法、装置及冰箱
JP7164296B2 (ja) * 2017-12-04 2022-11-01 東芝ライフスタイル株式会社 冷蔵庫
CN108038509B (zh) * 2017-12-21 2020-08-04 合肥美的智能科技有限公司 基于图像识别模型的图像识别方法和装置
CN109297244B (zh) * 2018-09-13 2020-09-29 四川长虹电器股份有限公司 一种新型的智能冰箱食材管理方法
CN109284728B (zh) * 2018-10-08 2020-12-18 深圳市微埃智能科技有限公司 识别物品的方法、装置、设备和存储介质
CN111102797A (zh) * 2018-10-25 2020-05-05 上海瀚强信息科技有限公司 一种基于人工智能的智慧冰箱
WO2020101061A1 (en) 2018-11-14 2020-05-22 Samsung Electronics Co., Ltd. Method and device for managing food in refrigerator
CN111256423B (zh) * 2018-11-30 2021-11-26 海尔智家股份有限公司 冰箱的储藏物信息管理方法与冰箱
CN111767759A (zh) * 2019-04-01 2020-10-13 青岛海尔智能技术研发有限公司 食材识别的系统、方法、设备及存储介质
US10785456B1 (en) * 2019-09-25 2020-09-22 Haier Us Appliance Solutions, Inc. Methods for viewing and tracking stored items
DE102020202932A1 (de) 2020-03-06 2021-09-09 BSH Hausgeräte GmbH Bevorratungsvorrichtung
CN111486656B (zh) * 2020-04-08 2022-04-08 海信(山东)冰箱有限公司 一种冷藏设备及其控制方法
CN111539282A (zh) * 2020-04-15 2020-08-14 海信集团有限公司 一种储藏室物品存取位置的识别方法及冰箱
TWI747653B (zh) * 2020-12-08 2021-11-21 台灣松下電器股份有限公司 存取物品的判斷方法及智慧冰箱
CN112984945B (zh) * 2021-02-03 2022-06-17 北京戴纳实验科技有限公司 一种样本进出冰箱的管理方法
CN113566490A (zh) * 2021-08-25 2021-10-29 四川虹美智能科技有限公司 冰箱食品管理方法和冰箱

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102032740B (zh) * 2009-09-29 2013-06-05 爱国者电子科技有限公司 冰箱
CN102297564A (zh) * 2011-09-13 2011-12-28 合肥美菱股份有限公司 一种冰箱用食品管理系统及管理方法
CN202281453U (zh) * 2011-09-16 2012-06-20 海尔集团公司 一种设有新鲜度检测装置的冰箱
CN102589247A (zh) * 2012-02-27 2012-07-18 合肥美菱股份有限公司 可实现远程监控的智能食品管理冰箱系统
CN103196277B (zh) * 2013-03-29 2016-05-25 惠州Tcl家电集团有限公司 冰箱食品管理方法和系统、服务器、冰箱
KR102026730B1 (ko) * 2013-04-08 2019-09-30 엘지전자 주식회사 냉장고
CN105222520B (zh) * 2013-04-23 2019-03-29 Lg电子株式会社 冰箱及其控制方法
DE102013211095A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einer Tür
DE102013216764B3 (de) * 2013-08-23 2014-09-04 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
CN103499184A (zh) * 2013-09-04 2014-01-08 周薇 一种手机监控的冰箱
CN204478714U (zh) * 2014-12-31 2015-07-15 合肥华凌股份有限公司 冰箱

Also Published As

Publication number Publication date
CN104482715A (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
CN104482715B (zh) 冰箱中食物的管理方法和冰箱
CN204478714U (zh) 冰箱
CN105373785B (zh) 基于深度神经网络的手势识别检测方法与装置
CN110751022B (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN105612554B (zh) 用于表征通过视频医疗设备获取的图像的方法
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
CN109003390A (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN107358157A (zh) 一种人脸活体检测方法、装置以及电子设备
CN108780497A (zh) 一种皮肤瑕疵点分类方法及电子设备
CN108229369A (zh) 图像拍摄方法、装置、存储介质及电子设备
CN109242844A (zh) 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质
CN103534664A (zh) 存在感测
CN108647671A (zh) 一种光学标识视觉识别方法及基于该方法的无人售货柜
Qian et al. A new approach to polyp detection by pre-processing of images and enhanced faster R-CNN
CN113239993B (zh) 一种病理图像的分类系统、终端及计算机可读存储介质
CN108198130A (zh) 图像处理方法、装置、存储介质及电子设备
US11468296B2 (en) Relative position encoding based networks for action recognition
US20150278631A1 (en) Filtering methods for visual object detection
CN109259528A (zh) 一种基于人脸识别与肤质检测的家居智能镜子
CN109610132A (zh) 衣物洗涤方法、装置和控制器
US20160034813A1 (en) Method for counting number of people based on appliance usages and monitoring system using the same
CN102708572A (zh) 更新场景模型的方法和系统、使用该方法的照相机系统
CN109543744B (zh) 一种基于龙芯派的多类别深度学习图像识别方法及其应用
CN114930407A (zh) 用于训练或使用机器学习模型的系统、显微镜系统、方法和计算机程序
Haryanto et al. Convolutional Neural Network (CNN) for gland images classification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180207

Address after: 230601 Building No. 198, building No. 198, Mingzhu Avenue, Anhui high tech Zone, Anhui

Patentee after: Hefei Midea Intelligent Technology Co., Ltd.

Address before: 230601 Hefei economic and Technological Development Zone, Anhui Jinxiu Road, No. 176

Patentee before: Hefei Hualing Co., Ltd.

TR01 Transfer of patent right