CN107024073A - 基于深度学习的多传感器智能冰箱控制方法和智能冰箱 - Google Patents

基于深度学习的多传感器智能冰箱控制方法和智能冰箱 Download PDF

Info

Publication number
CN107024073A
CN107024073A CN201710283190.6A CN201710283190A CN107024073A CN 107024073 A CN107024073 A CN 107024073A CN 201710283190 A CN201710283190 A CN 201710283190A CN 107024073 A CN107024073 A CN 107024073A
Authority
CN
China
Prior art keywords
refrigerator
food materials
image
measured
storeroom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710283190.6A
Other languages
English (en)
Inventor
张卫山
孙浩云
赵德海
徐亮
卢清华
李忠伟
宫文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201710283190.6A priority Critical patent/CN107024073A/zh
Publication of CN107024073A publication Critical patent/CN107024073A/zh
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/003—Arrangement or mounting of control or safety devices for movable devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明涉及一种基于深度学习的多传感器智能冰箱控制方法和智能冰箱，冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，控制方法包括：获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。

Description

基于深度学习的多传感器智能冰箱控制方法和智能冰箱
技术领域
本发明属于智能冰箱领域，具体涉及一种基于深度学习的多传感器智能冰箱控制方法和智能冰箱。
背景技术
随着智能时代和互联网时代的到来，人民的生活水平不断提高，生活节奏也不断加快，智能冰箱作为智能家电的代表，已经成为各大企业争相开发的突破性产品，物品自动识别技术无疑是一项非常重要的关键技术，只有获取物品种类，才谈得上其他服务功能，深度学习的出现使高效率、高准确率的物品识别成为了可能。
目前智能冰箱的功能主要包括食品管理功能、物联云服务功能和各种冰箱控制系统，其中食品管理功能包括针对冰箱内食物信息的查询功能，但是针对这一功能目前市场上普遍采用RFID射频标签以及图像识别来进行查询，这两种方法的识别率都不高，原因在于食品种类繁多，没有相对规则的形态，受限于技术本身，目前的方案无法具有相对高的食品识别率。
深度学习是目前机器学习发展的最高度，人工神经网络作为深度学习中的一种方法，在物体识别、图像处理、音频识别等领域有着较高的效果。对目标识别和语音识别，人工神经网络有着可以自动学习目标特征和寓意特征的优势，减少人工干预，提取出高质量的特征，从而为提高目标识别和语音识别的准确率打下了坚实的基础。
云计算是一种新的计算模式，它运用先进的存储架构和分布式计算为用户提供成本低廉、方便快速的体验。云计算技术的出现使得海量的视频数据处理、挖掘成为可能。
发明内容
针对现有技术中存在的不足，本发明提出了一种基于深度学习的多传感器智能冰箱控制方法，结合图像处理、深度学习、云计算实现了冰箱内部食材的种类识别、重量计算和语音识别。
本发明采用下面的技术方案：
一种基于深度学习的多传感器智能冰箱控制方法，所述冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，该方法包括：
获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；
获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；
获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。
进一步的，所述第一卷积神经网络模型与第二卷积神经网络模型采用三层结构，分别为输入层、隐含层和输出层。
进一步的，当向冰箱储藏室内放置食材后，关联所述待测食材种类和待测食材重量，同时显示所述信息，存储历史食材种类和相应的重量。
进一步的，所述第一图像或第二图像包括静态图像与视频流图像，当为视频流图像时，对其进行解码得到一系列静态图像，取一系列静态图像的中间图像作为待测图像。
进一步的，对所述第一图像和第二图像进行预处理，提取图像的ROI区域。
本发明还提出了一种基于深度学习的多传感器智能冰箱，包括处理器和与处理器相连的：
多个摄像装置，用于获取冰箱储藏室内部各个区域的图像；
压力传感器，用于获取冰箱储藏室内部来自全部食材的压力；
语音采集器，用于获取语音开门或闭门指令；
驱动机构，用于驱动冰箱门开启与关闭；
所述处理器具有无线通信模块，处理器将所述多个摄像装置、压力传感器和语音采集器获取的数据发送至云计算平台，所述云计算平台内置有视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型，云计算平台采用视觉检测算法获取待测食材图像，采用第一卷积神经网络模型对所述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；基于所述第一压力和第二压力，得到待测食材重量；采用第二卷积神经网络模型识别语音开门或闭门指令；将所述待测食材种类的识别结果、待测食材重量的计算结果和语音识别结果返回至处理器，处理器通过驱动机构控制冰箱门开启与关闭。
进一步的，在所述冰箱门外侧还具有触敏显示器，用于显示历史食材种类和相应的重量，并可选择得删除记录的食材种类及相应的重量。
进一步的，在所述摄像装置的取景窗前涂有防雾层，用于在冰箱运行温度下获取清晰的待测食材图像。
进一步的，所述驱动机构包括在冰箱门与冰箱本体之间设置的控制器和电机驱动模块，控制器分别与电机驱动模块和处理器相连，包括有电机和电机驱动芯片，电机的转轴与冰箱门的旋转轴连接。
进一步的，对所述云计算平台内置的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型进行修改或更换，用以适应不同的待测食材与语音。
本发明的有益效果是：
(1)将深度学习与云计算技术结合，形成了具有高准确率、高效率、大规模计算能力的后台云服务系统；
(2)将图像目标识别与深度学习相结合，提高了目标识别的准确率和效率。
(3)将冰箱管理系统与目标识别和语音识别相结合，使冰箱更加智能化、操作更方便。
(4)本发明利用云计算平台，可以随时对视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型进行修改或更换，用以适应更多食材形态的识别和语义识别。
附图说明
图1为本发明的方法流程图；
具体实施方式：
下面结合附图与实施例对本发明作进一步说明：
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明的一种典型实施例是一种基于深度学习的多传感器智能冰箱控制方法，如图1所示：冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，该方法包括以下步骤：
获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；
获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于第一压力和第二压力，得到待测食材重量；
获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。
本实施例中获取的放置食材前后图像可以是静态图像，也可以是视频流，对于静态图像，我们直接采用视觉检测方法对其进行预处理，得到图像的ROI区域；对于视频流，我们首先对其进行解码操作，得到一系列的静态图像，分别选取放置食材前后的两幅图像，对其进行视觉检测，同样的，得到图像的ROI区域。通过模式识别或者特征提取对第一图像和第二图像的ROI区域进行检测，获得待测的食材图像，也就是本次放入冰箱的食材图像，将该食材图像输入至第一卷积神经网络中进行训练。
本实施例中的第一卷积神经网络是预训练好的，它具有三层结构，分别为输入层、隐含层和输出层。本实施例中第一卷积神经网络的训练样本包括各种水果、蔬菜、蛋类、饮料、肉类、鱼类的规则图像，但也不限于上述类别；同时本实施例中的第一卷积神经网络并非一成不变，可以在使用过程中重新训练，调整参数。通过对上述训练样本的识别，采用预训练好的第一卷积神经网络对待测食材图像进行检测，就可以预测出本次放置在冰箱内的食材是什么种类。本实施例将图像目标识别与深度学习相结合，提高了目标也就是待测食材种类识别的准确率和效率。
在对食材进行种类识别的同时，本实施例中还对放置食材前后的储藏室的压力进行检测，所述储藏室的压力是指储藏室内全部食材作用于储藏室的压力，通过获取该压力，可以计算出放置食材的重量，将该重量与食材的种类进行关联，同时存储，并显示在冰箱外部，供用户了解冰箱内部的食材及其重量。
本实施例还包括对语义进行识别的第二卷积神经网络，该第二卷积神经网络也是预训练好的，其目的是用于对用户的开门和关门指令进行识别，这里第二卷积神经网络的训练样本包括具有“开”和“关”之中文意思的各种表达形式，包括方言、外语以及各种经过解释后可以理解为“开”和“关”的语音；通过对上述训练样本的训练，得到第二卷积神经网络模型，采用该模型对用户的语音进行识别，如果识别为开门或关门，则控制冰箱门自动开启或关闭。本实施将冰箱管理系统与语音识别相结合，使冰箱更加智能化、操作更方便。
作为对上述实施例的一种改进，第二卷积神经网络的训练样本可以排除儿童语音所在频率的样本，这样就形成了一种“儿童锁”，可以排除儿童随便开关冰箱门。
本实施例将冰箱的控制与目标识别、语音识别相结合，可以获取冰箱内部食材的种类及重量，并向用户展示，无需手动开关冰箱门，通过语义识别控制冰箱门的开闭。
本发明的再一实施例是采用上述方法的智能冰箱：包括处理器和与处理器相连的多个摄像装置，用于获取冰箱储藏室内部各个区域的图像；压力传感器，用于获取冰箱储藏室内部来自全部食材的压力；语音采集器，用于获取语音开门或闭门指令；驱动机构，用于驱动冰箱门开启与关闭。
本实施例中的处理器具有无线通信模块，处理器将多个摄像装置、压力传感器和语音采集器获取的数据发送至云计算平台，云计算平台内置有视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型，云计算平台采用视觉检测算法获取待测食材图像，采用第一卷积神经网络模型对所述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；基于所述第一压力和第二压力，得到待测食材重量；采用第二卷积神经网络模型识别语音开门或闭门指令；将所述待测食材种类的识别结果、待测食材重量的计算结果和语音识别结果返回至处理器，处理器通过驱动机构控制冰箱门开启与关闭。
本实施例中在所述冰箱门外侧设置有触敏显示器，用于显示历史食材种类和相应的重量，并可选择得删除记录的食材种类及相应的重量。用户可以通过该触敏显示器获知冰箱内部的食材种类以及重量，对于错误的信息予以删除，对于已取出的食材也可以予以删除，实现冰箱内食材种类以及重量的正确表达。
由于冰箱内部的温度较低，普通的摄像装置不适于应用在冰箱内部，我们在本实施例中设置防凝露层或者防雾层，也可以是其他提高摄像清晰度的涂层于取景窗前，使得在冰箱运行温度下也可以获取清晰的待测食材图像。
当用户通过语音采集器传达开门或关门的语义时，控制器解析到该语义，进一步的控制驱动机构实现对冰箱门的开启与关闭，驱动机构包括在冰箱门与冰箱本体之间设置的控制器和电机驱动模块，电机驱动模块与控制器相连，包括有电机和电机驱动芯片，电机的转轴与冰箱门的旋转轴连接。
本实施例中的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型均设置在云计算平台上，处理器用过无线通信模块与云计算平台相连，云计算可以运用先进的存储架构和分布式计算为用户提供成本低廉、方便快速的体验，其可以处理海量的视频数据。本实施例采用云计算平台对待测食材进行种类识别、重量计算以及对语音识别，得出结果后通过无线通信模块再返回至处理器，处理器将食材的种类及其重量存储并显示，并控制冰箱门的开启与闭合。
本实施例中云计算平台内置的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型可以进行修改或更换，用以适应不同的待测食材与语音。
本实施例将深度学习与云计算技术结合，形成了具有高准确率、高效率、大规模计算能力的后台云服务系统；同时将冰箱的控制与目标识别、语音识别相结合，获取冰箱内部食材的种类及重量，并向用户展示，无需手动开关冰箱门，通过语义识别控制冰箱门的开闭。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于深度学习的多传感器智能冰箱控制方法，所述冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，其特征在于，包括：
获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；
获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；
获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。
2.根据权利要求1所述的方法，其特征在于：所述第一卷积神经网络模型与第二卷积神经网络模型采用三层结构，分别为输入层、隐含层和输出层。
3.根据权利要求1所述的方法，其特征在于：当向冰箱储藏室内放置食材后，关联所述待测食材种类和待测食材重量，同时显示所述信息，存储历史食材种类和相应的重量。
4.根据权利要求3所述的方法，其特征在于：所述第一图像或第二图像包括静态图像与视频流图像，当为视频流图像时，对其进行解码得到一系列静态图像，取一系列静态图像的中间图像作为待测图像。
5.根据权利要求1所述的方法，其特征在于：对所述第一图像和第二图像进行预处理，提取图像的ROI区域。
6.一种基于权利要求1的多传感器智能冰箱，其特征在于，包括处理器和与处理器相连的：
多个摄像装置，用于获取冰箱储藏室内部各个区域的图像；
压力传感器，用于获取冰箱储藏室内部来自全部食材的压力；
语音采集器，用于获取语音开门或闭门指令；
驱动机构，用于驱动冰箱门开启与关闭；
所述处理器具有无线通信模块，处理器将所述多个摄像装置、压力传感器和语音采集器获取的数据发送至云计算平台，所述云计算平台内置有视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型，云计算平台采用视觉检测算法获取待测食材图像，采用第一卷积神经网络模型对所述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；基于所述第一压力和第二压力，得到待测食材重量；采用第二卷积神经网络模型识别语音开门或闭门指令；将所述待测食材种类的识别结果、待测食材重量的计算结果和语音识别结果返回至处理器，处理器通过驱动机构控制冰箱门开启与关闭。
7.根据权利要求6所述的多传感器智能冰箱，其特征在于：在所述冰箱门外侧还具有触敏显示器，用于显示历史食材种类和相应的重量，并可选择得删除记录的食材种类及相应的重量。
8.根据权利要求6所述的多传感器智能冰箱，其特征在于：在所述摄像装置的取景窗前涂有防雾层，用于在冰箱运行温度下获取清晰的待测食材图像。
9.根据权利要求6所述的多传感器智能冰箱，其特征在于：所述驱动机构包括在冰箱门与冰箱本体之间设置的控制器和电机驱动模块，控制器分别与电机驱动模块和处理器相连，包括有电机和电机驱动芯片，电机的转轴与冰箱门的旋转轴连接。
10.根据权利要求6所述的多传感器智能冰箱，其特征在于：对所述云计算平台内置的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型进行修改或更换，用以适应不同的待测食材与语音。
CN201710283190.6A 2017-04-26 2017-04-26 基于深度学习的多传感器智能冰箱控制方法和智能冰箱 Pending CN107024073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710283190.6A CN107024073A (zh) 2017-04-26 2017-04-26 基于深度学习的多传感器智能冰箱控制方法和智能冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710283190.6A CN107024073A (zh) 2017-04-26 2017-04-26 基于深度学习的多传感器智能冰箱控制方法和智能冰箱

Publications (1)

Publication Number Publication Date
CN107024073A true CN107024073A (zh) 2017-08-08

Family

ID=59527555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710283190.6A Pending CN107024073A (zh) 2017-04-26 2017-04-26 基于深度学习的多传感器智能冰箱控制方法和智能冰箱

Country Status (1)

Country Link
CN (1) CN107024073A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609554A (zh) * 2017-09-12 2018-01-19 海信（山东）冰箱有限公司 一种识别冰箱中食材的方法及装置
CN107665336A (zh) * 2017-09-20 2018-02-06 厦门理工学院 智能冰箱中基于Faster‑RCNN的多目标检测方法
CN108168204A (zh) * 2017-12-27 2018-06-15 广西南宁英凡达科技有限公司 冰箱控制方法及系统
CN108615298A (zh) * 2018-06-13 2018-10-02 上海韬林机械有限公司 一种组合使用商品识别技术的售卖机
CN108759246A (zh) * 2018-06-29 2018-11-06 无锡和晶科技股份有限公司 一种冰箱变温室及其自适应温度控制方法
CN108759294A (zh) * 2018-07-14 2018-11-06 王长贵 一种冰箱智能识别和管理系统
CN109258786A (zh) * 2018-11-15 2019-01-25 上海中信信息发展股份有限公司 自动环境调节设备及贮藏保鲜仓
CN109375681A (zh) * 2018-11-15 2019-02-22 上海中信信息发展股份有限公司 环境调节方法及装置
CN109945594A (zh) * 2019-03-22 2019-06-28 上海五宝网络科技有限公司 基于动态视频检测的智能视觉冰箱
CN110287207A (zh) * 2019-06-30 2019-09-27 北京健康有益科技有限公司 一种基于密度表的食物质量估测方法
GB2573363A (en) * 2018-02-07 2019-11-06 Winnow Solutions Ltd A method and system for classifying food items
CN110806049A (zh) * 2019-10-16 2020-02-18 广东以诺通讯有限公司 一种智能冰箱
CN110857831A (zh) * 2018-08-23 2020-03-03 珠海格力电器股份有限公司 控制冰箱温度的方法及装置
CN110966834A (zh) * 2018-09-30 2020-04-07 青岛海尔智能技术研发有限公司 识别冰箱内食材种类的方法与冰箱
CN110969047A (zh) * 2018-09-28 2020-04-07 珠海格力电器股份有限公司 识别食材的方法、装置和冰箱
CN111811181A (zh) * 2020-06-28 2020-10-23 董潇儒 一种人工智能冰箱
EP3745304A4 (en) * 2018-03-13 2021-03-31 Samsung Electronics Co., Ltd. REFRIGERATOR, AND SYSTEM AND ITS CONTROL PROCESS
CN113124635A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113465252A (zh) * 2020-05-29 2021-10-01 海信集团有限公司 智能冰箱及智能冰箱内的抽屉状态检测方法
CN113496245A (zh) * 2020-06-23 2021-10-12 青岛海信电子产业控股股份有限公司 智能冰箱及识别存取食材的方法
CN113606858A (zh) * 2021-08-10 2021-11-05 长虹美菱股份有限公司 一种冰箱温度设置及修正提醒装置和控制方法
CN114111203A (zh) * 2021-11-24 2022-03-01 广西成电智能制造产业技术有限责任公司 食材移动识别系统、方法、设备及电路
US20220155007A1 (en) * 2020-11-17 2022-05-19 Haier Us Appliance Solutions, Inc. Inventory management system for a refrigerator appliance

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120016744A1 (en) * 2002-07-25 2012-01-19 Google Inc. Method and System for Providing Filtered and/or Masked Advertisements Over the Internet
CN104636757A (zh) * 2015-02-06 2015-05-20 中国石油大学(华东) 一种基于深度学习的食物图像识别方法
CN105096939A (zh) * 2015-07-08 2015-11-25 百度在线网络技术（北京）有限公司 语音唤醒方法和装置
CN105208355A (zh) * 2015-10-21 2015-12-30 合肥华凌股份有限公司 一种冰箱数据采集方法、系统及冰箱
CN105352260A (zh) * 2015-11-10 2016-02-24 合肥海尔电冰箱有限公司 冰箱内储物信息的更新方法及装置
CN105512676A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种智能终端上的食物识别方法
CN106529564A (zh) * 2016-09-26 2017-03-22 浙江工业大学 一种基于卷积神经网络的食物图像自动分类方法
CN106529667A (zh) * 2016-09-23 2017-03-22 中国石油大学(华东) 一种大数据环境下基于模糊深度学习的测井相识别与分析方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120016744A1 (en) * 2002-07-25 2012-01-19 Google Inc. Method and System for Providing Filtered and/or Masked Advertisements Over the Internet
CN104636757A (zh) * 2015-02-06 2015-05-20 中国石油大学(华东) 一种基于深度学习的食物图像识别方法
CN105096939A (zh) * 2015-07-08 2015-11-25 百度在线网络技术（北京）有限公司 语音唤醒方法和装置
CN105208355A (zh) * 2015-10-21 2015-12-30 合肥华凌股份有限公司 一种冰箱数据采集方法、系统及冰箱
CN105352260A (zh) * 2015-11-10 2016-02-24 合肥海尔电冰箱有限公司 冰箱内储物信息的更新方法及装置
CN105512676A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种智能终端上的食物识别方法
CN106529667A (zh) * 2016-09-23 2017-03-22 中国石油大学(华东) 一种大数据环境下基于模糊深度学习的测井相识别与分析方法
CN106529564A (zh) * 2016-09-26 2017-03-22 浙江工业大学 一种基于卷积神经网络的食物图像自动分类方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609554A (zh) * 2017-09-12 2018-01-19 海信（山东）冰箱有限公司 一种识别冰箱中食材的方法及装置
CN107665336A (zh) * 2017-09-20 2018-02-06 厦门理工学院 智能冰箱中基于Faster‑RCNN的多目标检测方法
CN108168204A (zh) * 2017-12-27 2018-06-15 广西南宁英凡达科技有限公司 冰箱控制方法及系统
GB2573363A (en) * 2018-02-07 2019-11-06 Winnow Solutions Ltd A method and system for classifying food items
US11425338B2 (en) 2018-03-13 2022-08-23 Samsung Electronics Co., Ltd. Refrigerator, and system and method for controlling same
EP3745304A4 (en) * 2018-03-13 2021-03-31 Samsung Electronics Co., Ltd. REFRIGERATOR, AND SYSTEM AND ITS CONTROL PROCESS
CN108615298A (zh) * 2018-06-13 2018-10-02 上海韬林机械有限公司 一种组合使用商品识别技术的售卖机
CN108759246A (zh) * 2018-06-29 2018-11-06 无锡和晶科技股份有限公司 一种冰箱变温室及其自适应温度控制方法
CN108759294A (zh) * 2018-07-14 2018-11-06 王长贵 一种冰箱智能识别和管理系统
CN110857831A (zh) * 2018-08-23 2020-03-03 珠海格力电器股份有限公司 控制冰箱温度的方法及装置
CN110969047A (zh) * 2018-09-28 2020-04-07 珠海格力电器股份有限公司 识别食材的方法、装置和冰箱
CN110966834A (zh) * 2018-09-30 2020-04-07 青岛海尔智能技术研发有限公司 识别冰箱内食材种类的方法与冰箱
CN109258786A (zh) * 2018-11-15 2019-01-25 上海中信信息发展股份有限公司 自动环境调节设备及贮藏保鲜仓
CN109375681A (zh) * 2018-11-15 2019-02-22 上海中信信息发展股份有限公司 环境调节方法及装置
CN109945594A (zh) * 2019-03-22 2019-06-28 上海五宝网络科技有限公司 基于动态视频检测的智能视觉冰箱
CN110287207A (zh) * 2019-06-30 2019-09-27 北京健康有益科技有限公司 一种基于密度表的食物质量估测方法
CN110806049A (zh) * 2019-10-16 2020-02-18 广东以诺通讯有限公司 一种智能冰箱
CN113124635A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113465252A (zh) * 2020-05-29 2021-10-01 海信集团有限公司 智能冰箱及智能冰箱内的抽屉状态检测方法
CN113496245A (zh) * 2020-06-23 2021-10-12 青岛海信电子产业控股股份有限公司 智能冰箱及识别存取食材的方法
CN111811181A (zh) * 2020-06-28 2020-10-23 董潇儒 一种人工智能冰箱
US20220155007A1 (en) * 2020-11-17 2022-05-19 Haier Us Appliance Solutions, Inc. Inventory management system for a refrigerator appliance
US11692769B2 (en) * 2020-11-17 2023-07-04 Haier Us Appliance Solutions, Inc. Inventory management system for a refrigerator appliance
CN113606858A (zh) * 2021-08-10 2021-11-05 长虹美菱股份有限公司 一种冰箱温度设置及修正提醒装置和控制方法
CN114111203A (zh) * 2021-11-24 2022-03-01 广西成电智能制造产业技术有限责任公司 食材移动识别系统、方法、设备及电路

Similar Documents

Publication Publication Date Title
CN107024073A (zh) 基于深度学习的多传感器智能冰箱控制方法和智能冰箱
CN109829436B (zh) 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN107965828B (zh) 抽油烟机的吸风状态控制方法和抽油烟机
US20200097776A1 (en) Method and system for providing information related to a status of an object in a refrigerator
CN105910225A (zh) 一种基于人员信息检测的空调负荷控制系统及方法
CN108647671B (zh) 一种光学标识视觉识别方法及基于该方法的无人售货柜
CN105138953B (zh) 一种基于连续的多实例学习的视频中动作识别的方法
Zhang et al. Pretraining deep actor-critic reinforcement learning algorithms with expert demonstrations
CN108900346A (zh) 基于lstm网络的无线网络流量预测方法
CN110210320A (zh) 基于深度卷积神经网络的多目标无标记姿态估计方法
CN108280436A (zh) 一种基于堆叠递归单元的多级残差网络的动作识别方法
CN105447510B (zh) 基于人工蜂群优化lssvm的脉动风速预测方法
CN110333692A (zh) 基于热红外的猪只发热自动监测诊断系统
CN108168204A (zh) 冰箱控制方法及系统
CN110136210A (zh) 一种监控装置泄露的智能预警系统
US20230168027A1 (en) Control system and control method of refrigeration environment in closed space based on computer vision
US12014271B2 (en) Training image classifiers
Ma et al. Algorithm of strawberry disease recognition based on deep convolutional neural network
CN102676634B (zh) 一种气调包装生鲜冷却牛肉腐败菌生长预测方法
Liu et al. Tomato pest recognition algorithm based on improved YOLOv4
CN109059197A (zh) 一种电梯空调的舒适度调节方法
CN107180229A (zh) 一种监控视频中基于运动方向的异常行为检测方法
CN103940191B (zh) 一种基于传感技术的冰箱感应控制系统及感应控制方法
CN107527060A (zh) 一种冷藏装置存储物管理系统和冷藏装置
CN114494941A (zh) 一种基于对比学习的弱监督时序动作定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170808

RJ01 Rejection of invention patent application after publication