CN110807363A - 食材管理的方法及装置、冷藏设备 - Google Patents

食材管理的方法及装置、冷藏设备 Download PDF

Info

Publication number
CN110807363A
CN110807363A CN201910919624.6A CN201910919624A CN110807363A CN 110807363 A CN110807363 A CN 110807363A CN 201910919624 A CN201910919624 A CN 201910919624A CN 110807363 A CN110807363 A CN 110807363A
Authority
CN
China
Prior art keywords
image
food material
information
hand
opt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910919624.6A
Other languages
English (en)
Inventor
张坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Guochuang Intelligent Home Appliance Research Institute Co ltd
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Guochuang Intelligent Home Appliance Research Institute Co ltd
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Guochuang Intelligent Home Appliance Research Institute Co ltd, Qingdao Haier Smart Technology R&D Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Guochuang Intelligent Home Appliance Research Institute Co ltd
Priority to CN201910919624.6A priority Critical patent/CN110807363A/zh
Publication of CN110807363A publication Critical patent/CN110807363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/003—Arrangement or mounting of control or safety devices for movable devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能设备技术领域，公开一种食材管理的方法及装置、冷藏设备。该方法包括：获取冷藏设备中满足设定条件的视频信息；对所述视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带所述位置信息的所述第一图像组成的图像队列，其中，所述第一图像中携带了手部图像；将所述图像队列中每个设定关节的位置信息，输入已配置的运动行为机器学习训练算法模型中，得到所述手部运动运动信息，并在所述第一图像包括食材图像的情况下，对所述食材图像进行图像识别，确定食材信息；根据所述手部运动运动信息，所述食材信息，进行所述冷藏设备的食材管理。这样，提高了冷藏设备食材识别以及食材管理的准确性。

Description

食材管理的方法及装置、冷藏设备
技术领域
本申请涉及智能设备技术领域，例如涉及食材管理的方法及装置、冷藏设备。
背景技术
随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，特别是对于冷藏设备而言，例如：冰箱，冰柜等，作为使用频率较高的日常家电之一，其智能化发展是至关重要的。
目前，冷藏设备对食材进行管理时，可通过冷藏设备中的摄像头获取到食材图像，进行图像识别后，得到对应食材信息，并通过图像之间的比对，可以确定食材的进出信息，从而，进行对应的食材管理，但是，冷藏设备中可能会有抽屉或者分隔盒，这样，操作抽屉或者分隔盒时，可能会造成食材的遮挡，从而，不能获取到食材的清晰图像，导致食材识别准确率不高，从而也导致食材进出信息也不够准确，使得冷藏设备智能管理不够准确。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种食材管理的方法、装置和冷藏设备，以解决冷藏设备中食材管理准确性不高的技术问题。
在一些实施例中，所述方法包括：
获取冷藏设备中满足设定条件的视频信息；
对所述视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带所述位置信息的所述第一图像组成的图像队列，其中，所述第一图像中携带了手部图像；
将所述图像队列中每个设定关节的位置信息，输入已配置的运动行为机器学习训练算法模型中，得到所述手部运动运动信息，并在所述第一图像包括食材图像的情况下，对所述食材图像进行图像识别，确定食材信息；
根据所述手部运动运动信息，所述食材信息，进行所述冷藏设备的食材管理。
在一些实施例中，所述装置包括：
信息获取模块，被配置为获取冷藏设备中满足设定条件的视频信息；
整理获取模块，被配置为对所述视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带所述位置信息的所述第一图像组成的图像队列，其中，所述第一图像中携带了手部图像；
信息识别模块，被配置为将所述图像队列中每个设定关节的位置信息，输入已配置的运动行为机器学习训练算法模型中，得到所述手部运动运动信息，并在所述第一图像包括食材图像的情况下，对所述食材图像进行图像识别，确定食材信息；
食材管理模块，被配置为根据所述手部运动运动信息，所述食材信息，进行所述冷藏设备的食材管理。
在一些实施例中，所述冷藏设备包括：上述食材管理的装置。
本公开实施例提供的食材管理的方法、装置和冷藏设备，可以实现以下技术效果：
获取冷藏设备中满足设定条件的视频信息后，可提取每帧包括手部图像的第一图像中手部设定关节的位置信息，并输入到已配置的运动行为机器学习训练算法模型中，得到手部运动运动信息，这样，通过动态的手部运动，确定食材的进出信息，提高了食材进出信息的准确性，进而也提高了食材管理的准确性。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种食材管理方法的流程示意图；
图2是本公开实施例提供的一种冰箱控制硬件的结构示意图；
图3是本公开实施例提供的一种获取冰箱中视频信息的流程示意图
图4是本公开实施例提供的一种冰箱中食材管理方法的流程示意图；
图5是本公开实施例提供的一种食材管理装置的结构示意图；
图6是本公开实施例提供的一种食材管理装置的结构示意图；
图7是本公开实施例提供的一种食材管理装置的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例中，获取冷藏设备中满足设定条件的视频信息后，可提取每帧包括手部图像的第一图像中手部设定关节的位置信息，并输入到已配置的运动行为机器学习训练算法模型中，得到手部运动运动信息，这样，通过动态的手部运动，确定食材的进出信息，提高了食材进出信息的准确性，进而也提高了食材管理的准确性。并且，还可在第一图像包括食材图像的情况下根据第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形；并基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息，这样，只对手部的食材进行识别，减少结构部件或其他食材遮挡的几率，提高了食材识别的准确率，进一步提高了食材管理的准确性。
图1是本公开实施例提供的一种食材管理方法的流程示意图。如图1所示，食材管理的过程包括：
步骤101：获取冷藏设备中满足设定条件的视频信息。
本公开实施例中，冷藏设备可包括：冰箱、冰柜、或冷饮贩售机等等。一般，可在冷藏设备中配置图像采集设备，例如：顶部配置摄像头，通过图像采集设备可冷藏设备中的图像或视频信息。
图像采集设备可定时启动，获取冷藏设备中的图像，或录取设定时间的视频信息。或者，图像采集设备可在触发信号的控制下开启或关闭，从而获取到对应的图像或视频信息。在一些实施例中，获取冷藏设备中满足设定条件的视频信息包括：在确定冷藏设备的门体被打开的的情况下，启动配置的图像采集设备，进行视频信息采集；而在确定冷藏设备的门体被关闭的情况下，关闭图像采集设备，停止视频信息采集。即从门体开启到门体关闭这一过程为设定条件。获取的视频信息为门体开启到门体关闭这一过程中，冷藏设备中的视频信息。
冷藏设备中可能会有抽屉或者分隔盒等这样的结构部件，还可根据操作结构部件来触发图像采集设备。在一些实施例中，获取冷藏设备中满足设定条件的视频信息包括：在确定冷藏设备中抽屉被拉开的情况下，启动配置的图像采集设备，进行视频信息采集；在确定冷藏设备中抽屉被关闭的情况下，关闭图像采集设备，停止视频信息采集。即抽屉被拉开到抽屉被关闭这一过程为设定条件。获取的视频信息为抽屉被拉开到抽屉被关闭这一过程中，冷藏设备中的视频信息。
步骤102：对视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带位置信息的第一图像组成的图像队列，其中，第一图像中携带了手部图像。
获取视频信息的同时，可对视频信息中的每帧图像进行图像识别，检测是否包括手部图像？若包括手部图像，即可确定为第一图像。将正在识别的一帧图像确定为当前帧图像，这样，在一些实施例中，可在当前帧图像包括手部图像的情况下，将当前帧图像确定为第一图像，然后，基于卷积神经网络CNN关键点回归的算法，提取当前帧图像中手部设定关节的位置信息。
手部有多个关节，例如：轴关节，腕关节，大拇指第一关节，大拇指第二关节，食指第一关节，食指第二关节，食指第三关节，…，可将其中的一个，两个或多个关节确定为设定关节，从而，可通过CNN关键点回归的算法，提取当前帧图像中手部设定关节的位置信息，可分别为Lh1，Lh2，Lh3...。
每获取视频信息中的一帧图像，即可进行图像识别，这样，可得到携带位置信息的第一图像组成的图像队列。
其中，在当前帧图像包括手部图像，且当前帧图像的前第一设定帧数的图像都不为第一图像的情况下，将当前帧图像确定为图像队列的起始第一图像；而在当前帧图像不包括手部图像，且当前帧图像的前第二设定帧数的图像都为第一图像的情况下，将当前帧图像的前一帧图像确定为图像队列的结束第一图像。
当然，若当前帧图像包括手部图像，且当前帧图像的前第一设定帧数的图像都第一图像，此时，直接将当前帧图像顺序排入图像队列中即可。而若当前帧图像不包括手部图像，且当前帧图像的前第二设定帧数的图像都不为第一图像，此时，表明最近一段时间内都不存在手部运动行为，因此该图像不需处理。
其中，第一设定帧数可为3、5、或10等等帧数，而第二设定帧数可与第一设定帧数相等或不相等，也可为5、10、15、或20等等帧数。
步骤103：将图像队列中每个设定关节的位置信息，输入已配置的运动行为机器学习训练算法模型中，得到手部运动运动信息，并在第一图像包括食材图像的情况下，对食材图像进行图像识别，确定食材信息。
本申请实施例中，已通过大量的样本数据，配置了运动行为机器学习训练算法模型，在一些实施例中，运动行为机器学习训练算法模型的配置过程可包括：基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设定关节的位置信息，其中，同种类运动行为中的每个训练样本视频信息的被提取视频帧数为预设最大提取帧数；通过机器学习算法，对每个手部设定关节的位置信息进行监督训练，生成运动行为机器学习训练算法模型。
运动行为可包括：食材取出，食材放入和异常行为者三个种类，从而，可预先采集这三个种类的视频信息，即获得已知运动行为的训练样本视频信息。因为要进行机器学习，因此，每一种类的视频信息都比较多，例如：1000～2000个，当然每一种类的视频信息携带的食材也尽量多一些，可包括500～600种食材，同样，进行数据预处理时，可基于卷积神经网络CNN关键点回归的算法，提取每个视频信息中每帧图像中每个手部设定关节的位置信息。每帧图像对应的位置信息可为Lh1，Lh2，Lh3...Lhw，其中，w为设定关节的个数。对于每个训练样本视频信息，被提取视频帧数是多个，且不一定相同。假设同一种类样本中共有n个样本，即有n个训练样本视频信息，可记w为该种类样本的横向维度，而每个视频信息中被提取帧数h称为某种类样本纵向维度，其纵向维度有h1，h2，h3，...，hn，则需将每个训练样本视频信息的被提取视频帧数确定为相同帧数，可为预设最大提取帧数。
在一些实施例中，可取预设最大提取帧数
h＝max(h1，h2，....，hn) (3)
这样，只需要将同一种类中任一样本的纵向维度调整到h即可，从而同一种类中每个样本对应的横向维度都是一致的，为w；纵向维度也都是一致的，为h，即得到特征矩阵信息Lhw×h。维度调整的方法推荐使用双线性插值的方式，或者也可以最近邻插值方式等。
可见，同种类运动行为中的每个训练样本视频信息的被提取视频帧数都是相同，都为预设最大提取帧数。
对数据进行预处理后，可调用机器学习算法，对每个特征矩阵信息Lhw×h进行监督训练，生成运动行为机器学习训练算法模型。在一些实施例中，机器学习算法包括：贝叶斯算法、支持向量机算法、决策树算法、Boosting算法或bp神经网络分类器算法。
通过大量的样本进行机器学习配置了运动行为机器学习训练算法模型，并且，在步骤102中也可获得了携带位置信息的第一图像组成的图像队列，从而也得到了采集的视频信息对应的特征矩阵信息Lhw×h，同样，w为设定关节的个数，h为第一图像的帧数。从而，将特征矩阵信息Lhw×h输入已配置的运动行为机器学习训练算法模型中，即可得到手部运动运动信息。得到的手部运动信息可包括：食材取出运动信息，食材放入运动信息，或异常运动信息。
当然，配置运动行为机器学习训练算法模型时采用的样本不仅仅可包括三个种类的样本，还可有其他运动类型的样本，这样，确定的手部运动信息可以有多种。
本公开实施例中，还需进行食材的识别。可对第一图像进行图像识别，确定食材信息。可采用目前相关的食材识别方法进行识别，在一些实施例中，可采用最优外接矩阵的方式进行食材识别，因此，对食材图像进行图像识别，确定食材信息可包括：根据第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形；基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息。
而确定裁剪食材图像的外接矩形包括：为每个手部设定关节配置权重系数，分别为α1、α2、α3、...、αw，其中W为设定关节的个数；通过公式(1)和(2)，确定裁剪食材图像的外接矩形的左上角坐标为ptl，pbr；
Figure BDA0002217159120000071
fbenefit(Lhi (opt),Lhj (opt))＝area(Lhi (opt),Lhj (opt))·αi·αj (2)
其中，Lh1 (opt)、Lh2 (opt)、Lh3 (opt)、...、Lhw (opt)为每个手部设定关节的位置信息，area(Lhi (opt)，Lhj (opt))表示以(Lhi (opt)，Lhj (opt))两点围成的矩形的面积。
根据手部拿取食材的行为习惯，可确定有些手部关节与食材的距离比较近，例如：拇指第一关节，有的手部关节与食材的距离比较远，例如：轴关节。手部关节与食材越近，对应的权重系数就越大，而手部关节与食材越远，对应的权重系数就越小，例如：拇指第一关节对应的权重系数就大于轴关节对应的权重系数。
配置了权重系数α1、α2、α3、...、αw后，可通过公式(1)，(2)，确定最优的外接矩形的左上角坐标为ptl，pbr，从而得到裁剪食材图像的外接矩形。然后，基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息。在一些实施例中，卷积神经网络CNN的分类算法可包括：inception系列算法或者resnet系列算法。
步骤104：根据手部运动运动信息，食材信息，进行冷藏设备的食材管理。
已确定了手部运动运动信息和食材信息，即可进行冷藏设备的食材管理，包括：更新食材存储信息，进行食材变更播放等等。例如：可在冷藏设备的显示界面上显示“XX食材已取出”，或者，不仅在显示界面上显示“XX食材已放入”，且通过语音播放装置进行语音播放。当然，还可将食材变更信息发送给用户终端进行提醒等，具体就不一一例举了。
可见，获取冷藏设备中满足设定条件的视频信息后，可提取每帧包括手部图像的第一图像中手部设定关节的位置信息，并输入到已配置的运动行为机器学习训练算法模型中，得到手部运动运动信息，这样，通过动态的手部运动，确定食材的进出信息，提高了食材进出信息的准确性，进而也提高了食材管理的准确性。并且，还可在第一图像包括食材图像的情况下根据第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形；并基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息，这样，只对手部的食材进行识别，减少结构部件或其他食材遮挡的几率，提高了食材识别的准确率，进一步提高了食材管理的准确性。
下面将操作流程集合到具体实施例中，举例说明本发明实施例提供的食材管理过程。
本公开一实施例中，冷藏设备可为冰箱，冰箱的顶部配置的图像采集设备，这里为摄像头，冰箱的处理器可控制摄像头获取藏设备中的视频信息，并进行图像识别，得到手部运动运动信息以及食材信息，然后，进行食材管理，在食材管理过程，处理器可在冰箱的显示屏上进行信息显示。
图2是本公开实施例提供的一种冰箱控制硬件的结构示意图。如图2所示，冰箱控制硬件包括：控制处理模块100、摄像头200，以及显示屏300，其中，控制处理模块100包括：视频算法处理板110和控制电路板120。
其中，控制处理模块100的控制电路板120监测配置在冰箱抽屉上的位置传感器，在获取根据位置传感器确定的抽屉被拉开的第一信号的情况下，则通过视频算法处理板110启动摄像头200进行视频信息采集，即控制处理模块100在确定冰箱中抽屉被拉开的情况下，启动配置的摄像头，进行视频信息采集。若控制电路板120获取根据位置传感器确定的抽屉被关闭的第二信号的情况下，则通过视频算法处理板110关闭摄像头200进行视频信息采集，即控制处理模块100在确定冰箱中抽屉被关闭的情况下，关闭配置的摄像头，停止视频信息采集。
控制处理模块100中的视频算法处理板110可对摄像头200采集到的视频信息进行实时分析和识别，得到包括手部运动运动信息和食材信息的识别结果，并发送给控制电路板120。从而，控制电路板120可进行冰箱食材管理，包括：食材存储信息更新，以及将更新后的食材信息发送给显示屏300进行显示。
当然，本公开一实施例中，还可将视频算法处理板和控制电路板配置到一个电路板中，即控制处理模块即可控制摄像头，显示屏，还可对摄像头采集到的视频信息进行实时分析和识别，得到包括手部运动运动信息和食材信息的识别结果，最后进行对应食材管理，具体结构就不例举了。
基于上述冰箱控制硬件的结构，冰箱中的控制处理模块可对食材进行管理。
图3是本公开实施例提供的一种获取冰箱中视频信息的流程示意图。如图3所示，获取冰箱中视频信息的过程包括：
步骤301：判断冰箱中抽屉是否被拉开？若是，执行步骤302，否则，返回步骤301。
本实施例中，可通过判断是否获取根据位置传感器确定的抽屉被拉开的第一信号，来判断冰箱中抽屉是否被拉开？若是，执行步骤302，否则，返回步骤301。
步骤302：向摄像头发送启动信号，启动摄像头进行视频信息采集。
控制处理模块生成启动信号并向摄像头发送。当然，也可控制处理模块中控制电路板发送启动信号，而视频算法处理板监听到启动信号，发送给摄像头。
步骤303：判断冰箱中抽屉是否被关闭？若是，执行步骤304，否则，返回步骤302。
同样，可通过判断是否获取根据位置传感器确定的抽屉被关闭的第二信号，来判断抽屉是否被关闭？
步骤304：向摄像图发送关闭信号，关闭摄像头，停止视频信息采集。返回步骤301。
同样，控制处理模块是整体电路板时，可直接生成关闭信号并向摄像头发送。当然，也可控制处理模块中控制电路板发送关闭信号，而视频算法处理板监听到关闭信号，发送给摄像头。
可见，本实施例中，抽屉从打开到关闭这一过程是设定条件，获取抽屉从打开到关闭这一过程中冰箱中的视频信息，这样，动态获取视频信号，可减少获取食材被遮挡视频的几率，进一步提高食材识别，食材管理的准确率。
获取了冰箱中抽屉从打开到关闭这一过程的视频信息，则可进行食材的识别了。本公开实施例中，冰箱中已预存了运动行为机器学习训练算法模型。该模型在配置过程中，可基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设定关节的位置信息Lhi，形成与每个同种类训练样本视频信息对应的特征矩阵信息Lhw×h，其中，w为设定关节的个数，h＝max(h1，h2，....，hn)，即每个训练样本视频信息的被提取视频帧数确定为相同帧数，为最大提取帧数。这样，将同一种类中任一样本的纵向维度调整到h，这里，可使用双线性插值的方式，调整纵向维度。在一个实施例中，双线性插值的方式可具体是根据每帧图像的坐标点进行双线性差值。
图4是本公开实施例提供的一种冰箱中食材管理方法的流程示意图。如图4所示，冰箱中食材管理的过程包括：
步骤401：根据时间先后顺序，将获取的视频信息中一帧图像确定为当前帧图像。
步骤402：判断当前帧图像是否包括手部图像？若是，执行步骤403，否则，执行步骤408。
步骤403：将当前帧图像确定为第一图像。
步骤404：基于卷积神经网络CNN关键点回归的算法，提取当前帧图像中手部设定关节的位置信息，可分别为Lh1，Lh2，Lh3...。
步骤405：判断前10帧图像是否都为第一图像？若否，执行步骤406，若是，执行步骤407。
步骤406：创建图像队列，将当前帧图像确定为图像队列的起始第一图像。转入步骤410。
步骤407：将当前帧图像以及对应的手部设定关节的位置信息放入图像队列中。转入步骤410。
步骤408：判断前20帧图像是否都为第一图像？若是，执行步骤409。否则，执行步骤410。
步骤409：将当前帧图像的前一帧图像确定为图像队列的结束第一图像。转入步骤410
步骤410：判断视频信息中每帧图像都已为当前帧图像？若是，执行步骤411，若否，返回步骤401。
步骤411：根据图像队列中每个设定关节的位置信息，获得对应的特征矩阵信息Lhw×h。
步骤412：将特征矩阵信息Lhw×h输入已配置的运动行为机器学习训练算法模型中，得到手部运动运动信息。
步骤413：在第一图像包括食材图像的情况下，对食材图像进行图像识别，确定食材信息。
其中，为包括食材图像的第一图像中每个手部设定关节配置权重系数，分别为α1、α2、α3、...、αw。通过公式(1)和(2)，确定裁剪食材图像的外接矩形的左上角坐标为ptl，pbr，从而，确定了裁剪食材图像的外接矩形。其中，Lh1 (opt)、Lh2 (opt)、Lh3 (opt)、...、Lhw (opt)为每个手部设定关节的位置信息，area(Lhi (opt)，Lhj (opt))表示以(Lhi (opt)，Lhj (opt))两点围成的矩形的面积。
Figure BDA0002217159120000111
fbenefit(Lhi (opt),Lhj (opt))＝area(Lhi (opt),Lhj (opt))·αi·αj (2)
然后，基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息。
步骤414：根据手部运动运动信息，食材信息，进行冷藏设备的食材管理。
控制处理模块是一个整理电路板时，上述步骤401-414都可由控制处理模块完成，若控制处理模块包括控制电路板和视频算法处理板时，上述步骤401-413都可由视频算法处理板完成，这样，视频算法处理板识别出手部运动运动信息和食材信息后，发送给控制电路板，控制电路板可根据手部运动运动信息，食材信息，进行冷藏设备的食材管理。具体可包括以下至少一种：更新食材储存信息，控制显示屏显示食材更新信息，控制语音播放装置播放食材更新信息，向终端发送食材更新信息。
可见，本实施例中，通过已配置的运动行为机器学习训练算法模型，动态确定手部运动运动信息，从而，通过动态的手部运动，确定食材的进出信息，提高了食材进出信息的准确性，进而也提高了食材管理的准确性。并基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息，这样，只对手部的食材进行识别，减少结构部件或其他食材遮挡的几率，提高了食材识别的准确率，进一步提高了食材管理的准确性。另外，冰箱中的控制处理模块进行食材的实时识别，进一步提高了食材识别以及管理的速度。并且，通过屏幕显示，语音播放，或者终端通讯提醒显示的方式，也可进一步提高冰箱的智能性，以及提高用户交互式的体验。
根据上述食材管理的过程，可构建一种食材管理的装置。
图5是本公开实施例提供的一种食材管理装置的结构示意图。如图5所示，食材管理装置包括：信息获取模块510、整理获取模块520、信息识别模块530以及食材管理模块540。
信息获取模块510，被配置为被配置为获取冷藏设备中满足设定条件的视频信息。
整理获取模块520，被配置为对视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带位置信息的第一图像组成的图像队列，其中，第一图像中携带了手部图像。
信息识别模块530，被配置为将图像队列中每个设定关节的位置信息，输入已配置的运动行为机器学习训练算法模型中，得到手部运动运动信息，并在第一图像包括食材图像的情况下，对食材图像进行图像识别，确定食材信息。
食材管理模块540，被配置为根据手部运动运动信息，食材信息，进行冷藏设备的食材管理。
在一些实施例中，还包括：模型配置模块，被配置为基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设定关节的位置信息，其中，同种类运动行为中的每个训练样本视频信息的被提取视频帧数为预设最大提取帧数；以及，通过机器学习算法，对每个手部设定关节的位置信息进行监督训练，生成运动行为机器学习训练算法模型。
在一些实施例中，信息获取模块510，具体被配置为在确定冷藏设备中抽屉被拉开的情况下，启动配置的图像采集设备，进行视频信息采集；在确定冷藏设备中抽屉被关闭的情况下，关闭图像采集设备，停止视频信息采集。
在一些实施例中，整理获取模块520，具体被配置为在当前帧图像包括手部图像的情况下，将当前帧图像确定为第一图像，并基于卷积神经网络CNN关键点回归的算法，提取当前帧图像中手部设定关节的位置信息；在当前帧图像包括手部图像，且当前帧图像的前第一设定帧数的图像都不为第一图像的情况下，将当前帧图像确定为图像队列的起始第一图像；在当前帧图像不包括手部图像，且当前帧图像的前第二设定帧数的图像都为第一图像的情况下，将当前帧图像的前一帧图像确定为图像队列的结束第一图像。
在一些实施例中，信息识别模块530包括：矩形确定单元和食材识别单元，
矩形确定单元，被配置为根据第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形。
食材识别单元，被配置为基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息。
在一些实施例中，矩形确定单元，具体被配置为每个手部设定关节配置权重系数，分别为α1、α2、α3、...、αw，其中W为设定关节的个数，并通过公式(1)和(2)，确定裁剪食材图像的外接矩形的左上角坐标为ptl，pbr；
Figure BDA0002217159120000131
fbenefit(Lhi (opt),Lhj (opt))＝area(Lhi (opt),Lhj (opt))·αi·αj (2)
其中，Lh1 (opt)、Lh2 (opt)、Lh3 (opt)、...、Lhw (opt)为每个手部设定关节的位置信息，area(Lhi (opt)，Lhj (opt))表示以(Lhi (opt)，Lhj (opt))两点围成的矩形的面积。
下面举例说明本公开实施例提供的食材管理装置进行食材管理过程。
图6是本公开实施例提供的一种食材管理装置的结构示意图。如图6所示，食材管理装置包括：信息获取模块510、整理获取模块520、信息识别模块530以及食材管理模块540，还包括模型配置模块550，而信息识别模块530可包括：矩形确定单元531和食材识别单元532。该食材管理装置可应用于冰箱的控制处理模块中，是控制处理模块中对应的功能模块。
其中，模型配置模块550可基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设定关节的位置信息，其中，同种类运动行为中的每个训练样本视频信息的被提取视频帧数为预设最大提取帧数，以及，通过机器学习算法，对每个手部设定关节的位置信息进行监督训练，生成运动行为机器学习训练算法模型。其中，将同一种类中每个训练样本视频信息的被提取视频帧数确定为相同帧数，可为预设最大提取帧数，然后，通过双线性插值的方式，将任一样本的纵向维度调整到h，每帧视频图像中提取的手部设定关节的位置信息可为Lh1，Lh2，Lh3...Lhw。从而得到与每个训练样本视频信息对应的特征矩阵信息Lhw×h，然后，模型配置模块550可调用贝叶斯算法、支持向量机算法、决策树算法、Boosting算法或bp神经网络分类器算法对每个特征矩阵信息Lhw×h进行监督训练，生成运动行为机器学习训练算法模型。
信息获取模块510可获取冰箱抽屉打卡至关闭这一过程中的视频信息，从而，整理获取模块520可对视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带位置信息的第一图像组成的图像队列。其中，对于视频信息中的任意一帧图像，在当前帧图像包括手部图像的情况下，整理获取模块520将当前帧图像确定为第一图像，并基于卷积神经网络CNN关键点回归的算法，提取当前帧图像中手部设定关节的位置信息；若当前帧图像包括手部图像，且当前帧图像的前第一设定帧数的图像都不为第一图像时，整理获取模块520还可将当前帧图像确定为图像队列的起始第一图像；若当前帧图像不包括手部图像，且当前帧图像的前第二设定帧数的图像都为第一图像时，整理获取模块520可将当前帧图像的前一帧图像确定为图像队列的结束第一图像。
这样，通过整理获取模块520可对应的特征矩阵信息Lhw×h，从而，信息识别模块530可将对应的特征矩阵信息Lhw×h输入模型配置模块550配置的运动行为机器学习训练算法模型中，得到手部运动运动信息。并且，在第一图像包括食材图像的情况下，对食材图像进行图像识别，确定食材信息。
其中，在确定第一图像包括食材图像的情况下，信息识别模块530中矩形确定单元531可根据第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形，这样，食材识别单元532可基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息。其中，矩形确定单元531可为每个手部设定关节配置权重系数，分别为α1、α2、α3、...、αw，其中W为设定关节的个数，并通过公式(1)和(2)，确定裁剪食材图像的外接矩形的左上角坐标为ptl，pbr，从而确定裁剪食材图像的外接矩形。
Figure BDA0002217159120000151
fbenefit(Lhi (opt),Lhj (opt))＝area(Lhi (opt),Lhj (opt))·αi·αj (2)
其中，Lh1 (opt)、Lh2 (opt)、Lh3 (opt)、...、Lhw (opt)为每个手部设定关节的位置信息，area(Lhi (opt)，Lhj (opt))表示以(Lhi (opt)，Lhj (opt))两点围成的矩形的面积。
而食材管理模块540可根据手部运动运动信息，食材信息，进行冷藏设备的食材管理。例如：在冰箱的交互界面上显示“XX食材被取出”。
可见，本实施例中，通过已配置的运动行为机器学习训练算法模型，动态确定手部运动运动信息，从而，通过动态的手部运动，确定食材的进出信息，提高了食材进出信息的准确性，进而也提高了食材管理的准确性。并基于卷积神经网络CNN的分类算法，对外接矩形中的食材图像进行识别，得到食材信息，这样，只对手部的食材进行识别，减少结构部件或其他食材遮挡的几率，提高了食材识别的准确率，进一步提高了食材管理的准确性。并且，通过屏幕显示，语音播放，或者终端通讯提醒显示的方式，也可进一步提高冰箱的智能性，以及提高用户交互式的体验。
本公开实施例提供了一种食材管理的装置，其结构如图7所示，包括：
处理器(processor)1000和存储器(memory)1001，还可以包括通信接口(Communication Interface)1002和总线1003。其中，处理器1000、通信接口1002、存储器1001可以通过总线1003完成相互间的通信。通信接口102可以用于信息传输。处理器1000可以调用存储器1001中的逻辑指令，以执行上述实施例的食材管理的方法。
此外，上述的存储器1001中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器1001作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器1000通过运行存储在存储器1001中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的食材管理的方法。
存储器1001可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种冷藏设备，包含上述的食材管理装置。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述食材管理方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述食材管理方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种食材管理的方法，其特征在于，包括：
获取冷藏设备中满足设定条件的视频信息；
对所述视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带所述位置信息的所述第一图像组成的图像队列，其中，所述第一图像中携带了手部图像；
将所述图像队列中每个设定关节的位置信息，输入已配置的运动行为机器学习训练算法模型中，得到所述手部运动运动信息，并在所述第一图像包括食材图像的情况下，对所述食材图像进行图像识别，确定食材信息；
根据所述手部运动运动信息，所述食材信息，进行所述冷藏设备的食材管理。
2.根据权利要求1所述的方法，其特征在于，所述获取冷藏设备中满足设定条件的视频信息之前，还包括：
基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设定关节的位置信息，其中，同种类运动行为中的每个训练样本视频信息的被提取视频帧数为预设最大提取帧数；
通过机器学习算法，对所述每个手部设定关节的位置信息进行监督训练，生成所述运动行为机器学习训练算法模型。
3.根据权利要求1所述的方法，其特征在于，所述获取冷藏设备中满足设定条件的视频信息包括：
在确定所述冷藏设备中抽屉被拉开的情况下，启动配置的图像采集设备，进行视频信息采集；
在确定所述冷藏设备中抽屉被关闭的情况下，关闭所述图像采集设备，停止视频信息采集。
4.根据权利要求1或2所述的方法，其特征在于，所述获取每帧第一图像中手部设定关节的位置信息，以及携带所述位置信息的所述第一图像组成的图像队列包括：
在当前帧图像包括手部图像的情况下，将所述当前帧图像确定为第一图像，并基于卷积神经网络CNN关键点回归的算法，提取所述当前帧图像中手部设定关节的位置信息；
在当前帧图像包括手部图像，且所述当前帧图像的前第一设定帧数的图像都不为第一图像的情况下，将所述当前帧图像确定为图像队列的起始第一图像；
在当前帧图像不包括手部图像，且所述当前帧图像的前第二设定帧数的图像都为第一图像的情况下，将所述当前帧图像的前一帧图像确定为所述图像队列的结束第一图像。
5.根据权利要求1所述的方法，其特征在于，所述对所述食材图像进行图像识别，确定食材信息包括：
根据所述第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形；
基于卷积神经网络CNN的分类算法，对所述外接矩形中的食材图像进行识别，得到所述食材信息。
6.根据权利要求5所述的方法，其特征在于，所述确定裁剪食材图像的外接矩形包括：
为每个手部设定关节配置权重系数，分别为α1、α2、α3、...、αw，其中W为设定关节的个数；
通过公式(1)和(2)，确定裁剪食材图像的外接矩形的左上角坐标为ptl，pbr；
Figure FDA0002217159110000021
fbenefit(Lhi (opt),Lhj (opt))＝area(Lhi (opt),Lhj (opt))·αi·αj (2)
其中，Lh1 (opt)、Lh2 (opt)、Lh3 (opt)、...、Lhw (opt)为每个手部设定关节的位置信息，area(Lhi (opt)，Lhj (opt))表示以(Lhi (opt)，Lhj (opt))两点围成的矩形的面积。
7.一种食材管理的装置，其特征在于，包括：
信息获取模块，被配置为获取冷藏设备中满足设定条件的视频信息；
整理获取模块，被配置为对所述视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节的位置信息，以及携带所述位置信息的所述第一图像组成的图像队列，其中，所述第一图像中携带了手部图像；
信息识别模块，被配置为将所述图像队列中每个设定关节的位置信息，输入已配置的运动行为机器学习训练算法模型中，得到所述手部运动运动信息，并在所述第一图像包括食材图像的情况下，对所述食材图像进行图像识别，确定食材信息；
食材管理模块，被配置为根据所述手部运动运动信息，所述食材信息，进行所述冷藏设备的食材管理。
8.根据权利要求7所述的装置，其特征在于，还包括：
模型配置模块，被配置为基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设定关节的位置信息，其中，同种类运动行为中的每个训练样本视频信息的被提取视频帧数为预设最大提取帧数；以及，通过机器学习算法，对所述每个手部设定关节的位置信息进行监督训练，生成所述运动行为机器学习训练算法模型。
9.根据权利要求7所述的装置，其特征在于，所述信息识别模块包括：矩形确定单元和食材识别单元，
所述矩形确定单元，被配置为根据所述第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形；
所述食材识别单元，被配置为基于卷积神经网络CNN的分类算法，对所述外接矩形中的食材图像进行识别，得到所述食材信息；
其中，所述确定裁剪食材图像的外接矩形包括：为每个手部设定关节配置权重系数，分别为α1、α2、α3、...、αw，其中W为设定关节的个数，并通过公式(1)和(2)，确定裁剪食材图像的外接矩形的左上角坐标为ptl，pbr；
Figure FDA0002217159110000031
fbenefit(Lhi (opt),Lhj (opt))＝area(Lhi (opt),Lhj (opt))·αi·αj (2)
其中，Lh1 (opt)、Lh2 (opt)、Lh3 (opt)、...、Lhw (opt)为每个手部设定关节的位置信息，area(Lhi (opt)，Lhj (opt))表示以(Lhi (opt)，Lhj (opt))两点围成的矩形的面积。
10.一种冷藏设备，其特征在于，包括如权利要求7至9任一项所述的装置。
CN201910919624.6A 2019-09-26 2019-09-26 食材管理的方法及装置、冷藏设备 Pending CN110807363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910919624.6A CN110807363A (zh) 2019-09-26 2019-09-26 食材管理的方法及装置、冷藏设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910919624.6A CN110807363A (zh) 2019-09-26 2019-09-26 食材管理的方法及装置、冷藏设备

Publications (1)

Publication Number Publication Date
CN110807363A true CN110807363A (zh) 2020-02-18

Family

ID=69487703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910919624.6A Pending CN110807363A (zh) 2019-09-26 2019-09-26 食材管理的方法及装置、冷藏设备

Country Status (1)

Country Link
CN (1) CN110807363A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270217A (zh) * 2020-10-13 2021-01-26 深圳拓邦股份有限公司 应用于智能家电设备的本地图像识别装置、系统及方法
CN115086540A (zh) * 2021-03-15 2022-09-20 青岛海尔电冰箱有限公司 冰箱及其摄像区域的配置方法
US11692767B2 (en) 2020-10-07 2023-07-04 Haier Us Appliance Solutions, Inc. Refrigerator appliance and methods of user identification

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11692767B2 (en) 2020-10-07 2023-07-04 Haier Us Appliance Solutions, Inc. Refrigerator appliance and methods of user identification
CN112270217A (zh) * 2020-10-13 2021-01-26 深圳拓邦股份有限公司 应用于智能家电设备的本地图像识别装置、系统及方法
CN115086540A (zh) * 2021-03-15 2022-09-20 青岛海尔电冰箱有限公司 冰箱及其摄像区域的配置方法

Similar Documents

Publication Publication Date Title
Doughty et al. Who's better? who's best? pairwise deep ranking for skill determination
CN109145784B (zh) 用于处理视频的方法和装置
CN110175514B (zh) 一种刷脸支付提示方法、装置及设备
CN110807363A (zh) 食材管理的方法及装置、冷藏设备
CN104766038B (zh) 手掌开合动作识别方法和装置
CN1905629B (zh) 摄像装置和摄像方法
CN113422977B (zh) 直播方法、装置、计算机设备以及存储介质
WO2019137131A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
US8379931B2 (en) Image processing apparatus for retrieving object from moving image and method thereof
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN110427859A (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN111444366B (zh) 图像分类方法、装置、存储介质及电子设备
MX2011012725A (es) Aparato de busqueda de imagenes y metodo de busqueda de imagenes.
CN111382648A (zh) 人脸动态表情的检测方法、装置、设备及存储介质
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
CN104106078B (zh) 光学字符辨识(ocr)高速缓冲存储器更新
Vieriu et al. On HMM static hand gesture recognition
EP3516581B1 (en) Automatic selection of cinemagraphs
US20210158593A1 (en) Pose selection and animation of characters using video data and training techniques
US9286710B2 (en) Generating photo animations
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
CN110232331A (zh) 一种在线人脸聚类的方法及系统
CN111199249A (zh) 食材识别更新控制的方法及装置、冷藏设备
CN107168536A (zh) 试题搜索方法、试题搜索装置及电子终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination