CN111767759A - 食材识别的系统、方法、设备及存储介质 - Google Patents

食材识别的系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN111767759A
CN111767759A CN201910255711.6A CN201910255711A CN111767759A CN 111767759 A CN111767759 A CN 111767759A CN 201910255711 A CN201910255711 A CN 201910255711A CN 111767759 A CN111767759 A CN 111767759A
Authority
CN
China
Prior art keywords
food material
video
information
material identification
food
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910255711.6A
Other languages
English (en)
Inventor
惠海峰
张坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Co Ltd
Qingdao Haier Smart Technology R&D Co Ltd
Original Assignee
Qingdao Haier Co Ltd
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Co Ltd, Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Co Ltd
Priority to CN201910255711.6A priority Critical patent/CN111767759A/zh
Publication of CN111767759A publication Critical patent/CN111767759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本申请涉及一种食材识别的系统、方法、设备及从存储介质。其中，所述食材识别的系统包括：视频处理模块和控制模块，其中，所述视频处理模块，用于当接收到所述控制模块发送的冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取，并对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给所述控制模块，其中，所述食材识别信息包括：食材类别信息、置信度和进出方向信息；所述控制模块，用于当确定所述冷藏设备的门的开启角度大于第一设定值时，向所述视频处理模块发送所述冷藏设备开门指令，并根据接收的所述食材识别信息，进行食材管理。

Description

食材识别的系统、方法、设备及存储介质
技术领域
本申请涉及智能家电技术领域，例如涉及食材识别的系统、方法、设备及从存储介质。
背景技术
传统家电行业引入人工智能的技术后，使得用户对产品的体验越来越好。特别是对于冰箱用户来说，将冰箱里的食材进行智能管理从而减少因过期造成的浪费，并给新食材的采购提供有效参考信息，这种需求越发强烈。而食材的管理需要冰箱具有智能化地识别冰箱内储存区的现有食材。
目前，可在冰箱上安装内置摄像头，然后对拍摄到的图片进行食材识别，得到冰箱内的食材信息。但是，这种对静态食材进行识别的方案中，可能会存在食材遮挡造成其他食材图像难以识别的问题，从而，影响了冰箱内存储食材信息的准确性。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种食材识别的系统。
在一些可选实施例中，食材识别的方系统包括：视频处理模块和控制模块，其中，
所述视频处理模块，用于当接收到所述控制模块发送的冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取，并对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给所述控制模块，其中，所述食材识别信息包括：食材类别信息、置信度和进出方向信息；
所述控制模块，用于当确定所述冷藏设备的门的开启角度大于第一设定值时，向所述视频处理模块发送所述冷藏设备开门指令，并根据接收的所述食材识别信息，进行食材管理。
本公开实施例提供了一种食材识别的方法。
在一些可选实施例中，食材识别的方法包括：当接收到冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取；
对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给控制模块，使得所述控制模块根据接收的所述食材识别信息，进行食材管理，其中，所述食材识别信息包括：食材类别信息、置信度和进出方向信息。
根据本公开实施例的另一个方面，提供了一种食材识别的方法。
在一些可选实施例中，食材识别的方法包括：
当确定冷藏设备的门的开启角度大于第一设定值时，向视频处理模块发送所述冷藏设备开门指令；
接收所述视频处理模块发送的食材识别信息，其中，所述食材识别信息是所述视频处理模块启动安装在冷藏设备内的摄像设备进行视频获取后，对包含手操作食材的视频进行食材识别后的得到的，包括：食材类别信息、置信度和进出方向信息；
根据所述食材识别信息，进行食材管理。
本公开实施例提供了一种冷藏设备。
在一些可选实施例中，所述冷藏设备包括：上述的食材识别系统。
本公开实施例提供了一种电子设备。
在一些可选实施例中，电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行食材识别方法。
本公开实施例提供了一种计算机可读存储介质。
在一些可选实施例中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令设置为执行食材识别方法。
本公开实施例提供了一种计算机程序产品。
在一些可选实施例中，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的食材识别方法。
本公开实施例提供的一些技术方案可以实现以下技术效果：
本公开实施例中，可对包含手操作食材的视频进行食材识别，即动态地识别冷藏设备中存储的食材，这样，减少了因食材遮挡造成其他食材图像难以识别的几率，提高了冷藏设备中存储食材信息的准确性
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种食材识别系统的架构图；
图2是本公开实施例提供的一种食材识别方法的流程示意图；
图3是本公开实施例提供的一种食材识别方法的流程示意图；
图4是本公开实施例提供的一种食材识别系统的产品架构示意图；
图5是本公开实施例提供的一种食材识别方法的流程示意图；
图6是本公开实施例提供的一种食材识别方法的流程示意图；
图7是本公开实施例提供的一种每段手操作视频划分的流程示意图；
图8是本公开实施例提供的一种深度学习卷积神经网络的食材识别的流程示意图；
图9是本公开实施例提供的一种食材识别装置的结构示意图；
图10是本公开实施例提供的一种食材识别装置的结构示意图；以及
图11是本公开实施例提供的电子设备的结构示意图。
附图标记：
100：视频处理模块；200：控制模块；410：视频处理电路元件板；
420控制电路元件板；430：相机；440：冰箱显示屏440
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例中，可对包含手操作食材的视频进行食材识别，即动态地识别冷藏设备中存储的食材，这样，减少了因食材遮挡造成其他食材图像难以识别的几率，提高了冷藏设备中存储食材信息的准确性。
图1是本公开实施例提供的一种食材识别系统的架构图，如图1所示，系统包括：视频处理模块100和控制模块200。
视频处理模块100，用于当接收到控制模块200发送的冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取，并对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给控制模块200，其中，食材识别信息包括：食材类别信息、置信度和进出方向信息。
控制模块200，用于当确定冷藏设备的门的开启角度大于第一设定值时，向视频处理模块100发送冷藏设备开门指令，并根据接收的食材识别信息，进行食材管理。
其中，视频处理模块100可与控制模块200需进行数据通讯，因此，可采用总线连接方式，例如：视频处理模块100通过总线插头，插入控制模块200上。或者，采用无线短距离通讯方式，例如：蓝牙通讯、红外通讯、或局域网通讯等等。
视频处理模块100是通过摄像设备获取视频的，因此，如图1所示，食材识别系统中还可包摄像设备300。摄像设备300需与视频处理模块100进行数据通讯，可采用USB接口的方式进行连接，从而，可采用标准UVC协议进行通讯。摄像设备可为相机、摄像头等，一般安装在冷藏设备的内部，例如：冰箱的顶部位置，或者冰柜的侧上方位置等等。
冷藏设备，例如：冰箱、冰柜等，一旦开门了，视频处理模块100即可启动摄像设备300。本实施例中，可在冷藏设备中安装有附属传感器，用于检查门体的开启状态。例如：角度传感器，这样，控制模块200一旦确定冷藏设备的门的开启角度大于第一设定值时，即可确定门已开启，从而，可向视频处理模块100发送冷藏设备开门指令，这样，视频处理模块100可控制摄像设备进行视频获取。
当然，冷藏设备一旦关门了，则可停止视频的获取，即视频处理模块100，还用于当接收到控制模块200发送的冷藏设备关门指令时，停止摄像设备进行视频获取，并停止向控制模块200发送食材识别信息。而控制模块200，还用于当确定冷藏设备的门的开启角度小于第二设定值时，向视频处理模块100发送冷藏设备关门指令。其中，第二设定值可小于或等于第一设定值。
例如：控制模块200通过角度传感器获取到冷藏设备的门的开启角度，并确定开启角度小于第二设定值时，即向视频处理模块100发送冷藏设备关门指令。这样，视频处理模块100接收到冷藏设备关门指令后，立刻停止摄像设备进行视频获取，并停止向控制模块发送食材识别信息。
可见，本公开实施例中，视频处理模块获取的是冷藏设备开门到关门这一段时间内的视频。用户开启冷藏设备的门后，可能会从中取出食材或将食材存储其中，这个过程一般会用手对食材进行操作。因此，可只对包含手操作食材的视频进行食材识别，这样，别的食材不会对手中的食材进行遮挡。
用户每操作一次食材，即可为一次识别过程，即手从冷藏设备中取出或放入食材，即为一个识别过程。因此，对包含手操作食材的视频进行食材识别可包括：根据获取的视频中每帧图片中手图像的位置信息，确定视频中的每段手操作视频；然后，采用基于深度学习卷积神经网络(Convolutional Neural Networks,CNN)的目标检测算法，对每段手操作视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；最后，采用深度学习CNN的分类算法,得到与每个候选食材图片序列对应的食材识别信息，而食材识别信息具体可包括：食材类别信息、置信度和进出方向信息。
因此，视频处理模块100，具体用于根据获取的视频中每帧图片中手图像的位置信息，确定视频中的每段手操作视频；采用基于深度学习卷积神经网络的目标检测算法，对每段手操作视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；与保存的食材图像进行比对，确定每个候选食材图片序列中每张图片中食材图像的置信度；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，确定对应的进出方向信息；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，以及置信度，得到对应第一候选图片，并采用基于深度学习卷积神经网络的分类算法，确定每张第一候选图片中食材类别信息；以及，根据每个候选食材图片序列对应的食材类别信息、进出方向信息，以及最大置信度，得到对应的食材识别信息。
当然，本公开另一实施例中，视频处理模块100也可采用现有的食材识别技术，对包含手操作食材的视频进行食材识别，具体也不累述了。
视频处理模块100每识别出一条食材识别信息，就会将识别出的食材识别信息发送给控制模块200，从而，控制模块200可根据收的食材识别信息，进行食材管理。具体地，根据接收的食材识别信息，更新库存食材信息，然后将更新后的库存食材信息进行信息提示，具体可采用语音播报、屏幕显示中的一种或两种方式。当然，接收到的食材识别信息也可进行食材信息提示。因此，控制模块200，可具体用于根据接收的食材识别信息，更新库存食材信息，并将更新后的库存食材信息采用语音播报、屏幕显示中的一种或两种方式进行信息提示。
可见，本公开实施例中，只对包含手操作食材的视频进行食材识别，即对动态的食材进行识别，这样，别的食材不会对手中的食材进行遮挡，减少了因食材遮挡造成其他食材图像难以识别的几率，提高了冷藏设备中存储食材信息的准确性。并且，视频处理模块本地进行食材识别，无需将视频图像发送给控制模块或冷藏设备服务器进行识别，这样，可实现食材的实时识别，提高了食材识别的速度。即食材识别系统中，视频处理模块进行食材识别，而控制模块进行食材管理，两者可以并行处理，进一步提高食材识别的速度，也保障了食材的正常运行。另外，可采用语音播报、屏幕显示中的一种或两种方式进行食材信息提示，也提高了冷藏设备的人机交互功能，进一步提高了用户体验。
食材识别的系统中视频处理模块可根据视频，进行食材的动态识别、
图2是本公开实施例提供的一种食材识别方法的流程示意图。如图2所示，食材识别的过程包括：
步骤201：当接收到冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取。
视频处理模块可从控制模块接收到冷藏设备开门指令，即当控制模块确定冷藏设备的门的开启角度大于第一设定值时，可向视频处理模块发送冷藏设备开门指令，从而，视频处理模块接收到冷藏设备开门指令。当然，也不限于此，视频处理模块也可直接与安装在冷藏设备门上的角度传感器连接，从而，获取冷藏设备门的角度信息，当确定冷藏设备的门的开启角度大于第一设定值时，即可生成并接收到冷藏设备开门指令。
接收到冷藏设备开门指令后，可启动安装在冷藏设备内的摄像设备进行视频获取，即启动摄像设备，通过摄像设备获取视频。即门开了，用户可以对食材进行对应的处理了，取出或存储。
步骤202：对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给控制模块，使得控制模块根据接收的食材识别信息，进行食材管理。
通过摄像设备获取了视频，因本公开实施例是对食材的动态识别，即识别用户手中的食材。因此，可先根据获取的视频中每帧图片中手图像的位置信息，确定视频中的每段手操作视频；然后，采用基于深度学习CNN的目标检测算法，对每段手操作视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；最后，采用深度学习CNN的分类算法,得到与每个候选食材图片序列对应的食材识别信息，而食材识别信息具体可包括：食材类别信息、置信度和进出方向信息。
较佳地，对包含手操作食材的视频进行食材识别包括：根据获取的视频中每帧图片中手图像的位置信息，确定视频中的每段手操作视频；采用基于深度学习的目标检测算法，对每段手操作视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；与保存的食材图像进行比对，确定每个候选食材图片序列中每张图片中食材图像的置信度；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，确定对应的进出方向信息；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，以及置信度，得到对应第一候选图片，并采用基于深度学习的分类算法，确定每张第一候选图片中食材类别信息；根据每个候选食材图片序列对应的食材类别信息、进出方向信息，以及最大置信度，得到对应的食材识别信息。
每识别出一条食材识别信息，就会将识别出的食材识别信息发送给控制模块，从而，控制模块，根据收的食材识别信息，进行食材管理。具体地，根据接收的食材识别信息，更新库存食材信息，然后将更新后的库存食材信息进行信息提示，具体可采用语音播报、屏幕显示中的一种或两种方式。当然，接收到的食材识别信息也可进行信息提示。当然，若视频处理模块与控制模块共用同一个处理单元时，则视频处理模块也可直接根据食材识别信息，进行食材管理。
可见，本公开实施例中，只对包含手操作食材的视频进行食材识别，即对动态的食材进行识别，这样，别的食材不会对手中的食材进行遮挡，减少了因食材遮挡造成其他食材图像难以识别的几率，提高了冷藏设备中存储食材信息的准确性。并且，视频处理模块本地进行食材识别，无需将视频图像发送给控制模块或冷藏设备服务器进行识别，这样，可实现食材的实时识别，提高了食材识别的速度。
当然，当冷藏设备的门关闭时，用户也不可能对冷藏设备范围中的食材进行处理了，因此，也就不需要获取视频了，这样节省了资源。因此，接收到冷藏设备关门指令时，停止摄像设备进行视频获取，并停止向控制模块发送食材识别信息。
食材识别的系统中控制模块可与视频处理模块集合成一体，也可分开。当两者分开时，控制模块可在食材识别过程中，只进行视频获取的开关控制，以及食材管理。
图3是本公开实施例提供的一种食材识别方法的流程示意图。如图3所示，食材识别的过程包括：
步骤301：当确定冷藏设备的门的开启角度大于第一设定值时，向视频处理模块发送冷藏设备开门指令。
冷藏设备的门体上安装有附属传感器，例如：角度传感器，并可通过串口转USB与控制模块连接。从而，可通过角度传感器获取门体的开启角度，并当开启角度大于第一设定值时，向视频处理模块发送冷藏设备开门指令。
步骤302：接收视频处理模块发送的食材识别信息。
这里，食材识别信息是视频处理模块启动安装在冷藏设备内的摄像设备进行视频获取后，对包含手操作食材的视频进行食材识别后的得到的，包括：食材类别信息、置信度和进出方向信息。
视频处理模块可如上述，进行食材识别，得到食材识别信息，并发送给控制模块，从而，控制模块接收到食材识别信息。
步骤303：根据食材识别信息，进行食材管理。
可根据食材识别信息，进行食材信息提示，具体可包括：将接收到的食材识别信息直接进行食材信息提示。或者，根据接收的食材识别信息，更新库存食材信息，然后将更新后的库存食材信息进行食材信息提示。或者，将接收到的食材识别信息，以及更新后的库存食材信息都进行食材信息提示。食材信息提示的方式有多种，包括：语音播报、屏幕显示中的一种或两种方式。较佳地，进行食材管理可包括根据接收的食材识别信息，更新库存食材信息，并将更新后的库存食材信息采用语音播报、屏幕显示中的一种或两种方式进行食材信息提示。
例如：食材识别系统中配置有语音播报模块，这样，当接收的食材识别信息为“放入一个青椒、取出一个橘子”，而保存的库存食材信息为“一个苹果、两个橘子和一棵白菜”，从而据接收的食材识别信息，更新库存食材信息后，得到的更新后的库存食材信息为“一个苹果、一个橘子、一个青椒和一棵白菜”，从而，可控制语音播放模块播报“放入一个青椒、取出一个橘子”，而控制显示屏幕显示“库存食材信息：苹果1、橘子1、青椒1、白菜1”。
可见，本公开实施例中，控制单元无需进行图片识别，只需进行视频获取的开关控制，以及食材管理，这样，减少了对资源的占用，提高了食材管理的效率，也进一步保障了冷藏设备的主要功能。另外，可采用语音播报、屏幕显示中的一种或两种方式进行食材信息提示，也提高了冷藏设备的人机交互功能，进一步提高了用户体验。
当然，当确定冷藏设备的门的开启角度小于第二设定值时，向视频处理模块发送冷藏设备关门指令，这样，视频处理模块接收到冷藏设备关门指令时，停止摄像设备进行视频获取，并停止向控制模块发送食材识别信息。可见，冷藏设备的门关闭时，用户也不可能对冷藏设备范围中的食材进行处理了，从而也就不需要获取视频了，这样节省了资源。
下面将操作流程集合到具体实施例中，举例说明本公开实施例提供的系统及方法。
图4是本公开实施例提供的一种食材识别系统的产品架构示意图。如图4所示，食材识别系统包括：视频处理电路元件板410、控制电路元件板420，相机430，以及冰箱显示屏440。即本实施例中，视频处理电路元件板410实现视频处理模块的功能，控制电路元件板420实现控制模块的功能，而摄像设备为相机430，冷藏设备为冰箱。
其中，视频处理电路元件板410可与控制电路元件板420进行局域网通讯，而相机与视频处理电路元件板410采用标准UVC协议进行通讯。
图5是本公开实施例提供的一种食材识别方法的流程示意图。如图5所示，食材识别的过程包括：
步骤501：控制电路元件板获取冰箱门体的开启角度。
步骤502：控制电路元件板判断开启角度是否大于第一设定值？若是，执行步骤503，否则，执行步骤507。
步骤503：控制电路元件板向视频处理电路元件板发送冰箱开门指令。
步骤504：控制电路元件板接收视频处理电路元件板发送的食材识别信息。
步骤505：控制电路元件板根据接收的食材识别信息，更新库存食材信息。
步骤506：控制电路元件板将更新后的库存食材信息显示在冰箱显示屏中。返回步骤501中。
步骤507：控制电路元件板判断开启角度是否小于第二设定值？若是，执行步骤508，否则，返回步骤501中。
第二设定值可小于或等于第一设定值。
步骤508：控制电路元件板向视频处理电路元件板发送冰箱关门指令。返回步骤501中。
可见，本实施例中，控制电路元件板无需进行图片识别，只需进行视频获取的开关控制，以及食材管理，这样，减少了对资源的占用，提高了食材管理的效率，也进一步保障了冰箱的主要功能。
图6是本公开实施例提供的一种食材识别方法的流程示意图。如图6所示，食材识别的过程包括：
步骤601：视频处理电路元件板监听是否收到冰箱开门指令？若是，执行步骤602，否则，执行步骤605。
步骤602：视频处理电路元件板启动相机，并通过相机获取视频。
步骤603：视频处理电路元件板对获取的视频中的包含手操作食材的视频进行食材识别，得到食材识别信息。
步骤604：视频处理电路元件板将食材识别信息发送给控制电路元件板。执行步骤601。
从而，控制电路元件板可根据接收的食材识别信息，更新库存食材信息，并将更新后的库存食材信息采用语音播报、屏幕显示中的一种或两种方式进行食材信息提示。
步骤605：视频处理电路元件板监听是否收到冰箱关门指令？若是，执行步骤606，否则，返回步骤601。
步骤606：视频处理电路元件板停止摄像设备进行视频获取，并停止发送食材识别信息。返回步骤601。
可见，本实施例中，视频处理电路元件只对开门与关门之间的视频进行识别，并且只对包含手操作食材的视频进行食材识别，即对动态的食材进行识别，这样，别的食材不会对手中的食材进行遮挡，减少了因食材遮挡造成其他食材图像难以识别的几率，提高了冷藏设备中存储食材信息的准确性。并且，视频处理电路元件本地进行食材识别，无需将视频图像发送给控制模块或冷藏设备服务器进行识别，这样，可实现食材的实时识别，提高了食材识别的速度。
在上述实施例中，视频处理模块或具体的视频处理电路元件板都需对获取的视频中的包含手操作食材的视频进行食材识别，得到食材识别信息。首先，根据获取的视频中每帧图片中手图像的位置信息，确定视频中的每段手操作视频，然后，对于每段手操作视频过程中的食材识别是基于深度学习卷积神经网络的，进行食材识别。
图7是本公开实施例提供的一种每段手操作视频划分的流程示意图。如图7所示，手操作视频划分过程包括：
步骤701：根据时间顺序，将获取的视频中的一帧视频图片确定为当前帧视频图片。
步骤702：当前帧视频图片中手图像的位置是否在设定位置范围内，且前帧视频图片中手图像的位置未在设定位置范围内？若是，执行步骤703，否则，执行步骤704。
例如：摄像设备位于冰箱的顶部，则冰箱门内区域对应的位置范围即可为设定位置范围。当然，摄像设备安装位置不同，对应的设定位置范围也可不同。
步骤703：将当前帧视频图片确定为当前段手操作视频的开始帧视频图片。返回步骤701。
步骤704：当前帧视频图片中手图像的位置是否未在设定位置范围内，且前帧视频图片中手图像的位置在设定位置范围内？若是，执行步骤705，否则，返回步骤701。
步骤705：将当前帧视频图片确定为当前段手操作视频的结束帧视频图片。返回步骤701。
每段手操作视频中的开始帧视频图片以及结束帧视频图片已确定了，即可根据时间顺序，得到每段手操作视频，即可根据获取的视频中每帧图片中手图像的位置信息，确定视频中的每段手操作视频。
在冷藏设备的开门至关门过程中，一直在获取视频，而在对获取的视频进行每段手操作视频的划分的同时，可并行对每段手操作视频过程中的每帧图片进行食材识别。下面以任意一段手操作视频过程的食材识别为例进行描述。
图8是本公开实施例提供的一种深度学习卷积神经网络的食材识别的流程示意图。如图8所示，食材识别的过程包括：
步骤801：根据时间顺序，将当前手操作视频中的一帧视频图片确定为当前帧视频图片。
步骤802：基于深度学习卷积神经网络的目标检测算法，判断当前帧视频图片中是否包括食材图像？若是，执行步骤803，否则，返回步骤801。
步骤803：判断当前帧视频图片是否为当前手操作视频的第一帧图像？若是，执行步骤804，否则，执行步骤806。
步骤804：建立与当前手操作视频对应的当前候选食材图片序列，并将当前帧视频图片加入当前候选食材图片序列中。执行步骤806中。
步骤805：将当前帧视频图片加入已建立的当前候选食材图片序列中。
步骤806：判断当前帧视频图片是否为当前手操作视频的最后一帧图像？若是，执行步骤807，否则，返回步骤801中。
步骤807：与保存的食材图像进行比对，确定当前候选食材图片序列中每张图片中食材图像的置信度。
当前候选食材图片序列中包括n张图片，分别可为I1，I2，I3…In，与保存的食材图像进行比对后，得到对应的置信度分别是c1，c，c3…cn(0<c1，c2，c3…cn<1)。
步骤808：根据当前候选食材图片序列中每张图片中食材图像的中心点位置信息，确定对应的进出方向信息。
可比对每张图片中食材图像的中心点位置信息，从而得到每张图片中食材的方向，可用向量表示。其中，I1，I2，I3…In中食材图像的中心点的坐标分别是(x1,y1)，(x2,y2)，(x3,y3)…(xn,yn)，从而，对应的方向向量分别为γ1＝(x2-x1,y2-y1)，γ2＝(x3-x2,y3-y2)，…γn-1＝(xn-xn-1,yn-yn-1)，那么通过如下公式(1)确定食材的进出方向信息。
Γ＝δ1·γ1+δ2·γ2+…+δn-1·γn-1，(1)
其中，δn为常数，这样，选定一常数T，如果Γ＝(Δx,Δy)，那么，若Γ中的Δy<T为进，Δy>T为出，或者，另一实施例中，也可将Δx与设定常数进行比对，确定进出方向信息。
步骤809：根据当前候选食材图片序列中每张图片中食材图像的中心点位置信息，以及置信度，得到对应第一候选图片。
可根据中心点位置信息，以及置信度，通过公式(2)，确定第一候选图片。
Figure BDA0002013667920000141
其中，α是常数，w，h分别是图片的宽高。确定了i后，即可确定Ii为第一候选图片。基于目标检测算法，已经回归出设定位置，然后，根据这个设定位置提供的坐标，裁剪图像并缩放至固定尺寸，因此，w,h是可确定的。
步骤810：基于深度学习卷积神经网络的分类算法，确定第一候选图片中食材类别信息。
步骤811：根据食材类别信息、进出方向信息，以及最大置信度，得到对应的食材识别信息。
可见，本实施例中，基于深度学习卷积神经网络，对食材进行识别，可提高食材的识别准确性以及效率，每识别出一个食材识别信息，即可发送给控制模块进行处理，提高食材管理的实时性。
下面对食材识别的装置进行具体的描述。
图9是本公开实施例提供的一种食材识别装置的结构示意图。食材识别装置应用于食材识别系统的视频处理模块中，如图9所示，该装置包括：启动获取单元910、和识别发送单元920。
启动获取单元910，用于当接收到冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取。
识别发送单元920，用于对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给控制模块，使得控制模块根据接收的食材识别信息，进行食材管理，其中，食材识别信息包括：食材类别信息、置信度和进出方向信息。
本公开一实施例中，还包括：停止发送单元，用于当接收到冷藏设备关门指令时，停止摄像设备进行视频获取，并停止向控制模块发送食材识别信息。
本公开一实施例中，识别发送单元920，具体用于根据获取的视频中每帧图片中手图像的位置信息，确定视频中的每段手操作视频；采用基于深度学习卷积神经网络的目标检测算法，对每段手操作视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；与保存的食材图像进行比对，确定每个候选食材图片序列中每张图片中食材图像的置信度；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，确定对应的进出方向信息；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，确定对应的进出方向信息；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，以及置信度，得到对应第一候选图片，并采用基于深度学习卷积神经网络的分类算法，确定每张第一候选图片中食材类别信息；根据每个候选食材图片序列对应的食材类别信息、进出方向信息，以及最大置信度，得到对应的食材识别信息。
图10是本公开实施例提供的一种食材识别装置的结构示意图。食材识别装置应用于食材识别系统的控制块中，如图10所示，该装置包括：第一发送单元1010、接收单元1020以及管理单元1030。
第一发送单元1010，用于当确定冷藏设备的门的开启角度大于第一设定值时，向视频处理模块发送冷藏设备开门指令。
接收单元1020，用于接收视频处理模块发送的食材识别信息，其中，食材识别信息是视频处理模块启动安装在冷藏设备内的摄像设备进行视频获取后，对包含手操作食材的视频进行食材识别后的得到的，包括：食材类别信息、置信度和进出方向信息。
管理单元1030，用于根据食材识别信息，进行食材管理。
本公开一实施例中，还包括：第二发送单元，用于当确定冷藏设备的门的开启角度小于第二设定值时，向视频处理模块发送冷藏设备关门指令
本公开一实施例中，管理单元1030，具体用于根据接收的食材识别信息，更新库存食材信息；将更新后的库存食材信息采用语音播报、屏幕显示中的一种或两种方式进行食材信息提示。
本公开实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述食材识别方法。
本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述食材识别方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例还提供了一种电子设备，其结构如图11所示，该电子设备包括：
至少一个处理器(processor)1100，图11中以一个处理器1100为例；和存储器(memory)1101，还可以包括通信接口(Communication Interface)1102和总线1103。其中，处理器1100、通信接口1102、存储器1101可以通过总线1103完成相互间的通信。通信接口1102可以用于信息传输。处理器1100可以调用存储器101中的逻辑指令，以执行上述实施例的食材识别方法。
此外，上述的存储器1101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器1101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器1100通过运行存储在存储器1101中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的食材识别方法。
存储器1101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器1101可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种食材识别的系统，其特征在于，包括：视频处理模块和控制模块，其中，
所述视频处理模块，用于当接收到所述控制模块发送的冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取，并对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给所述控制模块，其中，所述食材识别信息包括：食材类别信息、置信度和进出方向信息；
所述控制模块，用于当确定所述冷藏设备的门的开启角度大于第一设定值时，向所述视频处理模块发送所述冷藏设备开门指令，并根据接收的所述食材识别信息，进行食材管理。
2.根据权利要求1所述的系统，其特征在于，
所述视频处理模块，还用于当接收到所述控制模块发送的冷藏设备关门指令时，停止所述摄像设备进行视频获取，并停止向所述控制模块发送食材识别信息；
所述控制模块，还用于当确定所述冷藏设备的门的开启角度小于第二设定值时，向所述视频处理模块发送所述冷藏设备关门指令。
3.根据权利要求1或2所述的系统，其特征在于，
所述视频处理模块，具体用于根据获取的所述视频中每帧图片中手图像的位置信息，确定所述视频中的每段手操作视频；采用基于深度学习卷积神经网络的目标检测算法，对每段手操作视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；与保存的食材图像进行比对，确定每个候选食材图片序列中每张图片中食材图像的置信度；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，确定对应的进出方向信息；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息，以及所述置信度，得到对应第一候选图片，并采用基于深度学习卷积神经网络的分类算法，确定每张所述第一候选图片中食材类别信息；以及，根据每个候选食材图片序列对应的所述食材类别信息、所述进出方向信息，以及最大置信度，得到对应的食材识别信息。
4.根据权利要求1或2所述的系统，其特征在于，
所述控制模块，具体用于根据接收的所述食材识别信息，更新库存食材信息，并将更新后的库存食材信息采用语音播报、屏幕显示中的一种或两种方式进行食材信息提示。
5.一种食材识别的方法，其特征在于，包括：
当接收到冷藏设备开门指令时，启动安装在冷藏设备内的摄像设备进行视频获取；
对包含手操作食材的视频进行食材识别，将识别出的食材识别信息发送给控制模块，使得所述控制模块根据接收的所述食材识别信息，进行食材管理，其中，所述食材识别信息包括：食材类别信息、置信度和进出方向信息。
6.根据权利要求5所述的方法，其特征在于，还包括：
当接收到冷藏设备关门指令时，停止所述摄像设备进行视频获取，并停止向所述控制模块发送食材识别信息。
7.一种食材识别的方法，其特征在于，包括：
当确定冷藏设备的门的开启角度大于第一设定值时，向视频处理模块发送所述冷藏设备开门指令；
接收所述视频处理模块发送的食材识别信息，其中，所述食材识别信息是所述视频处理模块启动安装在冷藏设备内的摄像设备进行视频获取后，对包含手操作食材的视频进行食材识别后的得到的，包括：食材类别信息、置信度和进出方向信息；
根据所述食材识别信息，进行食材管理。
8.一种冷藏设备，其特征在于，包括：权利要求1-4任一项所述的系统。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行权利要求5-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令设置为执行如权利要求5-6任一项所述的方法。
CN201910255711.6A 2019-04-01 2019-04-01 食材识别的系统、方法、设备及存储介质 Pending CN111767759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910255711.6A CN111767759A (zh) 2019-04-01 2019-04-01 食材识别的系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910255711.6A CN111767759A (zh) 2019-04-01 2019-04-01 食材识别的系统、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111767759A true CN111767759A (zh) 2020-10-13

Family

ID=72718705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910255711.6A Pending CN111767759A (zh) 2019-04-01 2019-04-01 食材识别的系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767759A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239780A (zh) * 2021-05-10 2021-08-10 珠海格力电器股份有限公司 食材的确定方法、装置、电子设备、冰箱及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714843A (zh) * 2012-09-28 2014-04-09 Lg电子株式会社 电器产品及其控制方法
CN104482715A (zh) * 2014-12-31 2015-04-01 合肥华凌股份有限公司 冰箱中食物的管理方法和冰箱
JP2015081762A (ja) * 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
CN105164481A (zh) * 2013-04-10 2015-12-16 Lg电子株式会社 利用影像识别的冰箱的保管品目管理方法及其冰箱
CN106204573A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 一种智能冰箱的食品管理方法及系统
CN107277344A (zh) * 2017-05-04 2017-10-20 信利光电股份有限公司 一种图像采集系统、方法及冰箱
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN107886028A (zh) * 2016-09-29 2018-04-06 九阳股份有限公司 一种冰箱的食材录入方法及食材录入装置
CN108154078A (zh) * 2017-11-20 2018-06-12 爱图瓴（上海）信息科技有限公司 食材管理装置及方法
CN108615015A (zh) * 2018-04-28 2018-10-02 海信（山东）冰箱有限公司 一种冰箱内部食材的识别方法、设备及图像识别系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714843A (zh) * 2012-09-28 2014-04-09 Lg电子株式会社 电器产品及其控制方法
CN105164481A (zh) * 2013-04-10 2015-12-16 Lg电子株式会社 利用影像识别的冰箱的保管品目管理方法及其冰箱
JP2015081762A (ja) * 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
CN104482715A (zh) * 2014-12-31 2015-04-01 合肥华凌股份有限公司 冰箱中食物的管理方法和冰箱
CN106204573A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 一种智能冰箱的食品管理方法及系统
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN107886028A (zh) * 2016-09-29 2018-04-06 九阳股份有限公司 一种冰箱的食材录入方法及食材录入装置
CN107277344A (zh) * 2017-05-04 2017-10-20 信利光电股份有限公司 一种图像采集系统、方法及冰箱
CN108154078A (zh) * 2017-11-20 2018-06-12 爱图瓴（上海）信息科技有限公司 食材管理装置及方法
CN108615015A (zh) * 2018-04-28 2018-10-02 海信（山东）冰箱有限公司 一种冰箱内部食材的识别方法、设备及图像识别系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239780A (zh) * 2021-05-10 2021-08-10 珠海格力电器股份有限公司 食材的确定方法、装置、电子设备、冰箱及存储介质

Similar Documents

Publication Publication Date Title
US10902234B2 (en) Image recognition method and apparatus
CN109032358B (zh) 基于手势识别的ar交互虚拟模型的控制方法及装置
CN107278369A (zh) 人员查找的方法、装置及通信系统
CN109951595A (zh) 智能调节屏幕亮度的方法、装置、存储介质及移动终端
CN104896868A (zh) 一种根据远程图像识别管理冰箱食品列表的方法
CN110850593A (zh) 移动设备和通过移动设备配对电子设备的方法
US9075431B2 (en) Display apparatus and control method thereof
US20170329409A9 (en) Smart glasses, and system and method for processing hand gesture command therefor
CN105611373A (zh) 视频图像处理方法及装置
CN108762213A (zh) 智能家居的控制方法、装置及智能眼镜
CN110234015A (zh) 直播控制方法、装置、存储介质、终端
CN110650294A (zh) 视频拍摄方法、移动终端及可读存储介质
CN112422817A (zh) 图像处理方法及装置
CN112364825A (zh) 用于人脸识别的方法、装置和计算机可读存储介质
CN111199249A (zh) 食材识别更新控制的方法及装置、冷藏设备
CN111767759A (zh) 食材识别的系统、方法、设备及存储介质
CN107704173B (zh) 一种应用程序显示方法、终端和计算机可读存储介质
CN112333439B (zh) 面部清洁设备控制方法、装置及电子设备
US10321008B2 (en) Presentation control device for controlling presentation corresponding to recognized target
US10613687B2 (en) Information processing method and electronic device
CN110604921B (zh) 一种显示内容切换方法、服务器和可存储介质
CN113254712A (zh) 视频匹配方法、视频处理方法、装置、电子设备及介质
CN104125487A (zh) 一种上传图像数据的方法和装置
CN108491067B (zh) 智能扇子控制方法、智能扇子及计算机可读存储介质
CN115268285A (zh) 设备控制方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination