CN117994640A - 一种智能冰箱和食材识别方法 - Google Patents

一种智能冰箱和食材识别方法 Download PDF

Info

Publication number
CN117994640A
CN117994640A CN202211345883.0A CN202211345883A CN117994640A CN 117994640 A CN117994640 A CN 117994640A CN 202211345883 A CN202211345883 A CN 202211345883A CN 117994640 A CN117994640 A CN 117994640A
Authority
CN
China
Prior art keywords
auxiliary
food material
image
camera
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211345883.0A
Other languages
English (en)
Inventor
陈维强
高雪松
曲磊
孙菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Holding Co Ltd
Original Assignee
Hisense Group Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Holding Co Ltd filed Critical Hisense Group Holding Co Ltd
Priority to CN202211345883.0A priority Critical patent/CN117994640A/zh
Publication of CN117994640A publication Critical patent/CN117994640A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2600/00—Control issues
    • F25D2600/06—Controlling according to a predetermined profile

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本申请公开一种智能冰箱和食材识别方法，属于智能家电技术领域，该方法包括：在门体开关过程中，获取主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，对辅助识别特征和第一食材图像的图像特征进行融合，得到主识别特征，基于主识别特征，确定本次门体开关过程中的食材信息。这样，多个辅摄像头可从不同角度进行图像采集，先将食材在各辅摄像头采集的不同角度的图像中的特征进行融合，得到辅助识别特征，再与主摄像头的图像特征进行融合，得到视角全面的主识别特征，因此，可提高食材识别准确度。

Description

一种智能冰箱和食材识别方法
技术领域
本申请涉及智能家电技术领域，尤其涉及一种智能冰箱和食材识别方法。
背景技术
随着科技的发展，智能冰箱因其便捷多样的智能化功能而走进广大用户的家庭中，在智能冰箱领域，食材信息的精准管理已成为冰箱智能化的核心功能。
现有技术中，一般在冰箱顶部设置一个摄像头，在用户存取食材的过程中，通过摄像头抓取的图像识别用户存取的是什么食材，由于存取动作的不确定性，会出现摄像头获取的图像存在遮挡，从而导致识别不准确的情况。
因此，如何提高食材识别的准确度是亟待解决的技术问题。
发明内容
本申请实施例提供一种智能冰箱和食材识别方法，用以提高食材识别的准确度。
第一方面，本申请实施例提供一种智能冰箱，包括：
机壳，内部设有多个储藏室，每个储藏室均有门体；
主摄像头和至少两个辅摄像头，用于采集门体活动区域的图像；
处理器，被配置为：
在门体开关过程中，获取所述主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像；
基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；
对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；
基于所述主识别特征，确定本次门体开关过程中的食材信息。
在一些实施例中，所述处理器具体被配置为：
根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成所述辅摄像头对的三维位置向量；
将所述三维位置向量输入预先建立的第一多层感知网络，得到所述辅摄像头对的位置特征值；
基于各辅摄像头对的位置特征值，生成位置特征矩阵；
利用所述位置特征矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
在一些实施例中，所述处理器还被配置为：
根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，确定所述辅摄像头对的覆盖权重；
基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵；
利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
在一些实施例中，所述处理器具体被配置为：
将所述位置特征矩阵和所述覆盖权重矩阵进行相乘，得到参考矩阵；
对各第二食材图像的图像特征进行拼接，得到特征矩阵；
将所述参考矩阵和所述特征矩阵输入预先建立的第二多层感知网络，得到所述辅助识别特征。
在一些实施例中，所述处理器具体被配置为：
将所述辅助识别特征和所述第一食材图像的图像特征输入预先建立的融合网络，得到所述主识别特征。
在一些实施例中，所述机壳顶部的外侧设置有摄像头弹出装置，所述摄像头弹出装置设有伸缩杆，所述主摄像设置于所述伸缩杆的端部，所述处理器还被配置为：
在满足第一条件时，控制所述伸缩杆弹出，将所述主摄像头的图像采集范围调整至当前打开门体的活动区域；
在满足第二条件时，控制所述伸缩杆收缩，将所述主摄像头的图像采集范围调整至原始区域。
第二方面，本申请实施例提供一种食材识别方法，包括：
获取主摄像头采集的食材的第一食材图像和每个辅摄像头采集的所述食材的第二食材图像；
基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；
对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；
基于所述主识别特征，确定本次门体开关过程中的食材信息。
在一些实施例中，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，包括：
根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成所述辅摄像头对的三维位置向量；
将所述三维位置向量输入预先建立的第一多层感知网络，得到所述辅摄像头对的位置特征值；
基于各辅摄像头对的位置特征值，生成位置特征矩阵；
利用所述位置特征矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
在一些实施例中，还包括：
根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，确定所述辅摄像头对的覆盖权重；
基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵；
基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，包括：
利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
在一些实施例中，利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征，包括：
将所述位置特征矩阵和所述覆盖权重矩阵进行相乘，得到参考矩阵；
对各第二食材图像的图像特征进行拼接，得到特征矩阵；
将所述参考矩阵和所述特征矩阵输入预先建立的第二多层感知网络，得到所述辅助识别特征。
在一些实施例中，对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征，包括：
将所述辅助识别特征和所述第一食材图像的图像特征输入预先建立的融合网络，得到所述主识别特征。
在一些实施例中，智能冰箱的机壳顶部的外侧设置有摄像头弹出装置，所述摄像头弹出装置设有伸缩杆，所述主摄像设置于所述伸缩杆的端部，以及
在满足第一条件时，控制所述伸缩杆弹出，将所述主摄像头的图像采集范围调整至当前打开门体的活动区域；
在满足第二条件时，控制所述伸缩杆收缩，将所述主摄像头的图像采集范围调整至原始区域。
第三方面，本申请实施例提供一种食材识别装置，包括：
获取模块，用于获取主摄像头采集的食材的第一食材图像和每个辅摄像头采集的所述食材的第二食材图像；
第一融合模块，用于基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；
第二融合模块，用于对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；
识别模块，用于基于所述主识别特征，确定本次门体开关过程中的食材信息。
第四方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据查询方法。
第五方面，本申请实施例提供一种存储介质，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行上述任一食材识别方法。
本申请实施例中，在门体开关过程中，获取主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，对辅助识别特征和第一食材图像的图像特征进行融合，得到主识别特征，基于主识别特征，确定本次门体开关过程中的食材信息。这样，多个辅摄像头可从不同角度进行图像采集，先将食材在各辅摄像头采集的不同角度的图像中的特征进行融合，得到辅助识别特征，再与主摄像头的图像特征进行融合，得到视角全面的主识别特征，因此，可提高食材识别准确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种智能冰箱的应用场景图；
图2为本申请实施例提供的一种智能冰箱的硬件结构示意图；
图3为本申请实施例提供的一种智能冰箱的结构示意图；
图4为本申请实施例提供的一种智能冰箱的结构示意图；
图5为本申请实施例提供的一种智能冰箱的侧视结构示意图；
图6为本申请实施例提供的一种智能冰箱的结构示意图；
图7为本申请实施例提供的一种智能冰箱的配置框图；
图8为本申请实施例提供的一种食材特征的融合过程示意图；
图9为本申请实施例提供的一种主摄像头采集的第一食材图像的示意图；
图10为本申请实施例提供的一种辅摄像头采集的第二食材图像的示意图；
图11为本申请实施例提供的一种辅摄像头采集的第二食材图像的示意图；
图12为本申请实施例提供的一种多层感知网络结构示意图；
图13为本申请实施例提供的另一种食材识别方法的流程图；
图14为本申请实施例提供的一种食材识别装置的结构示意图。
具体实施方式
为了提高食材识别的准确度，本申请实施例提供了一种智能冰箱和食材识别方法。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本公开的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。
随着科技的发展，智能冰箱因其便捷多样的智能化功能而走进广大用户的家庭中，在智能冰箱领域，食材信息的精准管理已成为冰箱智能化的核心功能，在实际应用中，实现食材的准确识别是实现食材信息精准管理的重要前提，现有技术中，一般在冰箱顶部设置一个摄像头，在用户存取食材的过程中，通过摄像头抓取的图像识别用户存取的是什么食材，由于存取动作的不确定性，会出现摄像头获取的图像存在遮挡，从而导致识别不准确的情况。
基于此问题，本申请实施例提出一种食材识别方法，在门体开关过程中，获取主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，对辅助识别特征和第一食材图像的图像特征进行融合，得到主识别特征，基于主识别特征，确定本次门体开关过程中的食材信息。这样，多个辅摄像头可从不同角度进行图像采集，先将食材在各辅摄像头采集的不同角度的图像中的特征进行融合，得到辅助识别特征，再与主摄像头的图像特征进行融合，得到视角全面的主识别特征，因此，可提高食材识别准确度。
图1为本申请实施例提供的一种智能冰箱的应用场景图。参见图1所示，智能冰箱100与服务器200通过互联网等多种通信方式进行数据通信。其中，智能冰箱100通过局域网(Local Area Network，LAN)、无线局域网(Wireless Local Area Network，WLAN)和其他网络进行通信连接。
服务器200可以向智能冰箱100提供各种内容和互动。示例的，智能冰箱100可以向服务器200发送信息和/或接收服务器200发送的信息，例如：接收运动目标识别数据、访问远程储存的数字媒体库、发送待检测图像数据。服务器200可以一组，也可以多组，可以一类或多类服务器。服务器200可以部署于本地，也可以部署于云端，通过服务器200实现图像识别等功能。
需要说明的是，图1的应用场景只是实现本申请实施例的一个应用场景的示例，本申请实施例并不限于上述图1所示的应用场景。例如，应用场景中可以没有服务器200，直接通过处理器基于根据用户存取食材过程中获取的多帧图像的图像特征，识别用户存取的食材信息。
在本申请实施例中，智能冰箱的类型、尺寸大小和功率等可以不同。
在一些实施例中，如图2和图3所示，智能冰箱100至少包括机壳110，门体120，摄像头组件130，以及处理器140，其中，摄像头组件130包括一个主摄像头131和至少两个辅摄像头132，机壳110内部设有多个储藏室，每个储藏室均有门体120。门体120与机壳110活动连接，用于遮挡储藏室的开口。主摄像头131与机壳110连接，辅摄像头132与门体120连接，均用于采集门体活动区域的图像。处理器140可以设置在机壳110中，也可以设置在门体120中，本申请对此并不限定。
在本申请实施例中，智能冰箱100可以是冰箱门体上设有电子显示屏幕的智能冰箱，如图3所示，当用户打开智能冰箱的门体进行存储食材时，电子显示屏上可以相应的显示出智能冰箱的结构模型，并突出显示处于打开状态的储藏室的区域，标示用户正在储藏空间中存储食材。可选地，电子显示屏上还可以显示储藏室的内部结构。也可以是其他类型的智能冰箱，例如：具有语音播报功能的智能冰箱、没有设置电子显示屏幕的智能冰箱等，本申请对此不做限定。
在本申请实施例中，主摄像头131可以设置于机壳110的顶部的外侧，辅摄像头132可以设置在门体120的内侧上。主摄像头131和至少两个辅摄像头132可以是为彩色相机，也可以是其他类型的相机，如深度相机等。在本申请实施例中以彩色相机为例进行说明。如图3和图4所示，主摄像头131通过摄像头弹出装置安装在智能冰箱的机壳外侧的顶部中心位置，辅摄像头132通过摄像头弹出装置安装在智能冰箱在门体120的内侧顶部中心位置和底部中心位置，主摄像头131和辅摄像头132均位于在摄像头弹出装置内部，其中，如图5所示，图5为智能冰箱和摄像头弹出装置的侧视图。摄像头弹出装置133可以包括控制开关和伸缩杆，摄像头固定在伸缩杆的端部。在满足第一条件时，控制伸缩杆弹出，将主摄像头131的图像采集范围调整至当前打开门体的活动区域，在满足第二条件时，控制伸缩杆收缩，将主摄像头131的图像采集范围调整至原始区域。
需要说明的是，由于智能冰箱的款式多种多样，假设智能冰箱为图4所示的智能冰箱，包括冷藏区储藏室150、冷冻区储藏室160共两个储藏室，且每个储藏室均具备两个门体，这里，第一条件可以设置为，当用户打开智能冰箱冷冻区储藏室160的门体时，安装在智能冰箱机壳外壁顶部中心的摄像头弹出装置133被唤醒，并控制其伸缩杆弹出，将主摄像头131的图像采集范围调整至冷冻区储藏室的门体的活动区域，如图5虚线部分所示。图5是智能冰箱和摄像头弹出装置的侧视图。相应的，第二条件可以设置为，当用户关闭智能冰箱冷冻区储藏室160的门体时，控制其伸缩杆收缩，将主摄像头131的图像采集范围调整至原始区域。
假设智能冰箱如图6所示，其冷冻区储藏室为抽屉式门体时，这时，第一条件可以设置为，当用户打开智能冰箱冷冻区储藏室160的门体时且冷藏区储藏室也为开启状态时，安装在智能冰箱机壳外壁顶部中心的摄像头弹出装置133被唤醒，并控制其伸缩杆弹出，将主摄像头131的图像采集范围调整至冷冻区储藏室的门体的活动区域，相应的，第二条件可以设置为，当用户关闭智能冰箱冷藏区储藏室160的门体时，这时冷藏区储藏室不会对冷冻区储藏室的食材产生干扰，因此可以控制其伸缩杆收缩，将主摄像头131的图像采集范围调整至原始区域即可。
需要说明的是，上述所描述的第一条件和第二条件仅是其中的一种情况，并不用于限定本申请，具体实施时，可根据智能冰箱的实际情况设置摄像头弹出装置的弹出的第一条件和第二条件，对于不同类型的智能冰箱，第一条件可以相同也可以不同，相应地，第二条件可以相同也可以不同。
在本申请实施例中，以图4所示的将主摄像头131安装在智能冰箱的机壳外壁的顶部中心位置，辅摄像头132安装在智能冰箱在门体的内侧顶部中心位置和底部中心位置进行描述。
图7为本申请实施例提供的一种智能冰箱的配置框图。如图7所示，包括控制器710、存储器720、通信器730、用户输入接口740、用户输出接口750、供电电源760，摄像头接口770，以及显示器。
控制器710包括随机存取存储器(Random Access Memory，RAM)711、只读存储器(Read Only Memory image，ROM)712、处理器140、通信接口以及通信总线。控制器710用于控制上述器件的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。
示例性的，当检测到用户按压在按键744的交互或触摸在触摸板742上的交互时，控制器710可控制处理器140产生与检测到的交互相应的信号，并将该信号发送到显示屏50，以使显示屏50可以显示相应的内容或画面。
在一些示例中，处理器140可以是中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)或者CPU和GPU的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(Application-Specific IntegratedCircuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)，通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。
存储器720，用于在控制器710的控制下存储驱动和控制的各种运行程序、数据和应用。存储器720，可以存储用户输入的各类控制信号指令。在一些示例中，存储器通过总线或其它方式与处理器相连，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行。在一些示例中，存储器可以为易失性存储器(Volatile Memory)，非易失性存储器(Non-volatileMemory)或者它们的组合。易失性存储器可以为随机存取存储器(Random-Access Memory，RAM)，例如静态随机存取存储器(Static Random Access Memory，SRAM)，动态随机存取存储器(Dynamic Random Access Memory，DRAM)。非易失性存储器可以为只读存储器(ReadOnly Memory，ROM)，例如可编程只读存储器(Programmable Read Only Memory，PROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)。非易失性存储器也可以为快闪存储器(Flash Memory)，磁存储器，例如磁带(MagneticTape)，软盘(Floppy Disk)，硬盘。非易失性存储器也可以为光盘。
通信器730，可以是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如冰箱可将内容数据发送至经由通信器730连接的外部设备，或者，从经由通信器730连接的外部设备浏览和下载内容数据。通信器730可以包括红外信号接口731、射频信号接口732、WIFI模块733、蓝牙模块734、有线以太网模块735等网络通信协议模块或近场通信协议模块，从而通信器730可根据控制器710的控制，实现与外部设备或外部服务器之间控制信号和数据信号的通信。例如：红外信号接口时，需要将用户发送的红外控制信号按照红外控制协议转化后输出给控制器710。例如，射频信号接口时，需将用户输入的射频控制信号模式的指令转化后输出给控制器710。例如，通过WIFI模块733、蓝牙模块734、有线以太网模块735接收外部设备控制冰箱的控制信号，并将控制信号处理后输出给控制器710。
用户输入接口740，可包括麦克风741、触摸板742、传感器743、按键744等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制冰箱的用户指令输入到冰箱。
用户输出接口750，通过将用户输入接口740接收的用户指令输出给控制器710，以通过控制器710控制处理器140执行相应的程序步骤。或者，也可以使处理器140执行相应的程序步骤后，控制显示器780显示相应的画面或者通过用户输出接口输出相应的内容。这里，用户输出接口750可以包括LED接口751、产生振动的震动接口752、输出声音的声音输出接口753等。例如，外部设备中的显示设备可从用户输出接口750接收音频、视频或数据等输出信号，并且将输出信号在显示设备上显示为图像形式、在声音输出接口753输出为音频形式或在震动接口752输出为振动形式。
摄像头接口770，用于将高光谱相机与冰箱进行信号连接。例如，高光谱相机采集到的高光谱图像和光谱响应曲线可以通过摄像头接口770传输给控制器710中的处理器140。
显示屏50，用于接收处理器140输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自处理器140处理后的视频内容，也可以来自通信器730或用户输入接口740输入的视频内容。显示屏50，还可以同时显示用于控制冰箱的用户操控界面UI。
供电电源760，用于在控制器710的控制下为冰箱中的各元件提供运行电力支持。形式可以为电池及相关控制电路。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并执行。
图8为本申请实施例提供的一种食材特征的融合过程示意图，如图8所示，经图像特征提取网络获得主摄像头采集的第一食材图像的特征向量和各辅摄像头采集的第二食材图像的特征向量，以各辅摄像头为顶点，构建有向图G的方式，确定能表征各辅摄像头之间关系的邻接矩阵S，进而通过各辅摄像头共同覆盖范围对邻接矩阵S进行稀疏化处理，得到稀疏邻接矩阵A，将稀疏邻接矩阵A与各辅摄像头采集的第二食材图像的特征向量拼接而成的特征矩阵Fin共同输入多层感知网络中，对各辅摄像头采集的第二食材图像的特征向量进行融合，得到融合的辅助识别特征，最后将融合的辅助识别特征和主摄像头采集的第一食材图像的特征向量X0输入融合网络中，即可得到主识别特征，之后，可利用主识别特征进行食材识别。
具体地，食材特征融合可按照以下方式实施。
首先，以智能冰箱冷藏区域为例，除了智能冰箱上方的主摄像头之外，分别在冰箱的两个门上放置多个辅摄像头，当用户打开智能冰箱进行食材存取时，可以获取主摄像头和各辅摄像头采集的食材图像，这样对于同一个食材的存取动作，可以产生不同视角下多帧图像。如图9至图11所示，图9为本申请实施例提供的一种主摄像头采集的第一食材图像的示意图，图10为本申请实施例提供的一种辅摄像头采集的第二食材图像的示意图，图11为本申请实施例提供的另一种辅摄像头采集的第二食材图像的示意图。
然后，使用图像特征提取网络对输入的图像进行特征提取，将图像特征映射为特征向量。在本申请实施例中，图像特征提取网络可以是resnet34、resnet50，也可以是VGG16等，本申请对此不做限定。
假设通过图像特征提取网络对输入的主摄像头采集第一食材图像和各辅摄像头采集的第二食材图像进行特征提取，得到各自的图像特征向量，其中，x0为主摄像头的采集的第一食材图像的特征向量，x1～n为各辅助摄像头采集的第二食材图像的特征向量，这里，x0、x1～n均为一维向量。
然后，以各辅摄像头为顶点构建有向图G，基于预先构建的空间直角坐标系，获取每个摄像头的三维坐标，比如：选取智能冰箱机壳正面前1/2宽、1/2高，距离冰箱1/2门距离三个平面交接点作为中心点，以冰箱宽度水平方向作为x轴方向，以冰箱深度水平方向作为y轴方向，以冰箱高度向上方向作为z轴方向，构建空间直角坐标系，基于确定的空间直角坐标系，确定任意两个辅摄像头i和辅摄像头j的三维位置信息，三维位置信息如三维坐标以及辅摄像头i和辅摄像头j的旋转关系，如：辅摄像头i的三维坐标vi＝[xi,yi,zi]，辅摄像头j的三维坐标vj＝[xj,yj,zj]，根据vi和vj之间的旋转关系的关系，可以得到绕z轴旋转的旋转矩阵/>
将拉伸，即得到9维向量rij：
rij＝[cosγ,sinγ,0,-sinγ,cosγ,0,0,0,1]，
这样，就可得到辅摄像头i和辅摄像头j之间的空间关系gij＝[vi,vj,rij]，即：得到辅摄像头i和辅摄像头j的三维位置向量：
gij＝[xi,yi,zi,xj,yj,zj,cosγ,sinγ,0,-sinγ,cosγ,0,0,0,1]，
之后，将三维位置向量输入预先建立的第一多层感知网络，如图12所示，图12为本申请实施例提供的一种多层感知网络结构示意图。得到辅摄像头i和辅摄像头j的位置特征值Sij，具体过程可以根据以下公式得到:
y1＝W1gij+b1，
yl+1＝Wl+1yl+bl+1，
Sij＝Wkyk-1+bk，
其中yl+1代表网络中第l+1层的输出，其中Wl+1和bl+1为可学习参数，k代表网络最大层数，Sij即为最后一层的输出。
Sij＝Φ(gij；θs)，
其中，θs表示所有可学习参数，Sij为1*1维向量。
那么，有向图G的邻接矩阵S(即位置特征矩阵)，可表示为：
之后，我们进一步使用k近邻(k-NN，k-nearest neighbor)，根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，生成辅摄像头i和辅摄像头j的覆盖权重Bij，如：若辅摄像头i和辅摄像头j之间的共同覆盖范围超过设定阈值，则辅摄像头i和辅摄像头j的覆盖权重Bij赋值为1，若辅摄像头i和辅摄像头j之间的共同覆盖范围不超过设定阈值，则辅摄像头i和辅摄像头j的覆盖权重Bij赋值为0，进而基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵B，如：
这样，基于位置特征矩阵S和覆盖权重矩阵B，将位置特征矩阵S和覆盖权重矩阵B进行相乘，即可对位置特征矩阵S进行稀疏化处理，得到稀疏邻接矩阵A(即参考矩阵)：
最后：对各辅摄像头采集的图像特征x1～n进行拼接，得到特征矩阵Fin：
基于参考矩阵A对特征矩阵Fin输入预先建立的第二多层感知网络，进行特征融合，得到融合后的辅助识别特征Fout：具体过程可以根据以下公式得到：
y1＝W1AFinW+b1，
yl+1＝Wl+1yl+bl+1，
Fout＝Wkyk-1+bk，
其中yl+1代表网络中第l+1层的输出，其中Wl+1和bl+1为可学习参数，k代表网络最大层数，Fout即为最后一层的输出。
Fout＝Ψ(AFinW；θc)，
其中，θc表示所有可学习参数，Fout为一维向量。
最后将融合后的辅助识别特征Fout，和第一食材图像的图像特征x0输入预先建立的融合网络进行融合，得到主识别特征y，该过程可以表示为:
y＝σ(Wy[Fg,x0])，
其中，Wy为可学习的融合网络，σ为激活函数。
之后可基于融合后的主识别特征y，进行食材识别，确定本次门体开关过程中的食材信息。
图13为本申请实施例提供的另一种食材识别方法的流程图，包括如下步骤：
在步骤1301中，在门体开关过程中，获取主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像。
具体实施时，可以预先将主摄像头设置在智能冰箱的顶部，如设置顶部中心位置，将每个辅摄像头设置在智能冰箱门体内侧顶部中心位置和底部中心位置，其中，第一食材图像中的食材特征包含的信息量大于第二食材图像中的食材特征包含的信息量。
这里，在获取了主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像之后，还可以将食材图像输入图像特征提取网络，对获取的各食材图像进行特征提取，图像特征提取网络可以是resnet34、也可以是resnet50等，本申请对此不做限定，得到第一食材图像的图像特征和每个辅摄像头采集的第二食材图像的图像特征，并以特征向量的方式表示。
在步骤1302中，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征。
在一些实施例中，可根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成辅摄像头对的三维位置向量，将三维位置向量输入预先建立的第一多层感知网络，得到辅摄像头对的位置特征值，然后基于各辅摄像头对的位置特征值，生成位置特征矩阵，利用位置特征矩阵，对各第二食材图像的图像特征进行融合，得到辅助识别特征。
具体实施时，每个辅摄像头的覆盖范围不一样，因此采集的食材图像，有很多共同特征，比如距离比较近的两个辅摄像头，采集的食材图像的共同特征通常更具有参考价值，而距离比较远的两个辅摄像头采集的食材图像的共同特征通常会更少，因此，我们还可以根据两个辅摄像头的共同覆盖范围，进一步获取各辅摄像头对的位置特征值。
比如，在一些实施例中，还可以根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，生成辅摄像头对的覆盖权重，基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵，利用位置特征矩阵和覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到辅助识别特征。
在一些实施例中，可以将位置特征矩阵和覆盖权重矩阵进行相乘，得到参考矩阵，对各第二食材图像的图像特征进行拼接，得到特征矩阵，通过将参考矩阵和特征矩阵的输入预先建立的第二多层感知网络，得到辅助识别特征。
在步骤1303中，对辅助识别特征和第一食材图像的图像特征进行融合，得到主识别特征。
具体实施时，可以将辅助识别特征和第一食材图像的图像特征输入预先建立的融合网络，得到主识别特征，这样可以得到视角全面的主识别特征，避免了因存取动作不确定性，导致主摄像头采集的图像存在遮挡的问题。
在步骤1304中，基于主识别特征，确定本次门体开关过程中的食材信息。
这样，可以将智能冰箱在食材存取过程中多个辅摄像头可从不同角度进行图像采集，先将食材在各辅摄像头采集的不同角度的图像中的特征进行融合，得到辅助识别特征，再与主摄像头的图像特征进行融合，得到视角全面的主识别特征，进而提高食材识别的准确度。
基于相同的技术构思，本申请实施例还提供一种食材识别装置，食材识别装置解决问题的原理与上述食材识别方法相似，因此食材识别装置的实施可参见食材识别方法的实施，重复之处不再赘述。
图14为本申请实施例提供的一种食材识别装置的结构示意图，包括获取模块1401、第一融合模块1402、第二融合模块1403、识别模块1404。
获取模块1401，用于获取主摄像头采集的食材的第一食材图像和每个辅摄像头采集的所述食材的第二食材图像；
第一融合模块1402，用于基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；
第二融合模块1403，用于对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；
识别模块1404，用于基于所述主识别特征，确定本次门体开关过程中的食材信息。
在一些实施例中，所述第一融合模块1402具体用于：
根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成所述辅摄像头对的三维位置向量；
将所述三维位置向量输入预先建立的第一多层感知网络，得到所述辅摄像头对的位置特征值；
基于各辅摄像头对的位置特征值，生成位置特征矩阵；
利用所述位置特征矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
在一些实施例中，所述第一融合模块1402具体用于：
根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，确定所述辅摄像头对的覆盖权重；
基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵；
利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
在一些实施例中，所述第一融合模块1402具体用于：
将所述位置特征矩阵和所述覆盖权重矩阵进行相乘，得到参考矩阵；
对各第二食材图像的图像特征进行拼接，得到特征矩阵；
将所述参考矩阵和所述特征矩阵输入预先建立的第二多层感知网络，得到所述辅助识别特征。
在一些实施例中，所述第二融合模块1403具体用于：
将所述辅助识别特征和所述第一食材图像的图像特征输入预先建立的融合网络，得到所述主识别特征。
在一些实施例中，智能冰箱的机壳顶部的外侧设置有摄像头弹出装置，所述摄像头弹出装置设有伸缩杆，所述主摄像设置于所述伸缩杆的端部，以及
在满足第一条件时，控制所述伸缩杆弹出，将所述主摄像头的图像采集范围调整至当前打开门体的活动区域；
在满足第二条件时，控制所述伸缩杆收缩，将所述主摄像头的图像采集范围调整至原始区域。
本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
在示例性实施例中，还提供一种电子设备，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中：
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行任一食材识别方法的步骤。
在示例性实施例中，还提供一种计算机程序产品，当计算机程序产品被电子设备执行时，电子设备能够实现本申请提供的任一示例性方法。
并且，计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例中用于食材识别的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种智能冰箱，其特征在于，包括：
机壳，内部设有多个储藏室，每个储藏室均有门体；
主摄像头和至少两个辅摄像头，用于采集门体活动区域的图像；
处理器，被配置为：
在门体开关过程中，获取所述主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像；
基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；
对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；
基于所述主识别特征，确定本次门体开关过程中的食材信息。
2.根据权利要求1所述的智能冰箱，其特征在于，所述处理器具体被配置为：
根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成所述辅摄像头对的三维位置向量；
将所述三维位置向量输入预先建立的第一多层感知网络，得到所述辅摄像头对的位置特征值；
基于各辅摄像头对的位置特征值，生成位置特征矩阵；
利用所述位置特征矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
3.根据权利要求2所述的智能冰箱，其特征在于，所述处理器还被配置为：
根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，确定所述辅摄像头对的覆盖权重；
基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵；
利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
4.根据权利要求3所述的智能冰箱，其特征在于，所述处理器具体被配置为：
将所述位置特征矩阵和所述覆盖权重矩阵进行相乘，得到参考矩阵；
对各第二食材图像的图像特征进行拼接，得到特征矩阵；
将所述参考矩阵和所述特征矩阵输入预先建立的第二多层感知网络，得到所述辅助识别特征。
5.如权利要求1所述的智能冰箱，其特征在于，所述处理器具体被配置为：
将所述辅助识别特征和所述第一食材图像的图像特征输入预先建立的融合网络，得到所述主识别特征。
6.如权利要求1所述的智能冰箱，其特征在于，所述机壳顶部的外侧设置有摄像头弹出装置，所述摄像头弹出装置设有伸缩杆，所述主摄像设置于所述伸缩杆的端部，所述处理器还被配置为：
在满足第一条件时，控制所述伸缩杆弹出，将所述主摄像头的图像采集范围调整至当前打开门体的活动区域；
在满足第二条件时，控制所述伸缩杆收缩，将所述主摄像头的图像采集范围调整至原始区域。
7.一种食材识别方法，其特征在于，包括：
获取主摄像头采集的食材的第一食材图像和每个辅摄像头采集的所述食材的第二食材图像；
基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；
对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；
基于所述主识别特征，确定本次门体开关过程中的食材信息。
8.如权利要求7所述的方法，其特征在于，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，包括：
根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成所述辅摄像头对的三维位置向量；
将所述三维位置向量输入预先建立的第一多层感知网络，得到所述辅摄像头对的位置特征值；
基于各辅摄像头对的位置特征值，生成位置特征矩阵；
利用所述位置特征矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
9.如权利要求8所述的方法，其特征在于，还包括：
根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，确定所述辅摄像头对的覆盖权重；
基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵；
基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，包括：
利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。
10.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求7-9任一所述的方法。
CN202211345883.0A 2022-10-31 2022-10-31 一种智能冰箱和食材识别方法 Pending CN117994640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211345883.0A CN117994640A (zh) 2022-10-31 2022-10-31 一种智能冰箱和食材识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211345883.0A CN117994640A (zh) 2022-10-31 2022-10-31 一种智能冰箱和食材识别方法

Publications (1)

Publication Number Publication Date
CN117994640A true CN117994640A (zh) 2024-05-07

Family

ID=90888210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211345883.0A Pending CN117994640A (zh) 2022-10-31 2022-10-31 一种智能冰箱和食材识别方法

Country Status (1)

Country Link
CN (1) CN117994640A (zh)

Similar Documents

Publication Publication Date Title
CN105074615B (zh) 虚拟传感器系统和方法
CN105634881B (zh) 应用场景推荐方法及装置
CN110471858B (zh) 应用程序测试方法、装置及存储介质
CN108696680A (zh) 用于焦点控制的电子设备和方法
WO2018045838A1 (zh) 智能冰箱的食品信息管理方法、设备和计算机可读存储介质
CN113190757A (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
CN111737573A (zh) 资源推荐方法、装置、设备及存储介质
US10055813B2 (en) Electronic device and operation method thereof
CN108886574A (zh) 一种拍摄引导方法、设备及系统
CN111503990B (zh) 一种冰箱及食材识别方法
CN106572007A (zh) 一种智能网关
CN112036492B (zh) 样本集处理方法、装置、设备及存储介质
CN108469772A (zh) 一种智能设备的控制方法和装置
US10877645B2 (en) Electronic device and operating method thereof
CN106027336A (zh) 设备分享方法及装置
CN111931946A (zh) 数据处理方法、装置、计算机设备及存储介质
CN108052368A (zh) 一种应用显示界面控制方法及移动终端
CN112287234A (zh) 信息检索方法、装置及存储介质
CN111797851A (zh) 特征提取方法、装置、存储介质及电子设备
CN112699849A (zh) 手势识别方法和装置、电子设备、可读存储介质和芯片
CN109684566A (zh) 标签引擎实现方法、装置、计算机设备及存储介质
CN113377976B (zh) 资源搜索方法、装置、计算机设备及存储介质
CN109408659A (zh) 基于小世界网络的图像检索方法、装置、计算设备及介质
CN112199406A (zh) 信息推荐方法、食材存储设备及服务器
CN117994640A (zh) 一种智能冰箱和食材识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination