CN111444880A - 一种食材识别方法及冰箱 - Google Patents

Abstract

本发明公开一种食材识别方法及冰箱，冰箱包括机壳，机壳内设有储藏室，储藏室前侧设有存取开口；至少一个冰箱门，与壳体连接，用于打开或关闭存取开口；相机用于拍摄食材图像；控制器被配置为：根据相机发送的多帧食材图像，构建食材集；从食材集中选取基准食材以及与基准食材匹配的食材，组成候选食材子集；从候选食材子集中选取目标食材，将候选食材子集从食材集中删除；重复上述步骤直至食材集为空集，得到目标食材子集；根据目标食材子集确定存取食材的种类和数量。本申请能准确地识别存取食材的种类及数量，避免了单帧识别造成的误识别和漏识别，提高食材识别结果的稳定性和识别精度，进而提升了食材管理的准确性，提升用户使用体验。

Description

一种食材识别方法及冰箱

技术领域

本发明涉及智能家电技术领域，尤其涉及一种食材识别方法及冰箱。

背景技术

冰箱是生活中常用的电器设备，通过对食材进行制冷，比如冷藏或冷冻，实现食材的保鲜储存，用户可以将食材存放入冰箱，也可以从冰箱中取出所需的食材，通过对存取的食材种类及数量等信息进行识别和录入，可以实现冰箱的智能化管理。

目前冰箱食材识别主要是利用图像识别，比如在冰箱上安装相机，在用户动态存取食材的过程中，拍摄手部食材的彩色图像，并根据机器学习或深度学习等算法来识别食材种类和数量。然而在实际应用中，用户存取食材时手部可能拿取多种食材，每种食材数量不定，加之受制于光照、遮挡和拍摄角度等外部因素，以及食材尺度、颜色和集聚状态等食材自身因素，导致基于图像的食材识别方法的误识别率和漏识别率较大，降低了食材识别准确性，不利于冰箱的食材管理，用户使用体验差。

发明内容

为解决上述技术问题，本发明提供一种食材识别方法及冰箱，以提高食材识别的准确性。

第一方面，本发明提供一种冰箱，包括：

机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；

至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；

相机，用于拍摄食材图像；

控制器，所述控制器被配置为：

根据所述相机发送的多帧食材图像，构建食材集，所述食材集包括每帧食材图像中的每个食材的检测信息；

从所述食材集中选取基准食材以及与所述基准食材匹配的食材，组成候选食材子集；

从所述候选食材子集中选取目标食材，将所述候选食材子集从所述食材集中删除；

重复第二步骤和第三步骤直至所述食材集为空集，得到目标食材子集；

根据所述目标食材子集确定存取食材的种类和数量。

在一些实施例中，所述控制器被配置为按照如下方式构建食材集：

识别每帧食材图像中的每个食材的检测信息；所述检测信息包括食材检测框的区域位置信息、食材种类以及被识别为所述食材种类的置信度；

按照置信度对每帧食材图像中的每个食材的检测信息进行排序，组成所述食材集。

在一些实施例中，所述控制器被进一步配置为按照如下方式从所述食材集中选取基准食材：

从所述食材集中选取置信度最高的一个食材作为所述基准食材。

在一些实施例中，所述控制器被进一步配置为按照如下方式筛选与所述基准食材匹配的食材：

分别计算所述基准食材的食材检测框与食材集中其他食材的食材检测框的交并比；

选取所述交并比大于第一阈值的食材，作为与所述基准食材匹配的食材。

在一些实施例中，所述控制器被进一步配置为按照如下方式选取目标食材：

统计所述候选食材子集中包括的食材种类以及每种食材种类的数量；

根据所述候选食材子集的食材总数，以及所述候选食材子集中每个食材种类的数量和置信度，计算所述候选食材子集中每个食材种类对应的综合置信度；

将所述综合置信度最大的食材种类确定为所述目标食材。

在一些实施例中，所述控制器还被配置为：

在得到所述候选食材子集之后，获取所述候选食材子集的食材总数；

如果所述食材总数小于第二阈值，则将所述候选食材子集从所述食材集中删除；

如果所述食材总数大于或等于所述第二阈值，从所述候选食材子集中选取目标食材。

第二方面，本发明提供一种食材识别方法，包括：

根据相机拍摄的多帧食材图像，构建食材集，所述食材集包括每帧食材图像中的每个食材的检测信息；

从所述食材集中选取基准食材以及与所述基准食材匹配的食材，组成候选食材子集；

从所述候选食材子集中选取目标食材，将所述候选食材子集从所述食材集中删除；

重复第二步骤和第三步骤直至所述食材集为空集，得到目标食材子集；

根据所述目标食材子集确定存取食材的种类和数量。

在一些实施例中，所述构建食材集，包括：

识别每帧食材图像中的每个食材的检测信息；所述检测信息包括食材检测框的区域位置信息、食材种类以及被识别为所述食材种类的置信度；

按照置信度对每帧食材图像中的每个食材的检测信息进行排序，组成所述食材集。在一些实施例中，从所述食材集中选取基准食材，包括：

从所述食材集中选取置信度最高的一个食材作为所述基准食材。

在一些实施例中，所述筛选与所述基准食材匹配的食材，包括：

分别计算所述基准食材的食材检测框与食材集中其他食材的食材检测框的交并比；

选取所述交并比大于第一阈值的食材，作为与所述基准食材匹配的食材。

在一些实施例中，所述选取目标食材，包括：

统计所述候选食材子集中包括的食材种类以及每种食材种类的数量；

根据所述候选食材子集的食材总数，以及所述候选食材子集中每个食材种类的数量和置信度，计算所述候选食材子集中每个食材种类对应的综合置信度；

将所述综合置信度最大的食材种类确定为所述目标食材

在一些实施例中，所述方法还包括：

在得到所述候选食材子集之后，获取所述候选食材子集的食材总数；

如果所述食材总数小于第二阈值，则将所述候选食材子集从所述食材集中删除；

如果所述食材总数大于或等于所述第二阈值，从所述候选食材子集中选取目标食材。

本申请提出一种基于多帧决策融合的食材识别方法，通过相机在短时内采集多帧食材图像，由于用户可能存取多种食材，每个种类的食材也可能存取多个，因此需要对每一帧食材图像中的每个食材进行识别，以构建食材集，基于短时内多帧食材图像之间同一食材位置关联性不变的特性，选取基准食材，并从食材集中筛选出与基准食材匹配的食材，基准食材及其相匹配的食材共同组成候选食材子集，候选食材子集能够反映基准食材在多帧食材图像中的识别情况，然后再从候选食材子集中选出一个目标食材，目标食材是其中综合置信度最高的食材种类，即识别出了一个用户存取的食材，然后即可将已筛选遍历完成的候选食材子集从食材集中删除，继续重复上述步骤，直至食材集为空集，重复了几次即可得到几个目标食材，然后将这些目标食材组成目标食材子集，那么根据目标食材子集即可确定存取食材的种类和数量，比如目标食材子集为{苹果，胡萝卜，苹果，黄瓜}，则说明用户存或取了2个苹果，1个胡萝卜和1个黄瓜。本申请能准确地识别存取食材的种类及数量，尤其是对于用户进行多个不同种类食材的存取操作时，避免了单帧识别造成的误识别和漏识别，提高食材识别结果的稳定性和识别精度，进而提升了食材管理的准确性，提升用户使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了冰箱门关闭时冰箱的正面结构示意图；

图2示例性示出了冰箱门打开时冰箱的正面结构示意图；

图3示例性示出了冰箱硬件结构框图；

图4示例性示出了一种食材识别方法的流程图；

图5示例性示出了另一种食材识别方法的流程图；

图6示例性示出了一帧食材图像中对识别出的食材检测框进行标定的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1～图3所示，冰箱可以放置在厨房等室内空间中，冰箱整体上至少包括机壳10、冰箱门20、相机30和控制器40。

其中，机壳10内包括储藏室101，储藏室101可以具体规划为冷藏室、冷冻室和变温室，冷藏室、冷冻室和变温室可以呈上下分布或左右分布，冷藏室、冷冻室和变温室的容量配比不作限定。对于每种类型的储藏室101，其室内空间比如可以沿竖直方向设置多个隔板，从而将储藏空间划分多个层位，便于用户对食材进行分类放置和管理。需要说明的是，冰箱储藏室的结构和空间利用方式不限于本实施例所述。储藏室101的前侧，即储藏室101与冰箱门20的连接侧设置有存取开口102，通过存取开口可以方便用户从储藏室内存放或取出食材。

冰箱门20与机壳10连接，比如可采用枢转连接等方式，以使冰箱门20能够沿与机壳10的连接端转动，实现冰箱门20的开合，从而打开或关闭存取开口102，便于用户存取食材，并且保证冰箱的储藏室101的密封性。冰箱门20的数量至少为一个，冰箱门20的数量和安装位置应适应于储藏室的规划。

相机30用于拍摄食材图像，并将食材图像发送给控制器40。相机30比如可以设置在冰箱顶部，这样相机30的视野范围朝下，即拍摄出的图像是视野内场景的俯视图，相机30的安装位置应适应于能拍摄到存取开口102一定范围内的空间区域。相机30可以是彩色相机，当用户在存取开口102前侧存取食材时，相机30可以拍摄到彩色的食材图像，从而能通过识别算法对用户手部存取食材的种类和数量进行识别。

此外，通过相机30还可以动态识别用户操作类型和存取位置，用户操作类型包括存操作和取操作，存操作即向冰箱内存入食材，取操作即从冰箱内取出食材。借助彩色相机或深度相机检测手部区域，然后利用追踪算法计算手部区域质心的运动轨迹，追踪算法包括但不限于卡尔曼滤波、粒子滤波等方法。当识别到手部区域具有食材时，说明用户正在进行存操作或取操作，这时可以根据手部的运动轨迹的方向来判断用户操作类型，如果检测到运动轨迹的方向为手部从冰箱前侧经存取开口进入储藏室内，则用户操作类型为存操作；如果检测到运动轨迹的方向为手部从储藏室内部经存取开口移至冰箱外部，则用户操作类型为取操作。

进一步地，可以通过运动轨迹识别位置信息，当用户进行存操作时，位置信息指示为食材的存放位置，则手部运动轨迹的终点位置即为存放位置；当用户进行取操作时，位置信息指示为食材的取出位置，则手部运动轨迹的起点位置即为取出位置。

或者，也可采用静态识别方法，比较前后两次冰箱内食材识别结果的变化，当新增了食材识别结果，则该新增食材是被存入冰箱内，即用户操作类型为存操作，该新增食材的当前放置位置即为存放位置；如果减少了食材识别结果，则减少的食材是从冰箱内取出，即用户操作类型为取操作，该食材的原存放位置即为取出位置。位置信息和用户操作类型的获取方式不限于本实施例所述。

相机30比如可以是彩色相机、深度相机，或者彩色相机和深度相机的组件等形式，具体以至少能实现食材种类识别和食材数量识别为准，还可兼之位置信息识别和用户操作类型识别，从而实现用户“从什么位置存或取了多少数量的什么食材”这一信息的识别和录入。在实际应用中，相机30可以固定在某一个预设拍摄位，为了能准确监控用户存取操作，相机30可以处于常启状态；或者，也可以在控制器40检测到开门信号时再启动相机30的拍摄，并在控制器40检测到关门信号时关闭相机30。

为了保护用户的隐私安全，同时兼顾冰箱外观的美观性，可以将相机30设置为可活动式，比如，当控制器40未检测到开门信号时，可以将相机30隐藏至冰箱顶部，即初始位置，这时相机30的拍摄视野会被遮挡，保证用户的隐私安全；当控制器40检测到开门信号时，相机30的移动方式可采用履带式、活塞推拉式或者弹出式等形式，通过履带的正转，或活塞杆伸长，或弹出相机30等方式，将相机30从初始位置移动至预设拍摄位，以拍摄存取开口周围一定区域内的食材图像；当控制器40检测到关门信号后，通过履带的反转，或活塞杆缩短，或弹出件复位等形式，将相机30从预设拍摄位复位至初始位置。相机30的移动形式及移动机构不限定。

控制器40用于感应冰箱门20的开门信号和关门信号，开门信号和关门信号可以是根据用户的开关门动作生成的电平信号，比如可以在冰箱门20上设置感应器，用以感应用户的开关门动作，开门信号为根据开门动作生成的高电平信号，关门指令为根据关门动作生成的低电平信号，不同类别的储藏室门电平信号不通过，因此可以通过门电平信号区分用户打开/关闭的是哪个储藏室的冰箱门20。

或者，开门信号和关门信号也可以由用户通过语音进行控制生成，冰箱中还可包括语音识别系统，语音设备60将用户输入的音频信息发送给语音识别系统，并由语音识别系统对音频信号进行识别，则在识别出用户通过语音设备60输入开门指示信息后生成的开门信号，在识别出用户通过语音设备60输入关门指示信息后生成的关门信号，比如用户对准麦克风说出“打开冷藏室”，则语音识别系统识别后生成对应于冷藏室的开门信号，并将开门信号发给控制器40，控制器40根据开门信号控制冷藏室的门打开。通过语音控制冰箱门20启闭时，可以在冰箱门20上设置门控装置，控制器40给门控装置发送控制指令，则门控装置根据控制指令即可控制冰箱门20打开或关闭。

冰箱门20上可以设置显示屏50，显示屏50与控制器40电连接，显示屏50面向用户，即可以向用户显示所需查看的信息，也可以通过触控感知用户输入的操作指令。比如，显示屏50可以向用户显示冰箱当前食材库中的食材种类、食材存放位置、食材存放的时间以及保质期等信息，便于用户获知当前冰箱中存储的食材信息。

冰箱可以根据用户存取食材的操作行为，自动录入和更新存取记录数据库，显示屏50还可以根据用户输入的显示指令，显示存取记录数据库，即可查看一定时间段内的历史食材存取记录。并且，用户每进行一次存取操作，都可以在显示屏50上显示存取食材的相关信息，比如，显示“您于2020年04月07日在冷藏室第二层存入了2个雪花梨和1个苹果”。

此外，还可以根据冰箱当前食材库中包括的食材种类，在显示屏50上向用户推送健康食谱，用户也可以对显示屏50进行触控操作，对冰箱进行一些基本控制，比如调节冷冻室、冷藏室和变温室的温度等，实现了冰箱的智能化管理和应用，并且提升用户与冰箱之间的交互体验。显示屏50可显示的内容以及触控指令响应功能等，可根据实际使用需求进行设置。

冰箱结构还包括分别与控制器40电连接的语音设备60和扬声器70。语音设备60可以是麦克风，麦克风可采用线性4麦，比如在冰箱门20上均匀分布4个麦克风孔，语音设备60接收用户输入的语音信息，通过语音识别系统对语音信息进行解析，并将解析后的信息发送给控制器40，以控制执行相应的处理逻辑，提升了用户与冰箱的交互体验。扬声器70的具体设置位置不作限定，比如扬声器70设置在机壳10的顶部或侧面，语音设备60和扬声器70之间应保证一定的距离，控制器40能够控制扬声器70进行信息播报和提示，用户每进行一次存取操作，都可以由扬声器播报存取食材的相关信息，比如，播报“您于2020年04月07日在冷藏室第二层存入了2个雪花梨和1个苹果”。

冰箱中还可包括通信器80，通信器80与控制器40电连接，通信器80可采用WIFI模块、蓝牙模块等无线通信模块，实现冰箱与关联用户的终端设备100之间的无线通信，比如向终端设备100推送健康食谱，发送用户存取食材的操作记录，或者发送即将达保质期的食材信息等内容，这样不仅可以实现用户与冰箱的面对面交互，还能实现远程交互。终端设备100可以是智能手机、智能手环和平板电脑等移动终端，也可以是笔记本电脑、台式电脑等显示设备，本实施例不作限定。

本实施例中所述的控制器40为冰箱的总控制系统，如图3所示，控制器40分别与相机30、显示屏50、语音设备60、扬声器70和通信器80电连接，控制器30可以对相机30发送的图像进行处理，获取食材种类、食材数量、位置信息、用户操作类型等信息，加之控制器40的计时器记录的存取时间等信息，用户每一次存取操作完成时，通过显示屏提示、语音提示和终端提示等形式提示用户的这些操作信息，例如提示信息为“x年x月x日向冷藏室第一层存入1个苹果”，即操作时间为x年x月x日，操作类型为存操作，存放位置为冷藏室第一层，食材种类为苹果，食材数量为1个。控制器40可承担数据库的管理、相关硬件结构的控制以及与外部终端设备通讯等功能。

在其他可能的实现方式中，也可以为冰箱配置外置相机，外置相机与控制器40电连接，外置相机设置在冰箱所处空间的某个固定位置，用于采集出现在存取操作区域的人脸图像，控制器40通过建立人脸数据库以用于人脸识别，这样即可识别出操作主体是哪个家庭成员，比如提示信息为“妈妈于x年x月x日x时从冷冻室第三层取出1块排骨”，即操作主体为家庭成员中的妈妈，食材种类为猪肉，操作类型为取操作，取出位置为冷冻室第三层，食材数量为1，从而实现“谁从冰箱什么位置存或取了多少数量的什么食材”这一操作记录的自动感知和录入，提高冰箱的智能化和用户使用体验。本实施例中提示信息的内容格式不作限定。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。具体实现中，本发明还提供一种存储介质90，存储介质90与控制器40电连接。存储介质90可存储有程序，该程序执行时可包括控制器40被配置执行的本申请实施例所述的全部方法步骤。此外，存储介质90还可用于存储冰箱当前食材库和存取记录数据库等被配置为存储的内容。所述存储介质90可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

需要说明的是，冰箱的结构不限于本实施例所述，在实际中冰箱还应包括制冷系统、供电电源、温度控制系统等必要的电器结构，以及其他必要的软件程序等，可以参照现有冰箱结构进行配置，本实施例不再赘述。

在一种实施例中，如图4所示，提供一种食材识别方法，该方法为控制器40被配置为执行的程序步骤，即执行主体为冰箱系统中的控制器40，本方法主要是针对食材种类和数量的识别，包括：

步骤S10，根据相机发送的多帧食材图像，构建食材集，所述食材集包括每帧食材图像中的每个食材的检测信息。

进一步地，如图5所示，步骤S10包括：

步骤S101，识别每帧食材图像中的每个食材的检测信息；所述检测信息包括食材检测框的区域位置信息、食材种类以及被识别为所述食材种类的置信度。

相机30在短时内抓取N帧食材图像，N帧食材图像可以是连续帧，帧数N大于1，帧数N可以根据实际情况进行设定，帧数N的取值不作限定。对于每帧食材图像f_i(i＝1，2，3，…，N)，其识别结果可表征为{Q_i1，Q_i2，…，Q_iki}，k_i为第i帧食材图像中识别到的食材总数，当k_i＝0时，即说明第i帧食材图像中没有识别到任何食材，则第i帧食材图像对应的识别结果为空集。食材集包括每帧食材图像中的每个食材的检测信息Q_ij，即Q_ij表示第i帧食材图像中的第j个食材的检测信息，其中1≦i≦N，1≦j≦k_i，食材集中包括的检测信息数为

通过识别方法，可实现在每帧食材图像中圈定并标示每个食材对应的食材检测框K_ij，如图6所示，第i帧中由两个食材，分别对应于食材检测框K_i1和食材检测框K_i2，食材检测框可以是矩形框等形式。检测信息Q_ij可表示为Q_ij＝[x_ij，y_ij，w_ij，h_ij，c_ij，p_ij]，其中，(x_ij，y_ij)表示食材检测框的中心点坐标，w_ij表示食材检测框的宽度，h_ij表示食材检测框的高度，c_ij为该食材的食材种类，p_ij为被识别为该食材种类的置信度，0﹤p_ij﹤1。(x_ij，y_ij)、w_ij和h_ij组成食材检测框的区域位置信息，通过(x_ij，y_ij)可以定位食材检测框在食材图像中的位置，w_ij和h_ij可以确定食材检测框的区域大小。

控制器40在接收到N帧食材图像后，可以通过一些识别计算模型来识别每帧食材图像中的每一个食材，识别完成后输出检测信息Q_ij，以及在食材图像中对识别到的每一个食材的食材检测框进行标定。识别计算模型可采用深度学习模型，包括但不限于(深度)神经网络、卷积神经网络、深度置信网络、深度堆栈神经网络、深度融合网络、深度递归神经网络、深度循环神经网络、深度贝叶斯神经网络、深度生成网络、深度强化学习等网络结构的一种或其衍生模型。识别计算模型可以预先训练并配置好识别模式，可以识别出多种不同食材的检测信息。

基于图像的食材识别从实现途径上分为两种，一种是静态识别方法，即通常在开关门时采集冰箱内部的食材图像，并将食材图像通过深度学习方法进行识别，得到食材的种类及数量；另一种是动态识别方法，即在用户动态存取食材的过程中，拍摄手部的食材图像，并根据机器学习或深度学习等算法来识别食材种类和数量。无论是采用静态识别方案还是动态识别方法，无论采用哪种识别计算模型，都不影响本方案的实质。

步骤S102，按照置信度对每帧食材图像中的每个食材的检测信息进行排序，组成所述食材集。

在识别每帧食材图像中的每个食材的检测信息Q_ij之后，由于检测信息Q_ij中具有标识每种食材识别的置信度p_ij，置信度用于表征某食材被识别为某个种类的可信程度，因此，可以按照置信度，对每帧食材图像中的每个食材的检测信息进行排序，组成所述食材集，可以按照置信度递增或递减的顺序进行排序。比如，假设帧数N＝3，第1帧识别出食材food₁₁和食材food₁₂，食材food₁₁的置信度为0.8，食材food₁₂的置信度为0.9，第2帧识别出食材food₂₁和食材food₂₂，食材food₂₁的置信度为0.8，食材food₂₂的置信度为0.7，第3帧识别出1个食材food₃₁，食材food₃₁的置信度为0.75，则按照置信度降低构建的食材集A＝{Q₁₂，Q₁₁，Q₂₁，Q₃₁，Q₂₂}。

步骤S20，从所述食材集中选取基准食材以及与所述基准食材匹配的食材，组成候选食材子集。

本申请是基于多帧决策融合的食材识别方法，先从食材集中选出一个基准食材，基准食材是某一帧食材图像中被识别出的其中一个食材，然后以此基准食材为基础，并基于短时内多帧食材图像之间同一食材位置关联性不变的特性，选出N帧食材图像中除基准食材所属帧之外的其他帧中，与基准食材对应匹配的食材，以便进行后续食材信息的决策。参照图5，在步骤S20中，包括：

步骤S201，从所述食材集中选取置信度最高的一个食材作为所述基准食材。当食材集按照置信度递减的顺序(降序)构建时，则食材集中排序在首位的食材即为基准食材；当食材集按照置信度递增顺序(升序)构建时，则食材集中排序在最末位的食材即为基准食材，比如按照步骤S10中的举例，食材food₁₂即为基准食材。当存在两个及以上的食材的置信度相同并且最高时，可以选取其中任意一个作为基准食材；或者选取在种类序列中序位更靠前的食材作为基准食材，这里所述的种类序列是根据识别计算模型能够识别的全部食材种类而组成的序列表，比如食材food₃₂(苹果)和食材food₅₁(香蕉)的置信度最高，均为0.9，但是在种类序列中，苹果的序位比香蕉的序位高，那么将食材food₃₂即第3帧食材图像中的第2个食材作为基准食材。需要说明的是，基准食材的选取标准不限于本实施例所述。

关于筛选与基准食材匹配的食材，基于短时内多帧食材图像之间同一食材位置关联性不变的特性，以及每帧图像中各个食材都具有对应的食材检测框，因此本实施例利用食材检测框之间的交并比(Intersection over Union，IOU)，即两个食材检测框的交集和并集之比，来衡量食材检测框在位置和尺度上的相似性，从而表征同一食材在不同帧之间的位置关联性和相似性，简单来说就是筛选某个食材在每一帧中的食材检测框。对于同一食材，若该食材在每一帧食材图像中都能被稳定准确地识别出，则每一帧筛选出的该食材与基准食材，在位置和尺度上是很相近的，即同一食材在其他帧的食材检测框与基准食材的食材检测框之间的IOU值较高。

基于此，在步骤S202中，分别计算所述基准食材的食材检测框与食材集中其他食材的食材检测框的交并比。

步骤S203,选取所述交并比大于第一阈值的食材，作为与所述基准食材匹配的食材。

即IOU＝(K_B∩K_ij)/(K_B∪K_ij)，K_B为基准食材food_B的食材检测框，K_ij为食材集中其他食材food_ij的食材检测框，然后从计算出的多个交并比中，选取交并比大于第一阈值的食材，作为与基准食材匹配的食材。比如，基准食材food_B的食材检测框K_B与食材集中的食材food₂₁的食材检测框K₂₁的交并比大于第一阈值，则食材food₂₁即为一个与基准食材food_B匹配的食材。第一阈值的取值不限定。

步骤S204，将所述基准食材以及与其相匹配的全部食材组成候选食材子集。候选食材子集为食材集的子集，候选食材子集能够反映基准食材在N帧食材图像中的识别情况。

步骤S30，从所述候选食材子集中选取目标食材。进一步地，步骤S30包括：

步骤S301，统计所述候选食材子集中包括的食材种类以及每个食材种类的数量。

由于食材种类识别可能出现误差，或者在食材动态存取过程中抓拍图像时食材位置变化较大等因素，可能导致基准食材在不同帧里被识别为其他种类，比如选取第1帧中的苹果为基准食材，但是基准食材苹果在第3帧中被识别为西红柿，在第4帧中被识别为香蕉，因此在候选食材子集确定之后，需要对食材种类进行决策计算。假设候选食材子集中包括m个食材对应的检测信息，通过这些检测信息，可以确定基准食材及其相匹配的食材在对应帧中体现为的食材种类和置信度等信息，候选食材子集中统计结果为被识别为种类C₁的食材有m₁个，被识别为种类C₂的食材有m₂个，…，被识别为种类C_i的食材有m_i个，…，被识别为种类C_l的食材有m_l个，则有m＝m₁+m₂+…+m_l。

步骤S302，根据所述候选食材子集的食材总数(即下式中的m)，以及所述候选食材子集中每个食材种类的数量(即下式中的m_i)和置信度(即下式中的

)，计算所述候选食材子集中每个食材种类对应的综合置信度。综合置信度的计算公式如下所述：

其中，

表示种类C_i对应的综合置信度，

表示种类C_i对应的平均置信度，

表示识别为种类C_i的m_i个食材对应的置信度，m_i表示识别为种类C_i的食材数量，m表示候选食材子集的食材总数(即候选食材数)。上述公式是考虑参与决策的候选食材数及置信度影响，采用加权平均值机制进行最终的多帧决策融合，从而计算出每个种类食材对应的综合置信度，利用该综合置信度可以提高食材识别准确性。

步骤S303，将所述综合置信度最大的食材种类确定为所述目标食材。

通过比较每个种类的综合置信度，取综合置信度最大的食材种类作为决策出的目标食材。当目标食材识别完成后，执行步骤S40。

步骤S40，将所述候选食材子集从所述食材集中删除。

由于候选食材子集是基于基准食材得到的，所以在获取到该基准食材对应的目标食材后，需要将候选食材子集从食材集中删除，即将该基准食材以及与其相匹配的全部食材从食材集中删掉，避免该候选食材子集反复参与决策运算，从而降低运算冗余，提高食材识别的准确性，还能保证食材集能够根据识别进程进行更新，直至食材集变为空集时，认为识别进程已达终点，食材识别完成。

步骤S50，判断所述食材集是否为空集。如果食材集为空集，则执行步骤S60,；反之，如果食材集为非空集，则返回步骤S20，再次执行后续步骤。

步骤S60，汇总全部目标食材，得到目标食材子集，根据所述目标食材子集确定存取食材的种类和数量。

在食材集变为空集时，步骤S20～步骤S50重复执行了几次，即可得到几个目标食材，然后将这些目标食材组成目标食材子集，目标食材子集为食材集的子集，那么根据目标食材子集即可确定存取食材的种类和数量，并输出最终的识别结果。比如目标食材子集为{苹果，胡萝卜，苹果，黄瓜}，则说明用户存或取了2个苹果，1个胡萝卜和1个黄瓜。

在利用多帧图像进行动态识别时，可能遇到将非食材物品识别为食材的情况，比如用户向冰箱内存放1个胡萝卜，但是其中某几帧却是将出现在相机拍摄视野内的红色衣服误识别为苹果，造成食材识别的不稳定性以及误检测，那么由此获取的基准食材及其匹配的食材就不应参与到后续食材种类的多帧决策融合中，以提高食材识别的准确性和可靠性。对此，如图5所示的实现方式中，在步骤S20之后(具体为步骤S204之后)，所述方法还包括：

步骤S70，判断所述候选食材子集的食材总数是否小于第二阈值。候选食材子集的食材总数即为基准食材以及与其相匹配的食材的数量和，如果候选食材子集的食材总数小于第二阈值，则说明该基准食材在N帧食材图像中无法被稳定地检测到，存在将非食材物品误识别为食材的情况，即该基准食材对应的候选食材子集是无效的，因此执行步骤S40；反之，如果候选食材子集的食材总数大于或等于第二阈值，认为该基准食材能够在N帧食材图像中超过第二阈值数量的图像中被稳定地检测到，则执行步骤S30。其中第二阈值的取值不作限定，比如第二阈值可选为N/2，即食材图像帧数的一半。

由以上技术方案可知，本申请提出一种基于多帧决策融合的食材识别方法，通过相机在短时内采集多帧食材图像，由于用户可能存取多种食材，每个种类的食材也可能存取多个，因此需要对每一帧食材图像中的每个食材进行识别，以构建食材集，基于短时内多帧食材图像之间同一食材位置关联性不变的特性，选取基准食材，并从食材集中筛选出与基准食材匹配的食材，基准食材及其相匹配的食材共同组成候选食材子集，候选食材子集能够反映基准食材在N帧食材图像中的识别情况，然后基于加权平均值的多帧决策融合机制，从候选食材子集中选出综合置信度最高的一个目标食材，即识别出了用户真实存取的一个食材，然后即可将已筛选遍历完成的候选食材子集从食材集中删除，然后继续再次执行步骤S20～步骤S50，直至食材集为空集，重复了几次即可得到几个目标食材，然后将这些目标食材组成目标食材子集，那么根据目标食材子集即可确定存取食材的种类和数量。本申请能准确地识别存取食材的种类及数量，尤其是对于用户进行多个不同种类食材的存取操作时，避免了单帧识别造成的误识别和漏识别，提高食材识别结果的稳定性和识别精度，进而提升了食材管理的准确性，提升用户使用体验。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，并不构成对本发明保护范围的限定。本发明的真正范围和精神由所附的权利要求指出。

本说明书中各个实施例之间相同相似的部分互相参照即可。

Claims (10)

1.一种冰箱，其特征在于，包括：

机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；

至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；

相机，用于拍摄食材图像；

控制器，所述控制器被配置为：

根据所述相机发送的多帧食材图像，构建食材集，所述食材集包括每帧食材图像中的每个食材的检测信息；

从所述食材集中选取基准食材以及与所述基准食材匹配的食材，组成候选食材子集；

从所述候选食材子集中选取目标食材，将所述候选食材子集从所述食材集中删除；

重复第二步骤和第三步骤直至所述食材集为空集，得到目标食材子集；

根据所述目标食材子集确定存取食材的种类和数量。

2.根据权利要求1所述的冰箱，其特征在于，所述控制器被配置为按照如下方式构建食材集：

识别每帧食材图像中的每个食材的检测信息；所述检测信息包括食材检测框的区域位置信息、食材种类以及被识别为所述食材种类的置信度；

按照置信度对每帧食材图像中的每个食材的检测信息进行排序，组成所述食材集。

3.根据权利要求2所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式从所述食材集中选取基准食材：

从所述食材集中选取置信度最高的一个食材作为所述基准食材。

4.根据权利要求2所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式筛选与所述基准食材匹配的食材：

分别计算所述基准食材的食材检测框与食材集中其他食材的食材检测框的交并比；

选取所述交并比大于第一阈值的食材，作为与所述基准食材匹配的食材。

5.根据权利要求2-4任一项所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式选取目标食材：

统计所述候选食材子集中包括的食材种类以及每个食材种类的数量；

根据所述候选食材子集的食材总数，以及所述候选食材子集中每个食材种类的数量和置信度，计算所述候选食材子集中每个食材种类对应的综合置信度；

将所述综合置信度最大的食材种类确定为所述目标食材。

6.根据权利要求5所述的冰箱，其特征在于，所述控制器还被配置为：

在得到所述候选食材子集之后，获取所述候选食材子集的食材总数；

如果所述食材总数小于第二阈值，则将所述候选食材子集从所述食材集中删除；

如果所述食材总数大于或等于所述第二阈值，从所述候选食材子集中选取目标食材。

7.一种食材识别方法，其特征在于，包括：

根据相机拍摄的多帧食材图像，构建食材集，所述食材集包括每帧食材图像中的每个食材的检测信息；

从所述食材集中选取基准食材以及与所述基准食材匹配的食材，组成候选食材子集；

从所述候选食材子集中选取目标食材，将所述候选食材子集从所述食材集中删除；

重复第二步骤和第三步骤直至所述食材集为空集，得到目标食材子集；

根据所述目标食材子集确定存取食材的种类和数量。

8.根据权利要求7所述的方法，其特征在于，所述构建食材集，包括：

识别每帧食材图像中的每个食材的检测信息；所述检测信息包括食材检测框的区域位置信息、食材种类以及被识别为所述食材种类的置信度；

按照置信度对每帧食材图像中的每个食材的检测信息进行排序，组成所述食材集。

9.根据权利要求8所述的方法，其特征在于，所述筛选与所述基准食材匹配的食材，包括：

分别计算所述基准食材的食材检测框与食材集中其他食材的食材检测框的交并比；

选取所述交并比大于第一阈值的食材，作为与所述基准食材匹配的食材。

10.根据权利要求8或9所述的方法，其特征在于，所述选取目标食材，包括：

统计所述候选食材子集中包括的食材种类以及每种食材种类的数量；

根据所述候选食材子集的食材总数，以及所述候选食材子集中每个食材种类的数量和置信度，计算所述候选食材子集中每个食材种类对应的综合置信度；

将所述综合置信度最大的食材种类确定为所述目标食材。

Images